Ieguvumi:
- Spēja novērtēt kompromisus starp pārvaldīto API, VPC un lokālo mitināšanu
- Spēja pieņemt lēmumu par mitināšanu, pamatojoties uz datu suverenitāti, apjomu un darbības jaudu
- Spēja aprēķināt kopējās īpašuma izmaksas (TCO) ar pilnām precēm un dizaina hibrīda arhitektūru
Dažām organizācijām “datu sūtīšana pakalpojumu sniedzējam” neatkarīgi no tā, cik droša ir, nav pieņemama. Aizsardzības nozares, valsts, banku un dažos veselības scenārijos datiem nekad nevajadzētu pārsniegt iestādes robežu. Šajā brīdī priekšplānā izvirzās sava modeļa mitināšana: atvērti modeļi, kas darbojas jūsu mākoņtīklā (VPC) vai jūsu serveros (on-prem). Šajā nodaļā mēs uzzināsim kompromisus starp pārvaldīto API un pašmitināšanu, kad tas ir lietderīgi, un kopējām īpašumtiesību izmaksām (TCO).
jēdzieni
- Managed API: darbojas modeļa nodrošinātāja infrastruktūrā; Jūs nosūtāt pieprasījumu un saņemat atbildi. Darbības pieskaitāmās izmaksas ir minimālas, bet dati tiek nodoti pakalpojumu sniedzējam.
- Atvērtā svara modelis: Modeļa parametrus (svarus) var lejupielādēt; Varat to palaist savā aparatūrā. Tas ne vienmēr ir tas pats, kas "atvērtais avots" (licence var atšķirties).
- VPC mitināšana (virtuālais privātais mākonis): modeļa palaišana savā izolētajā mākoņu tīklā; Dati paliek jūsu tīkla robežās, bet infrastruktūra joprojām ir mākonī.
- On-prem (on-premises): modeļa palaišana pilnībā jūsu datu centra aparatūrā; augstākā kontrole, lielākā darba slodze.
Uzmanību: “Savu mitināšana vienmēr ir drošāka” ir maldīgs priekšstats. Drošība mazāk ir atkarīga no tā, kur jūs glabājat datus, bet vairāk no tā, cik labi jūs tos pārvaldāt. Neielādēts, slikti konfigurēts lokālais serveris ir riskantāks nekā nobriedis pārvaldīts API.
Lēmuma ass: kurš kad?
Trīs jautājumi nosaka lēmumu:
- Datu suverenitāte: vai likums vai līgums aizliedz datus izvest no iestādes/valsts? Ja jā, jūs tiksit virzīts uz VPC/on-prem.
- Apjoms un izmaksas: vai lietojums ir ļoti augsts un paredzams? Ļoti liels self-hostinga apjoms var samazināt vienības izmaksas; API, kas tiek pārvaldīta zemā/neregulārā skaļumā, gandrīz vienmēr ir lēta.
- Darbības jauda: vai jums ir komanda, kas uztur GPU infrastruktūru, modeļu atjaunināšanu, mērogošanu un drošības ielāpu? Pretējā gadījumā jūsu hostings ir slēptas izmaksas.
Kompromisu tabula
Izmērs
Pārvaldīta API
VPC
On-Prem (atvērts svars)
Datu suverenitāte
Uzticieties pakalpojumu sniedzējam
Augsts (pie jūsu tīkla ierobežojuma)
Augstākais (nekad nepaceļas)
Darbības slodze
pārāk zems
vidējs
augsts
Sākotnējās izmaksas
Zems (maksā kā jums)
vidējs
Augsts (aparatūra)
mērogošana
automātiski
Pārvaldīts
jūsu atbildība
Modeļa kvalitāte/valūta
jaunākais, automātiskais
Atkarīgs
Jūs atjaunināt
kontrole
zems
augsts
pilns
Soli pa solim: lēmums par mitināšanu
- Nosakiet datu klasi. Kādā konfidencialitātes līmenī dati tiks apstrādāti?
- Pārbaudiet juridisko ierobežojumu. Vai dati var tikt izvadīti? (KVKK, nozares regulējums, līgums.)
- Novērtējiet skaļumu. Ikmēneša pieprasījumu/žetonu apjoms un izaugsmes līkne.
- Aprēķināt TCO. Ne tikai GPU; enerģija, uzturēšana, komanda, drošība, atlaišana.
- Padomājiet par hibrīdu. Hibrīds modelis, kas apstrādā sensitīvus datus lokālajā/VPC un nesensitīvos datus pārvaldītajā API, bieži vien ir visstabilākais.
Četras kopējamas veidnes
Hostinga lēmuma uzvedne:
Izlemiet mitināšanu šādam lietojumam: {{ scenario }}Jautājumi: kāda ir apstrādājamo datu konfidencialitātes klase? (publisks/iekšējais/konfidenciāls/pilnīgi slepens)- Vai likums/līgums atļauj datiem iziet ārpus organizācijas?- Mēneša apjoma prognoze un paredzamība?- Vai ir darbības/GPU komandas kapacitāte? Ieteikums: "Pārvaldīta API / VPC / On-prem / Hibrīds" + pamatojums.
TCO preču saraksts (pašmitināšanai):
Aprēķiniet kopējās īpašumtiesību izmaksas: - Aparatūras (GPU) iegāde/noma - Enerģija un dzesēšana - Cilvēks: MLOps + drošības komandas laiks - Modeļa atjaunināšana un testēšanas darbaspēks - Atlaišana/atkopšana pēc avārijas - Drošības ielāpi un uzraudzība Salīdziniet to ar ikmēneša rēķinu par pārvaldīto API 12–24 mēnešu periodā.
Hibrīda maršrutēšanas noteikums:
Maršrutiet katru pieprasījumu, pamatojoties uz datu klasi:- "slepenie / īpaši slepenie" dati -> lokālais/VPC modelis - "publiskie/iekšējie" dati -> pārvaldītais API (jaudīgāks/lētāks) Ierakstiet pārsūtīšanas lēmumu un datu klasi audita žurnālā.
Atvērt svara drošības pārbaudes uzvedni:
Novērtējiet mūsu pašu mitināto modeli:- Vai licence pieļauj komerciālu izmantošanu un mūsu scenārijā?- Modeļa svērumi no uzticama avota, ir pārbaudīta integritāte (jaukšana)?- Vai ir instalēta servera ielāpēšana, tīkla izolācija, piekļuves kontrole?- Vai pārraudzība un reģistrēšana ir tikpat piemērota kā pārvaldītā API? Trūkstošos vienumus atzīmējiet ar “IESLĒGTS”.
Vāja uzvedne / spēcīga uzvedne
slikta pieeja
Spēcīga pieeja
"On-prem ir drošāks, vienmēr izmantojiet to"
Lēmums balstās uz datu suverenitāti + apjoms + jauda
Skatos tikai uz GPU izmaksām
Pilna TCO (enerģija, apkalpe, atjauninājumi, drošība)
Ieslēgts vienā mitināšanas modelī
Hibrīds: maršrutēšana pēc datu klases
Skriešana, nenolaižot atvērto svaru un to nepārbaudot
Licence + integritāte + ielāps + izsekošanas kontrole
Trīs mini futrāļi
1. gadījums. Mandāts uz vietas bija pareizs lēmums. Aizsardzības darbuzņēmējam bija jāapstrādā ļoti slepeni dokumenti; Līgums aizliedza izvest datus no valsts. Pārvaldītā API tika likvidēta no paša sākuma. Tika izveidots on-prem atvērtā svara modelis; Izmaksas bija augstas, taču tā bija vienīgā saderīgā iespēja.
2. gadījums — Konfidenciāls TCO atcelts lēmums. Startup plānoja pāriet uz pašmitināšanu, jo “API ir dārga”. TCO aprēķinā tiek iekļauts ne tikai GPU; Pievienojiet 2 pilnas slodzes MLOps inženierus, atjauniniet slodzi un atlaišanu, un 24 mēnešu kopējais apjoms ir divreiz lielāks nekā pārvaldītajā API. Tie palika API, jo to apjomi bija zemi un sporādiski.
3. gadījums — hibrīds sniedza vislabāko. Bankas zvanu centra palīgs apstrādāja divu veidu datus: vispārīgus jautājumus par produktiem un klienta konta datus. Konta dati tiek novirzīti uz modeli VPC ietvaros, vispārīgie jautājumi tiek novirzīti uz jaudīgo pārvaldīto API. Sensitīvie dati nekad netika atklāti, vispārīgiem jautājumiem tika izmantota spēcīgākā modeļa kvalitāte; izmaksas un piemērotība ir optimizētas kopā.
Padoms: lēmumam nav jābūt bināram (visu vai neko). Hibrīda arhitektūra — datu maršrutēšana pēc klases — vienlaikus atrisina atbilstību un izmaksas lielākajā daļā uzņēmumu scenāriju.
Biežas kļūdas
- Pieņemsim, ka "pašu hostings ir automātiski drošāks"; tā kā drošība ir atkarīga no pārvaldības kvalitātes.
- Domājot, ka TCO ir tikai GPU izmaksas; komanda, enerģija, atjaunināšana un aizmirstība par drošību.
- Pāreja uz pašmitināšanu zemā/neregulārā skaļumā un vienības izmaksu palielināšana.
- Atvērtā svara modeļa izmantošana, nepārbaudot licenci un integritāti (jaucēju).
- Uzraudzības/reģistrācijas instalēšana lokālajā serverī nav tik nobriedusi kā pārvaldītā API.
- Bināra lēmuma pieņemšana, vispār neņemot vērā hibrīda opciju.
Rezumējot
- Pārvaldītais API ir visvieglāk funkcionāli, taču dati tiek nodoti pakalpojumu sniedzējam; VPC/on-prem glabā datus pie jūsu robežas.
- Lēmumu nosaka trīs jautājumi: datu suverenitāte, apjoma/izmaksu prognozējamība un darbības jauda.
- "Pašviesošana ir drošāka" ir maldīgs priekšstats; Drošība ir atkarīga nevis no tā, kur jūs glabājat datus, bet gan no tā, cik labi jūs tos pārvaldāt.
- Aprēķiniet precīzu TCO: enerģija, komanda, atjauninājums, dublēšana un drošība, kā arī GPU.
- Hibrīda arhitektūra (datu maršrutēšana pēc klases) vienlaikus līdzsvaro atbilstību un izmaksas lielākajā daļā uzņēmumu scenāriju.
Lietojumprogrammas uzdevums
Izvēlieties AI lietojumu un sadaliet apstrādājamos datus privātuma klasē. Izveidojiet ieteikumu, izmantojot mitināšanas lēmuma uzvedni. Pēc tam aizpildiet sava mitināšanas TCO vienumu sarakstu un salīdziniet 24 mēnešu kopējo summu ar pārvaldīto API rēķinu. Visbeidzot uzrakstiet hibrīda maršrutēšanas kārtulas projektu: kādi dati kur nonāk?
kontrolsaraksts
- [ ] Esmu noteicis apstrādājamo datu konfidencialitātes klasi un juridisko ierobežojumu.
- [ ] Es pieņēmu lēmumu par mitināšanu, pamatojoties uz suverenitāti + apjoms + jauda.
- [ ] Es aprēķināju TCO ar pilnām vienībām (tostarp bez GPU).
- [ ] Es pārbaudīju licenci, integritāti, ielāpu un uzraudzību pašhostingā.
- [ ] Es apsvēru hibrīda maršrutēšanas iespēju.
- [ ] Es dokumentēju lēmumu un tā pamatojumu.