Pelnas:
- Galimybė įvertinti valdomo API, VPC ir vietinio prieglobos kompromisus
- Galimybė nuspręsti dėl prieglobos, atsižvelgiant į duomenų suverenumą, apimtį ir veikimo pajėgumus
- Galimybė apskaičiuoti bendrąsias nuosavybės išlaidas (TCO) naudojant visas prekes ir suprojektuoti hibridinę architektūrą
Kai kurioms organizacijoms „duomenų siuntimas paslaugų teikėjui“ – nesvarbu, koks saugumas – yra nepriimtinas. Gynybos pramonėje, viešajame, bankininkystės ir kai kuriuose sveikatos scenarijuose duomenys niekada neturėtų peržengti institucijos sienos. Šiuo metu pirmenybė teikiama savo modelio prieglobai: atviri modeliai, veikiantys jūsų debesų tinkle (VPC) arba jūsų serveriuose (on-prem). Šiame skyriuje sužinosime apie kompromisus tarp valdomos API ir savarankiško prieglobos, kai tai prasminga, ir bendrų nuosavybės išlaidų (TCO).
sąvokų
- Valdoma API: veikia modelio teikėjo infrastruktūroje; Išsiunčiate užklausą ir gaunate atsakymą. Eksploatacinės pridėtinės išlaidos yra minimalios, tačiau duomenys perduodami teikėjui.
- Atviro svorio modelis: galima atsisiųsti modelio parametrus (svorius); Galite paleisti jį savo aparatinėje įrangoje. Tai nebūtinai yra „atvirojo kodo“ (licencija gali skirtis).
- VPC priegloba (virtualus privatus debesis): modelio paleidimas savo izoliuotame debesų tinkle; Duomenys lieka jūsų tinklo ribose, bet infrastruktūra vis dar yra debesyje.
- On-prem (on-premises): modelio paleidimas tik jūsų duomenų centro aparatinėje įrangoje; didžiausias valdymas, didžiausia eksploatacinė apkrova.
Atsargiai: „Savas priegloba visada saugesnė“ yra klaidinga nuomonė. Saugumas mažiau priklauso nuo to, kur laikote duomenis, o nuo to, kaip gerai juos tvarkote. Nepataisytas, prastai sukonfigūruotas vietinis serveris yra rizikingesnis nei subrendusi valdoma API.
Sprendimo ašis: kuri kada?
Trys klausimai lemia sprendimą:
- Duomenų suverenitetas: ar įstatymai ar sutartis draudžia duomenis išvežti iš institucijos/šalies? Jei taip, būsite nustumti link VPC/on-prem.
- Apimtis ir kaina: ar naudojimas yra labai didelis ir nuspėjamas? Labai dideli savarankiško prieglobos kiekiai gali sumažinti vieneto sąnaudas; API, valdoma mažu / nepastoviu kiekiu, beveik visada yra pigi.
- Veiklos pajėgumai: ar turite komandą, kuri prižiūri GPU infrastruktūrą, modelių atnaujinimą, mastelį ir saugos pataisymus? Priešingu atveju jūsų priegloba yra paslėpta kaina.
Kompromisų lentelė
Dydis
Valdoma API
VPC
On-Prem (atviras svoris)
Duomenų suverenitetas
Pasitikėk paslaugų teikėju
Aukšta (neviršijant tinklo ribos)
Aukščiausias (niekada nepakyla)
Operacijos apkrova
per žemas
vidutinis
aukštas
Pradinė kaina
Mažas (mokėkite kaip išeinate)
vidutinis
Aukšta (aparatinė įranga)
mastelio keitimas
automatinis
Tvarko
jūsų atsakomybė
Modelio kokybė/valiuta
naujausias, automatinis
Priklauso
Jūs atnaujinate
kontroliuoti
žemas
aukštas
pilnas
Žingsnis po žingsnio: sprendimas dėl prieglobos
- Nustatykite duomenų klasę. Kokiu konfidencialumo lygiu bus tvarkomi duomenys?
- Patikrinkite teisinius apribojimus. Ar gali išeiti duomenys? (KVKK, sektoriaus reglamentas, sutartis.)
- Įvertinkite garsumą. Mėnesio užklausų/žetonų apimtis ir augimo kreivė.
- Apskaičiuokite TCO. Ne tik GPU; energija, priežiūra, komanda, saugumas, atleidimas iš darbo.
- Pagalvokite apie hibridą. Mišrus modelis, apdorojantis neskelbtinus duomenis on-prem / VPC ir neskelbtinus duomenis valdomoje API, dažnai yra stabiliausias.
Keturi kopijuojami šablonai
Prieglobos sprendimo raginimas:
Nuspręskite, kaip prieglobą naudoti toliau nurodytam naudojimui: {{ scenarijus }}Klausimai: Kokia yra tvarkomų duomenų privatumo klasė? (vieša/vidinė/konfidencialu/visiškai slapta)- Ar įstatymas/sutartis leidžia duomenims patekti už organizacijos ribų?- Mėnesio apimties prognozė ir nuspėjamumas?- Ar yra operacijų/GPU komandos pajėgumas? Rekomendacija: „Valdoma API / VPC / On-prem / hibridinė“ + pagrindimas.
TCO prekių sąrašas (savarankiniam prieglobai):
Apskaičiuokite visas nuosavybės išlaidas pagal: - Aparatinės įrangos (GPU) įsigijimą / nuomą; - Energiją ir aušinimą; - Žmogų: MLOps + saugos komandos laiką - Modelio atnaujinimą ir testavimo darbuotojus - Atleidimą / atkūrimą po nelaimės - Saugos pataisymus ir stebėjimą Palyginkite tai su mėnesine sąskaita už valdomą API 12–24 mėnesių laikotarpiu.
Hibridinio maršruto parinkimo taisyklė:
Nukreipkite kiekvieną užklausą pagal duomenų klasę: - "slapti / ypač slapti" duomenys -> "on-prem" / VPC modelis - "vieši / vidiniai" duomenys -> valdoma API (galingesnė / pigesnė) Į audito žurnalą įrašykite persiuntimo sprendimą ir duomenų klasę.
Atidaryti svorio saugumo patikros raginimą:
Įvertinkite mūsų savarankiškai priglobtą modelį:- Ar licencija leidžia naudoti komerciniais tikslais ir pagal mūsų scenarijų?- Modelio svoriai iš patikimo šaltinio, vientisumas (maišos) patikrintas?- Ar įdiegtas serverio pataisymas, tinklo izoliacija, prieigos kontrolė?- Ar stebėjimas ir registravimas yra tokie pat brandūs kaip valdoma API? Trūkstamus elementus pažymėkite „ĮJUNGTA“.
Silpnas raginimas / stiprus raginimas
prastas požiūris
Stiprus požiūris
„On-prem yra saugesnis, visada naudokite jį“
Sprendimas pagrįstas duomenų suverenumu + apimtimi + talpa
Žiūrint į GPU kainą
Visas TCO (energija, įgula, atnaujinimai, saugumas)
Prisijungimas prie vieno prieglobos modelio
Hibridinis: maršrutas pagal duomenų klasę
Bėgimas nenuleidžiant atviro svorio ir jo nepatikrinus
Licencija + vientisumas + pleistras + sekimo kontrolė
Trys mini dėklai
1 atvejis. Mandatas vietoje buvo teisingas sprendimas. Gynybos rangovas turėjo tvarkyti labai slaptus dokumentus; Sutartis draudė duomenis išvežti iš šalies. Valdoma API buvo pašalinta nuo pat pradžių. Buvo sukurtas atviro svorio modelis on-prem; Kaina buvo didelė, tačiau tai buvo vienintelis suderinamas variantas.
2 atvejis. Konfidencialus TCO panaikintas sprendimas. Startuolis planavo pereiti prie savarankiško prieglobos, nes „API brangi“. Skaičiuodami TCO, įtraukiate ne tik GPU; Pridėkite 2 visą darbo dieną dirbančius MLOps inžinierius, atnaujinkite apkrovą ir atleidimą, o bendra 24 mėnesių suma bus dvigubai didesnė nei valdomos API. Jie liko API, nes jų kiekis buvo mažas ir atsitiktinis.
3 atvejis – hibridas davė geriausia. Banko skambučių centro padėjėjas apdorojo dviejų tipų duomenis: bendruosius produktų klausimus ir konkrečių klientų sąskaitos duomenis. Paskyros duomenys nukreipiami į VPC esantį modelį, bendrieji klausimai – į galingą valdomą API. Jautrūs duomenys niekada nepasirodė, bendriems klausimams buvo naudojama stipriausio modelio kokybė; kaina ir tinkamumas optimizuojami kartu.
Patarimas: sprendimas neturi būti dvejetainis (viskas arba nieko). Hibridinė architektūra – duomenų nukreipimas pagal klasę – vienu metu išsprendžia atitikties ir sąnaudas daugelyje įmonių scenarijų.
Dažnos klaidos
- Tarkime, kad „savo priegloba yra automatiškai saugesnė“; kadangi saugumas priklauso nuo valdymo kokybės.
- Galvojant, kad TCO yra tik GPU kaina; komanda, energija, atsinaujinimas ir pamiršimas apie saugumą.
- Perėjimas prie savarankiško prieglobos esant mažam / netaisyklingam garsui ir padidinus vieneto kainą.
- Atvirojo svorio modelio naudojimas nepatikrinus licencijos ir vientisumo (maišos).
- Neįdiegta stebėjimo / registravimo tokia brandi kaip valdoma API vietiniame serveryje.
- Dvejetainio sprendimo priėmimas visai nesvarstydamas apie hibridinį variantą.
Apibendrinant
- Valdoma API yra pati lengviausia, tačiau duomenys siunčiami teikėjui; VPC/on-prem saugo duomenis prie jūsų sienos.
- Trys klausimai lemia sprendimą: duomenų suverenumas, apimties / sąnaudų nuspėjamumas ir veiklos pajėgumas.
- „Savarankiška priegloba yra saugesnė“ yra klaidinga nuomonė; Saugumas priklauso ne nuo to, kur laikote duomenis, bet nuo to, kaip gerai juos tvarkote.
- Apskaičiuokite tikslų TCO: energija, komanda, atnaujinimas, atleidimas ir saugumas, taip pat GPU.
- Hibridinė architektūra (duomenų nukreipimas pagal klasę) vienu metu subalansuoja atitiktį ir sąnaudas daugelyje įmonių scenarijų.
Taikymo užduotis
Pasirinkite AI naudojimą ir apdorojamus duomenis atskirkite į privatumo klasę. Sugeneruokite rekomendaciją naudodami prieglobos sprendimo raginimą. Tada užpildykite savo prieglobos TCO elementų sąrašą ir palyginkite 24 mėnesių bendrą sumą su valdoma API sąskaita. Galiausiai parašykite hibridinio maršruto parinkimo taisyklės projektą: kokie duomenys kur keliauja?
kontrolinis sąrašas
- [ ] Nustačiau tvarkomų duomenų konfidencialumo klasę ir teisinį apribojimą.
- [ ] Priėmiau sprendimą dėl prieglobos suvereniteto + apimties + talpos.
- [ ] Apskaičiavau TCO su visais elementais (įskaitant ne GPU).
- [ ] Patikrinau licenciją, vientisumą, pataisymą ir stebėjimą dėl savarankiško prieglobos.
- [ ] Apsvarsčiau hibridinį maršruto parinktį.
- [ ] Sprendimą ir jo motyvus patvirtinau dokumentais.