zisky:
- Schopnosť vyhodnotiť kompromisy medzi spravovaným API, VPC a on-prem hostingom
- Možnosť rozhodnúť sa o hostingu na základe dátovej suverenity, objemu a prevádzkovej kapacity
- Schopnosť vypočítať celkové náklady na vlastníctvo (TCO) s úplnými položkami a navrhnúť hybridnú architektúru
Pre niektoré organizácie je „odosielanie údajov poskytovateľovi“ – bez ohľadu na to, aké bezpečné – neprijateľné. V obrannom priemysle, verejnom sektore, bankovníctve a niektorých scenároch zdravotníctva by údaje nikdy nemali presahovať hranice inštitúcie. V tomto bode prichádza do popredia hosťovanie vlastného modelu: modely s otvorenou váhou, bežiace vo vašej vlastnej cloudovej sieti (VPC) alebo na vašich vlastných serveroch (on-prem). V tejto lekcii sa naučíme kompromisy medzi spravovaným API a self-hostingom, keď to dáva zmysel, a celkovými nákladmi na vlastníctvo (TCO).
pojmov
- Managed API: Beží na infraštruktúre poskytovateľa modelu; Pošlete žiadosť a dostanete odpoveď. Prevádzková réžia je minimálna, ale dáta idú poskytovateľovi.
- Model s otvorenou hmotnosťou: Parametre modelu (hmotnosti) je možné stiahnuť; Môžete ho spustiť na vlastnom hardvéri. Nie je to nevyhnutne to isté ako „open source“ (licencia sa môže líšiť).
- VPC hosting (Virtual Private Cloud): Spustenie modelu vo vašej vlastnej izolovanej cloudovej sieti; Údaje zostávajú na hranici vašej siete, ale infraštruktúra je stále v cloude.
- On-prem (on-premises): Spustenie modelu výlučne na hardvéri vo vašom vlastnom dátovom centre; najvyššie ovládanie, najvyššie prevádzkové zaťaženie.
Pozor: „Vlastný hosting je vždy bezpečnejší“ je mylná predstava. Bezpečnosť závisí menej od toho, kde údaje uchovávate, a viac od toho, ako dobre ich spravujete. Neopravený, zle nakonfigurovaný on-prem server je riskantnejší ako vyspelé spravované API.
Rozhodovacia os: Ktorá kedy?
Pri rozhodovaní vedú tri otázky:
- Suverenita údajov: Zakazuje zákon alebo zmluva, aby údaje opustili inštitúciu/krajinu? Ak áno, budete tlačení smerom k VPC/on-prem.
- Objem a náklady: Je použitie veľmi vysoké a predvídateľné? Veľmi vysoké objemy vlastného hosťovania môžu znížiť jednotkové náklady; API spravované pri nízkom/nestálom objeme je takmer vždy lacné.
- Prevádzková kapacita: Máte tím na údržbu infraštruktúry GPU, aktualizáciu modelov, škálovanie a opravy zabezpečenia? V opačnom prípade je váš vlastný hosting skryté náklady.
Tabuľka kompromisov
Veľkosť
Managed API
VPC
On-Prem (otvorená hmotnosť)
Dátová suverenita
Dôverujte poskytovateľovi
Vysoká (pri vašom limite siete)
Najvyšší (nikdy nestúpa)
Prevádzkové zaťaženie
príliš nízka
stredná
vysoká
Počiatočné náklady
Nízka (platba priebežne)
stredná
Vysoká (hardvér)
škálovanie
automatické
Spravované
svoju zodpovednosť
Kvalita modelu/mena
najnovšie, automatické
Závisí
Aktualizujete
ovládanie
nízka
vysoká
plný
Krok za krokom: Rozhodnutie o hosťovaní
- Určite dátovú triedu. Na akej úrovni dôvernosti budú údaje spracovávané?
- Overte si právne obmedzenie. Môžu sa dáta dostať von? (KVKK, sektorové nariadenie, zmluva.)
- Odhadnite objem. Mesačný objem požiadavky/tokenu a krivka rastu.
- Vypočítajte TCO. Nielen GPU; energia, údržba, tím, bezpečnosť, nadbytočnosť.
- Myslite na hybrid. Hybridný model, ktorý spracováva citlivé údaje v on-prem/VPC a necitlivé údaje v riadenom API, je často najstabilnejší.
Štyri kopírovateľné šablóny
Výzva na rozhodnutie o hosťovaní:
Rozhodnite sa o hosťovaní pre nasledujúce použitie: {{ scenár }}Otázky:- Aká je trieda ochrany osobných údajov údajov, ktoré sa majú spracovať? (verejné/interné/dôverné/prísne tajné)- Dovoľuje zákon/zmluva, aby sa údaje dostali mimo organizácie?- Mesačná predpoveď objemu a predvídateľnosť?- Existuje prevádzková/GPU tímová kapacita? Odporúčanie: "Managed API / VPC / On-prem / Hybrid" + odôvodnenie.
Zoznam položiek TCO (pre self-hosting):
Vypočítajte celkové náklady na vlastníctvo podľa: - nákupu/prenájmu hardvéru (GPU) - energie a chladenia - človeka: MLOps + času bezpečnostného tímu - pracovnej sily na aktualizáciu a testovanie modelu - redundancie/obnovy po havárii - opravy a monitorovania zabezpečenia Porovnajte to s mesačným účtom za spravované rozhranie API v horizonte 12 až 24 mesiacov.
Pravidlo hybridného smerovania:
Smerujte každú požiadavku na základe dátovej triedy:- "tajné / prísne tajné" údaje -> model on-prem/VPC- "verejné / interné" údaje -> spravované API (výkonnejšie/lacnejšie) Zapíšte rozhodnutie o preposielaní a triedu údajov do protokolu auditu.
Otvoriť výzvu na bezpečnostnú kontrolu hmotnosti:
Vyhodnoťte náš model s vlastným hosťovaním:- Umožňuje licencia komerčné použitie a v našom scenári?- Váhy modelov z dôveryhodného zdroja, integrita (hash) overená?- Sú nainštalované opravy servera, izolácia siete, riadenie prístupu?- Sú monitorovanie a protokolovanie také vyspelé ako spravované rozhranie API? Označte všetky chýbajúce položky ako „ZAPNUTÉ“.
Slabá výzva / silná výzva
zlý prístup
Silný prístup
"On-prem je bezpečnejší, vždy ho používajte"
Rozhodnutie na základe dátovej suverenity + objem + kapacita
Stačí sa pozrieť na cenu GPU
Úplné TCO (energia, posádka, aktualizácie, bezpečnosť)
Byť uzamknutý v jednom modeli hostingu
Hybridné: smerovanie podľa dátovej triedy
Beží bez zníženia otvorenej hmotnosti a jej overenia
Licencia + integrita + záplata + kontrola sledovania
Tri mini puzdrá
Prípad 1 – Mandát on-prem bol správnym rozhodnutím. Dodávateľ obrany mal spracovať prísne tajné dokumenty; Zmluva zakazovala vynášať údaje z krajiny. Managed API bolo od začiatku odstránené. Bol vytvorený on-prem model otvorenej hmotnosti; Cena bola vysoká, ale bola to jediná kompatibilná možnosť.
Prípad 2 – Dôverné rozhodnutie o zmene TCO. Startup plánoval prejsť na self-hosting, pretože „rozhranie API je drahé“. Do výpočtu TCO nezahŕňate len GPU; Pridajte 2 inžinierov MLOps na plný úväzok, zaťaženie aktualizácií a redundanciu a celkový počet 24 mesiacov je dvojnásobný oproti spravovanému API. Zostali v API, pretože ich objemy boli nízke a sporadické.
Prípad 3 – Hybrid dal to najlepšie. Asistent call centra banky spracovával dva typy údajov: všeobecné otázky o produktoch a údaje o účte špecifické pre zákazníka. Údaje o účte sú smerované do modelu v rámci VPC, všeobecné otázky smerujú na výkonné spravované API. Citlivé údaje sa nikdy nedostali von, na všeobecné otázky bola použitá kvalita najsilnejšieho modelu; náklady a prispôsobenie sú spolu optimalizované.
Tip: Rozhodnutie nemusí byť binárne (všetko alebo nič). Hybridná architektúra – smerovanie údajov podľa tried – súčasne rieši súlad a náklady vo väčšine podnikových scenárov.
Časté chyby
- Predpokladajme, že „vlastný hosting je automaticky bezpečnejší“; keďže bezpečnosť závisí od kvality riadenia.
- Mysliac si, že TCO sú len náklady na GPU; tím, energiu, aktualizáciu a zabúdanie na bezpečnosť.
- Prechod na self-hosting pri nízkom/nepravidelnom objeme a zvýšenie jednotkových nákladov.
- Použitie modelu otvorenej váhy bez overenia licencie a integrity (hash).
- Neinštaluje monitorovanie/protokolovanie tak vyspelé ako spravované API na lokálnom serveri.
- Urobte binárne rozhodnutie bez toho, aby ste vôbec zvážili hybridnú možnosť.
V súhrne
- Managed API je prevádzkovo najjednoduchšie, ale dáta idú poskytovateľovi; VPC/on-prem uchováva údaje na hraniciach.
- Rozhodnutie riadia tri otázky: suverenita údajov, predvídateľnosť objemu/nákladov a prevádzková kapacita.
- „Samohosting je bezpečnejší“ je mylná predstava; Bezpečnosť nezávisí od toho, kde údaje uchovávate, ale od toho, ako dobre ich spravujete.
- Vypočítajte presné TCO: energia, tím, aktualizácia, redundancia a bezpečnosť, ako aj GPU.
- Hybridná architektúra (smerovanie údajov podľa tried) súčasne vyvažuje súlad a náklady vo väčšine podnikových scenárov.
Aplikačná úloha
Vyberte použitie AI a oddeľte údaje, ktoré sa majú spracovať, do triedy ochrany osobných údajov. Vytvorte odporúčanie s výzvou na rozhodnutie o hosťovaní. Potom vyplňte zoznam položiek TCO pre svoj vlastný hosting a porovnajte celkovú sumu za 24 mesiacov so spravovaným účtom API. Nakoniec napíšte návrh pravidla hybridného smerovania: aké údaje kam idú?
kontrolný zoznam
- [ ] Určil som triedu dôvernosti a zákonné obmedzenie údajov, ktoré sa majú spracúvať.
- [ ] Rozhodol som sa o hosťovaní na základe suverenity + objemu + kapacity.
- [ ] Počítal som TCO s úplnými položkami (vrátane iných ako GPU).
- [ ] Skontroloval som licenciu, integritu, opravy a monitorovanie na samohostingu.
- [ ] Zvažoval som možnosť hybridného smerovania.
- [ ] Zdokumentoval som rozhodnutie a jeho odôvodnenie.