Добивки:
- Способност да се проценат компромисите помеѓу управуваните API, VPC и он-прем хостинг
- Способност да се одлучи за хостирање врз основа на суверенитет на податоците, обемот и оперативниот капацитет
- Способност да се пресметаат вкупните трошоци на сопственост (TCO) со целосни ставки и дизајн на хибридна архитектура
За некои организации, „испраќањето податоци до провајдер“ - без разлика колку е безбедно - не е прифатливо. Во одбранбената индустрија, јавноста, банкарството и некои здравствени сценарија, податоците никогаш не треба да одат подалеку од границата на институцијата. Во овој момент, хостирањето на вашиот сопствен модел доаѓа до израз: модели со отворена тежина, кои работат во вашата сопствена облак мрежа (VPC) или на вашите сопствени сервери (on-prem). Во оваа единица ќе ги научиме компромисите помеѓу управуваното API и само-хостинг, кога има смисла, и вкупните трошоци за сопственост (TCO).
концепти
- Управувано API: Работи на инфраструктурата на давателот на моделот; Испраќате барање и добивате одговор. Оперативните трошоци се минимални, но податоците одат кај давателот.
- Модел со отворена тежина: Параметрите на моделот (тежини) може да се преземат; Можете да го стартувате на свој хардвер. Не мора да е исто како „отворен код“ (лиценцата може да биде различна).
- VPC хостинг (Виртуелен приватен облак): Водење на моделот во вашата изолирана мрежа на облак; Податоците остануваат на границата на вашата мрежа, но инфраструктурата сè уште е во облакот.
- On-prem (on-premises): Вклучување на моделот целосно на хардвер во вашиот сопствен центар за податоци; највисока контрола, најголем оперативен товар.
Внимание: „Сопствениот хостинг е секогаш побезбеден“ е заблуда. Безбедноста помалку зависи од тоа каде ги чувате податоците и повеќе од тоа колку добро управувате со нив. Незакрпениот, лошо конфигуриран on-prem сервер е поризичен од зрел управуван API.
Оска на одлука: која кога?
Три прашања ја водат одлуката:
- Суверенитет на податоците: Дали законот или договорот забрануваат податоците да ја напуштат институцијата/земјата? Ако одговорот е да, ќе бидете туркани кон VPC/on-prem.
- Волумен и цена: Дали употребата е многу висока и предвидлива? Многу големи количини на само-хостинг може да ги намалат единечните трошоци; API управуван со низок/непредвидлив волумен е скоро секогаш евтин.
- Оперативен капацитет: Дали имате тим за одржување на инфраструктурата на графичкиот процесор, ажурирање на модели, скалирање и безбедносно поправање? Во спротивно, вашиот сопствен хостинг е скриен трошок.
Табела за тргување
Големина
Управувано API
VPC
On-Prem (отворена тежина)
Суверенитет на податоците
Верувајте му на давателот
Високо (на вашата мрежна граница)
Највисоко (никогаш не се крева)
Оперативно оптоварување
премногу ниско
средно
високо
Почетна цена
Ниско (плаќајте додека одите)
средно
Високо (хардвер)
скалирање
автоматски
Управувано
ваша одговорност
Квалитет/валута на моделот
најнов, автоматски
Зависи
Ажурирате
контрола
низок
високо
полн
Чекор по чекор: Одлука за хостирање
- Определете ја класата на податоци. На кое ниво на доверливост ќе се обработуваат податоците?
- Потврдете ги законските ограничувања. Може ли податоците да излезат? (КВКК, секторска регулатива, договор.)
- Проценете ја јачината на звукот. Месечно барање/токен волумен и крива на раст.
- Пресметајте TCO. Не само графичкиот процесор; енергија, одржување, тим, безбедност, вишок.
- Размислете за хибрид. Хибриден модел кој обработува чувствителни податоци во on-prem/VPC и нечувствителни податоци во управуваниот API често е најстабилен.
Четири шаблони за копирање
Прашање за одлука за хостирање:
Одлучете за хостирање за следната употреба: {{ сценарио }}Прашања: - Која е класата на приватност на податоците што треба да се обработат? (јавно/внатрешно/доверливо/строго доверливо)- Дали законот/договорот дозволува податоците да излезат надвор од организацијата?- Месечна прогноза на обемот и предвидливост?- Дали има капацитет за операции/ГПУ тим? Препорака: „Управувано API / VPC / On-prem / Hybrid“ + оправдување.
Список на ставки TCO (за само-хостинг):
Пресметајте ги вкупните трошоци на сопственост според: - купување/наем на хардвер (GPU) - Енергија и ладење - Човечки: MLOps + време на безбедносниот тим - Ажурирање на моделот и тестирање на работна сила - Вишок/обновување од катастрофи - Безбедносно поправање и следење Споредете го ова со месечната сметка за управуваниот API во период од 12-24 месеци.
Правило за хибридно рутирање:
Пренасочете го секое барање врз основа на класата на податоци:- „тајни / строго доверливи“ податоци -> модел на prem/VPC- „јавни / внатрешни“ податоци -> управуван API (помоќен/поевтин) Напишете ја одлуката за проследување и класата на податоци во дневникот за ревизија.
Отворете го известувањето за безбедносна проверка на тежината:
Оценете го нашиот самодомаќин модел:- Дали лиценцата дозволува комерцијална употреба и во нашето сценарио?- Тежините на моделот од доверлив извор, потврден интегритет (хаш)?- Дали се инсталирани закрпи на серверот, мрежна изолација, контрола на пристап?- Дали следењето и евиденцијата се толку зрели како управуваниот API? Обележете ги ставките што недостасуваат како „ВКЛУЧЕНИ“.
Слаба навестување / Силен навестување
лош пристап
Силен пристап
„On-prem е побезбедно, секогаш користете го“
Одлука заснована на суверенитет на податоци + волумен + капацитет
Само гледајќи ја цената на графичкиот процесор
Целосна TCO (енергија, екипаж, ажурирања, безбедност)
Да се биде заклучен во единствен модел на хостинг
Хибрид: рутирање по податочна класа
Трчање без да се намали отворената тежина и да се потврди
Лиценца + интегритет + лепенка + контрола на трага
Три мини футроли
Случај 1 - Мандатот на претприемач беше вистинската одлука. Одбранбен изведувач требаше да обработува високо класифицирани документи; Договорот забранува изнесување податоци надвор од земјата. Управуваното API беше елиминирано од самиот почеток. Воспоставен е моделот на отворена тежина on-prem; Цената беше висока, но тоа беше единствената компатибилна опција.
Случај 2 - Доверлива TCO ја смени одлуката. Стартап планираше да се префрли на само-хостинг бидејќи „АПИ-то е скапо“. Во пресметката на TCO, вие го вклучувате не само графичкиот процесор; Додадете 2 инженери MLOps со полно работно време, оптоварување на ажурирања и вишок, а вкупниот број од 24 месеци е двојно поголем од управуваниот API. Тие останаа во API бидејќи нивниот волумен беше низок и спорадичен.
Случај 3 - Хибрид го даде најдоброто. Асистентот во центарот за повици на една банка обработуваше два вида податоци: општи прашања за производот и податоци за сметката специфични за клиентите. Податоците за сметката се насочени кон моделот во рамките на VPC, општите прашања се насочени кон моќното управувано API. Чувствителните податоци никогаш не излегоа, квалитетот на најсилниот модел се користеше за општи прашања; цената и одговарањето се оптимизирани заедно.
Совет: Одлуката не мора да биде бинарна (се или ништо). Хибридната архитектура - рутирање на податоци по класа - истовремено ги решава усогласеноста и трошоците во повеќето сценарија на претпријатијата.
Вообичаени грешки
- Да претпоставиме дека „сопствениот хостинг е автоматски побезбеден“; при што безбедноста зависи од квалитетот на управувањето.
- Мислејќи дека TCO е само цена на графичкиот процесор; тим, енергија, ажурирање и заборавање на безбедноста.
- Префрлување на само-хостинг со низок/неправилен волумен и зголемување на цената на единицата.
- Користење на моделот со отворена тежина без проверка на лиценцата и интегритетот (хаш).
- Не се инсталира мониторинг/логирање толку зрело како управуваното API на on-prem серверот.
- Донесување бинарна одлука без воопшто да се земе предвид хибридната опција.
Сумирано
- Управуваното API е оперативно најлесно, но податоците одат кај давателот; VPC/on-prem ги чува податоците на вашата граница.
- Три прашања ја носат одлуката: суверенитет на податоците, предвидливост на обемот/трошокот и оперативниот капацитет.
- „Само-хостингот е посигурен“ е заблуда; Безбедноста не зависи од тоа каде ги чувате податоците, туку од тоа колку добро управувате со нив.
- Пресметајте го точниот TCO: енергија, тим, ажурирање, вишок и безбедност, како и графички процесор.
- Хибридната архитектура (рутирање на податоци по класа) истовремено ги балансира усогласеноста и трошоците во повеќето сценарија на претпријатијата.
Задача за апликација
Изберете употреба на вештачка интелигенција и одделете ги податоците што ќе се обработат во класа за приватност. Генерирајте препорака со барањето за одлука за хостирање. Потоа пополнете го списокот со ставки TCO за вашиот сопствен хостинг и споредете го вкупниот број од 24 месеци со управуваната сметка за API. Конечно, напишете нацрт правило за хибридно рутирање: кои податоци одат каде?
листа за проверка
- [ ] Одредив класа на доверливост и законско ограничување на податоците што треба да се обработуваат.
- [ ] Ја донесов одлуката за хостирање врз основа на суверенитет + волумен + капацитет.
- [ ] Го пресметав TCO со целосни ставки (вклучувајќи не-GPU).
- [ ] Проверив лиценца, интегритет, крпење и следење на само-хостинг.
- [ ] Ја разгледав опцијата за хибридно рутирање.
- [ ] Ја документирав одлуката и нејзиното образложение.