Печалби:
- Възможност за оценка на компромисите между управляван API, VPC и локален хостинг
- Възможност за вземане на решение за хостинг въз основа на суверенитет на данните, обем и оперативен капацитет
- Възможност за изчисляване на общата цена на притежание (TCO) с пълни елементи и проектиране на хибридна архитектура
За някои организации „изпращането на данни до доставчик“ – независимо колко сигурно е – не е приемливо. В отбранителната промишленост, публичните, банковите и някои здравни сценарии данните никога не трябва да излизат извън границите на институцията. В този момент хостването на вашия собствен модел излиза на преден план: отворени модели, работещи във вашата собствена облачна мрежа (VPC) или на вашите собствени сървъри (on-prem). В този раздел ще научим компромисите между управлявания API и самостоятелното хостване, когато има смисъл, и общата цена на притежание (TCO).
концепции
- Управляван API: Работи върху инфраструктурата на доставчика на модела; Изпращате заявка и получавате отговор. Оперативните разходи са минимални, но данните отиват при доставчика.
- Модел с отворено тегло: Параметрите на модела (тегла) могат да бъдат изтеглени; Можете да го стартирате на собствения си хардуер. Не е непременно същото като "отворен код" (лицензът може да е различен).
- VPC хостинг (Виртуален частен облак): Изпълнение на модела във вашата собствена изолирана облачна мрежа; Данните остават на границата на вашата мрежа, но инфраструктурата все още е в облака.
- On-prem (локално): Изпълнение на модела изцяло на хардуера във вашия собствен център за данни; най-висок контрол, най-високо работно натоварване.
Внимание: „Собственият хостинг винаги е по-безопасен“ е погрешно схващане. Сигурността зависи по-малко от това къде съхранявате данните и повече от това колко добре ги управлявате. Един непоправен, лошо конфигуриран on-prem сървър е по-рисков от зрял управляван API.
Оста на вземане на решения: кое кога?
Три въпроса ръководят решението:
- Суверенитет на данните: Законът или договорът забраняват ли данните да напускат институцията/държавата? Ако да, ще бъдете насочени към VPC/on-prem.
- Обем и цена: Използването много високо и предсказуемо ли е? Много големи обеми на самостоятелно хостване могат да намалят единичните разходи; API, управляван при нисък/непостоянен обем, е почти винаги евтин.
- Оперативен капацитет: Имате ли екип за поддръжка на GPU инфраструктура, актуализиране на модели, мащабиране и корекция на сигурността? В противен случай вашият собствен хостинг е скрита цена.
Таблица за компромиси
Размер
Управляван API
VPC
Предварително (открито тегло)
Суверенитет на данните
Доверете се на доставчика
Високо (при лимита на вашата мрежа)
Най-високият (никога не се издига)
Оперативно натоварване
твърде ниско
среден
високо
Първоначална цена
Ниско (плащане в момента)
среден
Висок (хардуер)
мащабиране
автоматичен
Управляван
ваша отговорност
Качество на модела/валута
най-нова, автоматична
Зависи
Вие актуализирате
контрол
ниско
високо
пълен
Стъпка по стъпка: Решение за хостинг
- Определете класа на данните. На какво ниво на поверителност ще се обработват данните?
- Проверете правното ограничение. Могат ли данните да излязат? (KVKK, секторна наредба, договор.)
- Преценете обема. Месечен обем на заявка/токен и крива на растеж.
- Изчислете TCO. Не само GPU; енергия, поддръжка, екип, сигурност, резервиране.
- Мислете за хибрид. Хибриден модел, който обработва чувствителни данни в on-prem/VPC и нечувствителни данни в управлявания API, често е най-стабилен.
Четири копируеми шаблона
Подкана за решение за хостване:
Решете хостинг за следната употреба: {{ сценарий }}Въпроси: - Какъв е класът на поверителност на данните, които ще се обработват? (обществено/вътрешно/поверително/строго секретно)- Законът/договорът позволява ли данни да излизат извън организацията?- Прогноза за месечен обем и предсказуемост?- Има ли капацитет на операции/GPU екип? Препоръка: „Управляван API / VPC / On-prem / Hybrid“ + обосновка.
Списък с артикули TCO (за самостоятелно хостване):
Изчислете общата цена на притежание по:- Покупка/лизинг на хардуер (GPU)- Енергия и охлаждане- Човек: MLOps + време на екипа за сигурност- Актуализация на модела и работна сила за тестване- Резервиране/възстановяване след бедствие- Корекция на сигурността и мониторинг Сравнете това с месечната сметка за управлявания API за период от 12-24 месеца.
Правило за хибридно маршрутизиране:
Маршрутизирайте всяка заявка въз основа на клас данни:- "секретни / строго секретни" данни -> on-prem/VPC модел- "публични / вътрешни" данни -> управляван API (по-мощен/по-евтин) Запишете решението за препращане и класа на данните в одитния журнал.
Отворете подкана за проверка на сигурността на теглото:
Оценете нашия самостоятелно хостван модел:- Лицензът позволява ли комерсиална употреба и в нашия сценарий?- Тегла на модела от надежден източник, проверена целостта (хеш)?- Инсталирани ли са корекции на сървъра, изолация на мрежата, контрол на достъпа?- Мониторингът и регистрирането толкова зрели ли са, колкото управлявания API? Маркирайте всички липсващи елементи като „ВКЛЮЧЕНИ“.
Слаба подкана / Силна подкана
лош подход
Силен подход
„Премиум е по-безопасен, винаги го използвайте“
Решение, базирано на суверенитет на данните + обем + капацитет
Просто гледам цената на GPU
Пълен TCO (енергия, екипаж, актуализации, сигурност)
Да бъдеш заключен в един хостинг модел
Хибридно: маршрутизиране по клас данни
Тичане без намаляване на отвореното тегло и проверката му
Лиценз + цялост + корекция + контрол на проследяването
Три мини калъфа
Случай 1 — Мандатът на предварителна заявка беше правилното решение. Изпълнител на отбраната трябваше да обработва строго секретни документи; Договорът забранява изнасянето на данни извън страната. Управляваният API беше елиминиран от самото начало. Установен е on-prem моделът за отворено тегло; Цената беше висока, но това беше единствената съвместима опция.
Случай 2 — Поверително отменено решение за TCO. Стартъп планира да премине към самостоятелен хостинг, защото „API е скъп“. В изчислението на TCO вие включвате не само GPU; Добавете 2 MLOps инженера на пълен работен ден, натоварване на актуализациите и съкращения и общата сума за 24 месеца е двойно по-голяма от тази на управлявания API. Те останаха в АПИ, защото обемите им бяха ниски и спорадични.
Случай 3 — Хибридът даде най-доброто. Асистентът в кол център на банка обработваше два типа данни: общи въпроси за продукта и данни за сметката на клиента. Данните за акаунта се насочват към модела в рамките на VPC, общите въпроси се насочват към мощния управляван API. Чувствителните данни никога не излизаха, качеството на най-силния модел беше използвано за общи въпроси; цената и годността са оптимизирани заедно.
Съвет: Решението не трябва да е двоично (всичко или нищо). Хибридна архитектура — маршрутизиране на данни по клас — едновременно разрешава съответствието и разходите в повечето корпоративни сценарии.
Често срещани грешки
- Да приемем, че „собственият хостинг автоматично е по-безопасен“; докато сигурността зависи от качеството на управление.
- Мислейки, че TCO е само GPU цена; екип, енергия, актуализиране и забравяне за сигурността.
- Преминаване към самостоятелно хостване при нисък/нередовен обем и увеличаване на единичната цена.
- Използване на модела с отворено тегло без проверка на лиценз и интегритет (хеш).
- Неинсталиране на наблюдение/регистриране като зряло като управлявания API на локалния сървър.
- Вземане на двоично решение, без изобщо да се обмисля хибридната опция.
В обобщение
- Управляваният API е най-лесният оперативен, но данните отиват при доставчика; VPC/on-prem съхранява данни на вашата граница.
- Три въпроса ръководят решението: суверенитет на данните, предвидимост на обема/разходите и оперативен капацитет.
- „Самостоятелното хостване е по-сигурно“ е погрешно схващане; Сигурността зависи не от това къде съхранявате данните, а от това колко добре ги управлявате.
- Изчислете точно TCO: енергия, екип, актуализация, резервиране и сигурност, както и GPU.
- Хибридната архитектура (маршрутизиране на данни по клас) едновременно балансира съответствието и разходите в повечето корпоративни сценарии.
Задача за приложение
Изберете използване на AI и отделете данните, които ще се обработват, в клас на поверителност. Генерирайте препоръка с подканата за решение за хостинг. След това попълнете списъка с артикули TCO за вашия собствен хостинг и сравнете общата сума за 24 месеца със сметката за управлявания API. И накрая, напишете проект на правило за хибридно маршрутизиране: какви данни къде отиват?
контролен списък
- [ ] Определих класа на поверителност и правното ограничение на данните, които ще бъдат обработвани.
- [ ] Взех решението за хостинг въз основа на суверенитет + обем + капацитет.
- [ ] Изчислих TCO с пълни елементи (включително без GPU).
- [ ] Проверих лиценза, целостта, корекциите и мониторинга при самостоятелно хостване.
- [ ] Обмислих опцията за хибридно маршрутизиране.
- [ ] Документирах решението и мотивите му.