Прибуток:
- Конкретне розуміння концепції «ваги» моделі та неявного/явного розрізнення
- Подивіться різницю між openweight і open source і їхні підводні камені ліцензування
- Можливість вибору закритого, відкритого або змішаного підходу з обґрунтуванням залежно від ситуації в бізнесі
При знайомстві з провайдерами в попередньому блоці в таблиці була колонка «тип ваги»: закритий, відкритий, змішаний. Ця єдина колонка фактично приховує одне з найбільш стратегічних рішень у вашому виборі моделі. Чи будете ви працювати із закритою або відкритою ваговою моделлю; Він безпосередньо визначає, де будуть оброблятися ваші дані, як будуть формуватися ваші щомісячні витрати, потреби вашої технічної команди та ваші юридичні обов’язки. Коли цей розділ буде завершено, ви матимете конкретне розуміння поняття «вага», побачите тонку, але критичну різницю між відкритою вагою та відкритим кодом, і зможете обґрунтувати правильний підхід для вашої власної ситуації.
Що таке «вага»?
Модель штучного інтелекту навчається з величезним фрагментом тексту, повільно коригуючи мільярди числових значень (параметрів) у ньому. Усі ці числа називаються вагами моделі. Ваги – це місце, де модель зберігає «все, чого вона навчилася»; Ви можете порівняти це з потужністю синапсів у мозку людини. Граматика моделі, знання світу та шаблони міркувань закодовані в цих числах.
«Запуск» моделі означає завантаження цих ваг у комп’ютер і виконання тексту, який ви вводите над ними. Важливе питання: хто має доступ до цих файлів ваги?
- Закрита вага: ваги зберігаються лише на серверах постачальника. Ви не можете отримати до них прямий доступ; Ви використовуєте його в Інтернеті через інтерфейс (API) у спосіб "надішліть текст, отримайте відповідь". Anthropic Claude, OpenAI GPT, Google Gemini такі. (API — це інтерфейс, який дозволяє програмному забезпеченню надсилати запит іншому програмному забезпеченню через стандартний порт і отримувати відповідь.)
- Відкрита вага: файли ваги можна завантажити. Якщо ви хочете, ви можете встановити та запустити його на своєму сервері. Деякі моделі Meta Llama, DeepSeek, Mistral такі.
Порада: розглядайте закриту вагу як «орендовану квартиру», а відкриту вагу як «куплений будинок». В орендованій квартирі легко переїхати, утримання не є вашим обов’язком, але господар встановлює правила. Усе в придбаному будинку є вашим, але ремонт, охорона та рахунки також є вашою відповідальністю.
Відкрита вага – це не те саме, що відкрите джерело
Тут є дуже поширена концептуальна помилка. «Відкритий» і «відкритий код» часто використовуються як синоніми, але це не одне й те саме.
- Відкрите зважування означає спільний доступ лише до вивчених параметрів моделі. Зазвичай не пояснюється, як навчається модель і якими даними вона живиться.
- Повністю відкритий вихідний код ідеально означає, що і ваги, і тренувальні дані, і тренувальний код є спільними та можуть вільно використовуватися.
Також є питання ліцензування. Навіть якщо ваги моделі можна завантажити, її ліцензія може обмежувати комерційне використання, встановлювати додаткові вимоги за межі певної кількості користувачів або забороняти розробку конкуруючого продукту. Отже, «я можу завантажити це» і «я можу використовувати його, як хочу» — це різні речі.
Застереження: перш ніж використовувати відкриту модель у вашому бізнесі, обов’язково прочитайте її ліцензію. Нехай вас не вводить в оману слово «відкритий»; Деякі ліцензії вимагають окремих угод щодо певної кількості щомісячних активних користувачів, а деякі обмежують використання виходу для певних цілей. Це те, про що ви повинні запитати вашу юридичну команду.
Порівняння двох підходів
У таблиці нижче наведено два підходи до основних параметрів.
Розмір
Закрита вага
Відкрита вага
монтаж
Немає, готовий інтерфейс
Потрібен сервер і технічна команда
Де обробляються дані
На сервері провайдера
У середовищі під вашим контролем
Початкова вартість
Низький (оплата по ходу)
Високий (технічне забезпечення, монтаж)
Вартість у масштабі
збільшується з обсягом
Передбачувана з фіксованим обладнанням
Оновлення/обслуговування
у провайдера
ти теж
контроль конфіденційності
обмежений
повний
Доступ до найпотужнішої моделі
зазвичай тут
змінна
У цій таблиці немає однозначної відповіді на питання «що краще»; Кожен рядок є плюсом або мінусом залежно від вашого пріоритету. Якщо ви хочете, щоб початкова вартість була низькою, закрита вага; Якщо дані не повинні покидати компанію навіть на міліметр, на перший план виходить відкрита вага.
Три реалістичні випадки
Кейс 1 — стартап електронної комерції (закрите збільшення ваги). Команда електронної комерції з п’яти осіб хоче підготувати описи продуктів. У них немає технічних команд, вони не хочуть керувати серверами, щомісячний обсяг є змінним. Вони починають із закритої моделі, платячи за те, що використовують. У перший місяць вони обробляють 1,2 мільйона токенів і виплачують близько 15 доларів США; Із зростанням їхнього бізнесу пропорційно зростає й рахунок. Немає проблем із сервером, обслуговуванням чи оновленням. Правильний вибір для цього профілю очевидний.
Кейс 2 — Лікарня (дефіцит набирає вагу). Лікарня хоче узагальнювати та кодувати нотатки пацієнтів. Дані є дуже конфіденційними даними про здоров’я; ні в якому разі не повинен залишати заклад. Вони будують відкриту вагову модель у своїх центрах обробки даних. Вони роблять значні початкові інвестиції в налаштування та апаратне забезпечення (скажімо, сервер вартістю 40 000 доларів США та два тижні роботи з налаштування), але потім вони не платять додаткові жетони за пацієнта, і дані ніколи не надходять на зовнішній сервер. Великий обсяг і абсолютна конфіденційність виправдовують початкову вартість.
Випадок 3 — бухгалтерська фірма середнього розміру (перемагає гібридний підхід). Бухгалтерська фірма використовує закриту вагову модель із готового інтерфейсу для щоденної загальної кореспонденції та чернеток текстів; тому що це не варте зусиль щодо встановлення для цих робіт. Однак вони передають конфіденційний аналіз, що включає фінансові дані клієнта, у відкриту вагову модель, яка працює на їхніх власних серверах. Таким чином, вони виграють як від зручності, так і від конфіденційності одночасно. Ми повернемося до підходу «змішаного портфоліо» в розділі 9.
Слабка підказка/сильна підказка: запит на підтримку прийняття рішень
Слабка підказка:
Чи слід використовувати відкриту чи закриту вагу?
Потужна підказка:
Ваша роль: архітектор корпоративного штучного інтелекту. Моя ситуація: у нас бухгалтерська фірма з 12 осіб, у нас немає технічної команди, але є зовнішній ІТ-консультант. ~500 000 токенів на місяць. Деякі з даних є фінансовими даними клієнта (конфіденційними), деякі є загальним листуванням. Маємо дотримуватися КВКК. Завдання: порівняти відповідно закритий, відкритий і змішаний підходи. Для кожного: придатність (1-5), орієнтовний діапазон витрат за перший рік, примітка про конфіденційність, основний ризик. Нарешті, дайте одну пропозицію та підсумуйте причину в 3 пунктах.
Друга підказка дозволяє моделі створити рекомендацію, яка дійсно підходить для вашого бізнесу, оскільки вона дає всі межі, необхідні для прийняття рішення (команда, обсяг, тип даних, правова база).
Шаблони, які можна копіювати
1. Рішення типу ваги:
Моя робота: [ОПИС]. Технічна команда: [ТАК/НІ]. Місячний обсяг маркера: [NUM]. Чутливість даних: [НИЗЬКА/СЕРЕДНЯ/ВИСОКА]. Налаштування структури бюджету: [НИЗЬКИЙ ПОЧАТОК / ПЕРЕДБАЧЕНИЙ ФІКСОВАНИЙ]. Порівняйте закритий, відкритий і змішаний варіант відповідно до цього профілю та дайте одну рекомендацію.
2. Перевірка ліцензії:
Спростіть ліцензію для цієї відкритої моделі: [НАЗВА ЛІЦЕНЗІЇ/ТЕКСТ]. Дайте відповідь на ці запитання: чи дозволено комерційне використання? Чи існують обмеження щодо користувачів/доходу? Чи можу я перепродати вироблене? Які види використання він забороняє? Якщо незрозуміло, напишіть «запитати юриста».
3. Розподіл витрат:
Розподіліть загальну вартість володіння маловаговою моделлю: апаратне забезпечення, монтажні роботи, електроенергія/хостинг, обслуговування, оновлення. Зробіть приблизне порівняння за 3 роки з альтернативою закритої ваги. Мій місячний обсяг: [ЧИСЛО].
4. Перевірка ризиків конфіденційності:
Відстежуйте, звідки і куди йдуть дані, у такому робочому процесі: [ОПИС РОБОЧОГО ПРОЦЕСУ]. Якщо я використовую закриту вагу, у який момент дані виходять? Як цей ризик змінюється при відкритій вазі? Запропонуйте заходи пом'якшення для кожного ризику.
Поширені помилки
- Помилково вживаючи слово «відкритий» із «безкоштовним і необмеженим»: відкрита вага не гарантує безкоштовного чи необмеженого комерційного використання; ліцензія є вирішальною.
- Вважати відкриту вагу «легким»: запуск моделі відкритої ваги вимагає серверів, технічного персоналу та обслуговування; Недооцінка установки - поширена помилка.
- Взагалі не враховуючи закриті дані ваги: у закритій моделі дані надходять до постачальника; Ризиковано починати, не розібравши заздалегідь, які дані можна відправити.
- Просто дивлячись на початкову вартість: хоча відкрита вага спочатку може здатися дорогою, у довгостроковій перспективі вона може бути дешевшою за дуже великого обсягу. Подивіться на загальну вартість за три роки.
- Девіз «найсильніший шаблон завжди закритий»: Хоча це вірно в більшості випадків, це не є абсолютним; відкритих моделей може бути більш ніж достатньо для певних завдань.
Підсумовуючи
- Ваги моделі — це мільярди параметрів, які зберігають інформацію, отриману моделлю; Розрізнення "вимкнено/увімкнено" стосується доступу до цих параметрів.
- Закрита маса: готовий інтерфейс, низький старт, на дата-провайдері. Очевидна вага: ваш власний сервер, повний контроль, великі витрати на запуск і обслуговування.
- Відкрита вага – це не те саме, що відкрите джерело; Умови ліцензії можуть обмежувати комерційне використання.
- Правильний вибір; Залежить від команди, обсягу, конфіденційності даних і структури бюджету. Гібридний підхід має сенс для більшості підприємств середнього розміру.
Аплікаційне завдання
Візьміть профіль потреб, який ви створили в попередньому розділі. Надайте його моделі штучного інтелекту за допомогою шаблону 1 (рішення щодо типу ваги) у цьому блоці. Оцініть отриману рекомендацію самостійно, зіставляючи її один за одним із семи вимірами в таблиці (встановлення, розташування даних, вартість запуску, вартість масштабування, обслуговування, конфіденційність, доступ до потужної моделі). Якщо ваша оцінка відрізняється від рекомендації моделі, зазначте одним реченням, де ви відрізняєтеся.
контрольний список
- [ ] Я можу пояснити поняття «вага» своїми словами.
- [ ] Я можу порівняти переваги/недоліки закритої та відкритої ваги в семи вимірах.
- [ ] Я знаю різницю між openweight і open source і ризик ліцензування.
- [ ] Я можу обґрунтувати вибір закритого/відкритого/гібридного для власного бізнесу.
- [ ] Я можу відстежувати, куди йдуть дані в робочому процесі, і показувати точку ризику.