Печалби:
- Конкретно разбиране на понятието „тегло“ на модела и имплицитно/явно разграничение
- Вижте разликата между openweight и open source и техните клопки при лицензирането
- Възможност за избор на затворен, отворен или смесен подход с обосновка в зависимост от ситуацията на бизнеса
Докато се запознавах с доставчиците в предишната част, в таблицата имаше колона, наречена "тип тегло": затворен, отворен, смесен. Тази единствена колона всъщност крие едно от най-стратегическите решения при избора на модел. Дали ще работите със затворен или отворен модел тежести; Той директно определя къде ще се обработват вашите данни, как ще се оформят месечните ви разходи, нуждите на вашия технически екип и правните ви отговорности. Докато тази част бъде завършена, вие ще имате конкретно разбиране на понятието „тегло“, ще видите фината, но критична разлика между отвореното тегло и отворения код и ще можете да обосновете правилния подход за вашата собствена ситуация.
Какво точно е "тегло"?
AI модел се обучава с огромно парче текст, докато бавно се коригират милиардите числени стойности (параметри) в него. Всички тези числа се наричат тегла на модела. Теглата са мястото, където моделът съхранява „всичко, което е научил“; Можете да го сравните със силата на синапсите в мозъка на човек. Граматиката на модела, познанието за света и моделите на разсъждение са кодирани в тези числа.
„Стартиране“ на модел означава зареждане на тези тегла в компютър и изпълнение на текста, който въвеждате върху тях. Критичният въпрос е: Кой има достъп до тези файлове с тегло?
- Затворено тегло: Теглата се намират само на сървърите на доставчика. Нямате директен достъп до тях; Използвате го през интернет чрез интерфейс (API) по начин „изпратете текст, получете отговор“. Anthropic Claude, OpenAI GPT, Google Gemini са така. (API е интерфейс, който позволява на софтуера да изпрати заявка до друг софтуер през стандартен порт и да получи отговор.)
- Открито тегло: Могат да се изтеглят файлове с тегло. Ако искате, можете да го инсталирате и стартирате на вашия собствен сървър. Някои модели на Meta Llama, DeepSeek, Mistral са така.
Съвет: Мислете за затвореното тегло като „нает апартамент“, а отвореното тегло като „купена къща“. Лесно е да се движите в апартамент под наем, поддръжката не е ваша отговорност, но наемодателят определя правилата. Всичко в закупения дом е ваше, но ремонтите, охраната и сметките също са ваша отговорност.
Отвореното тегло не е същото като отворения код
Тук има много често срещана концептуална грешка. „Отворено тегло“ и „отворен код“ често се използват взаимозаменяемо, но не са едно и също нещо.
- Отвореното претегляне означава споделяне само на научените параметри на модела. Обикновено не се обяснява как се обучава моделът и с какви данни се захранва.
- Напълно отвореният код в идеалния случай означава, че както тежестите, данните за обучението, така и кодът за обучение се споделят и могат да се използват свободно.
Съществува и въпросът с лицензирането. Дори ако теглата на даден модел могат да се изтеглят, неговият лиценз може да ограничи търговската употреба, да наложи допълнителни изисквания извън определен брой потребители или да забрани разработването на конкурентни продукти. Така че „мога да го изтегля“ и „мога да го използвам както пожелая“ са различни неща.
Внимание: Преди да поставите модел с отворено тегло във вашия бизнес, не забравяйте да прочетете неговия лиценз. Не се заблуждавайте от думата „отворен“; Някои лицензи изискват отделни споразумения над определен брой месечни активни потребители, а някои ограничават използването на изхода за определени цели. Това е нещо, за което трябва да попитате своя правен екип.
Сравнение на два подхода
Таблицата по-долу поставя двата подхода един до друг по ключови измерения.
Размер
Затворено тегло
Открито тегло
Монтаж
Няма, готов интерфейс
Необходим е сървър и технически екип
Къде се обработват данните
На сървъра на доставчика
В среда под ваш контрол
Първоначална цена
Ниско (плащане в момента)
Висок (хардуер, инсталация)
Разходи в мащаб
нараства с обема
Предвидим с фиксиран хардуер
Актуализация/поддръжка
при доставчика
ти също
контрол на поверителността
ограничен
пълен
Достъп до най-мощния модел
обикновено тук
Променлива
В тази таблица няма еднозначен отговор "кое е по-добро"; Всеки ред е плюс или минус в зависимост от вашия приоритет. Ако искате първоначалната цена да е ниска, затворено тегло; Ако данните не трябва да напускат компанията дори на милиметър, на преден план излиза отвореното тегло.
Три реалистични случая
Случай 1 — Стартиране на електронна търговия (затворено наддаване на тегло). Екип от пет души за електронна търговия иска да създаде описания на продуктите. Те нямат технически екипи, не искат да управляват сървъри, месечният обем е променлив. Те започват с модел със затворено тегло, като плащат за това, което използват. През първия месец те обработват 1,2 милиона жетона и изплащат около $15; С разрастването на бизнеса им пропорционално расте и сметката. Няма проблем със сървъра, поддръжката или актуализацията. Правилният избор за този профил е ясен.
Случай 2 — Болница (дефицитът наддава на тегло). Една болница иска да обобщи и кодира бележките на пациента. Данните са изключително чувствителни здравни данни; не трябва да напускат институцията при никакви обстоятелства. Те изграждат модел с отворено тегло в своите центрове за данни. Те правят сериозна първоначална инвестиция в настройка и хардуер (да речем сървър на стойност $40 000 и две седмици работа по настройка), но след това не плащат допълнителни символични такси на пациент и данните никога не отиват на външен сървър. Големият обем и абсолютната конфиденциалност оправдават първоначалните разходи.
Случай 3 — Средна счетоводна фирма (хибридният подход печели). Счетоводна къща използва затворен модел от готов интерфейс за ежедневна обща кореспонденция и чернови на текстове; защото не си струва усилието за инсталиране за тези задачи. Те обаче възлагат чувствителен анализ, включващ финансови данни на клиенти, към отворен модел на тегло, работещ на техните собствени сървъри. Така те се възползват както от удобство, така и от поверителност едновременно. Ще се върнем към този подход на „смесено портфолио“ в раздел 9.
Слаба подкана / Силна подкана: Когато се иска подкрепа за вземане на решение
Слаба подкана:
Трябва ли да използвам отворена или затворена тежест?
Мощна подкана:
Вашата роля: AI архитект на предприятие. Моята ситуация: Ние сме счетоводна фирма с 12 души, нямаме технически екип, но имаме външен ИТ консултант. ~500 000 жетона на месец бизнес. Някои от данните са финансови данни на клиента (чувствителни), други са обща кореспонденция. Трябва да спазваме КВКК. Задача: Сравнете съответно затворения, отворения и смесения подход. За всеки: пригодност (1-5), прогнозен диапазон на разходите за първата година, бележка за поверителност, основен риск. Накрая дайте едно предложение и обобщете причината в 3 точки.
Втората подкана позволява на модела да създаде препоръка, която наистина отговаря на вашия бизнес, тъй като дава всички граници, необходими за решението (екип, обем, тип данни, правна рамка).
Копируеми шаблони
1. Решение за тип тегло:
Моята работа: [ОПИСАНИЕ]. Технически екип: [ДА/НЕ]. Месечен обем на токена: [NUM].Чувствителност на данните: [НИСКА/СРЕДНА/ВИСОКА].Предпочитание за бюджетна структура: [НИСКО НАЧАЛО / ПРЕДВИДИМО ФИКСИРАНО].Сравнете затворена, отворена и смесена опция според този профил и дайте една препоръка.
2. Проверка на лиценза:
Опростете лиценза за този модел с отворено тегло: [ИМЕ НА ЛИЦЕНЗА/ТЕКСТ]. Отговорете на тези въпроси: Разрешено ли е търговско използване? Има ли ограничения за потребителите/приходите? Мога ли да препродам продукцията? Какви са употребите, които забранява? Ако не е ясно, напишете "попитайте адвокат".
3. Разбивка на разходите:
Направете разбивка на общите разходи за притежание за минимален модел: хардуер, монтажен труд, електричество/хостинг, поддръжка, актуализации. Направете грубо 3-годишно сравнение с алтернативата за затворено тегло. Моят месечен обем: [БРОЙ].
4. Проверка на риска за поверителността:
Проследете къде отиват данните от къде накъде в следния работен процес: [ОПИСАНИЕ НА РАБОТНИЯ ПОТОК]. Ако използвам затворено тегло, в кой момент данните излизат? Как се променя този риск при открито тегло? Предложете мярка за смекчаване на всеки риск.
Често срещани грешки
- Заблуждаване на думата „отворено“ с „безплатно и неограничено“: Отвореното тегло не гарантира безплатно или неограничено търговско използване; лицензът е решаващ.
- Мисленето за отворено тегло е „лесно“: Изпълнението на модел с отворено тегло изисква сървъри, технически персонал и поддръжка; Подценяването на инсталацията е често срещана грешка.
- Изобщо без да се вземат предвид данните за затвореното тегло: В затворения модел данните отиват при доставчика; Рисковано е да започнете, без да сте подредили предварително кои данни могат да бъдат изпратени.
- Само като погледнем първоначалната цена: Докато отвореното тегло може да изглежда скъпо първоначално, то може да бъде по-евтино в дългосрочен план при много голям обем. Вижте общите разходи за три години.
- Мотото „най-силният модел е винаги затворен“: Въпреки че това е вярно през повечето време, то не е абсолютно; моделите с отворено тегло може да са повече от достатъчни за определени задачи.
В обобщение
- Теглата на модела са милиарди параметри, които съхраняват информацията, която моделът е научил; Разликата "изключено/включено" е свързана с достъпа до тези параметри.
- Затворено тегло: готов интерфейс, нисък старт, на доставчик на данни. Очевидното тегло: вашият собствен сървър, пълен контрол, високи разходи за стартиране и поддръжка.
- Отвореното тегло не е същото като отворения код; Лицензионните условия може да ограничават търговската употреба.
- Правилният избор; Варира в зависимост от екипа, обема, чувствителността на данните и бюджетната структура. Хибридният подход има смисъл за повечето средни предприятия.
Задача за приложение
Вземете профила на нуждите, който сте създали в предишния модул. Дайте го на AI модел, като използвате шаблон 1 (решение за тип тегло) в този модул. Оценете сами получената препоръка, като я съпоставите едно по едно със седемте измерения в таблицата (инсталация, местоположение на данните, начална цена, цена на мащаба, поддръжка, поверителност, достъп до мощния модел). Ако вашата оценка се различава от препоръката на модела, отбележете с едно изречение къде се различавате.
контролен списък
- [ ] Мога да обясня понятието „тегло“ със собствените си думи.
- [ ] Мога да сравня предимствата/недостатъците на затворено и отворено тегло в седем измерения.
- [ ] Знам разликата между openweight и отворен код и риска от лицензиране.
- [ ] Мога да обоснова избора на затворен/отворен/хибриден за моя собствен бизнес.
- [ ] Мога да проследя къде отиват данните в работния процес и да покажа точката на риск.