Прибыль:
- Конкретное понимание концепции «веса» модели и неявного/явного различия.
- Посмотрите разницу между открытым исходным кодом и открытым исходным кодом, а также их подводные камни лицензирования.
- Возможность выбора закрытого, открытого или смешанного подхода с обоснованием в зависимости от ситуации в бизнесе.
При знакомстве с провайдерами в предыдущем блоке в таблице была графа «тип веса»: закрытый, открытый, смешанный. Этот единственный столбец на самом деле скрывает одно из самых стратегических решений при выборе вашей модели. Будете ли вы работать с закрытой или открытой весовой моделью; Он напрямую определяет, где будут обрабатываться ваши данные, как будут формироваться ваши ежемесячные расходы, потребности вашей технической команды и ваши юридические обязанности. К моменту завершения этого раздела вы получите конкретное понимание концепции «веса», увидите тонкую, но важную разницу между весом открытого кода и открытым исходным кодом и сможете обосновать правильный подход для вашей собственной ситуации.
Что такое «вес»?
Модель ИИ обучается на огромном куске текста с медленной корректировкой миллиардов числовых значений (параметров) внутри нее. Все эти числа называются весами модели. Веса — это то место, где модель хранит «все, чему она научилась»; Вы можете сравнить это с силой синапсов в мозгу человека. Грамматика модели, мировые знания и модели рассуждения закодированы в этих числах.
«Запуск» модели означает загрузку этих весов в компьютер и обработку введенного вами текста поверх них. Критический вопрос: кто имеет доступ к этим файлам веса?
- Закрытый вес: веса находятся только на серверах провайдера. Вы не можете получить к ним прямой доступ; Вы используете его через Интернет через интерфейс (API) по принципу «отправить текст, получить ответ». Anthropic Claude, OpenAI GPT, Google Gemini такие. (API — это интерфейс, который позволяет программному обеспечению отправлять запрос другому программному обеспечению через стандартный порт и получать ответ.)
- Открытый вес: можно загрузить файлы весов. При желании вы можете установить и запустить его на своем сервере. Некоторые модели Мета Ламы, ДипСика, Мистраля такие.
Совет: воспринимайте закрытый вес как «снятую квартиру», а открытый вес как «купленный дом». В съемной квартире легко переехать, за ее содержание вы не несете ответственности, правила устанавливает арендодатель. Все в купленном доме ваше, но ремонт, охрана и счета также являются вашей ответственностью.
Открытый вес — это не то же самое, что открытый исходный код
Здесь имеется очень распространенная концептуальная ошибка. «Открытый вес» и «открытый исходный код» часто используются как синонимы, но это не одно и то же.
- Открытое взвешивание означает обмен только изученными параметрами модели. Обычно не объясняется, как обучается модель и какие данные в нее подаются.
- Полностью открытый исходный код в идеале означает, что веса, данные обучения и код обучения являются общими и могут использоваться свободно.
Также существует проблема лицензирования. Даже если веса модели можно загрузить, ее лицензия может ограничить коммерческое использование, наложить дополнительные требования, выходящие за пределы определенного числа пользователей, или запретить разработку конкурирующих продуктов. Так что «я могу это скачать» и «я могу использовать это по своему усмотрению» — это разные вещи.
Внимание: прежде чем внедрять в свой бизнес модель открытого веса, обязательно ознакомьтесь с ее лицензией. Не обманывайтесь словом «открыть»; Некоторые лицензии требуют отдельных соглашений при превышении определенного количества активных пользователей в месяц, а некоторые ограничивают использование результатов для определенных целей. Это то, о чем вам следует спросить свою юридическую команду.
Сравнение двух подходов
В таблице ниже эти два подхода сопоставлены по ключевым параметрам.
Размер
Закрытый вес
Открытый вес
Установка
Нет, готовый интерфейс
Требуется сервер и техническая команда
Где обрабатываются данные
На сервере провайдера
В среде под вашим контролем
Первоначальная стоимость
Низкая (плата по факту)
Высокий (оборудование, установка)
Стоимость в масштабе
увеличивается с объемом
Предсказуемость при фиксированном оборудовании
Обновление/обслуживание
у провайдера
ты тоже
контроль конфиденциальности
ограниченный
полный
Доступ к самой мощной модели
обычно здесь
Переменная
В этой таблице нет однозначного ответа на вопрос «что лучше»; Каждая строка имеет плюс или минус в зависимости от вашего приоритета. Если вы хотите, чтобы первоначальная стоимость была низкой, закройте вес; Если данные не должны покидать компанию ни на миллиметр, на первый план выходит открытый вес.
Три реалистичных случая
Кейс 1 — E-commerce стартап (закрытый, набирает вес). Команда из пяти человек, занимающаяся электронной коммерцией, хочет создавать описания продуктов. У них нет технических команд, они не хотят управлять серверами, ежемесячный объем непостоянен. Они начинают с модели закрытого веса, платя за то, что используют. За первый месяц они обрабатывают 1,2 миллиона токенов и выплачивают около 15 долларов США; По мере роста их бизнеса пропорционально растет и счет. Нет проблем с сервером, обслуживанием или обновлением. Правильный выбор для этого профиля очевиден.
Случай 2 — Больница (дефицит набирает вес). Больница хочет обобщить и закодировать записи пациентов. Эти данные представляют собой очень конфиденциальные данные о состоянии здоровья; ни при каких обстоятельствах не должен покидать учреждение. Они строят модель открытого веса в своих дата-центрах. Они делают значительные первоначальные инвестиции в настройку и оборудование (скажем, сервер стоимостью 40 000 долларов и две недели работы по настройке), но затем они не платят дополнительных токенов за каждого пациента, и данные никогда не передаются на внешний сервер. Большой объем и абсолютная конфиденциальность оправдывают первоначальную стоимость.
Случай 3 — Бухгалтерская фирма среднего размера (выигрывает гибридный подход). Бухгалтерская фирма использует закрытую модель готового интерфейса для ежедневной общей переписки и черновиков текстов; потому что это не стоит усилий по установке для этих работ. Однако они передают чувствительный анализ, включающий финансовые данные клиентов, в модель открытого веса, работающую на их собственных серверах. Таким образом, они одновременно получают выгоду как от удобства, так и от конфиденциальности. Мы вернемся к этому подходу «смешанного портфеля» в разделе 9.
Слабая подсказка/сильная подсказка: при обращении за поддержкой в принятии решения
Слабая подсказка:
Должен ли я использовать открытый вес или закрытый вес?
Мощная подсказка:
Ваша роль: корпоративный архитектор искусственного интеллекта. Моя ситуация: мы — бухгалтерская фирма, в которой работают 12 человек, у нас нет технической команды, но есть внешний ИТ-консультант. ~500 000 токенов в месяц. Некоторые данные представляют собой финансовые данные клиентов (конфиденциальные), некоторые представляют собой общую переписку. Мы должны соблюдать КВКК. Задача: Сравните соответственно закрытый, открытый и смешанный подходы. Для каждого: пригодность (1–5), предполагаемый диапазон затрат на первый год, примечание о конфиденциальности, основной риск. Наконец, дайте одно предложение и суммируйте причину в 3 пунктах.
Второе приглашение позволяет модели выдать рекомендацию, которая действительно подходит вашему бизнесу, поскольку дает все границы, необходимые для принятия решения (команда, объем, тип данных, правовая база).
Копируемые шаблоны
1. Решение типа веса:
Моя работа: [ОПИСАНИЕ]. Техническая группа: [ДА/НЕТ]. Ежемесячный объем токенов: [NUM].Чувствительность данных: [НИЗКИЙ/СРЕДНИЙ/ВЫСОКИЙ].Предпочтение структуры бюджета: [НИЗКИЙ СТАРТ / ПРЕДСКАЗУЕМЫЙ ФИКСИРОВАННЫЙ]. Сравните закрытый, открытый и смешанный вариант в соответствии с этим профилем и дайте одну рекомендацию.
2. Проверка лицензии:
Упростите лицензию для этой модели открытого веса: [ИМЯ ЛИЦЕНЗИИ/ТЕКСТ]. Ответьте на следующие вопросы: Разрешено ли коммерческое использование? Существуют ли ограничения на пользователей/доход? Могу ли я перепродать продукцию? Какие виды использования он запрещает? Если неясно, напишите «задайте вопрос юристу».
3. Разбивка затрат:
Рассчитайте общую стоимость владения простой модели: оборудование, монтажные работы, электричество/хостинг, обслуживание, обновления. Проведите грубое сравнение за 3 года с альтернативой закрытого веса. Мой ежемесячный объем: [NUMBER].
4. Проверка рисков конфиденциальности:
Отследите, куда и куда передаются данные в следующем рабочем процессе: [ОПИСАНИЕ РАБОЧЕГО ПРОЦЕССА]. Если я использую закрытый вес, в какой момент данные исчезают? Как этот риск меняется при открытом весе? Предложите меры по смягчению каждого риска.
Распространенные ошибки
- Ошибка в слове «открытый» означает «бесплатный и неограниченный»: Открытый вес не гарантирует бесплатное или неограниченное коммерческое использование; лицензия имеет решающее значение.
- Думать об открытом весе «легко»: для запуска модели открытого веса требуются серверы, технический персонал и обслуживание; Недооценка установки – распространенная ошибка.
- Совсем не учитывая закрытые данные о весе: В закрытой модели данные поступают провайдеру; Рискованно начинать, не разобравшись заранее, какие данные могут идти.
- Просто взгляните на первоначальную стоимость: хотя на начальном этапе открытый вес может показаться дорогим, в долгосрочной перспективе он может оказаться дешевле при очень больших объемах. Посмотрите на общую стоимость за три года.
- Девиз «Самая сильная модель всегда закрыта»: Хотя это верно в большинстве случаев, это не является абсолютным; Модели с открытым весом могут быть более чем адекватны для определенных задач.
В заключение
- Веса модели — это миллиарды параметров, в которых хранится информация, которую изучила модель; Различие «выключено/включено» связано с доступом к этим параметрам.
- Закрытая масса: готовый интерфейс, низкий старт, от поставщика данных. Очевидный вес: собственный сервер, полный контроль, высокие затраты на запуск и обслуживание.
- Открытый вес — это не то же самое, что открытый исходный код; Условия лицензии могут ограничивать коммерческое использование.
- Правильный выбор; Зависит от команды, объема, конфиденциальности данных и структуры бюджета. Гибридный подход имеет смысл для большинства предприятий среднего бизнеса.
Задача приложения
Возьмите профиль потребностей, который вы создали в предыдущем разделе. Передайте его модели ИИ, используя шаблон 1 (решение о типе веса) в этом модуле. Оцените полученную рекомендацию самостоятельно, сопоставив ее один за другим с семью параметрами в таблице (установка, расположение данных, стоимость запуска, стоимость масштабирования, обслуживание, конфиденциальность, доступ к мощной модели). Если ваша оценка отличается от рекомендации модели, отметьте в одном предложении, в чем вы расходитесь.
контрольный список
- [ ] Я могу объяснить понятие «вес» своими словами.
- [ ] Я могу сравнить преимущества/недостатки закрытого и открытого веса в семи измерениях.
- [ ] Я знаю разницу между открытым исходным кодом и открытым исходным кодом, а также лицензионный риск.
- [ ] Я могу обосновать выбор закрытого/открытого/гибридного варианта для своего бизнеса.
- [ ] Я могу отслеживать, куда идут данные в рабочем процессе, и показывать точки риска.