Прибыль:
- Распознавание легких, сбалансированных и мощных этапов модели и режима рассуждения.
- Выбор подходящего уровня модели в зависимости от сложности задачи
- Способность сознательно устанавливать баланс между задержкой, точностью и стоимостью.
Мы научились рассчитывать цену; Теперь поговорим о том, что мы получаем за эту цену, а именно об уровнях модели и ее возможностях. При выборе модели постоянно конкурируют три силы: качество (точность), скорость (задержка) и стоимость. Улучшение двух из этих трех часто означает компромисс с третьим. В модуле вы узнаете о легких, сбалансированных и мощных уровнях, режиме рассуждения и предпочтениях маленьких/больших моделей; Вы сможете сознательно установить правильный баланс в зависимости от сложности задачи.
Три уровня, три разных персонажа
Почти каждый провайдер предлагает три уровня в одном семействе. Сопоставим их с характером задачи:
- Легкий уровень (маленькая модель): Очень быстрый, очень дешевый, «достаточно хороший». Идеально подходит для простых, повторяющихся задач большого объема: классификация, инструктаж, маркировка, очистка данных, простые черновики ответов.
- Сбалансированный уровень (средняя модель): хорошее качество, разумная скорость, разумная стоимость. Выбор «по умолчанию» для большинства повседневных задач: производство контента, промежуточный анализ, ответы клиентов.
- Мощный уровень (большая модель): высочайшее качество, самый медленный, самый дорогой. Для сложных рассуждений, длительного и многоэтапного анализа, сложного кода, точной юридической/финансовой оценки.
Совет: Хорошее стартовое правило: начните со сбалансированного уровня. Если качество плохое, перейдите на сильный уровень; Если качество очень хорошее и громкость высокая, уменьшите уровень освещенности. Подход «начинать с достаточно хорошего», а не «начинать с самого сильного», экономит и деньги, и время.
Что такое режим рассуждения?
Некоторые модели могут сначала «обдумывать» ответ шаг за шагом, а не генерировать его напрямую. Это называется режимом рассуждения. Модель разбивает проблему на части, обрабатывает промежуточные шаги внутри себя и только потом дает окончательный ответ. Это похоже на то, как ученик шаг за шагом решает математическую задачу на бумаге.
Когда это ценно? В многошаговых логических задачах: сложный расчет, обнаружение противоречий, длинная цепочка умозаключений, сложная ошибка кода. В этом виде работы рассуждения значительно повышают точность.
Какова стоимость? Рассуждение увеличивает стоимость и задержку, поскольку модель генерирует больше «токенов мышления». Так что это будет и дороже, и медленнее. Простой вопрос: «Этот обзор положительный?» Рассуждать над вопросом — все равно, что убить муху молотком; создает ненужные затраты и задержки.
Внимание: не оставляйте режим рассуждения открытым для каждой задачи. Для простых задач держать его закрытым и быстрее, и дешевле. Некоторые современные модели имеют «адаптивный» режим мышления, который сам решает, когда ему нужно думать; Однако ваша задача – сознательно управлять этим.
Треугольник «Качество, Скорость, Стоимость»
приоритет
Соответствующий уровень
рассуждение
Самая низкая стоимость, большой объем
легкий
Закрыто
Баланс (большинство вакансий)
сбалансированный
в зависимости от ситуации
Высочайшая точность, критическое решение
сильный
открыть
Мгновенный ответ, низкая задержка (чат)
Легкий/сбалансированный
Закрыто
Сложный, многоэтапный анализ
сильный
открыть
Глядя на эту таблицу, спросите себя: «Какова будет цена, если я допущу ошибку при выполнении этой задачи?» Если цена высока (неправильная юридическая оценка, неправильное финансовое решение), инвестиции высокого уровня и аргументации оправданы. Если цена низкая (неправильная классификация этикетки продукта), достаточно легкой и быстрой модели.
Маленькая модель или большая модель?
Вопреки распространенному мнению, не для каждой работы требуется большая модель. Меньшие модели стали удивительно функциональными, выполняя множество задач за десятую часть стоимости и в несколько раз быстрее, чем более крупная модель. Три вопроса для решения:
- Задача проста и шаблонна? (Классификация, извлечение, краткое содержание) → Малая модель.
- Громкость слишком высокая и скорость критична? → Маленькая модель, потому что большая модель дорогая и медленная.
- Требует ли задача тонкого рассуждения, расширенного контекста или творчества? → Большая модель.
Три реалистичных случая
Случай 1. Достаточно облегченной модели. Команда электронной коммерции сортирует 40 000 комментариев клиентов в день на положительные/отрицательные/нейтральные. Пробуют на мощной модели, а потом сравнивают с легкой: точность почти одинаковая (96% против 94%), но легкая модель в 8 раз дешевле и в 3 раза быстрее. Легкая модель, безусловно, является правильным выбором для этой задачи; Дополнительные 2% точности не оправдывают восьмикратную стоимость.
Случай 2. Обязательна сильная модель + обоснование. Налоговая консалтинговая фирма хочет рассчитать сложный многоэтапный налоговый сценарий. Облегченная модель допускает ошибки на промежуточных шагах и дает неправильные результаты. Когда они используют мощную модель с включенным режимом рассуждения, модель развивается шаг за шагом и приходит к правильному выводу. Здесь допустимы дополнительные затраты и задержки, поскольку цена ошибки высока; Однако эксперт подтверждает результат.
Случай 3 — Смешанное использование. Колл-центр обрабатывает расшифровки звонков в два этапа: сначала он кратко обобщает каждый звонок с помощью упрощенной модели (большой объем, простая работа), затем передает только звонки, помеченные как «жалобы», в мощную модель и выполняет анализ первопричин (малый объем, сложная работа). Таким образом, они обрабатывают большую часть объема дешево, сохраняя при этом силу сильного паттерна для немногих действительно важных вызовов.
Слабая подсказка/Сильная подсказка
Слабая подсказка:
Решите этот налоговый сценарий. [сложный сценарий]
Неясно, насколько тщательно модель будет рассматриваться.
Мощная подсказка:
Ваша роль: старший специалист по налогам. Задача: Шаг за шагом решить следующий многоэтапный сценарий. Сначала перечислите предположения, затем рассчитайте и покажите каждый шаг отдельно и, наконец, дайте конечный результат. Если есть пункт, в котором вы не уверены или который зависит от законодательства, отметьте его как «Требуется экспертное подтверждение». Пропуск промежуточных шагов.[сценарий]
Мощная подсказка помогает модели поэтапно мыслить (поощряя рассуждения) и делает промежуточные шаги видимыми для проверки.
Копируемые шаблоны
Диагностика 1 стадии:
Моя миссия: [ЗАДАЧА]. Объем: [НОМЕР/день]. Стоимость ошибки: [НИЗКАЯ/СРЕДНЯЯ/ВЫСОКАЯ]. Приоритет скорости: [НИЗКАЯ/ВЫСОКАЯ]. Основываясь на этом профиле, какой уровень (легкий/сбалансированный/сильный) и рассуждение (открытый/закрытый) вы бы порекомендовали? Оправдывать.
2. Маленькое/большое модельное решение:
Я определяю следующую задачу: [ЗАДАЧА]. Можно ли решить эту проблему с помощью маленькой (легкой) модели или нужна большая модель? Предложите мне 3 тестовых примера и порог успеха, которые я могу попытаться решить с помощью небольшой модели.
3. Адекватность рассуждений:
Будет ли режим рассуждения (пошаговое мышление) полезным или дорогостоящим в следующей задаче: [ЗАДАЧА]? Обоснуйте свое решение, исходя из количества шагов и логической сложности задачи.
4. Двухэтапная разработка рабочего процесса:
Разработайте двухэтапный поток для снижения затрат на выполнение следующей объемной задачи [ЗАДАЧА]: какая часть должна перейти в облегченную модель, а какая часть — в мощную модель? Напишите уровень и обоснование каждого шага.
Распространенные ошибки
- Мощная модель для каждой работы: создание ненужных затрат и задержек за счет использования самой мощной модели при выполнении простых и объемных работ.
- Всегда оставлять рассуждения включенными: В простых задачах держать включенным режим мышления и зря тратить время и деньги.
- Принятие решений без измерения качества: предположение «чем больше, тем лучше» без сравнения двух уровней с вашими собственными данными.
- Забываем о необходимости скорости: в местах, где требуется мгновенный ответ, например в чате, следует выбирать медленную мощную модель и заставлять пользователя ждать.
- Совсем не думать о двухэтапном потоке: Не строить весь объем по одной модели и не экономить на той части, которую можно сделать дешево.
В заключение
- Выбор модели — это балансирующий момент в треугольнике качества, скорости и стоимости; Улучшение двух часто требует компромисса с третьим.
- Легкий столик подходит для простых/объемных работ, прочный столик подходит для сложных/критических работ; Сбалансированная стадия — хорошее начало для большинства работ.
- Режим рассуждения повышает точность решения многоэтапных задач, но увеличивает стоимость и задержку; Его не следует оставлять открытым для каждой задачи.
- «Какова цена неудачи в этой миссии?» Вопрос в компасе решения уровня и рассуждений. Двухэтапные потоки обеспечивают большую экономию при объемных работах.
Задача приложения
Выберите задачу в своей работе и определите, какой этап и установка рассуждений подходят с помощью шаблона 1 (диагноз этапа). Если задача большого объема, придумайте дизайн, который направляет часть объема на облегченную модель, а критическую часть - на мощную модель с помощью шаблона 4 (двухэтапный рабочий процесс). Мы будем использовать этот дизайн в исследовании модельного портфеля в модуле 9.
контрольный список
- [ ] Я могу соответствовать характеру работы легких, сбалансированных и мощных сцен.
- [ ] Я могу объяснить, что делает режим рассуждения и сколько он стоит.
- [ ] Я могу сознательно установить баланс качества, скорости и стоимости задачи.
- [ ] Я могу ответить на вопрос маленькой или большой модели тремя вопросами.
- [ ] Я могу спроектировать двухэтапный поток для большого объема работы.