Логика ценообразования: экономика токенов и баланс стоимости и качества

Прибыль:

• Возможность читать цены токенов ввода/вывода и позиции счетов.
• Возможность оценить ежемесячную стоимость рабочего процесса по грубой формуле.
• Внедрение методов сокращения затрат, таких как кэширование, пакетная обработка и постановка моделей.

Умение оценить, сколько будет стоить модель, является одним из наиболее практических навыков лица, принимающего решения. «Сколько я плачу ежемесячно?» Если вы не можете ответить на вопрос, вы не можете ни спланировать бюджет, ни выбрать правильный уровень. Хорошей новостью является то, что ценообразование проще, чем кажется, и как только вы освоитесь, вы сможете самостоятельно сделать приблизительную оценку. В этом модуле вы узнаете, как считывать цены на токены ввода/вывода, оценивать ежемесячную стоимость рабочего процесса с помощью простой формулы и методы, которые фактически снижают затраты.

Эмпирическое правило: входные и выходные данные оцениваются отдельно.

В моделях закрытого веса цена рассчитывается на основе количества обработанных токенов и состоит из двух отдельных позиций:

• Входной токен (вход): текст, который вы отправляете в модель. Ваша подсказка, ваши документы, ваши образцы.
• Выходной токен: ответ, который дает вам модель.

Критическая точка: выходной токен часто в несколько раз дороже входного токена. Это связано с тем, что для модели получение выходных данных требует более вычислительных затрат. Например, в одной модели входные данные могут составлять 3 доллара за миллион токенов, а выходные — 15 долларов; Значит, продукция в пять раз дороже. Это означает, что длинные и ненужные ответы могут быстро съедать бюджет.

Совет: один из самых простых способов снизить затраты — не запрашивать у модели излишне длинные ответы. Такие ограничения, как «максимум 5 статей», «один абзац», «экспортировать только таблицу», повышают качество и экономят выходной токен.

Примеры текущих цен

Ниже приведены примерные цены на несколько моделей (за миллион токенов, доллары США). Эти значения относятся к периоду подготовки этого модуля и часто меняются; Проверьте текущую страницу цен поставщика, чтобы узнать точное решение.

модель

Этап

Ввод $/1 млн.

Выход $/1 млн.

Клод Опус 4.8

сильный

~5

~25

Клод Сонет 5

сбалансированный

~3

~15

Клод Хайку 4.5

легкий

~1

~5

Как видно из таблицы, разница в цене между сильным и легким уровнями может достигать пяти раз. Вот почему подход «наиболее подходящая модель для всего бизнеса» часто оказывается пустой тратой денег. Выполнение простой работы с помощью дешевой модели и сложной работы с помощью мощной модели обеспечивает большую экономию без потери качества. Мы углубим эту идею в главах 7 и 9.

Оценка ежемесячных затрат: простая формула

Для приблизительной оценки ежемесячных расходов вы можете использовать следующую формулу:

Ежемесячная стоимость ≈ (Количество запросов в месяц × Средний входной токен × Входная цена / 1 000 000) + (Количество запросов в месяц × Средний выходной токен × Выходная цена / 1 000 000)

Давайте запустим пример. Допустим, команда электронной коммерции создает 50 000 описаний продуктов в месяц. Каждый запрос отправляет в среднем 500 входных токенов (информация о продукте) и получает 300 выходных токенов (описание). В балансной модели (вход ~3, выход ~15):

• Входная стоимость: 50 000 × 500 × 3 / 1 000 000 = 75 долларов США.
• Выходная стоимость: 50 000 × 300 × 15 / 1 000 000 = 225 долларов США.
• Итого ≈ 300$/мес.

Если бы они проделали ту же работу в облегченной модели (вход ~1, выход ~5):

• Ввод: 50 000 × 500 × 1 / 1 000 000 = 25 долларов США.
• Выход: 50 000 × 300 × 5 / 1 000 000 = 75 долларов США.
• Итого ≈ 100$/мес.

Таким образом, только выбор этапа может сократить ту же работу с 300 до 100 долларов. Для относительно простой задачи, такой как описание продукта, упрощенной модели часто бывает более чем достаточно.

Внимание: эта формула является приблизительной оценкой; фактическое выставление счетов зависит от таких факторов, как использование кэша, повторные попытки и режим рассуждения. Тем не менее, это очень хорошее начало для подтверждения бюджета или сравнения двух моделей. Прежде чем принимать решение, лучше всего измерить реальную цифру с помощью небольшого пилота.

Пять методов сокращения затрат

1. Выберите правильный уровень. Простая и легкая модель. Это самый крупный источник экономии.
2. Уменьшите ввод. Вместо того, чтобы заполнять огромные документы по каждому запросу, отправляйте только соответствующий раздел (оптимизация контекста в блоке 5).
3. Ограничить вывод. Уточнить длину и формат ответа; Неоправданно длинный ответ = ненужные затраты.
4. Используйте кэширование. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Это обеспечивает значительную экономию, если вы отправляете одну и ту же большую команду тысячи раз.
5. Выполните пакетную обработку. Если вы никуда не торопитесь, «пакетные» варианты, которые отправляют много запросов оптом и обрабатывают их со скидкой, существенно снижают стоимость.

Три реалистичных случая

Случай 1 — Экономия при поэтапном изменении. Команда службы поддержки суммировала все входящие электронные письма с помощью самой надежной модели, и их ежемесячный счет составлял около 900 долларов. Подведение итогов было простой задачей; Когда они перешли на сбалансированный уровень, качество вывода осталось почти таким же, но стоимость снизилась до ~ 250 долларов. Экономия ~7800 долларов США в год, просто выбрав правильный уровень.

Случай 2 — Сохранение с помощью кеша. Команда разработчиков отправляла один и тот же документ «стандарты кодирования» из 8000 токенов с каждым запросом на проверку кода. 400 запросов в день × 8000 токенов = большой повторяющийся ввод. Когда включили функцию кэширования, этот фиксированный раздел стал читаться гораздо дешевле и значительная часть затрат на ввод исчезла.

Случай 3 — Экономия за счет ограничения выпуска. Когда маркетинговая команда запросила описание продукта, модель выдавала длинные цветочные абзацы. Когда они добавили ограничение «максимум 60 слов, один абзац», объяснения стали более полезными, а выходной токен сократился вдвое. Хотя качество возросло, стоимость снизилась; беспроигрышный вариант.

Слабая подсказка/Сильная подсказка

Слабая подсказка:

Напишите мне хорошее описание этого продукта. [информация о продукте]

Модель может писать столько, сколько захочет; Выходной токен не контролируется.

Мощная подсказка:

Ваша роль: копирайтер электронной коммерции. Товар: [ИНФОРМАЦИЯ]. Задача: Написать описание товара. Ограничения: максимум 60 слов, один абзац, адресован нетехническим клиентам, содержит 2 преимущества + 1 вариант использования. Избегайте причудливых прилагательных.

Мощная подсказка контролирует как качество, так и длину вывода (и, следовательно, стоимость).

Копируемые шаблоны

1. Ежемесячная смета расходов:

Я делаю [КОЛИЧЕСТВО] запросов ежемесячно. Среднее количество входных токенов ~[NUM], выходных токенов ~[NUM]. Рассчитайте ежемесячную стоимость для следующих моделей ([МОДЕЛЬ A], [МОДЕЛЬ B]) по формуле и сравните ее в таблице. Примите цены ввода/вывода [ЦЕНЫ].

Сравнение уровня 2:

Мой долг [ЗАДАЧА]. Действительно ли для этой работы требуется мощная модель или достаточно легкой/сбалансированной модели? Оцените качество и стоимость и предложите мне два уровня для пилотного тестирования.

3. Проверка снижения затрат:

Определите способы снижения затрат в следующем рабочем процессе: [РАБОЧИЙ ПРОЦЕСС]. Напишите осуществимость и предполагаемую экономию для каждого из заголовков каскадной обработки, сокращения ввода, ограничения вывода, кэша и пакетной обработки.

4. Ограничение вывода:

Перепишите следующую подсказку, чтобы уменьшить выходной токен без снижения качества: «[ПРОМТ]». Оптимизируйте длину, формат и отсутствие ненужных повторений.

Распространенные ошибки

• Пропуск разницы ввода/вывода: разрешение длинных ответов без знания того, что результат намного дороже.
• Самая мощная модель для любой работы: Выполняешь простую работу с помощью дорогой модели и платишь в разы больше без необходимости.
• Освобождение выходной длины: предоставление модели неограниченных разрешений на запись без каких-либо ограничений формата или длины.
• Игнорирование кэша и пакетной обработки: отсутствуют серьезные возможности экономии при повторяющихся операциях ввода и несрочных задачах.
• Думать, что цены актуальны: полагаться на старую таблицу цен и неправильно планировать бюджет; цены часто меняются.

В заключение

• Цена рассчитывается на основе токенов; Затраты и выпуск оцениваются отдельно, а выпуск зачастую обходится в несколько раз дороже.
• Приблизительно оценить ежемесячную стоимость можно по формуле количество запросов × средний токен × цена.
• Один только правильный выбор шага может снизить стоимость во много раз.
• Минимизация ввода, ограничение вывода, кэширование и пакетная обработка — это практические методы, которые значительно сокращают расходы.

Задача приложения

Получите значения токенов, которые вы оценили в предыдущем разделе. Рассчитайте ежемесячные затраты вашего бизнеса для двух разных уровней с помощью шаблона 1 в этом блоке (смета ежемесячных затрат). Затем с помощью третьего шаблона (сканирование снижения затрат) определите, какую экономию каждый метод может принести в ваш рабочий процесс. Запланируйте выбрать два наиболее перспективных метода и применить их к своему бюджету на следующий месяц.

контрольный список

• [ ] Я знаю, что входные и выходные токены оцениваются отдельно, а выходные — дороже.
• [ ] Я могу примерно оценить ежемесячную стоимость рабочего процесса с помощью простой формулы.
• [ ] Я могу продемонстрировать влияние выбора правильного уровня на стоимость на примере.
• [ ] Я могу распознать пять методов снижения затрат и выбрать подходящий.
• [ ] Я могу переписать приглашение, чтобы уменьшить выходной токен.