Логіка ціноутворення: економія токенів і баланс вартості та якості

Прибуток:

• Можливість зчитувати ціни токенів вводу/виводу та позиції рахунків-фактур
• Можливість оцінити щомісячну вартість робочого процесу за допомогою приблизної формули
• Впровадження методів скорочення витрат, таких як кешування, пакетна обробка та постановка моделі

Можливість оцінити, скільки коштуватиме модель, є однією з найбільш практичних навичок людини, яка приймає рішення. "Що я плачу щомісяця?" Якщо ви не можете відповісти на запитання, ви не можете ні спланувати бюджет, ні вибрати правильний рівень. Хороша новина полягає в тому, що ціноутворення простіше, ніж здається, і як тільки ви це зрозумієте, ви зможете зробити приблизну оцінку самостійно. У цьому розділі ви дізнаєтесь, як читати ціну на токени вводу/виводу, оцінювати місячну вартість робочого процесу за допомогою простої формули та методи, які фактично зменшують витрати.

Емпіричне правило: вхід і вихід оцінюються окремо

У закритих моделях ціна розраховується на основі кількості оброблених токенів і є дві окремі позиції:

• Маркер введення (введення): текст, який ви надсилаєте моделі. Ваша підказка, ваші документи, ваші зразки.
• Вихідний маркер: відповідь, яку модель створює для вас.

Критична точка: вихідний токен часто в кілька разів дорожчий за вхідний. Це пов’язано з тим, що виробництво виходу обчислюється дорожче для моделі. Наприклад, в одній моделі вхідні дані можуть складати 3 долари США за мільйон токенів, тоді як вихідні дані можуть становити 15 доларів США; Тож на виході в п’ять разів дорожче. Це означає, що довгі та непотрібні відповіді можуть швидко з’їсти бюджет.

Порада. Один із найпростіших способів зменшити витрати — не вимагати від моделі надто довгих відповідей. Такі обмеження, як «максимум 5 статей», «один абзац», «експорт тільки таблиці» підвищують якість і зберігають вихідний токен.

Приклади актуальних цін

Нижче наведені приблизні ціни кількох моделей (за мільйон токенів, долари США). Ці значення належать періоду, в якому був підготовлений цей модуль, і часто змінюються; Щоб отримати точне рішення, перевірте поточну цінову сторінку постачальника.

модель

етап

Введіть $/1 млн

Вихід $/1 млн

Клод Опус 4.8

сильний

~5

~25

Клод Сонет 5

збалансований

~3

~15

Клод Хайку 4.5

легкий

~1

~5

Як видно з таблиці, різниця в ціні між сильним і легким рівнями може становити до п’яти разів. Ось чому підхід «найкращої моделі для всього бізнесу» часто є марною тратою грошей. Просту роботу виконує дешева модель, а важку — потужна модель, що забезпечує велику економію без втрати якості. Ми поглибимо цю ідею в розділах 7 і 9.

Оцінка місячних витрат: проста формула

Для приблизної оцінки місячних витрат можна використати цю формулу:

Щомісячна вартість ≈ (Кількість запитів на місяць × Середній вхідний токен × Вхідна ціна / 1 000 000)+ (Кількість запитів на місяць × Середній вихідний токен × Вихідна ціна / 1 000 000)

Давайте наведемо приклад. Скажімо, команда електронної комерції створює 50 000 описів продуктів на місяць. Кожен запит надсилає в середньому 500 маркерів введення (інформація про продукт) і отримує 300 маркерів виводу (опис). У збалансованій моделі (вхід ~3, вихід ~15):

• Вхідна вартість: 50 000 × 500 × 3 / 1 000 000 = 75 доларів США
• Вихідна вартість: 50 000 × 300 × 15 / 1 000 000 = 225 доларів США
• Разом ≈ $300/міс

Якби вони виконали ту саму роботу в полегшеній моделі (вхід ~1, вихід ~5):

• Вхідні дані: 50 000 × 500 × 1 / 1 000 000 = 25 доларів США
• Вихід: 50 000 × 300 × 5 / 1 000 000 = 75 доларів США
• Разом ≈ $100/міс

Тож просто вибір етапу може скоротити ту саму роботу з 300 до 100 доларів. Для відносно простого завдання, такого як опис продукту, легкої моделі часто більш ніж достатньо.

Застереження: Ця формула є приблизною оцінкою; фактичне виставлення рахунків залежить від таких факторів, як використання кешу, повторні спроби та режим міркування. Тим не менш, це дуже хороший початок для отримання підтвердження бюджету або порівняння двох моделей. Найкраще виміряти реальне число за допомогою маленького пілота, перш ніж приймати рішення.

П'ять методів зниження витрат

1. Виберіть правильний рівень. Проста, легка модель. Це найбільше джерело заощаджень.
2. Зробіть вхід меншим. Замість того, щоб заповнювати величезні документи для кожного запиту, надішліть лише відповідний розділ (оптимізація контексту в блоці 5).
3. Обмежити вихід. Уточнити довжину та формат відповіді; Невиправдано довга відповідь = непотрібні витрати.
4. Використовуйте кешування. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Це забезпечує значну економію, якщо ви надсилаєте ту саму велику інструкцію тисячі разів.
5. Виконайте пакетну обробку. Якщо ви нікуди не поспішаєте, суттєво здешевлюють «пакетні» варіанти, коли багато запитів надсилають гуртом і обробляють їх зі знижкою.

Три реалістичні випадки

Випадок 1 — Економія зі ступінчастою зміною. Команда служби підтримки підсумовувала всі вхідні електронні листи з найпотужнішою моделлю, і їхній щомісячний рахунок становив ~900 доларів США. Підведення підсумків було простим завданням; Коли вони перейшли на збалансований рівень, якість виведення залишилася майже незмінною, але рахунок знизився до ~250 доларів. Економія ~$7800 на рік, просто вибравши правильний рівень.

Випадок 2 — Збереження за допомогою кешу. Команда програмного забезпечення надсилала той самий документ із «стандартами кодування» з 8000 токенів із кожним запитом на перевірку коду. 400 запитів на день × 8000 токенів = великий повторюваний вхід. Коли вони ввімкнули функцію кешу, цей фіксований розділ став читатися набагато дешевше, і значна частина витрат на введення зникла.

Випадок 3 — Економія шляхом обмеження виробництва. Коли команда маркетингу запитала опис продукту, модель видавала довгі квітчасті абзаци за раз. Коли вони додали обмеження «максимум 60 слів, один абзац», пояснення стали кориснішими, а вихідний маркер зменшився вдвічі. У той час як якість зросла, вартість знизилася; безпрограшний.

Слабка підказка / Сильна підказка

Слабка підказка:

Напишіть мені гарний опис цього товару. [інформація про продукт]

Модель може писати скільки завгодно; Вихідний маркер неконтрольований.

Потужна підказка:

Ваша роль: копірайтер електронної комерції. Продукт: [ІНФОРМАЦІЯ]. Завдання: Написати опис товару. Обмеження: максимум 60 слів, один абзац, звернення до нетехнічних клієнтів, містить 2 переваги + 1 варіант використання. Уникайте вигадливих прикметників.

Потужна підказка контролює як якість, так і довжину (і, отже, вартість).

Шаблони, які можна копіювати

1. Щомісячна оцінка витрат:

Я роблю [QUANTITY] запитів щомісяця. Середній вхід ~[NUM] жетонів, вихід ~[NUM] жетонів. Розрахуйте місячну вартість для наступних моделей ([МОДЕЛЬ A], [МОДЕЛЬ B]) за формулою та порівняйте в таблиці. Прийняти ціни на вхід/вихід [PRICES].

Порівняння рівня 2:

Мій обов'язок [ЗАВДАННЯ]. Чи справді для цієї роботи потрібна потужна модель чи достатньо легкої/збалансованої моделі? Оцініть якість і вартість і запропонуйте мені 2 рівні для пілотного тестування.

3. Скринінг зниження витрат:

Визначте способи зменшення витрат у такому робочому процесі: [РОБОЧИЙ ПРОЦЕС]. Напишіть техніко-економічне обґрунтування та приблизну економію для кожного з заголовків каскаду, зменшення вхідних даних, вихідних меж, кешу та пакетної обробки.

4. Обмеження виходу:

Перепишіть наступну підказку, щоб зменшити вихідний маркер без зниження якості: "[PROMPT]". Оптимізуйте довжину, формат і непотрібне повторення.

Поширені помилки

• Пропускання різниці введення/виведення: Дозволяє довгі відповіді, не знаючи, що вихід набагато дорожчий.
• Найпотужніша модель для будь-якої роботи: Виконуючи просту роботу з дорогою моделлю, ви платите в рази більше.
• Звільнення довжини виводу: надання необмеженого дозволу на запис моделі без накладення будь-яких обмежень на формат або довжину.
• Ігнорування кешу та пакетної обробки: втрачаються можливості серйозної економії для повторюваних вводів і нетермінових завдань.
• Вважаючи, що ціни актуальні: покладатися на стару таблицю цін і неправильно планувати бюджет; ціни часто змінюються.

Підсумовуючи

• Ціна розраховується на основі жетонів; вхід і вихід оцінюються окремо, а вихід часто в кілька разів дорожчий.
• Ви можете приблизно оцінити місячну вартість за формулою кількість запитів × середній токен × ціна.
• Лише правильний вибір кроку може знизити витрати в рази.
• Мінімізація вхідних даних, обмеження вихідних даних, кешування та пакетна обробка є практичними методами, які значно зменшують рахунок.

Аплікаційне завдання

Отримайте значення жетонів, які ви оцінили в попередньому блоці. Розрахуйте місячну вартість вашого бізнесу для двох різних рівнів за допомогою шаблону 1 у цьому підрозділі (місячна оцінка витрат). Потім за допомогою третього шаблону (сканування зменшення витрат) визначте, яку економію кожен метод може принести у ваш робочий процес. Сплануйте вибір двох найбільш перспективних методів і застосуйте їх до бюджету наступного місяця.

контрольний список

• [ ] Я знаю, що вхідний і вихідний маркери оцінюються окремо, а вихідний дорожчий.
• [ ] Я можу приблизно оцінити щомісячну вартість робочого процесу за допомогою простої формули.
• [ ] Я можу показати на прикладі вплив вибору правильного рівня на вартість.
• [ ] Я можу розпізнати п’ять методів зниження витрат і вибрати відповідний.
• [ ] Я можу переписати підказку, щоб зменшити вихідний маркер.