Логика на ценообразуването: Икономия на токени и баланс между цена и качество

Печалби:

• Възможност за четене на ценообразуване на входно/изходни токени и елементи на фактури
• Възможност за оценка на месечните разходи за работен процес с груба формула
• Внедряване на методи за намаляване на разходите като кеширане, групова обработка и етапно моделиране

Да можеш да прецениш колко ще струва един модел е едно от най-практичните умения на вземащия решения. „Какво плащам месечно?“ Ако не можете да отговорите на въпроса, не можете нито да планирате бюджет, нито да изберете правилното ниво. Добрата новина е, че ценообразуването е по-просто, отколкото звучи, и след като го овладеете, можете сами да направите груба оценка. В този модул ще научите как да четете ценообразуването на входно/изходни токени, да оценявате месечните разходи за работен процес с проста формула и методи, които действително намаляват разходите.

Основно правило: Входът и изходът се оценяват отделно

При моделите със затворено тегло цената се изчислява въз основа на количеството обработени токени и има два отделни елемента:

• Input token (input): Текстът, който изпращате към модела. Вашата подкана, вашите документи, вашите проби.
• Изходен токен: Отговорът, който моделът произвежда за вас.

Критична точка: Изходният токен често е няколко пъти по-скъп от входния токен. Това е така, защото е изчислително по-скъпо за модела да произвежда продукция. Например, в един модел входът може да бъде $3 на милион жетони, докато изходът може да бъде $15; Така че продукцията е пет пъти по-скъпа. Това означава, че дългите и ненужни отговори могат бързо да изядат бюджета.

Съвет: Един от най-лесните начини за намаляване на разходите е да не искате от модела ненужно дълги отговори. Ограничения като "максимум 5 статии", "един абзац", "експортиране само на таблицата" повишават качеството и запазват изходния токен.

Примери за текущи цени

По-долу са приблизителните цени на няколко модела (за милион токени, щатски долари). Тези стойности принадлежат към периода, в който е изготвен този модул и се променят често; Проверете текущата ценова страница на доставчика за точното решение.

модел

Етап

Въведете $/1 млн

Продукция $/1 млн

Клод Опус 4.8

силен

~5

~25

Клод Сонет 5

балансиран

~3

~15

Клод Хайку 4.5

лек

~1

~5

Както се вижда в таблицата, може да има разлика в цените до пет пъти между силния и лекия слой. Ето защо подходът на „най-подходящия модел за целия бизнес“ често е загуба на пари. Лесната работа, извършена от евтин модел, и трудната работа от мощен модел осигуряват големи спестявания без загуба на качество. Ще задълбочим тази идея в раздели 7 и 9.

Оценка на месечните разходи: проста формула

За груба оценка на месечните разходи можете да използвате тази формула:

Месечна цена ≈ (Брой заявки на месец × Среден входен токен × Входяща цена / 1 000 000)+ (Брой заявки на месец × Среден изходен токен × Изходна цена / 1 000 000)

Нека да дадем пример. Да приемем, че екип за електронна търговия създава 50 000 описания на продукти на месец. Всяка заявка изпраща средно 500 токена вход (информация за продукта) и получава 300 токена изход (описание). В балансиран модел (вход ~3, изход ~15):

• Входящи разходи: 50 000 × 500 × 3 / 1 000 000 = $75
• Изходна цена: 50 000 × 300 × 15 / 1 000 000 = $225
• Общо ≈ $300/месец

Ако са свършили същата работа в олекотен модел (вход ~1, изход ~5):

• Вход: 50 000 × 500 × 1 / 1 000 000 = $25
• Изход: 50 000 × 300 × 5 / 1 000 000 = $75
• Общо ≈ $100/месец

Така че само изборът на етап може да намали същата работа от $300 на $100. За сравнително проста задача, като например описание на продукт, лекият модел често е повече от достатъчен.

Внимание: Тази формула е груба оценка; действителното таксуване варира в зависимост от фактори като използване на кеша, повторни опити и режим на разсъждение. Все пак това е много добро начало за получаване на потвърждение на бюджета или сравняване на два модела. Най-добре е да измерите реалния брой с малък пилот, преди да вземете решение.

Пет метода за намаляване на разходите

1. Изберете правилното ниво. Изчистен, лек модел. Това е най-големият източник на спестявания.
2. Направете входа по-малък. Вместо да попълвате огромни документи за всяка заявка, изпратете само съответния раздел (контекстна оптимизация в блок 5).
3. Ограничете изхода. Изяснете дължината и формата на отговора; Ненужно дълъг отговор = ненужни разходи.
4. Използвайте кеширане. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Това осигурява значителни спестявания, ако изпращате една и съща голяма инструкция хиляди пъти.
5. Извършване на групова обработка. Ако не бързате, „пакетните“ опции, които изпращат много заявки накуп и ги обработват с отстъпка, значително намаляват разходите.

Три реалистични случая

Случай 1 — Спестявания със стъпкова промяна. Екип за обслужване на клиенти обобщаваше всички входящи имейли с най-силния модел и месечната им сметка беше ~$900. Обобщаването беше проста задача; Когато преминаха към балансираното ниво, качеството на изхода остана почти същото, но сметката падна до ~$250. Спестявания ~$7,800 на година, само чрез избор на правилното ниво.

Случай 2 — Запазване с кеш. Софтуерен екип изпращаше едни и същи документи с 8000 токена „стандарти за кодиране“ с всяка заявка за преглед на код. 400 заявки на ден × 8000 токена = голямо повтарящо се въвеждане. Когато включиха функцията за кеширане, този фиксиран дял започна да се чете много по-евтино и значителна част от входните разходи изчезнаха.

Случай 3 — Икономии чрез ограничаване на продукцията. Когато маркетингов екип поиска описание на продукта, моделът изведе дълги, цветни абзаци наведнъж. Когато добавиха ограничението „максимум 60 думи, един параграф“, обясненията станаха по-полезни и изходният токен беше наполовина. Докато качеството се повишава, разходите намаляват; печеливша.

Слаба подкана / Силна подкана

Слаба подкана:

Напишете ми хубаво описание за този продукт. [информация за продукта]

Моделът може да пише колкото иска; Изходният токен е неконтролиран.

Мощна подкана:

Вашата роля: копирайтър за електронна търговия. Продукт: [ИНФОРМАЦИЯ]. Задача: Напишете описание на продукта. Ограничения: Максимум 60 думи, един абзац, привлекателен за нетехнически клиенти, съдържа 2 предимства + 1 случай на употреба. Избягвайте фантастичните прилагателни.

Мощната подкана контролира както качеството, така и дължината на изхода (и следователно цената).

Копируеми шаблони

1. Месечна оценка на разходите:

Правя [КОЛИЧЕСТВО] заявки месечно. Среден вход ~[NUM] токена, изход ~[NUM] токена. Изчислете месечните разходи за следните модели ([МОДЕЛ A], [МОДЕЛ B]) с формулата и сравнете в таблица. Приемете входно/изходни цени [ЦЕНИ].

Сравнение на ниво 2:

Мое задължение [ЗАДАЧА]. Тази работа наистина ли изисква мощен модел или е достатъчен лек/балансиран модел? Оценете по отношение на качество и цена и ми предложете 2 нива за пилотен тест.

3. Проверка за намаляване на разходите:

Идентифицирайте начини за намаляване на разходите в следния работен процес: [WORKFLOW]. Напишете осъществимост и очаквани спестявания за всяка от каскадата, намаляването на входа, границата на изхода, кеша и заглавките за пакетна обработка.

4. Ограничение на изхода:

Пренапишете следната подкана, за да намалите изходния токен, без да намалявате качеството: "[PROMPT]". Оптимизирайте за дължина, формат и ненужно повторение.

Често срещани грешки

• Пропускане на разликата вход/изход: Позволява дълги отговори, без да знае, че изходът е много по-скъп.
• Най-мощният модел за всяка работа: Вършите проста работа със скъп модел и плащате в пъти повече ненужно.
• Освобождаване на дължината на изхода: Предоставяне на неограничено разрешение за запис на модела, без да се налагат никакви ограничения за формат или дължина.
• Игнориране на кеша и партида: Липсват сериозни възможности за спестяване за повтарящи се въвеждания и неспешни задачи.
• Мисля, че цените са актуални: Разчитане на стара ценова таблица и неправилно планиране на бюджета; цените се променят често.

В обобщение

• Цената се изчислява на база жетони; входът и изходът се оценяват отделно, а изходът често е няколко пъти по-скъп.
• Можете грубо да оцените месечните разходи по формулата брой заявки × среден токен × цена.
• Само правилният избор на стъпка може да намали разходите многократно.
• Минимизиране на входа, ограничаване на изхода, кеширане и групова обработка са практични методи, които значително намаляват сметката.

Задача за приложение

Вземете символичните стойности, които сте изчислили в предишната единица. Изчислете месечните разходи на вашия бизнес за две различни нива с шаблон 1 в тази единица (прогноза на месечните разходи). След това, с третия шаблон (сканиране за намаляване на разходите), направете извод колко спестявания всеки метод може да донесе на вашия работен процес. Планирайте да изберете двата най-обещаващи метода и да ги приложите към бюджета си за следващия месец.

контролен списък

• [ ] Знам, че входният и изходният токен се оценяват отделно и изходът е по-скъп.
• [ ] Мога грубо да изчисля месечните разходи за работен процес с простата формула.
• [ ] Мога да покажа въздействието върху разходите от избора на правилното ниво с пример.
• [ ] Мога да разпозная пет метода за намаляване на разходите и да избера подходящия.
• [ ] Мога да пренапиша подкана, за да намаля изходния токен.