Добици:
- Објасните концепт токена, разликовања улазно/излазних токена и токенизације.
- Може израчунати цену захтева и месечно оптерећење из броја токена и јединичне цене
- Може да упореди утицај избора модела и брзе дужине на цену
Не можете изградити решење у великом обиму без разумевања економије ЛЛМ АПИ-ја. Демо се покреће једном; Најважније је да можете предвидети колики ће бити рачун када се обави хиљаде позива месечно. У овој јединици постављамо новчану страну ствари: шта је токен, зашто улазни и излазни подаци имају различите цене, како израчунати цену захтева и како планирати месечно оптерећење. Ове информације вам омогућавају да измерите повратак техника оптимизације (кеширање, избор модела, серија) у наредним јединицама.
Шта је токен?
Токен је најмања јединица у којој модел обрађује текст. Реч није увек лексем; лексема је обично део речи. Грубо говорећи, на енглеском, 1 токен је ≈ 4 знака ≈ 0,75 речи. У турском и коду, однос варира: турске речи се често деле на више лексема него у енглеском због структуре суфикса и писма. Због тога је неопходно измерити број токена помоћу алатке за бројање токена провајдера уместо да погађате на око.
Токенизација (процес раздвајања текста у токене) може бити различита за сваки модел. Ово има две практичне последице: (1) Исти текст може дати различите бројеве лексема у различитим моделима; (2) Предвиђања направљена са токенизаторима других провајдера (нпр. ОпенАИ-јева библиотека тиктокена) биће нетачна за Клода — користите савет за бројање токена за модел који користите.
Савет: "Колико токена?" Не одговарајте на питање слепо. Проследите репрезентативни текст кроз АПИ за бројање токена; Одлуке о буџету базирајте на мерењу.
Улазни и излазни токени
Фактура се састоји од две ставке:
- Улазни токени: Све што пошаљете моделу — системски промпт, прошли обиласци, корисничка порука, документација ако постоји. Они се обрађују одједном.
- Излазни токени: Одговор који производи модел. За сваки излазни токен, модел изводи прорачун корак по корак.
Код већине провајдера излаз је неколико пута скупљи од улаза. Разлог је једноставан: читање улаза одједном је јефтиније од производње излазног токен-по-токен. Познавање ове асиметрије објашњава зашто су оптимизације попут „захтевају концизне одговоре“ тако ефикасне.
Пример цене (за 1 милион токена, УСД)
Табела испод је референца; Цене се могу мењати током времена, молимо вас да потврдите тренутну листу вашег провајдера.
класа модела
узорак модела
Унос ($/1 милион)
Излаз ($/1 милион)
Типична употреба
брзо / јефтино
Хаику 4.5
1.00
5.00
Класификација, означавање, једноставан резиме
избалансиран
сонет 5
3.00
15.00
Опште намене, кодирање, агентски рад
јака
Опус 4.8
5.00
25.00
Сложено резоновање, дугорочни задаци
У свакој класи, излаз је 5 пута већи од инпута; Штавише, чак и унос моћног модела је 5 пута већи од уноса јефтиног модела. Ове две осе (улаз↔излаз и класа модела) чине оквир ваших одлука о трошковима.
Како израчунати цену?
Формула је једноставна:
цена = (улазни_токен / 1.000.000) × улазна_цена + (излазни_токен / 1.000.000) × цена_излаза
Пример налога. Захтев са Сонетом 5: 1.500 улазних токена, 400 излазних токена.
улаз = 1.500 / 1.000.000 × 3.00 = 0.0045 $ излаз = 400 / 1.000.000 × 15.00 = 0.0060 $ укупно = 0.0105 $ (око 1 цент)
Један позив изгледа јефтино. Али помножите са обимом: 20.000 позива дневно → 210 долара дневно, ~ 6.300 долара месечно. Овде размера долази у обзир.
Шаблон месечног буџета
Да бисте издвојили месечну цену радног оптерећења, користите овај шаблон:
1) Просечан улазни токен по захтеву: ......2) Просечан излазни токен по захтеву: ......3) Број захтева по дану: ......4) Одрађени дани у месецу: ......5) Цена по захтеву = (1)/1М×улазна_цена + (2)/1М×излазна_цена6) Месечни трошак = (5) × (3) ×
Изливање овог узорка у табелу и гледање како се збир одиграва када промените модел оличава одлуке о избору модела (јединица 5) и кеширању (јединица 6).
Скраћивање упита помоћу шаблона који се могу копирати
Већина трошкова произилази из непотребно дугих упита и изгубљеног резултата. Шаблони у наставку пружају директне уштеде.
# Ограничите дужину излаза. Одговорите са највише 3 ставке. Додајте образложење или уводну реченицу.
# Врати само тражено поље Врати само следећи ЈСОН, не додај никакав други текст:{"цатегори": "...", "ургенци": "лов|медиум|хигх"}
# Уклоните непотребан контекст. Уклоните само датум и износ из следећег текста. Немојте понављати цео текст. Текст: """{{тект}}"""
# Сумирајте дуги говор (чување уноса) Сажмите овај говор у 5 ставки. Користићу овај резиме уместо целе прошлости у наредним рундама. Говор: """{{прошлост}}"""
Слабо обавештење / Јако обавештење (у смислу цене)
# СЛАБО (објављује излаз, скупо) Анализирајте овај захтев за подршку и напишите ми свеобухватну рецензију.
# ЈАКО (ограничава излаз, јефтино и предвидљиво) Класификујте овај захтев за подршку. Само вратите следећи ЈСОН:{"цатегори":"фактура|технички|повраћај|остало","ургенци":"лов|медиум|хигх"}Не пишите опис.
Слаба верзија производи можда 500 излазних токена; јака верзија ~15. Пошто је излаз скуп, ово је значајна разлика по позиву и множи се са јачином звука.
Три мини кућишта
Случај 1 — Скривени трошак дугог упита. Како је рачуноводствена аутоматизација сортирала сваку фактуру, додала је „књигу правила“ од 40 страница као улаз за сваки захтев: ~12.000 улазних токена по захтеву. Са Сонетом 5 12,000/1М×3 = 0,036 $ управо унето. 5.000 рачуна дневно → 180 долара дневно. Кеширањем правилника (јединица 6) улазни трошкови су пали за ~90%.
Случај 2 — Исплата смањења модела. Један тим је радио једноставно „позитивно/негативно“ означавање осећања са Опусом 4.8: 300 улазних + 10 излазних токена. Опус кошта 300/1М×5 + 10/1М×25 = 0,00175 УСД. Прелазак на Хаику, 300/1М×1 + 10/1М×5 = 0,00035 долара — 5 пута јефтиније, разлика у прецизности је била немерљива. На 3 милиона позива месечно, разлика је $5,250 → $1,050.
Случај 3 — Отпуштање излаза. Када је маркетиншки тим израдио опис производа, није поставио ограничења у погледу производње; модел је понекад рекао 1.500 жетона. Када сам додао инструкцију „максимално 60 речи“, просечан излаз је пао са 900 на 90 токена. Пошто је штампање било скупо, месечни рачун је смањен за трећину, а текстови су постали кориснији.
Уобичајене грешке
- Погађање знака на око: можете погрешити, посебно у турском и коду. Мера.
- Под претпоставком да су улаз и излаз исти: Излаз је обично много скупљи; Већина оптимизације долази од скраћивања излаза.
- Немојте да вас завара јефтиност једног позива: одлука се доноси на основу количине. 0,01 долара × милион = 10.000 долара.
- Предвиђање са токенизером другог провајдера: Даје нетачне резултате; Користите алатку за бројање жетона модела.
- Неограничено повећање историје разговора: Сваки круг се додаје уносу; резимирати у дугим разговорима.
- Одржавање `мак_токена` непотребно високим: сакрива план буџета и ризик од смањења; Дајте реалну вредност.
Дубље: Контекстни прозор и дуга цена уноса
Веома је важно видети како се цена слаже „у току разговора“, а не само „по захтеву“. Укупна количина текста коју модел може да обради назива се контекстни прозор; Збир улаза и излаза мора стати у овај прозор. Модерни модели нуде веома велике прозоре (стотине хиљада, чак и милионе токена), али то не значи да можете да их „пуните бесконачно“ — све што ставите у прозор се наплаћује као улаз.
Замка у дугим разговорима је следећа: са сваком новом рундом поново шаљете целу историју (апатриди у јединици 1). У разговору од 20 рунди, 20. захтев носи целих првих 19 рунди као улаз. Дакле, како разговор постаје дужи, цена по захтеву расте кумулативно, а не линеарно. Разговор од 50 рунди са асистентом агента може произвести улазне трошкове десетине пута у односу на прву рунду.
Постоје два начина да се ово управља. Први је сажетак: компримовање старијих рунди у један блок рекапитулације, задржавајући само неколико последњих рунди сировим. Други је промптно кеширање (јединица 6): читање фиксног контекста за десетину цене уместо да га више пута обрађује по пуној цени. Заједно, они значајно смањују рачун за дуга, контекстуално интензивни радна оптерећења. Дакле, економија токена се односи на дизајн целе сесије, а не на један захтев.
Укратко
Токен је најмања јединица у којој се текст обрађује; улаз и излаз се одређују одвојено, а излаз је често много скупљи. Цена је број токена помножен јединичном ценом, а стварна одлука се доноси по обиму. Скраћивање брзине, ограничавање излаза и избор најлакшег модела који испуњава задатак су најдиректније полуге које вишеструко смањују трошкове.
Задатак апликације
Изаберите свој задатак. (1) Одредите број улазних и процењених излазних токена за репрезентативну промпту (мерите помоћу алатке за бројање токена ако је могуће). (2) Израчунајте цену по захтеву за три класе модела. (3) Процијените свој дневни број захтјева и изведите мјесечни буџет за три модела. (4) Додајте инструкцију за скраћивање излаза и забележите очекиване уштеде.
контролна листа
- [ ] Могу да објасним концепт токена и да токенизација варира у зависности од модела.
- [ ] Знам зашто улазни и излазни токени имају различите цене.
- [ ] Могу израчунати цену захтева помоћу формуле.
- [ ] Могу да креирам месечни буџет за радно оптерећење користећи шаблон.
- [ ] На примеру могу показати корист од скраћивања излаза и смањења модела.