Добивки:
- Објаснете го концептот на токен, дистинкција на влезно/излезен токен и токенизација.
- Може да ја пресмета цената на барањето и месечниот обем на работа од бројот на токени и единечната цена
- Може да го спореди влијанието на изборот на модел и навремената должина на цената
Не можете да изградите решение во обем без да ја разберете економијата на LLM API. Демо се извршува еднаш; Главната работа е да може да се предвиди каква ќе биде сметката кога ќе се направат илјадници повици месечно. Во оваа единица ја поставуваме паричната страна на нештата: што е токен, зошто влезните и излезните цени се поинакви, како да се пресмета цената на барањето и како да се буџетира месечниот обем на работа. Оваа информација ви овозможува да го измерите враќањето на техниките за оптимизација (кеширање, избор на модел, серија) во следните единици.
Што е Токен?
Токен е најмалата единица во која моделот обработува текст. Зборот не е секогаш знак; токенот обично е дел од зборот. Грубо кажано, на англиски, 1 токен е ≈ 4 знаци ≈ 0,75 зборови. На турски и код, односот варира: турските зборови често се поделени на повеќе токени отколку на англиски поради неговата структура и азбука со суфикс. Затоа, потребно е да се измери бројот на токени со алатката за броење токени на давателот наместо да се погодува со око.
Токенизацијата (процесот на делење на текстот на токени) може да биде различна за секој модел. Ова има две практични последици: (1) Истиот текст може да даде различен број на токени во различни модели; (2) Предвидувањата направени со токенизатори од други провајдери (на пр., библиотеката tiktoken на OpenAI) ќе бидат неточни за Клод - користете го советот за броење токени за моделот што го користите.
Совет: "Колку токени?" Не одговарајте на прашањето слепо. Пренесете репрезентативен текст преку API за броење токени; Засновајте ги буџетските одлуки на мерење.
Влезни и излезни токени
Фактурата се состои од две ставки:
- Влезни токени: Сè што ќе му испратите на моделот - системско известување, минати тури, корисничка порака, документација доколку ги има. Овие се обработуваат одеднаш.
- Излезни токени: Одговорот произведен од моделот. За секој излезен токен, моделот ја врши пресметката чекор по чекор.
Кај повеќето провајдери, излезот е неколку пати поскап од влезот. Причината е едноставна: читањето на влезот одеднаш е поевтино од производството на излезниот токен по токен. Познавањето на оваа асиметрија објаснува зошто оптимизациите како „бараат концизни одговори“ се толку ефективни.
Примерни цени (по 1 милион токени, УСД)
Табелата подолу е референца; Цените може да се менуваат со текот на времето, ве молиме потврдете ја тековната листа на вашиот сопствен провајдер.
модел класа
примерок модел
Влез ($/1 милион)
Излез ($/1 милион)
Типична употреба
брзо/евтино
Хаику 4.5
1.00 часот
5.00 часот
Класификација, означување, едноставно резиме
избалансиран
сонет 5
3.00 часот
15.00 часот
Општа намена, кодирање, работа со агент
силна
Опус 4.8
5.00 часот
25.00 часот
Комплексно расудување, долги задачи
Во секоја класа, излезот е 5 пати поголем од влезот; Покрај тоа, дури и влезот на моќниот модел е 5 пати поголем од влезот на евтиниот модел. Овие две оски (влезен↔излезен и модел класа) ја формираат рамката на вашите одлуки за трошоците.
Како да се пресметаат трошоците?
Формулата е едноставна:
цена = (влезен_токен / 1.000.000) × влезна_цена + (излезен_токен / 1.000.000) × излезна_цена
Примерок сметка. Барање со Сонет 5: 1.500 влезни токени, 400 излезни токени.
влез = 1.500 / 1.000.000 × 3.00 = 0.0045 $ излез = 400 / 1.000.000 × 15.00 = 0.0060 $ вкупно = 0.0105 $ (околу 1 цент)
Еден повик изгледа евтино. Но, помножете се со волумен: 20.000 повици дневно → 210 долари дневно, ~ 6.300 долари месечно. Тука вагата влегува во игра.
Шаблон за месечен буџет
За да ги извлечете месечните трошоци за обемот на работа, користете го овој образец:
1) Просечен влезен токен по барање: ......2) Просечен излезен токен по барање: ......3) Број на барања на ден: ......4) Работни денови месечно: ......5) Цена по барање = (1)/1M×влезна_цена + (2)/1M×излезна_цена6) Месечни трошоци = (5)× (4) (5)
Истурањето на оваа шема во табела и гледањето како се игра збирот кога го менувате моделот ги отелотворува одлуките за избор на модел (единица 5) и кеш (единица 6).
Скратување на барањето со шаблони што можат да се копираат
Поголемиот дел од трошоците доаѓаат од непотребно долги барања и потрошени резултати. Шаблоните подолу обезбедуваат директни заштеди.
# Ограничете ја излезната должина. Одговорете со најмногу 3 ставки. Додадете образложение или воведна реченица.
# Врати го само бараното поле Врати го само следниов JSON, не додавај друг текст:{"category": "...", "urgency": "low|medium|high"}
# Отстранете го непотребниот контекст Отстранете ги само датумот и износот од следниот текст. Не го повторувајте целиот текст. Текст: """{{text}}"""
# Сумирајте го долгиот говор (зачувување на внесување) Сумирајте го овој говор во 5 ставки. Ќе го користам ова резиме наместо целосното минато во следните рунди. Говор: """{{минато}}"""
Слаба навестување / Силно известување (во однос на трошоците)
# СЛАБ (издава излез, скап) Анализирајте го ова барање за поддршка и напишете ми сеопфатен преглед.
# STRONG (го ограничува излезот, ефтин и предвидлив) Класифицирајте го ова барање за поддршка. Само вратете го следниов JSON:{"category":"фактура|технички|рефундирање|друго","urgency":"ниско|средно|високо"}Не пишувајте опис.
Слабата верзија произведува можеби 500 излезни токени; силна верзија ~15. Бидејќи излезот е скап, ова е значајна разлика по повик и се множи со јачината на звукот.
Три мини футроли
Случај 1 - Скриената цена на долгиот промпт. Како што сметководствената автоматизација ја сортираше секоја фактура, додаде „правилник“ од 40 страници како влез за секое барање: ~ 12.000 влезни токени по барање. Со Сонет 5 12.000/1M×3 = 0,036 $ штотуку внесени. 5.000 сметки дневно → 180 долари дневно. Со кеширање на правилникот (единица 6) влезните трошоци се намалија за ~ 90%.
Случај 2 - Исплатата на намалувањето на моделот. Еден тим правеше едноставно означување на „позитивно/негативно“ чувство со Opus 4.8: 300 влезни + 10 излезни токени. Цена на опусот 300/1M×5 + 10/1M×25 = 0,00175 долари. Префрлување на Хаику, 300/1M×1 + 10/1M×5 = 0,00035$ — 5x поевтино, разликата во прецизноста беше неизмерна. На 3 милиони повици месечно, разликата е 5.250 долари → 1.050 долари.
Случај 3 - Ослободување на излезот. Кога маркетинг тим изготви опис на производот, тој не поставуваше ограничувања на излезот; моделот понекогаш кажуваше 1.500 токени. Кога ја додадов инструкцијата „60 зборови максимум“, просечниот излез падна од 900 на 90 токени. Бидејќи печатењето беше скапо, месечната сметка беше намалена за една третина, а текстовите станаа покорисни.
Вообичаени грешки
- Погодување на знакот со око: Може да згрешите особено на турски и код. Мерка.
- Претпоставувајќи дека влезот и излезот се исти: Излезот е обично многу поскап; Најголем дел од оптимизацијата доаѓа од скратувањето на излезот.
- Немојте да бидете измамени од евтиноста на еден повик: Одлуката се носи по обем. 0,01 × милион долари = 10.000 долари.
- Предвидување со токенизатор на друг провајдер: Дава неточни резултати; Користете ја алатката за броење токени на моделот.
- Неограничено проширување на историјата на разговори: Секоја рунда се додава на записот; сумира во долги разговори.
- Одржување на „max_tokens“ непотребно високи: го крие буџетскиот план и ризикот од кратење; Дајте реална вредност.
Подлабоко: Контекстен прозорец и долга влезна цена
Од клучно значење е да се види како цената се зголемува „во текот на разговорот“, а не само „по барање“. Вкупниот износ на текст што моделот може да го обработи се нарекува контекстен прозорец; Збирот на влез и излез мора да се вклопи во овој прозорец. Модерните модели нудат многу големи прозорци (стотици илјади, дури и милиони токени), но тоа не значи дека можете да го „полните бесконечно“ - што и да ставите во прозорецот се наплаќа како влез.
Замката во долгите разговори е оваа: со секој нов круг повторно ја испраќате целата историја (без државјанство во единица 1). Во разговор од 20 круга, 20-то барање ги носи сите први 19 рунди како влез. Така, како што разговорот станува подолг, цената по барање расте кумулативно наместо линеарно. Разговор од 50 круга со помошник агент може да произведе влезни трошоци десетици пати повеќе од првиот круг.
Постојат два начини за управување со ова. Првиот е повторување: компресирање на постарите кругови во еден блок за повторување, задржувајќи ги само последните неколку рунди необработени. Второто е брзо кеширање (единица 6): читање на фиксниот контекст по десетина од цената наместо постојано да се обработува по целосна цена. Заедно, тие значително ја намалуваат сметката за долги оптоварувања со контекст интензивен. Значи, симболичната економија се однесува на дизајнот на целата сесија, а не на едно барање.
Сумирано
Токен е најмалата единица во која се обработува текстот; влезот и излезот се ценети одделно, а излезот е често многу поскап. Трошокот е бројот на токени помножен со единечната цена, а вистинската одлука се носи по волумен. Скратувањето на промптот, ограничувањето на излезот и изборот на најлесниот модел што ја исполнува задачата се најдиректните лостови кои многукратно ја намалуваат цената.
Задача за апликација
Изберете задача самостојно. (1) Определете го бројот на влезни и проценети излезни токени за репрезентативна порака (мерете со алатка за броење токени ако е можно). (2) Пресметајте ги трошоците по барање за трите класи на модели. (3) Проценете го вашиот дневен број на барања и извлечете го месечниот буџет за трите модели. (4) Додадете инструкција за скратување на излезот и забележете ги очекуваните заштеди.
листа за проверка
- [ ] Можам да го објаснам концептот на токени и дека токенизацијата варира во зависност од моделот.
- [ ] Знам зошто влезните и излезните токени се ценети поинаку.
- [ ] Можам да ја пресметам цената на барањето со формулата.
- [ ] Можам да креирам месечен буџет за обемот на работа користејќи шаблон.
- [ ] Можам со пример да ја покажам користа од скратувањето на излезот и намалувањето на моделот.