Добици:
- Способност читања улазних/излазних цена токена и ставки фактура
- Способност да се процени месечни трошак тока посла помоћу грубе формуле
- Примена метода смањења трошкова као што су кеширање, групна обрада и постављање модела
Бити у стању да процени колико ће модел коштати једна је од најпрактичнијих вештина доносиоца одлука. „Шта плаћам месечно?“ Ако не можете да одговорите на питање, не можете ни планирати буџет, нити одабрати прави ниво. Добра вест је да је одређивање цена једноставније него што звучи, а када се савладате, можете сами да направите грубу процену. У овој јединици ћете научити како да прочитате цене улазних/излазних токена, процените месечне трошкове тока посла помоћу једноставне формуле и метода које заправо смањују трошкове.
Опште правило: Улаз и излаз се наплаћују одвојено
У моделима затворене тежине, цена се израчунава на основу количине обрађених токена и постоје две одвојене ставке:
- Токен за унос (унос): текст који шаљете моделу. Ваш упит, ваша документа, ваши узорци.
- Излазни токен: одговор који модел производи за вас.
Критична тачка: Излазни токен је често неколико пута скупљи од улазног токена. То је зато што је моделу рачунски скупље да произведе излаз. На пример, у једном моделу, улаз може бити 3 УСД за милион токена, док излаз може бити 15 УСД; Дакле, излаз је пет пута скупљи. То значи да дуги и непотребни одговори могу брзо појести буџет.
Савет: Један од најлакших начина за смањење трошкова је да не тражите од модела непотребно дугачке одговоре. Ограничења као што су „максимално 5 чланака“, „један пасус“, „извези само табелу“ повећавају квалитет и чувају излазни токен.
Примери тренутних цена
Испод су приближне цене неколико модела (за милион токена, америчких долара). Ове вредности припадају периоду у коме је овај модул припремљен и често се мењају; Проверите тренутну страницу са ценама добављача за тачну одлуку.
модел
Стаге
Унесите $/1М
Излаз $/1М
Цлауде Опус 4.8
јака
~5
~25
Клод Сонет 5
избалансиран
~3
~15
Клод Хаику 4.5
лагана
~1
~5
Као што се види у табели, може постојати разлика у цени до пет пута између јаког и лаганог нивоа. Зато је приступ „најприкладнијем моделу за све послове“ често губљење новца. Једноставан посао који обавља јефтин модел и тежак посао моћног модела омогућава велике уштеде без губитка квалитета. Ову идеју ћемо продубити у јединицама 7 и 9.
Процена месечних трошкова: једноставна формула
За грубу процену месечних трошкова, можете користити ову формулу:
Месечни трошак ≈ (Број захтева месечно × Просечна улазна цена × Улазна цена / 1.000.000)+ (Број захтева месечно × Просечан излазни токен × Излазна цена / 1.000.000)
Хајде да покренемо пример. Рецимо да тим за е-трговину производи 50.000 описа производа месечно. Сваки захтев шаље у просеку 500 токена улаза (информација о производу) и прима 300 токена излаза (опис). У балансираном моделу (улаз ~3, излаз ~15):
- Улазни трошкови: 50.000 × 500 × 3 / 1.000.000 = 75 УСД
- Излазни трошкови: 50.000 × 300 × 15 / 1.000.000 = 225 УСД
- Укупно ≈ 300 УСД месечно
Ако су урадили исти посао у лаганом моделу (улаз ~1, излаз ~5):
- Улаз: 50.000 × 500 × 1 / 1.000.000 = 25 УСД
- Излаз: 50.000 × 300 × 5 / 1.000.000 = 75 УСД
- Укупно ≈ 100 УСД месечно
Дакле, само одабир фазе може смањити исти посао са 300 долара на 100 долара. За релативно једноставан задатак као што је опис производа, лагани модел је често више него довољан.
Опрез: Ова формула је груба процена; стварни обрачун варира у зависности од фактора као што су употреба кеша, поновни покушаји и начин размишљања. Ипак, то је веома добар почетак за добијање потврде буџета или поређење два модела. Најбоље је измерити прави број са малим пилотом пре него што донесете одлуку.
Пет метода за смањење трошкова
- Изаберите прави ниво. Једноставан, лаган модел. Ово је највећи једини извор уштеде.
- Умањите унос. Уместо да попуњавате огромне документе за сваки захтев, пошаљите само одговарајући одељак (оптимизација контекста у јединици 5).
- Ограничите излаз. Појасните дужину и формат одговора; Непотребно дуг одговор = непотребан трошак.
- Користите кеширање. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Ово пружа значајне уштеде ако шаљете исту велику инструкцију хиљадама пута.
- Извршите групну обраду. Ако не журите, „батцх“ опције, које шаљу многе захтеве на велико и обрађују их са попустом, значајно смањују трошкове.
Три реална случаја
Случај 1 — Уштеде уз промену корака. Тим за корисничку подршку је сумирао све долазне е-поруке са најјачим моделом, а њихов месечни рачун је био ~900 долара. Сумирање је био једноставан задатак; Када су прешли на балансирани ниво, квалитет излаза је остао скоро исти, али је рачун пао на ~250 долара. Уштеда од ~7.800 долара годишње, само одабиром правог нивоа.
Случај 2 — Чување са кеш меморијом. Софтверски тим је слао исти документ са 8.000 токена „стандарди кодирања“ са сваким захтевом за преглед кода. 400 захтева дневно × 8.000 токена = велики унос који се понавља. Када су укључили функцију кеша, ова фиксна партиција је почела да се чита много јефтиније и значајан део улазних трошкова је нестао.
Случај 3 — Уштеде ограничавањем производње. Када је маркетиншки тим затражио опис производа, модел је произвео дугачке, цветне пасусе одједном. Када су додали ограничење „максимално 60 речи, један пасус“, објашњења су постала кориснија и излазни токен је преполовљен. Док се квалитет повећао, трошкови су се смањили; вин-вин.
Слаба порука / јака промпт
Слабо обавештење:
Напишите ми леп опис за овај производ. [информације о производу]
Манекенка може да пише колико год жели; Излазни токен је неконтролисан.
Снажан упит:
Ваша улога: е-цоммерце цопивритер. Производ: [ИНФОРМАЦИЈЕ]. Задатак: Напишите опис производа. Ограничења: Максимално 60 речи, један пасус, привлачан корисницима који нису технички, садрже 2 предности + 1 случај употребе. Избегавајте фенси придеве.
Моћни промпт контролише и квалитет и дужину излаза (а самим тим и цену).
Цопиабле Темплатес
1. Процена месечних трошкова:
Постављам [КУАНТИТИ] захтеве месечно. Просечан унос ~[НУМ] токена, излаз ~[НУМ] токена. Израчунајте месечну цену за следеће моделе ([МОДЕЛ А], [МОДЕЛ Б]) помоћу формуле и упоредите у табели. Прихватите улазне/излазне цене [ЦЕНЕ].
Поређење нивоа 2:
Моја дужност [ЗАДАЋАК]. Да ли овај посао заиста захтева моћан модел или је довољан лаган/уравнотежен модел? Процените у смислу квалитета и цене и предложите 2 нивоа за пилот тестирање.
3. Провера смањења трошкова:
Идентификујте начине за смањење трошкова у следећем току рада: [ТОК РАДА]. Напишите изводљивост и процењене уштеде за свако од заглавља каскаде, смањења улаза, ограничења излаза, кеша и групне обраде.
4. Ограничење излаза:
Поново напишите следећу промпт да бисте смањили излазни токен без смањења квалитета: „[ПРОМПТ]“. Оптимизујте дужину, формат и непотребно понављање.
Уобичајене грешке
- Прескакање разлике између улаза/излаза: Дозвољавање дугих одговора без знања да је излаз много скупљи.
- Најмоћнији модел за сваки посао: Радите једноставан посао са скупим моделом и плаћате вишеструко непотребно.
- Отпуштање излазне дужине: Давање неограничене дозволе за писање моделу без наметања ограничења формата или дужине.
- Игнорисање кеш меморије и групе: Недостају озбиљне могућности уштеде за понављајуће уносе и задатке који нису хитни.
- Сматрати да су цене ажурне: ослањање на стару табелу цена и погрешно планирање буџета; цене се често мењају.
Укратко
- Цена се израчунава на основу токена; улаз и излаз се одређују одвојено, а излаз је често неколико пута скупљи.
- Можете грубо проценити месечну цену по формули број захтева × просечни токен × цена.
- Само исправан избор корака може много пута смањити трошкове.
- Минимизација уноса, ограничавање излаза, кеширање и групна обрада су практичне методе које значајно смањују рачун.
Задатак апликације
Добијте вредности токена које сте проценили у претходној јединици. Нека месечни трошак вашег пословања буде израчунат за два различита нивоа са шаблоном 1 у овој јединици (месечна процена трошкова). Затим, помоћу 3. шаблона (скенирање смањења трошкова), закључите колику уштеду свака метода може донети вашем току рада. Планирајте да изаберете две методе које највише обећавају и примените их на буџет за следећи месец.
контролна листа
- [ ] Знам да се улазни и излазни токен наплаћују одвојено и да је излаз скупљи.
- [ ] Могу грубо да проценим месечне трошкове тока посла помоћу једноставне формуле.
- [ ] Могу показати утицај на трошкове избора правог нивоа на примеру.
- [ ] Могу препознати пет метода смањења трошкова и изабрати одговарајући.
- [ ] Могу да препишем промпт да смањим излазни токен.