Добивки:
- Способност за читање на влезно/излезни токени цени и ставки на фактура
- Способност да се процени месечната цена на работниот тек со груба формула
- Спроведување методи за намалување на трошоците, како што се кеширање, сериска обработка и поставување на модели
Да може да се процени колку ќе чини моделот е една од најпрактичните вештини на носителот на одлуки. „Што плаќам месечно? Ако не можете да одговорите на прашањето, не можете ниту да планирате буџет ниту да го изберете вистинското ниво. Добрата вест е дека цените се поедноставни отколку што звучи, и штом ќе го издржите, можете сами да направите груба проценка. Во оваа единица, ќе научите како да ги читате цените на влезните/излезните токени, да ги процените месечните трошоци на работниот тек со едноставна формула и методите кои всушност ги намалуваат трошоците.
Правило на палецот: Влезот и излезот се цени одделно
Во моделите со затворена тежина, цената се пресметува врз основа на количината на обработени токени и има две посебни ставки:
- Влезен токен (внес): Текстот што го испраќате до моделот. Вашето барање, вашите документи, вашите примероци.
- Излезен токен: Одговорот што го произведува моделот за вас.
Критична точка: излезниот токен е често неколку пати поскап од влезниот токен. Тоа е затоа што е пресметано поскапо за моделот да произведе излез. На пример, во еден модел, влезот може да биде 3 долари за милион токени додека излезот може да биде 15 долари; Значи, излезот е пет пати поскап. Ова значи дека долгите и непотребни одговори брзо можат да го изедат буџетот.
Совет: Еден од најлесните начини да ги намалите трошоците е да не барате од моделот непотребно долги одговори. Ограничувањата како што се „максимум 5 статии“, „еден пасус“, „извези само табелата“ го зголемуваат квалитетот и го зачувуваат излезниот токен.
Примери за тековни цени
Подолу се прикажани приближните цени на неколку модели (по милион токени, американски долари). Овие вредности припаѓаат на периодот во кој овој модул е подготвен и често се менуваат; Проверете ја тековната страница со цени на давателот за точната одлука.
модел
Фаза
Внесете $/1 милион
Излез $/1 милион долари
Клод Опус 4.8
силна
~ 5
~ 25
Клод Сонет 5
избалансиран
~ 3
~ 15
Клод Хаику 4,5
лесен
~ 1
~ 5
Како што се гледа во табелата, може да има разлика во цената до пет пати помеѓу силниот и лесен степен. Затоа, пристапот „најдобриот модел за сите бизниси“ често е губење пари. Едноставната работа направена од евтин модел и тешката работа од моќен модел обезбедува голема заштеда без губење на квалитетот. Оваа идеја ќе ја продлабочиме во целините 7 и 9.
Проценка на месечен трошок: едноставна формула
За груба месечна проценка на трошоците, можете да ја користите оваа формула:
Месечни трошоци ≈ (Број на барања месечно × Просечен влезен токен × Влезна цена / 1.000.000)+ (Број на барања месечно × Просечен излезен токен × Излезна цена / 1.000.000)
Ајде да дадеме пример. Да речеме, тим за е-трговија произведува 50.000 описи на производи месечно. Секое барање испраќа во просек 500 токени влез (информации за производот) и добива 300 токени излез (опис). Во избалансиран модел (влез ~3, излез ~15):
- Влезен трошок: 50.000 × 500 × 3 / 1.000.000 = 75 долари
- Излезни трошоци: 50.000 × 300 × 15 / 1.000.000 = 225 долари
- Вкупно ≈ $300/месечно
Ако ја завршиле истата работа во лесен модел (влез ~ 1, излез ~ 5):
- Влез: 50.000 × 500 × 1 / 1.000.000 = 25 долари
- Излез: 50.000 × 300 × 5 / 1.000.000 = 75 долари
- Вкупно ≈ $100/месец
Така, само изборот на фаза може да ја намали истата работа од 300 на 100 долари. За релативно едноставна задача, како што е описот на производот, лесниот модел е често повеќе од доволен.
Внимание: оваа формула е груба проценка; фактичката наплата варира во зависност од факторите како што се употребата на кешот, повторувањата и режимот на расудување. Сепак, тоа е многу добар почеток за добивање потврда за буџетот или споредба на два модели. Најдобро е да се измери реалниот број со мал пилот пред да се донесе одлука.
Пет методи за намалување на трошоците
- Изберете го вистинското ниво. Едноставен, лесен модел. Ова е единствениот најголем извор на заштеди.
- Направете го влезот помал. Наместо да пополнувате огромни документи за секое барање, испратете го само соодветниот дел (оптимизација на контекст во единица 5).
- Ограничете го излезот. Појаснете ја должината и форматот на одговорот; Непотребно долг одговор = непотребен трошок.
- Користете кеширање. Many providers allow you to cache and re-read repeated fixed inputs (e.g. the same system instruction) much cheaper. Ова обезбедува значителни заштеди ако ја испраќате истата голема инструкција илјадници пати.
- Изведете сериска обработка. Ако не брзате, „бач“ опциите, кои испраќаат многу барања на големо и ги обработуваат со попуст, значително ги намалуваат трошоците.
Три реални случаи
Случај 1 - Заштеда со промена на чекорот. Тим за услуги на клиентите ги сумираше сите дојдовни пораки со најсилниот модел, а нивната месечна сметка беше ~ 900 долари. Сумирањето беше едноставна задача; Кога се префрлија на балансираното ниво, квалитетот на излезот остана речиси ист, но сметката падна на ~ 250 долари. Заштеда ~ 7.800 долари годишно, само со избирање на вистинското ниво.
Случај 2 - Зачувување со кеш. Софтверски тим го испраќаше истиот документ од 8.000 токени „стандарди за кодирање“ со секое барање за преглед на код. 400 барања дневно × 8.000 токени = голем повторлив влез. Кога ја вклучија функцијата кеш, оваа фиксна партиција почна да се чита многу поевтино и значителен дел од влезните трошоци исчезнаа.
Случај 3 - Заштеда со ограничување на излезот. Кога маркетинг тим побара опис на производот, моделот произведува долги, раскошни параграфи во исто време. Кога го додадоа ограничувањето „максимум 60 зборови, еден параграф“, објаснувањата станаа покорисни и излезниот токен беше преполовен. Додека квалитетот се зголеми, трошоците се намалија; победа-победа.
Слаба навестување / Силен навестување
Слаба навестување:
Напиши ми убав опис за овој производ. [информации за производот]
Манекенката може да пишува додека сака; Излезниот токен е неконтролиран.
Моќен потсетник:
Вашата улога: пишувач за е-трговија. Производ: [ИНФОРМАЦИИ]. Задача: Напишете опис на производот. Ограничувања: Максимум 60 зборови, еден пасус, жалба до нетехнички клиенти, содржи 2 поволности + 1 случај на употреба. Избегнувајте фенси придавки.
Моќниот промпт ги контролира квалитетот и должината на излезот (а со тоа и цената).
Шаблони за копирање
1. Месечна проценка на трошоците:
Поставувам [QUANTITY] барања месечно. Просечно внесување ~[NUM] токени, излез ~[NUM] токени. Пресметајте ги месечните трошоци за следните модели ([MODEL A], [MODEL B]) со формулата и споредете во табела. Прифатете ги влезните/излезните цени [ЦЕНИ].
Споредба на ниво 2:
Моја должност [задача]. Дали оваа работа навистина бара моќен модел или е доволен лесен/балансиран модел? Оценете во однос на квалитетот и цената и предложете ми 2 нивоа за пилот-тестирање.
3. Скрининг за намалување на трошоците:
Идентификувајте начини за намалување на трошоците во следниот работен тек: [WORKFLOW]. Напишете ја изводливоста и проценетите заштеди за секоја од каскадата, намалувањето на влезот, излезната граница, кешот и сериските заглавија за обработка.
4. Ограничување на излезот:
Повторно напишете го следново барање за да го намалите излезниот токен без да го намалите квалитетот: „[PROMPT]“. Оптимизирајте за должина, формат и непотребно повторување.
Вообичаени грешки
- Прескокнување на влезно/излезна разлика: Дозволете долги одговори без да знаете дека излезот е многу поскап.
- Најмоќниот модел за секоја работа: Вршење едноставна работа со скап модел и плаќање многукратно повеќе непотребно.
- Ослободување на излезната должина: Давање неограничена дозвола за пишување на моделот без да се наметнуваат ограничувања за формат или должина.
- Игнорирање на кешот и серија: недостасуваат сериозни можности за заштеда за повторливи влезови и неитни задачи.
- Мислење дека цените се ажурирани: потпирање на стара табела за цени и неправилно планирање на буџетот; цените често се менуваат.
Сумирано
- Цената се пресметува врз основа на токени; влезот и излезот се ценети одделно, а излезот е често неколку пати поскап.
- Можете грубо да ги процените месечните трошоци според формулата за број на барања × просечен токен × цена.
- Само правилен избор на чекори може да ги намали трошоците многу пати.
- Минимизирањето на влезот, ограничувањето на излезот, кеширањето и сериската обработка се практични методи кои значително ја намалуваат сметката.
Задача за апликација
Добијте ги токените вредности што ги проценивте во претходната единица. Месечните трошоци на вашиот бизнис нека се пресметаат за две различни нивоа со шаблон 1 во оваа единица (месечна проценка на трошоците). Потоа, со третиот образец (скенирање за намалување на трошоците), заклучете колку заштеди секој метод може да донесе на вашиот работен тек. Планирајте да ги изберете двата најперспективни методи и да ги примените во буџетот за следниот месец.
листа за проверка
- [ ] Знам дека влезниот и излезниот токен се ценат одделно, а излезот е поскап.
- [ ] Можам грубо да ги проценам месечните трошоци на работниот тек со едноставната формула.
- [ ] Можам да го покажам влијанието на трошоците од изборот на вистинското ниво со пример.
- [ ] Можам да препознаам пет методи за намалување на трошоците и да го изберам соодветниот.
- [ ] Можам повторно да напишам барање за намалување на излезниот токен.