Добици:
- Може да упореди породицу модела (брз/уравнотежен/снажан) по могућностима, брзини и цени
- Дизајнира избор модела и стратегије рутирања према сложености задатка
- Избор модела заснива на доказима са малим скупом евалуација
Једина одлука која одређује ваш највећи успех за ваш новац и квалитет у ЛЛМ интеграцији је који модел користите. Уобичајени рефлекс је „изаберите најјачи модел“; Међутим, то често значи непотребне трошкове и кашњења. Прави приступ је да се изабере најлакши модел који испуњава сваки задатак и да се тај избор заснива на мерењу, а не нагађању. У овој јединици ћете упоредити породицу модела на оси могућности/брзина/цена, успоставити стратегију рутирања модела према сложености задатка и потврдити избор малим скупом евалуација.
Разумевање породице модела
Провајдери углавном нуде три класе: брзу/јефтину, стабилну и моћну. Однос између њих је сажет на три осе: способност (моћ за решавање тешких задатака), брзина (латенција), цена (цена токена).
класе
пример
таленат
брзина
Цост
Доступни задаци
брзо
Хаику 4.5
средње
веома високо
ниско
Класификација, означавање, кратак резиме, оријентација
избалансиран
сонет 5
висока
висока
средње
Општа намена, кодирање, ток у више корака, већина агентских послова
јака
Опус 4.8
највиши
средње
висока
Сложено резоновање, аутономни задаци дугог домета, тешка анализа
Критички увид: моћнији модел не ради боље на сваком послу. У једноставном означавању „хитно или не“, јак модел и брзи модел дају исти тачан одговор; једина разлика је што је моћни 5 пута скупљи и спорији. Додатни таленат производи вредност само када мисија то захтева.
Корак по корак: Како одабрати модел?
- Класификујте задатак. Да ли је то рутинско/по узору (обележавање, закључивање) или отворено/у више корака (анализа, планирање, код)?
- Почните са најлакшим кандидатом. Пробајте са брзим моделом. Ако је то довољно, престани.
- Ако није довољно, пређите у вишу класу. Ако је тачност мала, идите на уравнотежену, ако то није довољно, идите на јаку.
- Мери, не погађај. Упоредите тачност и цену сваког кандидата са малим скупом оцењивања (испод).
- Подесите преусмеравање. Уместо повезивања на један модел, распоредите задатак на прави модел помоћу „рутера“.
Модел Роутинг
Права оптерећења су мешана: већина долазних захтева је једноставна, а неки тешки. Узалуд је све их слати моћном моделу; Њихово слање на брзи модел смањује квалитет. Рутирање решава ово: јефтин модел (или једноставно правило) прво класификује задатак, а затим посао иде на одговарајући модел.
# Промпт рутера (ради са јефтиним моделом) Класификујте долазни захтев према његовој тежини. Врати само следећи ЈСОН:{"диффицулти": "симпле|цомплек"}Једноставно: у једном кораку, формулаично, са кратким одговором.Сложено: захтева резоновање у више корака, анализу или дуго генерисање. Захтев: """{{рекуест}}"""
- идите на једноставан → брз модел (јефтин, брз).
- идите на сложен → моћан модел (скуп али неопходан).
Овај образац значајно смањује просечну цену јер је већина саобраћаја генерално једноставна.
Савет: Одлука о упућивању не захтева увек ЛЛМ. Једноставна правила попут „Иди на брзи модел ако је текст мањи од 20 речи“ су такође водич и доносе нула додатних трошкова токена. Прво испробајте правило.
Повезивање избора са доказима: Мали Евал кластер
Немојте бирати модел на основу „мени изгледа боље“. Евал (скуп за евалуацију) је мали скуп узорака за који је познат тачан одговор; покрећете сваки модел на овом скупу и мерите тачност, цену и кашњење.
# Евал сетуп темплате1) Прикупите 20-50 стварних примера, руком напишите „тачан одговор“ на сваком.2) Покрените сваки модел (брз/уравнотежен/јак) на овом скупу.3) За сваки модел: број исправки, токени просечне пропусности, цена по захтеву, просечно време.4) Изаберите модел који „даје довољну тачност најјефтиније“.
# Табела поређења Евал (попуни)Модел | Прецизност | Цена по захтеву | Просечно трајањеХаику | ...% | ... $ | ... снСоннет | ...% | ... $ | ... снОпус | ...% | ... $ | ...сек
Слабо обавештење / Јако обавештење (одлука о избору модела)
# СЛАБО (без основа за одлуку) Хајде да користимо најбољи модел, буџет није битан.
# ЈАКО (одлука заснована на мерењу) У процени од 50 узорака, Хаику је дао 96% тачности, Сонет је дао 97% тачности; Разлика је статистички безначајна. Хаику је изабран јер је 5 пута јефтинији и 2 пута бржи. Ако тачност падне испод 95%, одлука о надоградњи на Сонет ће бити донета аутоматски.
Моћна верзија; везује избор за број, праг и правило ескалације. Ово истовремено брани данашњу одлуку и управља будућим променама.
Три мини кућишта
Случај 1 — Бекство од надмоћног модела. Позивни центар је производио све сажетке разговора са Опусом; месечни рачун је био висок. При процени од 40 узорака, Сонет је био 1% иза Опуса у прецизности, али је коштао једну трећину. Преместили су сажетак дела у Сонет; месечни трошкови су пали са 9.000 долара на 3.100 долара, без притужби на квалитет.
Случај 2 — Мешовити саобраћај са преусмеравањем. 80% захтева правног техничког тима било је једноставно означавање докумената, 20% сложена анализа уговора. Све су их слали моћном моделу. Додали су јефтин рутер и дистрибуирали једноставне послове у Хаику, а сложене послове у Опус; просечна цена захтева је опала за 64%, док је квалитет анализе задржан.
Случај 3 — Трошкови смањења без мерења. Да би смањио трошкове, један тим је свео сложену екстракцију медицинског кода директно на брзи модел; Нису процењивали. У живо, прецизност је пала са 92% на 78%, што је резултирало враћањем нетачних закључака. Морали су прво да процене: тај задатак је захтевао моћан модел. Поука: и смањење и елевација се врше мерењем.
Уобичајене грешке
- Рефлекс „најјачег модела”: Расипање и непотребно одлагање једноставних задатака.
- Промена модела без мерења: И смањење и повећање су ризични без процене.
- Закључавање у један модел: Рутирање у мешовитом саобраћају је често ефикасније.
- Увек грешите рутер за ЛЛМ: Једноставна правила могу да функционишу уз нулту цену.
- Не поставља се праг појачања: Шта се дешава ако тачност опадне треба унапред дефинисати.
- Без поправљања верзије модела: Забележите на ком моделу/верзији радите у производњи; Промена верзије може променити понашање.
Дубље: Перпетуатинг Евал анд Инцрементал Триал
Избор модела није једнократна одлука. Провајдери уводе нове моделе, цене се мењају, опис вашег посла се развија. Зато поставите евал кластер једном и не заборавите; држи га као живо биће. Када се појави нови модел, прођете кроз њега истих 20-50 узорака, ажурирате табелу и поново донесете одлуку. Ово вас штити од замке „интуиције промене шаблона“.
Друга напредна техника је резервни/каскадни образац. Прво дајеш задатак јефтином моделу; Ако излаз има мало поверења или га слој за верификацију (јединица 11) одбије, ескалирате исти захтев. Дакле, највећи део саобраћаја се решава на јефтином моделу, а само преостала мањина иде на скупи модел. Ово је и јефтиније и издржљивије од фиксног приступа са једним моделом.
Трећа тачка је да процена укључује не само тачност већ и цену и кашњење. Ако је модел 1% тачнији, али 3 пута скупљи и 2 пута спорији, компромис се не исплати за већину послова. Донесите одлуку дуж три осе (тачност, цена, кашњење) и дефинишите „праг довољности“: „ако је тачност изнад 95%, изаберите најјефтинији“.
На крају, забележите који модел/верзију сте користили у производњи. Ако се једног дана промени квалитет излаза, прва ствар коју ћете погледати је да ли се верзија модела променила. Сљедивост верзија омогућава брже проналажење основног узрока проблема са квалитетом.
Још једно упозорење: евал кластер треба да представља ваше стварно оптерећење. Евал који се састоји само од лаких примера крије где модел посрће у тешким случајевима и уљуљка вас у лажно поверење. А гоод евал; Укључује уобичајене једноставне примере, као и случајеве са којима се сусрећете у стварности (двосмислени, непотпуни, контрадикторни улази). Ова тешка мањина одређује ваш избор модела, јер сваки модел ионако успева у лакој већини. Одржавајте свој Евал свежим и репрезентативним тако што ћете га периодично хранити новим правим примерима.
Укратко
Прави модел је најлакши модел који обавља посао; Снажније није боље у сваком послу, само је скупље и спорије. Класификација задатка и почев од најлакшег кандидата, дистрибуција мешовитог саобраћаја са рутирањем и поткрепљивање селекције малим скупом евалова смањује трошкове вишеструко уз одржавање квалитета.
Задатак апликације
Изаберите радно оптерећење. (1) Класификујте задатак као једноставан/сложен. (2) Дизајнирајте мали скуп од 20 стварних примера (са њиховим тачним одговорима). (3) Направите план за попуњавање табеле за поређење тачности/трошкова/времена за три класе модела. (4) Ако имате мешовити саобраћај, напишите правило рутирања и поставите праг ескалације.
контролна листа
- [ ] Могу да упоредим породицу модела на оси могућности/брзина/цена.
- [ ] Могу да применим принцип „најлакшег успешног модела“.
- [ ] Могу да подесим рутирање модела према сложености задатка.
- [ ] Са малим скупом евал-а могу везати избор за доказе.
- [ ] Могу да дефинишем праг надоградње/деградације.