Добивки:
- Може да го споредува семејството на модели (брзо/балансирано/моќно) според способноста, брзината и цената
- Дизајнира избор на модели и стратегии за рутирање според сложеноста на задачата
- Изборот на модел го заснова на докази со мал сет на евалуации
Единствената одлука што го одредува вашиот најголем трошок за пари и квалитет во интеграцијата на LLM е кој модел го користите. Заедничкиот рефлекс е „избери го најсилниот модел“; Сепак, ова често значи непотребни трошоци и одложувања. Вистинскиот пристап е да се избере најлесниот модел што ја исполнува секоја задача и да се заснова на мерење, а не на претпоставка. Во оваа единица, ќе го споредите семејството на модели на оската на способност/брзина/трошок, ќе воспоставите стратегија за рутирање на моделот според сложеноста на задачата и ќе го докажете изборот со мал сет на проценки.
Разбирање на семејството модел
Давателите обично нудат три класи: брз/евтин, стабилен и моќен. Врската меѓу нив е сумирана на три оски: способност (моќ за решавање на тешки задачи), брзина (латентност), цена (токена цена).
класа
пример
талент
брзина
Цена
Достапни задачи
брзо
Хаику 4.5
средно
многу високо
низок
Класификација, означување, кратко резиме, ориентација
избалансиран
сонет 5
високо
високо
средно
Општа намена, кодирање, повеќестепен проток, повеќето работи на агенти
силна
Опус 4.8
највисоко
средно
високо
Комплексно расудување, автономни задачи на долг дострел, тешка анализа
Критички увид: помоќниот модел не функционира подобро на секоја работа. Во едно едноставно означување „итно или не“, силниот модел и брзиот модел даваат ист точен одговор; единствената разлика е што моќниот е 5 пати поскап и побавен. Дополнителниот талент создава вредност само кога тоа го бара мисијата.
Чекор по чекор: Како да изберете модел?
- Класифицирајте ја задачата. Дали е тоа рутинско/шаблонско (етикетирање, заклучување) или отворено/повеќе чекори (анализа, планирање, код)?
- Започнете со најлесниот кандидат. Пробајте го со брзиот модел. Ако е доволно, престанете.
- Ако не е доволно, преминете во повисока класа. Ако точноста е мала, одете на избалансираната, ако тоа не е доволно, одете на силната.
- Мери, не погодувај. Споредете ја точноста и цената на секој кандидат со мал сет на евал (подолу).
- Поставете пренасочување. Наместо да се поврзувате со еден модел, распоредете ја задачата на вистинскиот модел со „рутер“.
Модел рутирање
Вистинските оптоварувања се измешани: повеќето дојдовни барања се едноставни, некои се тешки. Џабе е да ги испратиме сите до моќниот модел; Испраќањето на сите на брзиот модел го намалува квалитетот. Рутирањето го решава ова: евтин модел (или едноставно правило) прво ја класифицира задачата, а потоа работата оди на соодветниот модел.
# Промпт за рутер (работи со евтин модел) Класифицирајте го дојдовното барање според неговата тежина. Вратете го само следниов JSON:{"тешкотии": "едноставно|комплексно"}Едноставно: едночекорно, формулаче, со краток одговор. Комплексно: бара повеќестепено расудување, анализа или долга генерација. Барање: """{{барање}}"""
- одете на едноставен → брз модел (евтин, брз).
- оди на сложен → моќен модел (скап, но неопходен).
Оваа шема значително ја намалува просечната цена бидејќи поголемиот дел од сообраќајот е генерално едноставен.
Совет: Одлуката за упатување не секогаш бара LLM. Едноставните правила како „Оди на брз модел ако текстот е помал од 20 зборови“ се исто така водич и носат нула дополнителни токени трошоци. Прво пробајте го правилото.
Поврзување на изборот со докази: Малиот евален кластер
Не избирајте модел врз основа на „поубаво ми изгледа“. Евал (група за евалуација) е мал сет на примероци за кои е познат точниот одговор; го извршувате секој модел на овој сет и ја мерите точноста, цената и латентноста.
# Евален шаблон за поставување 1) Соберете 20-50 вистински примери, рачно напишете го „точниот одговор“ на секој. 2) Стартувај го секој модел (брз/балансиран/силен) на овој сет. 3) За секој модел: број на корекции, просечни токени, цена по барање, просечно време. 4) Изберете го моделот што „најевтино дава доволна точност“.
# Евална споредбена табела (пополнување)Модел | Точност | Цена по барање | Просечно времетраење Хаику | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...сек
Слаба порака / Силна порака (одлука за избор на модел)
# СЛАБ (нема основа за одлука) Да го користиме најдобриот модел, буџетот не е важен.
# STRONG (одлука заснована на мерење) Во евал од 50 примероци, Хаику даде 96% точност, Сонет даде 97% точност; Разликата е статистички незначителна. Хаику е избран затоа што е 5 пати поевтин и 2 пати побрз. Ако точноста падне под 95%, одлуката за надградба на Сонет ќе се донесе автоматски.
Моќна верзија; го врзува изборот за број, праг и правило за ескалација. Ова и ја брани денешната одлука и управува со идните промени.
Три мини футроли
Случај 1 - Бегство од надмоќниот модел. Повикувачки центар ги произведуваше сите резимеа на разговорите со Opus; месечната сметка беше висока. Со 40 примероци, Sonnet беше 1% зад Opus во точноста, но чинеше една третина. Збирното дело го преместиле во Сонетот; месечните трошоци паднаа од 9.000 долари на 3.100 долари, без поплаки за квалитетот.
Случај 2 - Мешан сообраќај со пренасочување. 80% од барањата на правниот технолошки тим беа едноставно означување на документи, 20% беа сложени анализи на договори. Сите ги праќаа кај моќниот модел. Тие додадоа евтин рутер и дистрибуираа едноставни работни места на Хаику и сложени работи на Opus; Просечниот трошок за барање падна за 64%, додека квалитетот на анализата беше задржан.
Случај 3 - Трошоците за намалување без мерење. За да се намалат трошоците, еден тим го намали сложеното екстракција на медицински код директно на брзиот модел; Не евалуираа. Во живо, точноста падна од 92% на 78%, што резултираше со враќање на неточни заклучоци. Тие мораа прво да евалуираат: таа задача бара моќен модел. Поука: и намалувањето и подигањето се прават со мерење.
Вообичаени грешки
- Рефлекс „најсилниот модел“: трошење и непотребно одложување во едноставни задачи.
- Промена на моделот без мерење: И намалувањето и проширувањето се ризични без евалуација.
- Заклучување во еден модел: рутирањето во мешан сообраќај е често поефикасно.
- Секогаш погрешно го мешате рутерот за LLM: Едноставните правила можат да работат со нула цена.
- Непоставување праг за засилување: што ќе се случи ако точноста падне, треба однапред да се дефинира.
- Непоправање на верзијата на моделот: Запишете на кој модел/верзија работите во производството; Промената на верзијата може да го промени однесувањето.
Подлабоко: Овековечување на евалното и инкременталното судење
Изборот на модел не е еднократна одлука. Давателите воведуваат нови модели, цените се менуваат, описот на вашата работа се развива. Затоа, поставете го евалниот кластер еднаш и не заборавајте; држете го како живо суштество. Кога ќе излезе нов модел, ги поминувате истите 20-50 примероци низ него, ја ажурирате табелата и повторно донесувате одлука. Ова ве штити од стапицата „интуиција за менување шаблони“.
Втората напредна техника е резервната / каскадна шема. Прво му ја давате задачата на евтиниот модел; Ако излезот има ниска доверба или слојот за верификација (единица 11) го одбие, вие го ескалирате истото барање. Така, најголемиот дел од сообраќајот се решава на евтиниот модел, а само преостанатото малцинство оди на скапиот модел. Ова е и поевтино и поиздржливо од пристапот со фиксен еден модел.
Третата точка е дека eval вклучува не само точност, туку и цена и латентност. Ако моделот е 1% попрецизен, но 3 пати поскап и 2 пати побавен, компромисот не вреди за повеќето работни места. Донесете ја одлуката по три оски (точност, цена, латентност) и дефинирајте „праг на доволност“: „ако точноста е над 95%, изберете го најевтиниот“.
Конечно, запишете кој модел/верзија сте го користеле во производството. Ако еден ден се промени квалитетот на излезот, првото нешто што ќе го погледнете е дали верзијата на моделот е променета. Следливоста на верзиите го прави побрзо наоѓањето на основната причина за проблемите со квалитетот.
Уште едно предупредување: евалниот кластер треба да го претставува вашиот вистински обем на работа. Евалот што се состои само од лесни примери се крие каде моделот се сопнува во тешки случаи и ве привлекува во лажна доверба. Добар евал; Вклучува вообичаени лесни примери, како и аголни случаи што ги среќавате во реалноста (двосмислени, нецелосни, контрадикторни влезови). Ова тешко малцинство го одредува вашиот избор на модел, бидејќи секој модел успева во лесно мнозинство во секој случај. Чувајте го вашиот Eval свеж и репрезентативен така што периодично ќе му давате нови вистински примери.
Сумирано
Вистинскиот модел е најлесниот модел што ја завршува работата; Помоќниот не е подобар во секоја работа, само е поскап и побавен. Класифицирањето на задачата и започнувањето од најлесниот кандидат, дистрибуирањето на мешаниот сообраќај со рутирање и поткрепувањето на изборот со мал сет на евали, многукратно ги намалува трошоците додека го одржува квалитетот.
Задача за апликација
Изберете обем на работа. (1) Класифицирајте ја задачата како едноставна/сложена. (2) Дизајнирајте мал евалент сет од 20 вистински примери (со нивните точни одговори). (3) Подгответе план за пополнување на табелата за споредба на точност/трошок/време за трите класи на модели. (4) Ако имате мешан сообраќај, напишете правило за насочување и поставете праг на ескалација.
листа за проверка
- [ ] Можам да го споредам семејството на модели по оската способност/брзина/трошок.
- [ ] Можам да го применам принципот „најлесниот успешен модел“.
- [ ] Можам да поставам рутирање на модели според сложеноста на задачата.
- [ ] Со мал сет на евал можам да го врзам изборот со доказите.
- [ ] Можам да дефинирам праг за надградба/намалување.