Табыстар:
- Үлгі отбасын (жылдам/теңдестірілген/қуатты) мүмкіндіктері, жылдамдығы және құны бойынша салыстыра алады
- Тапсырманың күрделілігіне сәйкес үлгіні таңдау және бағыттау стратегияларын жобалайды
- Модельді таңдауды бағалаудың шағын жиынтығы бар дәлелдерге негіздейді
LLM интеграциясында сіздің ақшаңыз бен сапаның ең көп пайдасын анықтайтын жалғыз шешім - сіз қай модельді қолданатыныңыз. Жалпы рефлекс – «ең күшті үлгіні таңдау»; Дегенмен, бұл жиі қажетсіз шығындар мен кідірістерді білдіреді. Дұрыс әдіс - әрбір тапсырманы орындайтын ең жеңіл үлгіні таңдау және бұл таңдауды болжамға емес, өлшеуге негіздеу. Бұл бөлімде сіз модельдер тобын мүмкіндік/жылдамдық/шығын осі бойынша салыстырасыз, тапсырманың күрделілігіне сәйкес үлгі маршруттау стратегиясын орнатасыз және бағалаулардың шағын жиынтығымен таңдауды дәлелдейсіз.
Үлгілі отбасы туралы түсінік
Провайдерлер әдетте үш сыныпты ұсынады: жылдам/арзан, тұрақты және қуатты. Олардың арасындағы байланыс үш ось бойынша жинақталған: қабілет (қиын тапсырмаларды шешу күші), жылдамдық (кідіріс), құн (токен бағасы).
сынып
мысал
талант
жылдамдық
Құны
Қолжетімді тапсырмалар
жылдам
Хайку 4.5
орташа
өте жоғары
төмен
Классификация, таңбалау, қысқаша қорытындылау, бағдарлау
теңдестірілген
сонет 5
жоғары
жоғары
орташа
Жалпы мақсат, кодтау, көп сатылы ағын, агенттердің көпшілігі жұмыс істейді
күшті
Opus 4.8
ең жоғары
орташа
жоғары
Күрделі пайымдау, ұзақ мерзімді автономды тапсырмалар, қиын талдау
Сыни түсінік: неғұрлым қуатты модель әр жұмыста жақсы жұмыс істей бермейді. Қарапайым «шұғыл немесе жоқ» таңбалауында күшті модель мен жылдам модель бірдей дұрыс жауапты береді; жалғыз айырмашылығы - қуатты 5 есе қымбат және баяу. Қосымша талант миссия талап еткенде ғана құндылық тудырады.
Қадам бойынша: үлгіні қалай таңдауға болады?
- Тапсырманы жіктеу. Бұл күнделікті/үлгілі (белгілеу, қорытындылау) немесе ашық/көп қадамды (талдау, жоспарлау, код) ма?
- Ең жеңіл үміткерден бастаңыз. Оны жылдам үлгімен қолданып көріңіз. Бұл жеткілікті болса, тоқтаңыз.
- Бұл жеткіліксіз болса, жоғары сыныпқа ауысыңыз. Егер дәлдік төмен болса, теңдестірілгенге барыңыз, егер бұл жеткіліксіз болса, күштіге өтіңіз.
- Өлшеңіз, болжамаңыз. Әрбір үміткердің дәлдігі мен құнын бағалаудың шағын жиынтығымен салыстырыңыз (төменде).
- Қайта бағыттауды орнату. Бір үлгіге қосылудың орнына тапсырманы «маршрутизатормен» дұрыс үлгіге таратыңыз.
Маршруттау үлгісі
Нақты жұмыс жүктемелері аралас: кіріс сұрауларының көпшілігі қарапайым, кейбіреулері қиын. Олардың барлығын қуатты үлгіге жіберу босқа кетеді; Олардың барлығын жылдам үлгіге жіберу сапаны төмендетеді. Маршруттау мұны шешеді: арзан үлгі (немесе қарапайым ереже) алдымен тапсырманы жіктейді, содан кейін жұмыс сәйкес үлгіге өтеді.
# Маршрутизаторды шақыру (арзан үлгімен жұмыс істейді) Кіріс сұрауды оның қиындығына қарай жіктеңіз. Тек келесі JSON файлын қайтарыңыз:{"қиындық": "қарапайым|күрделі"}Қарапайым: бір қадамды, формулалық, қысқа жауап. Күрделі: көп сатылы негіздеуді, талдауды немесе ұзақ жасауды қажет етеді. Сұраныс: """{{сұрау}}"""
- қарапайым → жылдам үлгіге өтіңіз (арзан, жылдам).
- күрделі → қуатты модельге өтіңіз (қымбат, бірақ қажет).
Бұл үлгі орташа шығынды айтарлықтай төмендетеді, себебі трафиктің көп бөлігі әдетте қарапайым.
Кеңес: Жіберу туралы шешім әрқашан LLM талап етпейді. «Мәтін 20 сөзден аз болса, жылдам үлгіге өту» сияқты қарапайым ережелер де нұсқаулық болып табылады және нөлдік қосымша токен құнын әкеледі. Алдымен ережені қолданып көріңіз.
Таңдауды дәлелдемелермен байланыстыру: шағын бағалау кластері
Модельді «маған жақсырақ көрінеді» деп таңдамаңыз. Бағалау (бағалау жинағы) – дұрыс жауабы белгілі үлгілердің шағын жиынтығы; сіз осы жиынтықта әрбір үлгіні іске қосасыз және дәлдікті, құнын және кідіріс уақытын өлшейсіз.
# Бағалау орнату үлгісі1) 20-50 нақты мысал жинаңыз, әрқайсысына «дұрыс жауапты» қолмен жазыңыз.2) Осы жиынтықта әрбір үлгіні (жылдам/теңдестірілген/күшті) іске қосыңыз.3) Әрбір модель үшін: түзетулер саны, орташа өткізу қабілеті, сұраныстың құны, орташа уақыт.4) «Жеткілікті дәлдік беретін» үлгіні таңдаңыз.
# Бағалау салыстыру кестесі (толтыру)Модель | Дәлдік | Бір сұраныстың құны | Орташа ұзақтығыХайку | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...сек
Әлсіз жылдам / Күшті жылдам (үлгі таңдау шешімі)
# ƏЛСІЗ (шешім қабылдауға негіз жоқ) Ең жақсы үлгіні қолданайық, бюджет маңызды емес.
# КҮШТІ (өлшеуге негізделген шешім) 50 үлгіні бағалауда Хайку 96%, Сонет 97% дәлдік берді; Айырмашылық статистикалық тұрғыдан шамалы. Хайку 5 есе арзан және 2 есе жылдам болғандықтан таңдалды. Егер дәлдік 95%-дан төмен түссе, Sonnet жүйесіне жаңарту туралы шешім автоматты түрде қабылданады.
Күшті нұсқасы; таңдауды санға, шекті мәнге және арттыру ережесіне байланыстырады. Бұл бүгінгі шешімді қорғайды және болашақ өзгерістерді басқарады.
Үш шағын корпус
1-жағдай — Күшті модельден құтылу. Байланыс орталығы Opus-пен сөйлесудің барлық қысқаша мазмұнын дайындады; айлық төлем жоғары болды. 40 үлгіні бағалау кезінде Sonnet дәлдігі бойынша Opus-тен 1% артта қалды, бірақ құны үштен бір. Олар қорытынды жұмысты Сонетке ауыстырды; айлық құны 9 000 доллардан 3 100 долларға дейін төмендеді, сапа туралы шағымдар жоқ.
2-жағдай — Қайта бағыттаумен аралас трафик. Заңды технологиялық топтың сұрауларының 80%-ы қарапайым құжатты белгілеу болды, 20%-ы күрделі келісімшартты талдау болды. Олардың барлығын қуатты модельге жіберді. Олар арзан маршрутизаторды қосып, Хайкуға қарапайым жұмыстарды, ал Opus-қа күрделі жұмыстарды бөлді; сұраудың орташа құны 64%-ға төмендеді, ал талдау сапасы сақталды.
3-жағдай — Өлшеусіз қысқарту құны. Құнды азайту үшін бір команда күрделі медициналық кодты шығаруды тікелей жылдам үлгіге қысқартты; Олар бағаламады. Тікелей эфирде дәлдік 92%-дан 78%-ға дейін төмендеді, нәтижесінде дұрыс емес қорытындылар қайтарылды. Олар алдымен бағалауы керек болды: бұл тапсырма қуатты үлгіні талап етті. Сабақ: азайту да, көтеру де өлшеу арқылы жүзеге асады.
Жалпы қателер
- «Ең күшті үлгі» рефлексі: Қарапайым тапсырмаларды ысырап ету және қажетсіз кешіктіру.
- Үлгіні өлшеусіз өзгерту: кішірейту де, үлкейту де бағалаусыз қауіпті.
- Бір үлгіге құлыптау: аралас трафикте маршруттау жиі тиімдірек.
- Маршрутизаторды әрқашан LLM деп қателесу: Қарапайым ережелер нөлдік бағамен жұмыс істей алады.
- Күшейту шегін орнатпау: дәлдіктің төмендеуін алдын ала анықтау керек болса, не болады.
- Модель нұсқасын бекітпеу: Өндірісте қай модель/нұсқада жұмыс істеп жатқаныңызды жазыңыз; Нұсқаның өзгеруі әрекетті өзгертуі мүмкін.
Тереңірек: Бағалауды жалғастыру және қосымша сынақ
Модельді таңдау бір реттік шешім емес. Провайдерлер жаңа үлгілерді енгізеді, бағалар өзгереді, сіздің жұмыс сипаттамасы дамиды. Сондықтан бағалау кластерін бір рет орнатыңыз және ұмытпаңыз; оны тірі тіршілік иесі сияқты ұстаңыз. Жаңа үлгі шыққанда, сіз сол 20-50 үлгіні пайдаланып, кестені жаңартып, шешіміңізді қайта қабылдайсыз. Бұл сізді «үлгілерді ауыстыратын интуиция» тұзағынан қорғайды.
Екінші жетілдірілген әдіс - резервтік / каскадтық үлгі. Сіз алдымен арзан үлгіге тапсырма бересіз; Егер шығыстың сенімділігі төмен болса немесе тексеру қабаты (11 блок) оны қабылдамаса, сіз сол сұрауды күшейтесіз. Осылайша, трафиктің көп бөлігі арзан модельде шешіледі, ал қалған аз бөлігі ғана қымбат модельге барады. Бұл бекітілген бір үлгілі тәсілге қарағанда арзанырақ және ұзаққа созылады.
Үшінші нүкте, бағалау дәлдікті ғана емес, сонымен бірге шығындар мен кешіктіруді де қамтиды. Егер модель 1% дәлірек болса, бірақ 3 есе қымбатырақ және 2 есе баяу болса, көптеген жұмыс орындары үшін айырбастау оған тұрарлық емес. Үш ось бойынша шешім қабылдаңыз (дәлдік, құн, кідіріс) және «жеткіліктілік шегін» анықтаңыз: «дәлдік 95% жоғары болса, ең арзанын таңдаңыз».
Соңында, өндірісте қандай үлгіні/нұсқаны пайдаланғаныңызды жазыңыз. Егер бір күні шығару сапасы өзгерсе, сіз бірінші қарайтын нәрсе - үлгі нұсқасы өзгерді ме. Нұсқаларды қадағалау сапа мәселелерінің түпкі себебін тезірек табуға мүмкіндік береді.
Тағы бір ескерту: бағалау кластері сіздің нақты жұмыс жүктемеңізді көрсетуі керек. Жеңіл мысалдардан тұратын бағалау үлгінің қиын жағдайда сүрінетінін жасырады және сізді жалған сенімге итермелейді. Жақсы баға; Ол жалпы қарапайым мысалдарды, сондай-ақ шындықта кездесетін бұрыштық жағдайларды (анық емес, толық емес, қарама-қайшы кірістерді) қамтиды. Бұл қиын азшылық үлгі таңдауыңызды анықтайды, өйткені кез келген модель оңай көпшілікте сәтті болады. Бағаңызды мезгіл-мезгіл жаңа нақты мысалдармен қамтамасыз ету арқылы жаңа және өкілді күйде ұстаңыз.
Қысқаша айтқанда
Дұрыс үлгі - бұл жұмысты орындайтын ең жеңіл модель; Күштілігі әр жұмыста жақсы емес, ол қымбатырақ және баяуырақ. Тапсырманы жіктеу және ең жеңіл үміткерден бастап, аралас трафикті маршруттаумен бөлу және таңдауды бағалаудың шағын жиынтығымен негіздеу сапаны сақтай отырып, шығындарды бірнеше есе төмендетеді.
Қолданбалы тапсырма
Жұмыс жүктемесін таңдаңыз. (1) Тапсырманы қарапайым/күрделі деп жіктеңіз. (2) 20 нақты мысалдан тұратын шағын бағалау жинағын құрастырыңыз (дұрыс жауаптарымен). (3) Үш үлгі класы үшін дәлдік/құн/уақыт салыстыру кестесін толтыру жоспарын жасаңыз. (4) Егер сізде аралас трафик болса, маршруттау ережесін жазып, өсу шегін орнатыңыз.
бақылау парағы
- [ ] Мен модельдер тобын мүмкіндік/жылдамдық/шығын осі бойынша салыстыра аламын.
- [ ] Мен «ең жеңіл сәтті үлгі» принципін қолдана аламын.
- [ ] Тапсырманың күрделілігіне сәйкес үлгі маршруттауын орната аламын.
- [ ] бағалаудың шағын жиынтығымен таңдауды дәлелдерге байланыстыра аламын.
- [ ] Мен жаңарту/төмендету шегін анықтай аламын.