Daromadlar:
- Imkoniyati, tezligi va narxi bo'yicha modellar oilasini (tez/muvozanatli/kuchli) solishtirishi mumkin
- Vazifaning murakkabligiga qarab model tanlash va marshrutlash strategiyalarini ishlab chiqadi
- Model tanlashni kichik baholar to'plami bilan dalillarga asoslaydi
LLM integratsiyasida sizning pulingiz va sifatingiz uchun eng ko'p portlashingizni aniqlaydigan yagona qaror qaysi modeldan foydalanishdir. Umumiy refleks - "eng kuchli modelni tanlash"; Biroq, bu ko'pincha keraksiz xarajatlar va kechikishlarni anglatadi. To'g'ri yondashuv - har bir vazifani bajaradigan eng engil modelni tanlash va bu tanlovni taxmin qilish emas, balki o'lchovga asoslash. Ushbu bo'limda siz modellar oilasini qobiliyat/tezlik/xarajat o'qi bo'yicha solishtirasiz, vazifalarning murakkabligiga qarab model marshrutlash strategiyasini o'rnatasiz va kichik baholashlar to'plami bilan tanlovni tasdiqlaysiz.
Namunaviy oilani tushunish
Provayderlar odatda uchta sinfni taklif qilishadi: tez/arzon, barqaror va kuchli. Ular o'rtasidagi munosabatlar uchta eksa bo'yicha umumlashtiriladi: qobiliyat (qiyin vazifalarni hal qilish kuchi), tezlik (kechikish), xarajat (token narxi).
sinf
misol
iste'dod
tezlik
Narxi
Mavjud vazifalar
tez
Xayku 4.5
o'rta
juda yuqori
past
Tasniflash, etiketlash, qisqacha xulosa, orientatsiya
muvozanatli
sonet 5
yuqori
yuqori
o'rta
Umumiy maqsad, kodlash, ko'p bosqichli oqim, ko'pchilik agent ishlaydi
kuchli
Opus 4.8
eng yuqori
o'rta
yuqori
Murakkab fikrlash, uzoq muddatli avtonom vazifalar, qiyin tahlil
Tanqidiy tushuncha: kuchliroq model har bir ishda yaxshiroq ishlamaydi. Oddiy "shoshilinch yoki yo'q" yorlig'ida kuchli model va tezkor model bir xil to'g'ri javob beradi; yagona farq kuchli 5 barobar qimmatroq va sekinroq. Qo'shimcha iste'dod faqat missiya talab qilgandagina qiymat hosil qiladi.
Bosqichma-bosqich: Modelni qanday tanlash mumkin?
- Vazifani tasniflang. Bu muntazam/naqshli (yorliqlash, xulosa chiqarish) yoki ochiq/ko'p bosqichli (tahlil, rejalashtirish, kod)mi?
- Eng engil nomzoddan boshlang. Buni tezkor model bilan sinab ko'ring. Agar bu etarli bo'lsa, to'xtating.
- Agar bu etarli bo'lmasa, yuqori sinfga o'ting. Agar aniqlik past bo'lsa, muvozanatliga o'ting, agar bu etarli bo'lmasa, kuchlisiga o'ting.
- O'lchang, taxmin qilmang. Har bir nomzodning aniqligi va narxini kichik baholash to'plami bilan solishtiring (quyida).
- Qayta yo'naltirishni sozlang. Bitta modelga ulanish o'rniga, vazifani "router" bilan to'g'ri modelga taqsimlang.
Model marshrutlash
Haqiqiy ish yuklari aralash: ko'pchilik kiruvchi so'rovlar oddiy, ba'zilari qiyin. Ularning barchasini kuchli modelga yuborish behuda; Ularning barchasini tezkor modelga yuborish sifatni pasaytiradi. Marshrutlash buni hal qiladi: arzon model (yoki oddiy qoida) birinchi navbatda vazifani tasniflaydi, keyin ish tegishli modelga o'tadi.
# Router so'rovi (arzon model bilan ishlaydi) Kiruvchi so'rovni qiyinligiga qarab tasniflang. Faqat quyidagi JSONni qaytaring:{"qiyinlik": "oddiy|murakkab"}Oddiy: bir bosqichli, formulali, qisqa javob. Murakkab: ko'p bosqichli fikrlash, tahlil yoki uzoq avlodni talab qiladi. So'rov: """{{so'rov}}"""
- oddiy → tez modelga o'ting (arzon, tez).
- murakkab → kuchli modelga o'ting (qimmat, lekin zarur).
Ushbu naqsh o'rtacha xarajatlarni sezilarli darajada kamaytiradi, chunki trafikning aksariyati odatda oddiy.
Maslahat: Yo'naltiruvchi qaror har doim ham LLMni talab qilmaydi. “Agar matn 20 so‘zdan kam bo‘lsa, tezkor modelga o‘tish” kabi oddiy qoidalar ham qo‘llanma bo‘lib, qo‘shimcha token narxini yo‘qotadi. Avval qoidani sinab ko'ring.
Tanlovni dalillar bilan bog'lash: kichik baholash klasteri
"Menga yaxshiroq ko'rinadi" ga asoslangan modelni tanlamang. Baholash (baholash to'plami) - to'g'ri javob ma'lum bo'lgan kichik namunalar to'plami; siz ushbu to'plamda har bir modelni ishga tushirasiz va aniqlik, narx va kechikishni o'lchaysiz.
# O'rnatish shablonini baholang1) 20-50 ta haqiqiy misol to'plang, har biriga "to'g'ri javob" ni yozing.2) Ushbu to'plamda har bir modelni (tez/muvozanatli/kuchli) ishga tushiring.3) Har bir model uchun: tuzatishlar soni, o'rtacha o'tkazuvchanlik belgilari, so'rov narxi, o'rtacha vaqt.4) "Etarli darajada aniqlik" beradigan modelni tanlang.
# Taqqoslash jadvalini baholash (to'ldirish)Model | Aniqlik | Har bir so'rov narxi | O'rtacha davomiylikHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...sek
Zaif tezkor / Kuchli tezkor (model tanlash qarori)
# ZAF (qaror uchun asos yo'q)Keling, eng yaxshi modeldan foydalanaylik, byudjet muhim emas.
# KUCHLI (oʻlchov asosidagi qaror) 50 ta namunani baholashda Xayku 96%, Sonnet 97% aniqlikni berdi; Farqi statistik jihatdan ahamiyatsiz. Xayku 5 baravar arzon va 2 barobar tezroq bo'lgani uchun tanlandi. Agar aniqlik 95% dan pastga tushsa, Sonnet-ga o'tish qarori avtomatik ravishda qabul qilinadi.
Kuchli versiya; tanlovni raqam, chegara va eskalatsiya qoidasiga bog'laydi. Bu bugungi qarorni himoya qiladi va kelajakdagi o'zgarishlarni boshqaradi.
Uchta mini korpus
1-holat - Haddan tashqari modeldan qochish. Call-markaz Opus bilan barcha suhbatlar xulosalarini ishlab chiqardi; oylik to'lov yuqori edi. 40 ta namunali baholashda Sonnet aniqligi bo'yicha Opusdan 1% ga ortda qoldi, ammo narxi uchdan bir qismi. Ular xulosa ishini Sonnetga ko'chirishdi; oylik xarajat 9000 dollardan 3100 dollargacha tushdi, sifat haqida shikoyatlar yo'q.
2-holat - Qayta yo'naltirish bilan aralash trafik. Yuridik texnologiya guruhining so'rovlarining 80% oddiy hujjatlarni belgilash, 20% murakkab shartnoma tahlili edi. Ular barchasini kuchli modelga jo'natishdi. Ular arzon marshrutizatorni qo'shib, oddiy ishlarni Haikuga va murakkab ishlarni Opusga tarqatishdi; o'rtacha so'rov narxi 64% ga kamaydi, shu bilan birga tahlil sifati saqlanib qoldi.
3-holat - o'lchovsiz qisqartirish narxi. Narxlarni pasaytirish uchun bitta jamoa murakkab tibbiy kodni chiqarishni to'g'ridan-to'g'ri tezkor modelga qisqartirdi; Ular baholamadilar. Jonli efirda aniqlik 92% dan 78% gacha tushib ketdi, natijada noto'g'ri xulosalar qaytarildi. Ular birinchi navbatda baholashlari kerak edi: bu vazifa kuchli modelni talab qildi. Dars: pasaytirish ham, balandlik ham o'lchov bilan amalga oshiriladi.
Umumiy xatolar
- "Eng kuchli model" refleksi: oddiy vazifalarda isrofgarchilik va keraksiz kechikish.
- Modelni o'lchashsiz o'zgartirish: baholashsiz qisqartirish ham, kattalashtirish ham xavflidir.
- Bitta modelga qulflash: aralash trafikda marshrutlash ko'pincha samaraliroq bo'ladi.
- Har doim marshrutizatorni LLM deb xato qilish: oddiy qoidalar nol narxda ishlashi mumkin.
- Bosish chegarasini o'rnatmaslik: Agar aniqlik pasayishi oldindan belgilanishi kerak bo'lsa nima bo'ladi.
- Model versiyasini tuzatmaslik: Ishlab chiqarishda qaysi model/versiya ustida ishlayotganingizni yozib oling; Versiya o'zgarishi xatti-harakatni o'zgartirishi mumkin.
Chuqurroq: doimiy baholash va qo'shimcha sinov
Model tanlash bir martalik qaror emas. Provayderlar yangi modellarni taqdim etadilar, narxlar o'zgaradi, sizning ish tavsifingiz rivojlanadi. Shunday qilib, baholash klasterini bir marta o'rnating va unutmang; uni tirik mavjudot kabi ushlab turing. Yangi model chiqqanda, siz u orqali bir xil 20-50 namunani ishlatasiz, jadvalni yangilaysiz va yana qaror qabul qilasiz. Bu sizni "naqshni o'zgartirish sezgi" tuzog'idan himoya qiladi.
Ikkinchi ilg'or texnika - bu orqaga qaytish / kaskad naqsh. Siz birinchi navbatda arzon modelga vazifa berasiz; Agar chiqish ishonchliligi past bo'lsa yoki tekshirish qatlami (11-birlik) uni rad etsa, siz xuddi shu so'rovni kuchaytirasiz. Shunday qilib, trafikning katta qismi arzon modelda hal qilinadi, qolgan ozchilik qimmat modelga o'tadi. Bu sobit yagona modelli yondashuvga qaraganda arzonroq va bardoshlidir.
Uchinchi nuqta shundaki, baholash nafaqat aniqlikni, balki xarajat va kechikishni ham o'z ichiga oladi. Agar model 1% aniqroq bo'lsa, lekin 3 barobar qimmatroq va 2 marta sekinroq bo'lsa, ko'pchilik ish o'rinlari uchun o'zaro kelishuv bunga loyiq emas. Uch eksa (aniqlik, xarajat, kechikish) bo'yicha qaror qabul qiling va "etarlilik chegarasi" ni belgilang: "aniqlik 95% dan yuqori bo'lsa, eng arzonini tanlang."
Nihoyat, ishlab chiqarishda qaysi model/versiyadan foydalanganingizni yozib oling. Agar bir kun chiqish sifati o'zgarsa, siz birinchi navbatda model versiyasi o'zgarganmi yoki yo'qmi deb qaraysiz. Versiyaning kuzatilishi sifat muammolarining asosiy sababini tezroq topish imkonini beradi.
Yana bir ogohlantirish: baholash klasteri sizning haqiqiy ish yukingizni ko'rsatishi kerak. Faqat oson misollardan iborat baholash modelning qiyin holatlarda qoqilib ketishini va sizni yolg'on ishonchga solib qo'yishini yashiradi. Yaxshi baho; U umumiy oson misollarni, shuningdek, siz haqiqatda duch keladigan burchak holatlarini (noaniq, to'liq bo'lmagan, qarama-qarshi ma'lumotlar) o'z ichiga oladi. Bu qiyin ozchilik sizning model tanlovingizni belgilaydi, chunki baribir har bir model oson ko'pchilikda muvaffaqiyat qozonadi. Vaqti-vaqti bilan uni yangi haqiqiy misollar bilan oziqlantirish orqali Evalingizni yangi va vakili saqlang.
Xulosa
To'g'ri model - bu ishni bajaradigan eng engil model; Kuchliroq har bir ishda yaxshiroq emas, shunchaki qimmatroq va sekinroq. Vazifani tasniflash va eng engil nomzoddan boshlash, aralash trafikni marshrutlash bilan taqsimlash va tanlovni kichik baholashlar to'plami bilan asoslash sifatni saqlab qolish bilan birga xarajatlarni ko'p marta kamaytiradi.
Ilova vazifasi
Ish yukini tanlang. (1) Vazifani oddiy/murakkab deb tasniflang. (2) 20 ta haqiqiy misoldan iborat kichik baholash to'plamini tuzing (ularning to'g'ri javoblari bilan). (3) Uchta model sinfi uchun aniqlik/xarajat/vaqt taqqoslash jadvalini to'ldirish rejasini tuzing. (4) Agar sizda aralash trafik bo'lsa, marshrutlash qoidasini yozing va eskalatsiya chegarasini o'rnating.
nazorat ro'yxati
- [ ] Men modellar oilasini qobiliyat/tezlik/xarajat o‘qi bo‘yicha solishtirishim mumkin.
- [ ] Men "eng engil muvaffaqiyatli model" tamoyilini qo'llashim mumkin.
- [ ] Men vazifaning murakkabligiga qarab model marshrutini sozlashim mumkin.
- [ ] Kichik baholash to'plami bilan men tanlovni dalillarga bog'lashim mumkin.
- [ ] Men yangilash/pasaytirish chegarasini belgilashim mumkin.