Qazanclar:
- Model ailəsini (sürətli/balanslı/güclü) qabiliyyət, sürət və qiymətə görə müqayisə edə bilər
- Tapşırıqların mürəkkəbliyinə uyğun olaraq model seçimi və marşrutlaşdırma strategiyalarını tərtib edir
- Model seçimini kiçik qiymətləndirmələr dəsti ilə sübuta əsaslanır
LLM inteqrasiyasında ən çox qazancınızı və keyfiyyətinizi müəyyən edən yeganə qərar hansı modeldən istifadə etdiyinizdir. Ümumi refleks “ən güclü modeli seçməkdir”; Ancaq bu, çox vaxt lazımsız xərclər və gecikmələr deməkdir. Doğru yanaşma, hər bir tapşırığı yerinə yetirən ən yüngül modeli seçmək və bu seçimi təxminlərə deyil, ölçməyə əsaslandırmaqdır. Bu bölmədə siz model ailəsini qabiliyyət/sürət/xərc oxu üzrə müqayisə edəcək, tapşırıqların mürəkkəbliyinə görə model marşrutlaşdırma strategiyası quracaq və kiçik qiymətləndirmələr dəsti ilə seçimi sübut edəcəksiniz.
Model Ailəni Anlamaq
Provayderlər ümumiyyətlə üç sinif təklif edirlər: sürətli/ucuz, sabit və güclü. Onların arasındakı əlaqə üç oxda ümumiləşdirilir: qabiliyyət (çətin tapşırıqları həll etmək gücü), sürət (gecikmə), xərc (token qiyməti).
sinif
misal
istedad
sürət
Xərc
Mövcud vəzifələr
sürətli
Haiku 4.5
orta
çox yüksək
aşağı
Təsnifat, etiketləmə, qısa xülasə, oriyentasiya
balanslaşdırılmış
sonet 5
yüksək
yüksək
orta
Ümumi məqsəd, kodlaşdırma, çox addımlı axın, əksər agent işləyir
güclü
Opus 4.8
ən yüksək
orta
yüksək
Mürəkkəb əsaslandırma, uzunmüddətli müstəqil tapşırıqlar, çətin təhlil
Tənqidi fikir: daha güclü model hər işdə daha yaxşı performans göstərmir. Sadə “təcili və ya yox” etiketində güclü model və sürətli model eyni düzgün cavabı verir; yeganə fərq güclünün 5 qat daha bahalı və daha yavaş olmasıdır. Əlavə istedad yalnız missiya bunu tələb etdikdə dəyər yaradır.
Addım-addım: Modeli Necə Seçmək olar?
- Tapşırığı təsnif edin. Bu rutin/naxışlı (etiketləmə, nəticə çıxarma) və ya açıq uçlu/çox addımlı (analiz, planlaşdırma, kod)?
- Ən yüngül namizədlə başlayın. Sürətli modellə cəhd edin. Bu kifayətdirsə, dayandırın.
- Əgər bu kifayət deyilsə, yuxarı sinifə keçin. Dəqiqlik azdırsa, balanslaşdırılmış birinə, kifayət deyilsə, güclü birinə keçin.
- Ölç, təxmin etmə. Hər bir namizədin dəqiqliyini və dəyərini kiçik bir qiymətləndirmə dəsti ilə müqayisə edin (aşağıda).
- Yenidən yönləndirməni qurun. Tək bir modelə qoşulmaq əvəzinə, tapşırığı "router" ilə düzgün modelə paylayın.
Model marşrutlaşdırma
Həqiqi iş yükləri qarışıqdır: daxil olan sorğuların əksəriyyəti sadədir, bəziləri isə çətindir. Onların hamısını güclü modelə göndərmək itkidir; Onların hamısını sürətli modelə göndərmək keyfiyyəti aşağı salır. Marşrutlaşdırma bunu həll edir: ucuz model (və ya sadə qayda) əvvəlcə tapşırığı təsnif edir, sonra iş uyğun modelə keçir.
# Router sorğusu (ucuz modellə işləyir) Daxil olan sorğunu çətinliyinə görə təsnif edin. Yalnız aşağıdakı JSON-u qaytarın:{"çətinlik": "sadə|mürəkkəb"}Sadə: tək addımlı, düsturlu, qısa cavablı. Mürəkkəb: çox addımlı əsaslandırma, təhlil və ya uzun nəsil tələb edir. Sorğu: """{{sorğu}}"""
- sadə → sürətli modelə keçin (ucuz, sürətli).
- kompleksə keçin → güclü model (bahalı, lakin zəruri).
Bu nümunə orta dəyəri əhəmiyyətli dərəcədə azaldır, çünki trafikin çox hissəsi ümumiyyətlə sadədir.
İpucu: İstinad qərarı həmişə LLM tələb etmir. “Mətn 20 sözdən azdırsa, sürətli modelə keçin” kimi sadə qaydalar da bələdçidir və sıfır əlavə işarə dəyəri gətirir. Əvvəlcə qaydanı sınayın.
Seçimləri sübutlarla əlaqələndirmək: Kiçik qiymətləndirmə klasteri
“Mənə daha yaxşı görünür” deyə model seçməyin. Qiymətləndirmə (qiymətləndirmə dəsti) düzgün cavabı məlum olan kiçik nümunələr toplusudur; siz bu dəstdə hər modeli işlədirsiniz və dəqiqliyi, dəyəri və gecikmə müddətini ölçürsünüz.
# Qiymətləndirmə quraşdırma şablonu1) 20-50 real nümunə toplayın, hər birinə "düzgün cavabı" əl ilə yazın.2) Bu dəstdə hər bir modeli (sürətli/balanslı/güclü) işlədin.3) Hər model üçün: düzəlişlərin sayı, orta ötürmə göstəriciləri, sorğuya düşən xərc, orta vaxt.4) "Kifayət qədər dəqiqlik verən" modeli seçin.
# Qiymətləndirmə müqayisə cədvəli (doldurun)Model | Dəqiqlik | Sorğu üzrə xərc | Orta müddətHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ...san
Zəif tez / Güclü tez (model seçimi qərarı)
# ZİF (qərar üçün əsas yoxdur)Gəlin ən yaxşı modeldən istifadə edək, büdcə önəmli deyil.
# GÜÇLÜ (ölçməyə əsaslanan qərar) 50 nümunənin qiymətləndirilməsində Haiku 96%, Sonnet 97% dəqiqlik verdi; Fərq statistik olaraq əhəmiyyətsizdir. Haiku 5 dəfə ucuz, 2 dəfə sürətli olduğu üçün seçilib. Dəqiqlik 95%-dən aşağı düşərsə, Sonnet-ə yüksəltmək qərarı avtomatik olaraq veriləcək.
Güclü versiya; seçimi rəqəmə, həddi və eskalasiya qaydasına bağlayır. Bu, həm bugünkü qərarı müdafiə edir, həm də gələcək dəyişiklikləri idarə edir.
Üç mini qutu
1-ci hal - Güclü modeldən qaçın. Çağrı mərkəzi Opus ilə bütün söhbətlərin xülasəsini hazırlayırdı; aylıq ödəniş yüksək idi. 40 nümunəli qiymətləndirmədə Sonnet dəqiqliklə Opusdan 1% geridə qaldı, lakin üçdə birinə başa gəldi. Onlar xülasə işi Sonnetə köçürdülər; Keyfiyyət şikayətləri olmadan aylıq xərc 9000 dollardan 3100 dollara düşdü.
2-ci hal – İstiqamətləndirmə ilə qarışıq trafik. Hüquqi texnoloji qrupun sorğularının 80%-i sadə sənəd etiketləməsi, 20%-i mürəkkəb müqavilə təhlili idi. Hamısını güclü modelə göndərirdilər. Onlar ucuz bir marşrutlaşdırıcı əlavə etdilər və sadə işləri Haiku-ya, mürəkkəb işləri isə Opus-a payladılar; Orta sorğu dəyəri 64% azaldı, eyni zamanda analiz keyfiyyəti qorundu.
3-cü hal – Ölçmədən ixtisarın dəyəri. Xərcləri azaltmaq üçün bir komanda mürəkkəb tibbi kodun çıxarılmasını birbaşa sürətli modelə endirdi; Qiymətləndirmədilər. Canlı rejimdə dəqiqlik 92%-dən 78%-ə düşdü, nəticədə yanlış nəticələr qaytarıldı. Əvvəlcə qiymətləndirməli idilər: bu tapşırıq güclü model tələb edirdi. Dərs: həm azalma, həm də yüksəlmə ölçmə ilə həyata keçirilir.
Ümumi səhvlər
- "Ən güclü model" refleksi: Sadə işlərdə israfçılıq və lazımsız gecikmə.
- Ölçmədən modelin dəyişdirilməsi: Qiymətləndirmə olmadan həm azaldılması, həm də böyüdülməsi risklidir.
- Tək bir modelə bağlanma: Qarışıq trafikdə marşrutlaşdırma çox vaxt daha səmərəli olur.
- Routeri həmişə LLM ilə səhv salmaq: Sadə qaydalar sıfır qiymətə işləyə bilər.
- Artan həddi təyin etməmək: Dəqiqlik düşmələri əvvəlcədən müəyyən edilməlidirsə nə baş verir.
- Model versiyasının düzəldilməməsi: İstehsalda hansı model/versiya üzərində işlədiyinizi qeyd edin; Versiya dəyişikliyi davranışı dəyişə bilər.
Daha dərin: Davamlı Qiymətləndirmə və Artan Sınaq
Model seçimi birdəfəlik qərar deyil. Provayderlər yeni modellər təqdim edir, qiymətlər dəyişir, iş təsviriniz inkişaf edir. Beləliklə, qiymətləndirmə klasterini bir dəfə qurun və unutmayın; onu canlı varlıq kimi tutun. Yeni model çıxanda siz onun vasitəsilə eyni 20-50 nümunəni keçirib cədvəli yeniləyirsiniz və yenidən qərarınızı verirsiniz. Bu, sizi “naxış dəyişdirən intuisiya” tələsindən qoruyur.
İkinci qabaqcıl texnika geri dönüş / kaskad nümunəsidir. Tapşırığı əvvəlcə ucuz modelə verirsiniz; Çıxışın aşağı inamı varsa və ya yoxlama təbəqəsi (11-ci vahid) onu rədd edirsə, siz eyni sorğunu artırırsınız. Beləliklə, trafikin çox hissəsi ucuz modeldə həll olunur, yalnız qalan azlıq bahalı modelə gedir. Bu, sabit tək modelli yanaşmadan həm daha ucuz, həm də daha davamlıdır.
Üçüncü məqam ondan ibarətdir ki, qiymətləndirmə yalnız dəqiqliyi deyil, həm də dəyəri və gecikməni ehtiva edir. Model 1% daha dəqiqdirsə, lakin 3 dəfə daha bahalı və 2 dəfə daha yavaşdırsa, əksər iş yerləri üçün mübadilə buna dəyməz. Üç ox (dəqiqlik, qiymət, gecikmə) üzrə qərar verin və “kafilik həddini” təyin edin: “əgər dəqiqlik 95%-dən yuxarıdırsa, ən ucuzunu seçin.”
Nəhayət, istehsalda hansı modeli/versiyadan istifadə etdiyinizi qeyd edin. Bir gün çıxış keyfiyyəti dəyişərsə, ilk baxacağınız şey model versiyasının dəyişib-dəyişmədiyidir. Versiya izlənilməsi keyfiyyətlə bağlı problemlərin kök səbəbini daha tez tapmağa imkan verir.
Daha bir xəbərdarlıq: qiymətləndirmə klasteri faktiki iş yükünüzü təmsil etməlidir. Yalnız asan nümunələrdən ibarət qiymətləndirmə modelin çətin hallarda büdrədiyini və sizi yalançı güvənlərə sürüklədiyini gizlədir. Yaxşı qiymətləndirmə; Buraya ümumi asan nümunələr, eləcə də reallıqda rastlaşdığınız künc halları (qeyri-müəyyən, natamam, ziddiyyətli girişlər) daxildir. Bu çətin azlıq sizin model seçiminizi müəyyən edir, çünki hər halda asan əksəriyyətdə hər model uğur qazanır. Evalınızı vaxtaşırı yeni real nümunələrlə qidalandırmaqla onu təzə və təmsilçi tutun.
Xülasə
Doğru model, işi yerinə yetirən ən yüngül modeldir; Daha güclü hər işdə daha yaxşı deyil, sadəcə daha bahalı və daha yavaşdır. Tapşırığın təsnifatı və ən yüngül namizəddən başlayaraq, qarışıq trafikin marşrutlaşdırma ilə bölüşdürülməsi və seçimin kiçik bir qiymətləndirmə dəsti ilə əsaslandırılması keyfiyyəti qoruyarkən xərcləri dəfələrlə azaldır.
Tətbiq tapşırığı
İş yükünü seçin. (1) Tapşırığı sadə/mürəkkəb kimi təsnif edin. (2) 20 real nümunədən ibarət kiçik qiymətləndirmə dəstini tərtib edin (onların düzgün cavabları ilə). (3) Üç model sinfi üçün dəqiqlik/qiymət/vaxt müqayisəsi cədvəlini doldurmaq üçün plan tərtib edin. (4) Əgər qarışıq trafikiniz varsa, marşrutlaşdırma qaydası yazın və eskalasiya həddi təyin edin.
yoxlama siyahısı
- [ ] Mən model ailəsini qabiliyyət/sürət/xərc oxunda müqayisə edə bilərəm.
- [ ] Mən "ən yüngül uğurlu model" prinsipini tətbiq edə bilərəm.
- [ ] Tapşırığın mürəkkəbliyinə uyğun olaraq model marşrutunu qura bilərəm.
- [ ] Kiçik bir qiymətləndirmə dəsti ilə seçimi sübuta bağlaya bilərəm.
- [ ] Təkmilləşdirmə/azaltma həddini müəyyən edə bilərəm.