Kazanimlar:
- Model ailesini (hızlı/dengeli/güçlü) yetenek, hız ve maliyet ekseninde karşılaştırabilir
- Görev karmaşıklığına göre model seçme ve yönlendirme (routing) stratejisi tasarlar
- Küçük bir değerlendirme (eval) kümesiyle model seçimini kanıta dayandırır
LLM entegrasyonunda en çok paranızı ve kalitenizi belirleyen tek karar, hangi modeli kullandığınızdır. Yaygın refleks "en güçlü modeli seç" olur; oysa bu çoğu zaman gereksiz maliyet ve gecikme demektir. Doğru yaklaşım, her görevi başaran en hafif modeli seçmek ve bu seçimi tahmine değil ölçüme dayandırmaktır. Bu ünitede model ailesini yetenek/hız/maliyet ekseninde karşılaştıracak, görev karmaşıklığına göre model yönlendirme (routing) stratejisi kuracak ve seçimi küçük bir değerlendirme (eval) kümesiyle kanıta bağlayacaksınız.
Model Ailesini Anlamak
Sağlayıcılar genelde üç sınıf sunar: hızlı/ucuz, dengeli ve güçlü. Aralarındaki ilişki üç eksende özetlenir: yetenek (zor görevleri çözme gücü), hız (gecikme), maliyet (token fiyatı).
Sınıf
Örnek
Yetenek
Hız
Maliyet
Uygun görevler
Hızlı
Haiku 4.5
Orta
Çok yüksek
Düşük
Sınıflandırma, etiketleme, kısa özet, yönlendirme
Dengeli
Sonnet 5
Yüksek
Yüksek
Orta
Genel amaçlı, kodlama, çok adımlı akış, çoğu ajan işi
Güçlü
Opus 4.8
En yüksek
Orta
Yüksek
Karmaşık akıl yürütme, uzun-ufuklu otonom görevler, zor analiz
Kritik içgörü: daha güçlü model her işte daha iyi sonuç vermez. Basit bir "acil mi değil mi" etiketlemesinde güçlü modelle hızlı model aynı doğru cevabı verir; tek fark, güçlünün 5 kat pahalı ve daha yavaş olmasıdır. Fazladan yetenek, ancak görev onu gerektirdiğinde değer üretir.
Adım Adım: Model Nasıl Seçilir?
- Görevi sınıflandırın. Rutin/kalıplı mı (etiketleme, çıkarım), yoksa açık uçlu/çok adımlı mı (analiz, planlama, kod)?
- En hafif adayla başlayın. Hızlı modelle deneyin. Yeterliyse durun.
- Yetersizse bir üst sınıfa çıkın. Doğruluk düşükse dengeliye, o da yetmezse güçlüye.
- Ölçün, tahmin etmeyin. Küçük bir eval kümesiyle her adayın doğruluğunu ve maliyetini karşılaştırın (aşağıda).
- Yönlendirme kurun. Tek modele bağlanmak yerine, görevi bir "yönlendirici" ile doğru modele dağıtın.
Model Yönlendirme (Routing)
Gerçek iş yükleri karışıktır: gelen taleplerin çoğu basit, bir kısmı zordur. Hepsini güçlü modele göndermek israf; hepsini hızlı modele göndermek kaliteyi düşürür. Yönlendirme bunu çözer: ucuz bir model (veya basit bir kural) önce görevi sınıflandırır, sonra iş uygun modele gider.
# Yönlendirici prompt (ucuz modelle çalışır)Gelen talebi zorluğuna göre sınıflandır. Yalnızca şu JSON'u döndür:{"zorluk": "basit|karmasik"}Basit: tek adımlı, kalıplı, kısa cevaplı.Karmaşık: çok adımlı akıl yürütme, analiz veya uzun üretim gerektiren.Talep: """{{talep}}"""
- basit → hızlı modele git (ucuz, hızlı).
- karmasik → güçlü modele git (pahalı ama gerekli).
Bu desen, ortalama maliyeti belirgin düşürür çünkü trafiğin büyük kısmı genelde basittir.
İpucu: Yönlendirme kararı her zaman LLM gerektirmez. "Metin 20 kelimeden kısaysa hızlı modele git" gibi basit kurallar da bir yönlendiricidir ve sıfır ek token maliyeti getirir. Önce kuralı deneyin.
Seçimi Kanıta Bağlamak: Küçük Eval Kümesi
Model seçimini "bana daha iyi geldi" ile yapmayın. Eval (değerlendirme kümesi), doğru cevabı bilinen küçük bir örnek setidir; her modeli bu sette çalıştırıp doğruluğu, maliyeti ve gecikmeyi ölçersiniz.
# Eval kurma şablonu1) 20-50 gerçek örnek topla, her birine "doğru cevabı" elle yaz.2) Her modeli (hızlı/dengeli/güçlü) bu sette çalıştır.3) Her model için: doğru sayısı, ortalama çıktı token, istek başı maliyet, ortalama süre.4) "Yeterli doğruluğu en ucuza veren" modeli seç.
# Eval karşılaştırma tablosu (doldur)Model | Doğruluk | İstek başı maliyet | Ortalama süreHaiku | ...% | ... $ | ... snSonnet | ...% | ... $ | ... snOpus | ...% | ... $ | ... sn
Zayıf prompt / Güçlü prompt (model seçimi kararı)
# ZAYIF (karar dayanağı yok)En iyi modeli kullanalım, bütçe önemli değil.
# GÜÇLÜ (karar ölçüme dayalı)50 örneklik eval'de Haiku %96, Sonnet %97 doğruluk verdi; fark istatistiksel olarak önemsiz.Haiku 5 kat ucuz ve 2 kat hızlı olduğu için Haiku seçildi.Doğruluk %95'in altına düşerse Sonnet'e yükseltme kararı otomatik alınacak.
Güçlü sürüm; seçimi bir sayıya, bir eşiğe ve bir yükseltme kuralına bağlar. Bu, hem bugünkü kararı savunur hem gelecekteki değişimi yönetir.
Üç Mini Vaka
Vaka 1 — Aşırı güçlü modelden kaçış. Bir çağrı merkezi tüm konuşma özetlerini Opus ile üretiyordu; aylık fatura yüksekti. 40 örneklik eval'de Sonnet, Opus'a göre doğrulukta %1 gerideydi ama üçte bir maliyetliydi. Özet işini Sonnet'e taşıdılar; aylık maliyet 9.000 $'dan 3.100 $'a düştü, kalite şikâyeti gelmedi.
Vaka 2 — Yönlendirmeyle karma trafik. Bir hukuk teknolojisi ekibinin taleplerinin %80'i basit belge etiketleme, %20'si karmaşık sözleşme analiziydi. Hepsini güçlü modele gönderiyorlardı. Ucuz bir yönlendirici ekleyip basit işleri Haiku'ya, karmaşık işleri Opus'a dağıttılar; ortalama istek maliyeti %64 düştü, analiz kalitesi korundu.
Vaka 3 — Ölçmeden küçültmenin bedeli. Bir ekip maliyeti düşürmek için karmaşık tıbbi kod çıkarımını doğrudan hızlı modele indirdi; eval yapmadılar. Canlıda doğruluk %92'den %78'e düştü, hatalı çıkarımlar geri dönüş yarattı. Önce eval yapmaları gerekiyordu: o görev güçlü modeli gerektiriyordu. Ders: küçültme de yükseltme de ölçümle yapılır.
Sık yapılan hatalar
- "En güçlü model" refleksi: Basit görevlerde israf ve gereksiz gecikme.
- Ölçmeden model değiştirmek: Küçültme de büyütme de eval olmadan risklidir.
- Tek modele kilitlenmek: Karma trafikte yönlendirme çoğu zaman daha verimlidir.
- Yönlendiriciyi hep LLM sanmak: Basit kurallar sıfır maliyetle iş görebilir.
- Yükseltme eşiği koymamak: Doğruluk düşerse ne olacağı önceden tanımlanmalı.
- Model sürümünü sabitlememek: Üretimde hangi model/sürümde çalıştığınızı kayıt altına alın; sürüm değişimi davranışı kaydırabilir.
Daha Derine: Eval'i Sürekli Kılmak ve Kademeli Deneme
Model seçimi tek seferlik bir karar değildir. Sağlayıcılar yeni modeller çıkarır, fiyatlar değişir, sizin görev tanımınız evrilir. Bu yüzden eval kümesini bir kez kurup unutmayın; onu canlı bir varlık gibi tutun. Yeni bir model çıktığında aynı 20-50 örneği ondan da geçirir, tabloyu günceller ve kararınızı yeniden verirsiniz. Bu, "sezgiyle model değiştirme" tuzağından sizi korur.
İkinci ileri teknik kademeli deneme (fallback / cascade) desenidir. Görevi önce ucuz modele verirsiniz; çıktının güveni düşükse ya da doğrulama katmanı (11. ünite) reddederse, aynı isteği bir üst modele yükseltirsiniz. Böylece trafiğin çoğu ucuz modelde çözülür, yalnızca zor kalan azınlık pahalı modele gider. Bu, sabit tek-model yaklaşımından hem daha ucuz hem daha dayanıklıdır.
Üçüncü nokta, eval'in yalnızca doğruluğu değil maliyet ve gecikmeyi de içermesidir. Bir model %1 daha doğru ama 3 kat pahalı ve 2 kat yavaşsa, çoğu iş için bu takas değmez. Kararı üç eksende (doğruluk, maliyet, gecikme) birlikte verin ve bir "yeterlilik eşiği" tanımlayın: "doğruluk %95'in üstündeyse en ucuzunu seç."
Son olarak, üretimde hangi modeli/sürümü kullandığınızı kayıt altına alın. Bir gün çıktı kalitesi değişirse, ilk bakacağınız şey model sürümünün değişip değişmediğidir. Sürüm izlenebilirliği, kalite sorunlarının kök nedenini bulmayı hızlandırır.
Bir uyarı daha: eval kümesi gerçek iş yükünüzü temsil etmelidir. Yalnızca kolay örneklerden oluşan bir eval, zor durumlarda modelin nerede tökezlediğini gizler ve sizi yanlış bir güvene sürükler. İyi bir eval; sık görülen kolay örneklerin yanında, gerçekte karşılaştığınız köşe durumları (belirsiz, eksik, çelişkili girdiler) da içerir. Model seçiminizi bu zorlu azınlık belirler, çünkü kolay çoğunluğu zaten her model başarır. Eval'inizi periyodik olarak yeni gerçek örneklerle besleyerek canlı ve temsili tutun.
Özetle
Doğru model, görevi başaran en hafif modeldir; daha güçlü olan her işte daha iyi değildir, yalnızca daha pahalı ve yavaştır. Görevi sınıflandırıp en hafif adaydan başlamak, karma trafiği yönlendirmeyle dağıtmak ve seçimi küçük bir eval kümesiyle kanıta bağlamak, kaliteyi korurken maliyeti kat kat düşürür.
Uygulama görevi
Bir iş yükünüzü seçin. (1) Görevi basit/karmaşık diye sınıflandırın. (2) 20 gerçek örnekten oluşan küçük bir eval kümesi tasarlayın (doğru cevaplarıyla). (3) Üç model sınıfı için doğruluk/maliyet/süre karşılaştırma tablosunu doldurmak üzere plan çıkarın. (4) Karma trafiğiniz varsa bir yönlendirme kuralı yazın ve bir yükseltme eşiği belirleyin.
Kontrol listesi
- [ ] Model ailesini yetenek/hız/maliyet ekseninde karşılaştırabiliyorum.
- [ ] "En hafif başarılı model" ilkesini uygulayabiliyorum.
- [ ] Görev karmaşıklığına göre model yönlendirme kurabiliyorum.
- [ ] Küçük bir eval kümesiyle seçimi kanıta bağlayabiliyorum.
- [ ] Bir yükseltme/düşürme eşiği tanımlayabiliyorum.