Kazanimlar:
- Hafif, dengeli ve güçlü model kademelerini ve akıl yürütme (reasoning) modunu tanıma
- Bir görevin zorluğuna göre uygun model kademesini seçme
- Gecikme, doğruluk ve maliyet arasındaki dengeyi bilinçli kurabilme
Fiyatı hesaplamayı öğrendik; şimdi o fiyatın karşılığında ne aldığımızı, yani model seviyelerini ve yeteneklerini konuşalım. Bir modeli seçerken üç güç sürekli birbiriyle çekişir: kalite (doğruluk), hız (gecikme) ve maliyet. Bu üçünden ikisini iyileştirmek genellikle üçüncüsünden ödün vermek demektir. Ünitede hafif, dengeli ve güçlü kademeleri, akıl yürütme (reasoning) modunu ve küçük/büyük model tercihini öğrenecek; görevin zorluğuna göre doğru dengeyi bilinçle kurabileceksiniz.
Üç Kademe, Üç Farklı İş Karakteri
Neredeyse her sağlayıcı, aynı aile içinde üç kademe sunar. Bunları görevin karakteriyle eşleştirelim:
- Hafif kademe (küçük model): Çok hızlı, çok ucuz, "yeterince iyi". Basit, tekrarlı, yüksek hacimli işler için idealdir: sınıflandırma, kısa özet, etiketleme, veri temizleme, basit yanıt taslakları.
- Dengeli kademe (orta model): İyi kalite, makul hız, makul maliyet. Günlük işlerin çoğu için "varsayılan" tercih: içerik üretimi, orta uzunluktaki analizler, müşteri yanıtları.
- Güçlü kademe (büyük model): En yüksek kalite, en yavaş, en pahalı. Karmaşık akıl yürütme, uzun ve çok adımlı analiz, zor kod, hassas hukuki/finansal değerlendirme için.
İpucu: İyi bir başlangıç kuralı: İşe dengeli kademeyle başla. Kalite yetersizse güçlü kademeye çık; kalite fazlasıyla iyi ve hacim yüksekse hafif kademeye in. "En güçlüden başla" değil, "yeterince iyiden başla" yaklaşımı hem parayı hem zamanı korur.
Akıl Yürütme (Reasoning) Modu Nedir?
Bazı modeller, cevabı doğrudan üretmek yerine önce adım adım "düşünebilir". Buna akıl yürütme (reasoning) modu denir. Model, bir problemi parçalara ayırır, ara adımları kendi içinde işler ve ancak sonra nihai cevabı verir. Bu, bir öğrencinin bir matematik sorusunu kâğıtta adım adım çözmesine benzer.
Ne zaman değerli? Çok adımlı, mantıksal problemlerde: karmaşık bir hesap, çelişki tespiti, uzun bir zincirleme çıkarım, zor bir kod hatası. Bu tür işlerde akıl yürütme, doğruluğu belirgin biçimde artırır.
Bedeli nedir? Akıl yürütme, model daha fazla "düşünme token'ı" ürettiği için maliyeti ve gecikmeyi artırır. Yani hem daha pahalı hem daha yavaş olur. Basit bir "bu yorum olumlu mu?" sorusunda akıl yürütme açmak, çekiçle sinek öldürmek gibidir; gereksiz maliyet ve gecikme yaratır.
Dikkat: Akıl yürütme modunu her göreve açık bırakmayın. Basit işlerde kapalı tutmak hem daha hızlı hem daha ucuzdur. Modern modellerin bir kısmı, ne zaman düşünmesi gerektiğine kendisi karar veren "uyarlanabilir" bir düşünme moduyla gelir; yine de bunu bilinçli yönetmek sizin işinizdir.
Kalite, Hız, Maliyet Üçgeni
Öncelik
Uygun kademe
Akıl yürütme
En düşük maliyet, yüksek hacim
Hafif
Kapalı
Denge (çoğu iş)
Dengeli
Duruma göre
En yüksek doğruluk, kritik karar
Güçlü
Açık
Anlık yanıt, düşük gecikme (sohbet)
Hafif/dengeli
Kapalı
Karmaşık, çok adımlı analiz
Güçlü
Açık
Bu tabloya bakarken kendinize sorun: "Bu görevde hata yaparsam bedeli ne olur?" Bedeli yüksekse (yanlış hukuki değerlendirme, hatalı finansal karar) güçlü kademe ve akıl yürütme yatırımı haklıdır. Bedeli düşükse (bir ürün etiketinin yanlış sınıflanması) hafif ve hızlı model yeterlidir.
Küçük Model mi Büyük Model mi?
Popüler inanışın aksine, her iş için büyük model gerekmez. Küçük modeller şaşırtıcı derecede yetenekli hâle geldi ve birçok görevi büyük modelin onda biri maliyet ve birkaç kat hızla yapabiliyor. Karar için üç soru:
- Görev basit ve kalıplaşmış mı? (Sınıflandırma, çıkarma, kısa özet) → Küçük model.
- Hacim çok yüksek ve hız kritik mi? → Küçük model, çünkü büyük model hem pahalı hem yavaş olur.
- Görev nüanslı akıl yürütme, uzun bağlam ya da yaratıcılık mı istiyor? → Büyük model.
Üç Gerçekçi Vaka
Vaka 1 — Hafif model yeter. Bir e-ticaret ekibi, günde 40.000 müşteri yorumunu olumlu/olumsuz/nötr diye ayırıyor. Güçlü modelle deneyip sonra hafif modelle karşılaştırıyorlar: doğruluk neredeyse aynı (%96'ya karşı %94), ama hafif model hem 8 kat daha ucuz hem 3 kat daha hızlı. Bu görev için hafif model açık ara doğru seçim; ekstra %2 doğruluk, 8 kat maliyeti haklı çıkarmıyor.
Vaka 2 — Güçlü model + akıl yürütme şart. Bir vergi danışmanlığı firması, karmaşık çok kademeli bir vergi senaryosunu hesaplattırmak istiyor. Hafif model, ara adımlarda hata yapıp yanlış sonuç veriyor. Güçlü modeli akıl yürütme modu açık kullandıklarında model adım adım ilerliyor ve doğru sonuca ulaşıyor. Burada hatanın bedeli yüksek olduğu için ek maliyet ve gecikme kabul edilebilir; yine de sonucu bir uzman teyit ediyor.
Vaka 3 — Karma kullanım. Bir çağrı merkezi, çağrı dökümlerini iki adımda işliyor: önce hafif modelle her çağrıyı kısaca özetliyor (yüksek hacim, basit iş), sonra yalnızca "şikâyet" olarak işaretlenen çağrıları güçlü modele verip kök neden analizi yaptırıyor (düşük hacim, karmaşık iş). Böylece hacmin büyük kısmını ucuza işlerken, gerçekten önemli olan az sayıdaki çağrıya güçlü modelin gücünü ayırıyorlar.
Zayıf Prompt / Güçlü Prompt
Zayıf prompt:
Bu vergi senaryosunu çöz. [karmaşık senaryo]
Modelin ne kadar dikkatli düşüneceği belirsizdir.
Güçlü prompt:
Rolün: kıdemli vergi uzmanı.Görev: Aşağıdaki çok kademeli senaryoyu adım adım çöz.Önce varsayımları listele, sonra her adımı ayrı ayrı hesapla ve göster,en sonda net sonucu ver. Emin olmadığın veya mevzuata bağlı bir nokta varsa"uzman teyidi gerekir" diye işaretle. Ara adımları atlama.[senaryo]
Güçlü prompt, modeli adım adım düşünmeye yönlendirir (akıl yürütmeyi teşvik eder) ve doğrulanabilirlik için ara adımları görünür kılar.
Kopyalanabilir Şablonlar
1. Kademe teşhisi:
Görevim: [GÖREV]. Hacim: [SAYI/gün]. Hata bedeli: [DÜŞÜK/ORTA/YÜKSEK].Hız önceliği: [DÜŞÜK/YÜKSEK]. Bu profile göre hangi kademeyi (hafif/dengeli/güçlü)ve akıl yürütmeyi (açık/kapalı) önerirsin? Gerekçelendir.
2. Küçük/büyük model kararı:
Şu görevi tanımlıyorum: [GÖREV]. Bu iş küçük (hafif) bir modelle çözülebilir mi,yoksa büyük model şart mı? Küçük modelle çözmeyi denemem için 3 test örneği vebaşarı eşiği öner.
3. Akıl yürütme uygunluğu:
Şu görevde akıl yürütme (adım adım düşünme) modu fayda sağlar mı, yoksa gereksizmaliyet mi olur: [GÖREV]? Kararını görevin adım sayısı ve mantıksal karmaşıklığınagöre gerekçelendir.
4. İki kademeli iş akışı tasarımı:
Şu yüksek hacimli görevde [GÖREV] maliyeti düşürmek için iki kademeli bir akıştasarla: hangi kısım hafif modele, hangi kısım güçlü modele gitmeli? Her adım içinkademe ve gerekçe yaz.
Sık yapılan hatalar
- Her işe güçlü model: Basit ve hacimli işlerde en güçlü modeli kullanıp gereksiz maliyet ve gecikme yaratmak.
- Akıl yürütmeyi hep açık bırakmak: Basit görevlerde düşünme modunu açık tutup boşuna token ve zaman harcamak.
- Kaliteyi ölçmeden karar vermek: İki kademeyi kendi verinizle karşılaştırmadan "büyük daha iyidir" diye varsaymak.
- Hız ihtiyacını unutmak: Sohbet gibi anlık yanıt gereken yerlerde yavaş bir güçlü model seçip kullanıcıyı bekletmek.
- İki kademeli akışı hiç düşünmemek: Hacmin tamamını tek modele yaptırıp, ucuza yapılabilecek kısımdan tasarruf etmemek.
Özetle
- Model seçimi kalite, hız ve maliyet üçgeninde bir dengeleme işidir; ikisini iyileştirmek genelde üçüncüden ödün ister.
- Hafif kademe basit/hacimli işlere, güçlü kademe karmaşık/kritik işlere uygundur; dengeli kademe çoğu iş için iyi bir başlangıçtır.
- Akıl yürütme modu çok adımlı problemlerde doğruluğu artırır ama maliyeti ve gecikmeyi yükseltir; her göreve açık bırakılmamalıdır.
- "Bu görevde hata bedeli ne?" sorusu, kademe ve akıl yürütme kararının pusulasıdır. İki kademeli akışlar hacimli işlerde büyük tasarruf sağlar.
Uygulama görevi
İşinizdeki bir görevi seçin ve 1. şablonla (kademe teşhisi) hangi kademe ve akıl yürütme ayarının uygun olduğunu belirleyin. Eğer görev yüksek hacimliyse, 4. şablonla (iki kademeli iş akışı) hacmin bir kısmını hafif modele, kritik kısmını güçlü modele yönlendiren bir tasarım çıkarın. Bu tasarımı 9. ünitedeki model portföyü çalışmasında kullanacağız.
Kontrol listesi
- [ ] Hafif, dengeli ve güçlü kademelerin iş karakterini eşleştirebiliyorum.
- [ ] Akıl yürütme modunun ne işe yaradığını ve maliyetini açıklayabiliyorum.
- [ ] Bir görev için kalite-hız-maliyet dengesini bilinçle kurabiliyorum.
- [ ] Küçük mü büyük mü model sorusunu üç soruyla yanıtlayabiliyorum.
- [ ] Yüksek hacimli bir iş için iki kademeli akış tasarlayabiliyorum.