Satuan
1. Dasar-dasar LLM API: Peran Permintaan, Respons, dan Pesan 2. Logika Token dan Harga 3. Streaming dan Respon Panjang 4. Perintah Sistem dan Parameter Model 5. Pemilihan Model: Model yang Tepat untuk Pekerjaan yang Tepat 6. Optimasi Biaya: Caching Cepat 7. Beban Kerja Batch dan Asinkron 8. Batas Kecepatan dan Manajemen Kesalahan yang Tangguh 9. Manajemen Kunci dan Privasi yang Aman 10. Integrasi Otomatisasi: n8n, Zapier dan Make 11. Produksi End-to-End: Verifikasi, Pemantauan dan Etika
Satuan 5 / 11

Pemilihan Model: Model yang Tepat untuk Pekerjaan yang Tepat

Keuntungan:

  • Dapat membandingkan rangkaian model (cepat/seimbang/kuat) dalam hal kemampuan, kecepatan, dan biaya
  • Merancang pemilihan model dan strategi perutean sesuai dengan kompleksitas tugas
  • Mendasarkan pemilihan model pada bukti dengan sejumlah kecil evaluasi

Satu-satunya keputusan yang menentukan keuntungan dan kualitas Anda dalam integrasi LLM adalah model mana yang Anda gunakan. Refleks yang umum adalah “pilih model terkuat”; Namun, hal ini sering kali mengakibatkan biaya dan penundaan yang tidak perlu. Pendekatan yang tepat adalah memilih model paling ringan yang dapat menyelesaikan setiap tugas dan mendasarkan pilihan tersebut pada pengukuran, bukan dugaan. Dalam unit ini, Anda akan membandingkan kelompok model pada sumbu kemampuan/kecepatan/biaya, menetapkan strategi perutean model berdasarkan kompleksitas tugas, dan membuktikan pilihan dengan serangkaian evaluasi kecil.

Memahami Keluarga Teladan

Penyedia umumnya menawarkan tiga kelas: cepat/murah, stabil dan kuat. Hubungan antara keduanya dirangkum dalam tiga sumbu: kemampuan (kekuatan untuk menyelesaikan tugas-tugas sulit), kecepatan (latensi), biaya (harga token).

kelas

contoh

bakat

kecepatan

Biaya

Tugas yang tersedia

cepat

Haiku 4.5

sedang

sangat tinggi

rendah

Klasifikasi, pelabelan, ringkasan singkat, orientasi

seimbang

soneta 5

tinggi

tinggi

sedang

Tujuan umum, pengkodean, aliran multi-langkah, sebagian besar pekerjaan agen

kuat

Karya 4.8

tertinggi

sedang

tinggi

Penalaran kompleks, tugas otonom jangka panjang, analisis sulit

Wawasan penting: model yang lebih kuat tidak memberikan kinerja yang lebih baik pada setiap pekerjaan. Dalam pelabelan sederhana “mendesak atau tidak”, model kuat dan model cepat memberikan jawaban benar yang sama; satu-satunya perbedaan adalah yang bertenaga 5 kali lebih mahal dan lebih lambat. Bakat ekstra menghasilkan nilai hanya ketika misi memerlukannya.

Langkah demi Langkah: Bagaimana Cara Memilih Model?

  1. Klasifikasikan tugas. Apakah bersifat rutin/berpola (pelabelan, inferensi), atau terbuka/multi-langkah (analisis, perencanaan, kode)?
  2. Mulailah dengan kandidat yang paling ringan. Cobalah dengan model cepat. Jika itu sudah cukup, berhentilah.
  3. Jika belum cukup, naik ke kelas yang lebih tinggi. Jika akurasinya rendah, gunakan yang seimbang, jika itu tidak cukup, gunakan yang kuat.
  4. Ukur, jangan menebak. Bandingkan keakuratan dan biaya masing-masing kandidat dengan sejumlah kecil evaluasi (di bawah).
  5. Siapkan pengalihan. Daripada menghubungkan ke satu model, distribusikan tugas ke model yang tepat dengan "router".

Perutean Model

Beban kerja sebenarnya beragam: sebagian besar permintaan masuk sederhana, ada pula yang sulit. Sia-sia mengirimkan semuanya ke model yang kuat; Mengirim semuanya ke model cepat akan mengurangi kualitas. Perutean memecahkan masalah ini: model yang murah (atau aturan sederhana) mengklasifikasikan tugas terlebih dahulu, kemudian pekerjaan berpindah ke model yang sesuai.

# Router prompt (berfungsi dengan model murah) Klasifikasikan permintaan masuk berdasarkan tingkat kesulitannya. Hanya kembalikan JSON berikut:{"difficulty": "simple|complex"}Sederhana: satu langkah, rumusan, jawaban singkat.Kompleks: memerlukan penalaran multi-langkah, analisis, atau pembuatan yang panjang.Permintaan: """{{request}}"""

  • buka model sederhana → cepat (murah, cepat).
  • pergi ke model yang kompleks → kuat (mahal tapi perlu).

Pola ini secara signifikan mengurangi biaya rata-rata karena sebagian besar lalu lintas umumnya sederhana.

Tip: Keputusan rujukan tidak selalu memerlukan LLM. Aturan sederhana seperti “Gunakan model cepat jika teks kurang dari 20 kata” juga merupakan panduan dan tidak memerlukan biaya token tambahan. Coba aturannya dulu.

Menghubungkan Pilihan dengan Bukti: Kelompok Eval Kecil

Jangan memilih model berdasarkan "terlihat lebih baik bagi saya". Eval (evaluation set) adalah sekumpulan kecil sampel yang diketahui jawaban benarnya; Anda menjalankan setiap model pada kumpulan ini dan mengukur akurasi, biaya, dan latensi.

# Templat pengaturan evaluasi1) Kumpulkan 20-50 contoh nyata, tuliskan "jawaban yang benar" pada masing-masing contoh.2) Jalankan setiap model (cepat/seimbang/kuat) pada set ini.3) Untuk setiap model: jumlah koreksi, token throughput rata-rata, biaya per permintaan, waktu rata-rata.4) Pilih model yang "memberikan akurasi yang cukup paling murah".

# Tabel perbandingan evaluasi (isi)Model | Akurasi | Biaya per permintaan | Durasi rata-rataHaiku | ...% | ...$| ... snSoneta | ...% | ...$| ... snOpus | ...% | ...$| ... detik

Prompt lemah / Prompt kuat (keputusan pemilihan model)

# LEMAH (tidak ada dasar pengambilan keputusan) Mari gunakan model yang terbaik, anggaran tidak penting.

# KUAT (keputusan berdasarkan pengukuran) Pada evaluasi 50 sampel, Haiku memberikan akurasi 96%, Soneta memberikan akurasi 97%; Perbedaannya tidak signifikan secara statistik. Haiku dipilih karena 5 kali lebih murah dan 2 kali lebih cepat. Jika akurasinya turun di bawah 95%, keputusan untuk meningkatkan ke Soneta akan dibuat secara otomatis.

Versi yang kuat; mengikat pilihan ke nomor, ambang batas, dan aturan eskalasi. Hal ini membela keputusan saat ini dan mengelola perubahan di masa depan.

Tiga Kasus Mini

Kasus 1 - Melarikan diri dari model yang terlalu kuat. Sebuah pusat panggilan menghasilkan semua ringkasan percakapan dengan Opus; tagihan bulanan tinggi. Pada evaluasi 40 sampel, akurasi Soneta 1% di belakang Opus tetapi harganya sepertiga. Mereka memindahkan ringkasan pekerjaan ke Soneta; biaya bulanan turun dari $9.000 menjadi $3.100, tanpa keluhan kualitas.

Kasus 2 — Lalu lintas campuran dengan pengalihan. 80% permintaan tim teknologi hukum berupa penandaan dokumen sederhana, 20% berupa analisis kontrak yang rumit. Mereka mengirimkan semuanya ke model yang kuat. Mereka menambahkan router murah dan mendistribusikan pekerjaan sederhana ke Haiku dan pekerjaan kompleks ke Opus; biaya permintaan rata-rata turun 64%, sementara kualitas analisis tetap terjaga.

Kasus 3 — Biaya perampingan tanpa pengukuran. Untuk mengurangi biaya, satu tim mengurangi ekstraksi kode medis yang kompleks langsung ke model cepat; Mereka tidak mengevaluasi. Dalam siaran langsung, akurasi turun dari 92% menjadi 78%, sehingga menghasilkan kesimpulan yang salah. Mereka harus melakukan evaluasi terlebih dahulu: tugas itu memerlukan model yang kuat. Pelajaran: baik reduksi maupun elevasi dilakukan dengan pengukuran.

Kesalahan umum

  • Refleks “model terkuat”: Pemborosan dan penundaan yang tidak perlu dalam tugas-tugas sederhana.
  • Mengubah model tanpa pengukuran: Baik pengurangan maupun pembesaran berisiko tanpa evaluasi.
  • Mengunci ke dalam satu model: Perutean dalam lalu lintas campuran seringkali lebih efisien.
  • Selalu salah mengira router sebagai LLM: Aturan sederhana dapat bekerja tanpa biaya.
  • Tidak menetapkan ambang batas peningkatan: Apa yang terjadi jika akurasi menurun harus ditentukan terlebih dahulu.
  • Tidak memperbaiki versi model: Catat model/versi mana yang sedang Anda kerjakan dalam produksi; Perubahan versi dapat mengubah perilaku.

Lebih Dalam: Mengabadikan Uji Coba Eval dan Inkremental

Pemilihan model bukanlah keputusan satu kali. Penyedia memperkenalkan model baru, harga berubah, deskripsi pekerjaan Anda berkembang. Jadi siapkan cluster eval sekali dan jangan lupa; memegangnya seperti makhluk hidup. Saat model baru keluar, Anda menjalankan 20-50 sampel yang sama, memperbarui tabel, dan membuat keputusan lagi. Ini melindungi Anda dari jebakan “intuisi peralihan pola”.

Teknik lanjutan yang kedua adalah pola fallback/cascade. Anda memberikan tugas kepada model yang murah terlebih dahulu; Jika keluaran memiliki tingkat keyakinan yang rendah atau lapisan verifikasi (unit 11) menolaknya, Anda meneruskan permintaan yang sama. Jadi sebagian besar lalu lintas diselesaikan dengan model yang murah, dan hanya sebagian kecil yang tersisa yang menggunakan model yang mahal. Pendekatan ini lebih murah dan lebih tahan lama dibandingkan pendekatan model tunggal yang tetap.

Poin ketiga adalah eval tidak hanya mencakup akurasi tetapi juga biaya dan latensi. Jika suatu model 1% lebih akurat namun 3 kali lebih mahal dan 2 kali lebih lambat, pengorbanan tersebut tidak sepadan untuk sebagian besar pekerjaan. Buat keputusan berdasarkan tiga sumbu (akurasi, biaya, latensi) dan tentukan “ambang batas kecukupan”: “jika akurasi di atas 95%, pilih yang termurah.”

Terakhir, catat model/versi mana yang Anda gunakan dalam produksi. Jika suatu saat kualitas keluaran berubah, hal pertama yang akan Anda lihat adalah apakah versi modelnya telah berubah. Ketertelusuran versi mempercepat pencarian akar penyebab masalah kualitas.

Satu peringatan lagi: cluster eval harus mewakili beban kerja Anda yang sebenarnya. Evaluasi yang hanya terdiri dari contoh-contoh mudah menyembunyikan kesalahan model dalam kasus-kasus sulit dan membuai Anda ke dalam keyakinan palsu. Evaluasi yang bagus; Ini mencakup contoh-contoh umum yang mudah serta kasus-kasus sulit yang Anda temui dalam kenyataan (masukan yang ambigu, tidak lengkap, dan kontradiktif). Minoritas sulit ini menentukan pilihan model Anda, karena setiap model tetap berhasil mendapatkan mayoritas mudah. Jaga agar Eval Anda tetap segar dan representatif dengan memberinya contoh nyata baru secara berkala.

Singkatnya

Model yang tepat adalah model yang paling ringan dalam menyelesaikan pekerjaannya; Lebih bertenaga tidak berarti lebih baik dalam setiap pekerjaan, hanya saja lebih mahal dan lebih lambat. Mengklasifikasikan tugas dan memulai dari kandidat yang paling ringan, mendistribusikan lalu lintas campuran dengan perutean, dan memperkuat pilihan dengan sejumlah kecil evaluasi mengurangi biaya berkali-kali lipat dengan tetap menjaga kualitas.

Tugas aplikasi

Pilih beban kerja. (1) Klasifikasikan tugas menjadi sederhana/kompleks. (2) Rancanglah satu set evaluasi kecil yang terdiri dari 20 contoh nyata (dengan jawaban yang benar). (3) Buatlah rencana untuk mengisi tabel perbandingan akurasi/biaya/waktu untuk tiga kelas model. (4) Jika Anda memiliki lalu lintas campuran, tulis aturan perutean dan tetapkan ambang batas eskalasi.

daftar periksa

  • [ ] Saya dapat membandingkan rangkaian model pada sumbu kemampuan/kecepatan/biaya.
  • [ ] Saya dapat menerapkan prinsip "model sukses yang paling ringan".
  • [ ] Saya dapat mengatur perutean model sesuai dengan kompleksitas tugas.
  • [ ] Dengan sejumlah kecil evaluasi, saya dapat mengikat pilihan tersebut dengan bukti.
  • [ ] Saya dapat menentukan ambang batas peningkatan/penurunan pangkat.
Sebelumnya Selanjutnya