Keuntungan:
- Mengenali tahapan model dan mode penalaran yang ringan, seimbang dan kuat
- Memilih tingkat model yang sesuai berdasarkan tingkat kesulitan suatu tugas
- Kemampuan untuk secara sadar menetapkan keseimbangan antara latensi, akurasi, dan biaya
Kami belajar menghitung harga; Sekarang mari kita bicara tentang apa yang kita dapatkan dengan harga tersebut, yaitu level model dan kemampuan. Tiga kekuatan terus bersaing ketika memilih model: kualitas (akurasi), kecepatan (latensi), dan biaya. Memperbaiki dua dari tiga hal ini sering kali berarti mengkompromikan yang ketiga. Di unit ini, Anda akan belajar tentang level yang ringan, seimbang dan kuat, mode penalaran, dan preferensi model kecil/besar; Anda akan mampu secara sadar membangun keseimbangan yang tepat sesuai dengan tingkat kesulitan tugas.
Tiga Tingkat, Tiga Karakter Pekerjaan Berbeda
Hampir setiap penyedia menawarkan tiga tingkatan dalam keluarga yang sama. Mari kita cocokkan ini dengan sifat tugas:
- Tingkat ringan (model kecil): Sangat cepat, sangat murah, "cukup baik". Ideal untuk tugas sederhana, berulang, dan bervolume tinggi: klasifikasi, pengarahan, penandaan, pembersihan data, draf respons sederhana.
- Tingkat seimbang (model menengah): Kualitas bagus, kecepatan wajar, biaya masuk akal. Pilihan “default” untuk sebagian besar pekerjaan sehari-hari: produksi konten, analisis jangka menengah, tanggapan pelanggan.
- Tingkat kuat (model besar): Kualitas tertinggi, paling lambat, paling mahal. Untuk penalaran yang kompleks, analisis yang panjang dan multi-langkah, kode yang sulit, evaluasi hukum/keuangan yang tepat.
Tip: Aturan awal yang baik: Mulailah dengan level yang seimbang. Jika kualitasnya buruk, naikkan ke level kuat; Jika kualitasnya sangat bagus dan volumenya tinggi, turunkan ke tingkat cahaya. Pendekatan "mulai dengan cukup baik", bukan pendekatan "mulai dengan yang terkuat", menghemat uang dan waktu.
Apa itu Mode Penalaran?
Beberapa model mungkin terlebih dahulu “memikirkan” jawabannya selangkah demi selangkah daripada menghasilkannya secara langsung. Ini disebut mode penalaran. Model tersebut memecah masalah menjadi beberapa bagian, memproses langkah-langkah perantara di dalamnya, dan baru kemudian memberikan jawaban akhir. Hal ini mirip dengan seorang siswa yang memecahkan masalah matematika langkah demi langkah di atas kertas.
Kapan itu berharga? Dalam masalah logis multi-langkah: perhitungan yang rumit, deteksi kontradiksi, rantai inferensi yang panjang, kesalahan kode yang sulit. Dalam jenis pekerjaan ini, penalaran secara signifikan meningkatkan akurasi.
Berapa biayanya? Penalaran meningkatkan biaya dan latensi karena model menghasilkan lebih banyak “token pemikiran”. Jadi itu akan menjadi lebih mahal dan lebih lambat. Pertanyaan sederhana “apakah ulasan ini positif?” Menalar pertanyaan itu seperti membunuh seekor lalat dengan palu; menimbulkan biaya dan penundaan yang tidak perlu.
Perhatian: Jangan biarkan mode penalaran terbuka untuk setiap tugas. Lebih cepat dan lebih murah jika tetap menutupnya untuk tugas-tugas sederhana. Beberapa model modern hadir dengan cara berpikir "adaptif" yang menentukan sendiri kapan ia perlu berpikir; Namun, tugas Anda adalah mengelolanya secara sadar.
Kualitas, Kecepatan, Segitiga Biaya
prioritas
Tingkat yang sesuai
penalaran
Biaya terendah, volume tinggi
ringan
Tertutup
Saldo (sebagian besar pekerjaan)
seimbang
tergantung pada situasinya
Akurasi tertinggi, keputusan penting
kuat
terbuka
Respons instan, latensi rendah (obrolan)
Ringan/seimbang
Tertutup
Analisis multi-langkah yang kompleks
kuat
terbuka
Saat Anda melihat tabel ini, tanyakan pada diri Anda: “Berapa biayanya jika saya melakukan kesalahan dalam tugas ini?” Jika harganya tinggi (penilaian hukum yang salah, keputusan keuangan yang salah) maka investasi dengan kualitas dan pertimbangan yang kuat dapat dibenarkan. Jika harganya rendah (kesalahan klasifikasi label produk), model yang ringan dan cepat sudah cukup.
Model Kecil atau Model Besar?
Bertentangan dengan kepercayaan umum, tidak setiap pekerjaan memerlukan model yang besar. Model yang lebih kecil secara mengejutkan mampu melakukan banyak tugas dengan biaya sepersepuluh dan kecepatan beberapa kali lipat dari model yang lebih besar. Tiga pertanyaan untuk pengambilan keputusan:
- Apakah tugasnya sederhana dan dirumuskan? (Klasifikasi, ekstraksi, ringkasan singkat) → Model kecil.
- Apakah volumenya terlalu tinggi dan kecepatannya penting? → Model kecil, karena model besar mahal dan lambat.
- Apakah tugas tersebut memerlukan penalaran yang berbeda, konteks yang diperluas, atau kreativitas? → Modelnya besar.
Tiga Kasus Realistis
Kasus 1 — Model yang ringan sudah cukup. Tim e-niaga mengurutkan 40.000 komentar pelanggan setiap hari menjadi positif/negatif/netral. Mereka mencobanya dengan model yang kuat dan kemudian membandingkannya dengan model yang ringan: akurasinya hampir sama (96% vs 94%), namun model yang ringan 8 kali lebih murah dan 3 kali lebih cepat. Model yang ringan sejauh ini merupakan pilihan tepat untuk tugas ini; Akurasi ekstra 2% tidak membenarkan biaya 8x lipat.
Kasus 2 — Model + penalaran yang kuat adalah suatu keharusan. Sebuah perusahaan konsultan pajak ingin menghitung skenario pajak multi-tahap yang kompleks. Model yang ringan membuat kesalahan pada langkah-langkah perantara dan memberikan hasil yang salah. Ketika mereka menggunakan model yang kuat dengan mode penalaran diaktifkan, model tersebut berkembang selangkah demi selangkah dan mencapai kesimpulan yang benar. Di sini, biaya tambahan dan penundaan dapat diterima karena biaya kesalahannya tinggi; Namun, seorang ahli membenarkan hasilnya.
Kasus 3 — Penggunaan campuran. Pusat panggilan memproses transkrip panggilan dalam dua langkah: pertama, pusat panggilan meringkas secara singkat setiap panggilan dengan model yang ringan (volume tinggi, pekerjaan sederhana), kemudian hanya memberikan panggilan yang ditandai sebagai "keluhan" ke model canggih dan melakukan analisis akar permasalahan (volume rendah, pekerjaan kompleks). Jadi mereka memproses sebagian besar volume dengan murah, sambil mempertahankan kekuatan pola yang kuat untuk beberapa panggilan yang benar-benar penting.
Prompt Lemah / Prompt Kuat
Perintah yang lemah:
Selesaikan skenario pajak ini. [skenario kompleks]
Tidak jelas seberapa hati-hati model tersebut akan mempertimbangkannya.
Perintah yang kuat:
Peran Anda: spesialis pajak senior. Tugas: Selesaikan skenario multi-tahap berikut selangkah demi selangkah. Pertama-tama buatlah daftar asumsinya, kemudian hitung dan tunjukkan setiap langkah secara terpisah, dan terakhir berikan hasil akhirnya. Jika ada suatu hal yang Anda tidak yakin atau bergantung pada peraturan perundang-undangan, tandai sebagai "diperlukan konfirmasi ahli". Melewatkan langkah-langkah perantara.[skenario]
Perintah yang kuat memandu model melalui pemikiran langkah demi langkah (mendorong penalaran) dan membuat langkah-langkah perantara terlihat untuk dapat diverifikasi.
Templat yang Dapat Disalin
Diagnosis tahap 1:
Misi saya: [TUGAS]. Volume: [JUMLAH/hari]. Biaya kesalahan: [RENDAH/SEDANG/TINGGI].Prioritas kecepatan: [RENDAH/TINGGI]. Berdasarkan profil ini, level apa (ringan/seimbang/kuat) dan penalaran (terbuka/tertutup) yang akan Anda rekomendasikan? Membenarkan.
2. Keputusan model kecil/besar:
Saya mendefinisikan tugas berikut: [TUGAS]. Apakah masalah ini dapat diselesaikan dengan model yang kecil (ringan), ataukah diperlukan model yang besar? Sarankan 3 kasus uji dan ambang keberhasilan bagi saya untuk mencoba menyelesaikannya dengan model kecil.
3. Kesesuaian penalaran:
Apakah mode penalaran (berpikir langkah demi langkah) bermanfaat atau merugikan dalam tugas berikut: [TUGAS]? Benarkan keputusan Anda berdasarkan jumlah langkah dan kompleksitas logis tugas.
4. Desain alur kerja dua tahap:
Rancang alur dua tahap untuk mengurangi biaya pada tugas bervolume tinggi berikut [TUGAS]: bagian mana yang harus digunakan untuk model ringan, bagian mana yang harus digunakan untuk model canggih? Tuliskan level dan alasan untuk setiap langkah.
Kesalahan umum
- Model yang kuat untuk setiap pekerjaan: Menciptakan biaya dan penundaan yang tidak perlu dengan menggunakan model yang paling kuat dalam pekerjaan yang sederhana dan banyak.
- Selalu meninggalkan alasan: Mempertahankan cara berpikir dalam tugas-tugas sederhana dan membuang-buang waktu dan uang dengan sia-sia.
- Membuat keputusan tanpa mengukur kualitas: Dengan asumsi "lebih besar lebih baik" tanpa membandingkan dua level dengan data Anda sendiri.
- Melupakan kebutuhan akan kecepatan: Di tempat-tempat yang memerlukan respons instan, seperti obrolan, memilih model yang lambat dan kuat, dan membuat pengguna menunggu.
- Tidak memikirkan aliran dua tahap sama sekali: Tidak membuat seluruh volume dibuat dengan satu model dan tidak menghemat bagian yang dapat dikerjakan dengan murah.
Singkatnya
- Pemilihan model merupakan tindakan penyeimbangan dalam segitiga kualitas, kecepatan dan biaya; Meningkatkan dua hal sering kali membutuhkan kompromi pada yang ketiga.
- Panggung ringan cocok untuk pekerjaan sederhana/besar, panggung kuat cocok untuk pekerjaan kompleks/kritis; Tahap seimbang adalah awal yang baik untuk sebagian besar pekerjaan.
- Mode penalaran meningkatkan akurasi dalam masalah multi-langkah namun meningkatkan biaya dan latensi; Hal ini tidak boleh dibiarkan terbuka untuk setiap tugas.
- “Berapa akibat kegagalan dalam misi ini?” Pertanyaannya adalah kompas keputusan tingkat dan penalaran. Aliran dua tahap memberikan penghematan besar dalam pekerjaan bervolume.
Tugas aplikasi
Pilih tugas dalam pekerjaan Anda dan tentukan tahap dan pengaturan alasan mana yang sesuai dengan templat 1 (diagnosis tahap). Jika tugasnya bervolume tinggi, buatlah desain yang mengarahkan sebagian volume ke model ringan dan bagian penting ke model kuat dengan templat 4 (alur kerja dua tahap). Kami akan menggunakan desain ini dalam studi model portofolio di unit 9.
daftar periksa
- [ ] Saya dapat mencocokkan karakter pekerjaan dengan tahapan yang ringan, seimbang, dan bertenaga.
- [ ] Saya dapat menjelaskan fungsi mode penalaran dan berapa biayanya.
- [ ] Saya secara sadar dapat menetapkan keseimbangan kualitas-kecepatan-biaya untuk suatu tugas.
- [ ] Saya dapat menjawab pertanyaan model kecil atau besar dengan tiga pertanyaan.
- [ ] Saya dapat merancang aliran dua tahap untuk pekerjaan bervolume tinggi.