Perintah Sistem dan Parameter Model — API, Biaya dan Integrasi

Keuntungan:

Dapat merancang bagaimana perintah sistem memandu model melalui keseluruhan percakapan
Memahami peran dan dampak biaya dari pemikiran adaptif dan parameter upaya
mengimplementasikan kontrol keluaran seperti max_tokens, urutan penghentian, dan keluaran terstruktur

Dua produk berbeda dengan model yang sama mungkin berperilaku sangat berbeda. Perbedaannya bukan pada model itu sendiri, tetapi pada prompt sistem dan parameter yang diberikan padanya. Perintah sistem adalah "kontrak kerja" model dan parameternya adalah "pengaturan kerja". Dalam unit ini, Anda akan mempelajari cara merancang prompt sistem yang kuat, apa yang dilakukan pengaturan pemikiran dan upaya dalam model modern, dan cara mengontrol format/panjang keluaran. Menyetel pengaturan ini dengan benar memungkinkan Anda mengelola kualitas dan biaya secara bersamaan.

Perintah Sistem: Petunjuk Permanen Model

Perintah sistem adalah instruksi tingkat tinggi yang berlaku di seluruh percakapan. Aturan ini tetap berlaku, apa pun yang diketik pengguna. Prompt sistem yang baik mencakup komponen-komponen berikut:

Peran/identitas: Siapa modelnya? (“Anda adalah asisten dukungan perusahaan.”)
Ruang lingkup dan batasan: Apa fungsinya dan apa yang tidak? (“Hanya berdasarkan pada dokumen kebijakan yang diberikan.”)
Aturan format: Seperti apa tampilan keluarannya? ("Maksimal 3 artikel, bahasa resmi.")
Perilaku dalam ketidakpastian: Apa yang dilakukan seseorang ketika tidak yakin? (“Jika tidak ada informasi, buatlah, arahkan ke unit terkait.”)
Keamanan/privasi: Apa yang tidak/tidak diinginkan? ("Minta data pribadi.")

Tip: Jaga agar prompt sistem tetap. Jangan menyematkan informasi yang berubah setiap kali permintaan (tanggal saat ini, nama pengguna, ID sesi). Hal ini merusak konsistensi dan membatalkan cache prompt pada unit 6. Masukkan informasi variabel dalam pesan pengguna.

Jebakan Instruksi yang Terlalu Agresif

Model modern mengikuti instruksi dengan sangat cermat. Frasa agresif seperti "HARUS", "SELALU", "PASTI lakukan ini", dll., yang berfungsi pada model lama, saat ini menyebabkan pemicuan yang berlebihan: model memanggil agen saat tidak diperlukan atau berjalan dalam waktu yang tidak perlu. Memperlunak aturannya: Daripada "HARUS menggunakan alat pencarian", "Jika jawabannya tidak ada dalam percakapan, gunakan alat pencarian" lebih akurat.

Parameter Model: Pemikiran dan Usaha

LLM klasik memiliki parameter suhu: nilai yang lebih rendah menghasilkan keluaran yang lebih spesifik/konsisten, nilai yang lebih tinggi menghasilkan keluaran yang lebih bervariasi/kreatif. Model generasi modern (seperti Opus 4.8, Sonnet 5) menggantikan pendekatan ini dengan dua mekanisme yang lebih kuat dan tidak lagi menerima parameter pengambilan sampel seperti suhu.

Pemikiran adaptif: Model bernalar langkah demi langkah di "kepalanya" sebelum merespons. Model memutuskan seberapa banyak berpikir berdasarkan tingkat kesulitan tugas. Secara signifikan meningkatkan akurasi pada masalah multi-langkah yang kompleks; Dia kurang berpikir untuk menghindari penundaan yang tidak perlu pada pertanyaan sederhana.
Upaya: Kenop tingkat tinggi yang menyesuaikan seberapa dalam model menyelami suatu tugas dan berapa banyak token yang dibelanjakan secara total. Level tipikal: rendah, sedang, tinggi, dan di atasnya. Upaya yang tinggi mungkin meningkatkan kualitas, namun juga meningkatkan penundaan dan biaya; Upaya yang rendah menghasilkan kecepatan dan penghematan.

Pengaturan

Apa artinya?

kapan

Berpikir off/usaha rendah

Cepat, murah, dangkal

Klasifikasi sederhana, respons singkat, penundaan tugas sensitif

Pemikiran adaptif + usaha sedang

Kualitas/biaya yang seimbang

Sebagian besar tugas tujuan umum

Pemikiran adaptif + usaha tinggi

akurasi tertinggi

Penalaran yang kompleks, pengkodean, pekerjaan agen jangka panjang

Perhatian: Refleks "usaha maksimal apa pun yang terjadi" akan meningkatkan biaya. Sesuaikan upaya dengan tugas; Dalam tugas-tugas sederhana, upaya yang rendah sering kali memberikan hasil akurat yang sama dengan harga yang jauh lebih murah. Lakukan yang tinggi di tempat yang memerlukan akurasi kritis.

Kontrol Output: Format, Panjang, Struktur

Selain parameter, Anda juga mengontrol keluarannya sendiri:

max_tokens: Batas atas output (unit ke-1 dan ke-3).
Urutan penghentian: Menghentikan model saat melihat string tertentu. Berguna untuk menetapkan breakpoint dalam produksi terstruktur.
Output terstruktur: Paksa respons model agar sesuai dengan skema JSON yang Anda berikan. Ini memastikan bahwa output dapat diuraikan dan valid secara terprogram. Ini lebih dapat diandalkan daripada mengatakan "kembalikan JSON" dengan cepat.

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additionalProperties": false, "properties": { "category": { "type": "string", "enum": ["invoice", "technical", "return", "other"] }, "urgency": { "type": "string", "enum": ["low", "medium", "high"] } }, "wajib": ["kategori", "urgensi"] } } }}

Templat Prompt Sistem yang Dapat Disalin

# Asisten dukungan perusahaanAnda adalah asisten dukungan perusahaan.- Hanya mengandalkan dokumen kebijakan yang disediakan; Jika tidak ada dalam dokumen, katakan "Saya tidak punya informasi ini". - Berikan jawaban formal dan jelas maksimal 3 kalimat. - Mintalah data pribadi (nomor ID TC, nomor kartu) dan jangan mengulanginya dalam jawaban Anda. - Jika Anda tidak yakin, jangan menebak.

# Pengklasifikasi pemaksaan keluaran terstrukturAnda adalah pengklasifikasi permintaan. Masukannya adalah pesan pelanggan. Kembalikan hanya kolom yang diminta, jangan menulis komentar. Jika Anda tidak yakin, gunakan "lainnya".

# Analis dengan perilaku tertentu dalam ketidakpastian Anda adalah seorang analis data. Tarik hanya kesimpulan yang dapat diverifikasi dari tabel yang disediakan. Jangan pernah membuat kesimpulan yang tidak ada dalam data. Jika kesimpulannya tidak jelas, tulis "data tidak mencukupi".

# Penulis konten dengan kontrol nada dan panjang Anda adalah seorang penulis konten. Gunakan nada yang hangat namun profesional. Batasi setiap teks hingga 120 kata atau kurang. Hindari bahasa pemasaran yang klise.

Perintah lemah / Perintah kuat

# LEMAH Jadilah penolong dan berikan jawaban yang baik. Lakukan yang terbaik.

# KUATPeran: Spesialis dukungan teknis. Cakupan: Panduan produk hanya disediakan. Format: Langkah demi langkah, daftar bernomor, maksimum 5 langkah. Batasan: Merekomendasikan solusi yang tidak ada dalam panduan; Katakan "Saya tidak dapat menemukannya di manual." Privasi: Jangan ulangi nomor seri yang dibagikan oleh pengguna dalam tanggapan.

Versi yang kuat; Ini menentukan peran, ruang lingkup, format, batasan dan kerahasiaan secara terpisah. Konsistensi keluaran berasal langsung dari kejelasan ini.

Tiga Kasus Mini

Kasus 1 — Pengurangan biaya melalui penyesuaian upaya. Satu tim menjalankan semua panggilan mereka dengan upaya + pemikiran yang tinggi; Bahkan intisari email sederhana pun mahal dan lambat untuk diproduksi. Mereka menugaskan tugas-tugas sederhana seperti ringkasan dengan upaya rendah dan analisis kontrak dengan upaya tinggi. Akurasi dipertahankan, latensi rata-rata dikurangi setengahnya, dan biaya bulanan dikurangi sepertiganya.

Kasus 2 — jaminan JSON. Tim operasi meminta keluaran klasifikasi dengan perintah yang mengatakan "berikan saja JSON", tetapi model terkadang menulis "Inilah hasilnya:" dan parser akan mogok. Saat saya menghubungkan skema keluaran yang dikonfigurasi, keluarannya mengembalikan JSON yang valid setiap saat; kesalahan penguraian telah diatur ulang.

Kasus 3 — Serangan balik yang agresif. Perintah asisten berkata, "HARUS mencari SETIAP PERTANYAAN"; Model ini melakukan penelusuran yang tidak perlu bahkan untuk pertanyaan sederhana yang sudah diketahui jawabannya, sehingga memperlambat dan meningkatkan biaya. Mereka melonggarkan aturan menjadi "Jika jawabannya tidak sesuai konteks, carilah"; Panggilan telepon yang tidak diperlukan berkurang sebesar 70% dan responsnya dipercepat.

Kesalahan umum

Menyematkan data variabel di prompt sistem: Merusak konsistensi dan membuat cache tidak valid.
Instruksi yang terlalu agresif: Pemicu yang berlebihan dan biaya yang tidak perlu pada model modern.
Upaya tinggi dalam setiap tugas: Pemborosan dalam tugas sederhana; menyesuaikan upaya dengan tugas.
Meminta JSON hanya melalui Prompt: Kadang-kadang rusak; jika penting, gunakan keluaran terstruktur.
Tidak mendefinisikan perilaku batas/ambiguitas: Model mengisi kesenjangan dengan fabrikasi (halusinasi).
Kebiasaan `suhu` lama: Model modern tidak menerima hal ini; Pandu perilaku dengan cepat dan usaha.

Lebih Dalam: Menulis Prompt Seperti Kontrak

Tim yang berpengalaman memperlakukan sistem prompt seperti kontrak, bukan teks sastra: klausul yang jelas, aturan yang terukur, batasan yang tidak ambigu. Pendekatan ini memiliki tiga manfaat nyata. Yang pertama adalah konsistensi: masukan yang sama menghasilkan keluaran yang serupa pada waktu yang berbeda. Kedua adalah kemampuan untuk diuji: Anda dapat menguji setiap item secara terpisah dengan sampel. Ketiga adalah kemudahan pemeliharaan: jika suatu perilaku salah, Anda tahu item mana yang harus diganti.

Praktik yang baik adalah memimpin dengan contoh positif. Daripada memberikan daftar "jangan lakukan ini", akan lebih efektif dalam model modern untuk memberikan contoh yang mengatakan "seperti inilah keluaran yang diinginkan". Misalnya, dalam pengklasifikasi, menambahkan satu atau dua sampel JSON yang diharapkan ke perintah secara signifikan mengurangi kesalahan pemformatan.

Teknik ampuh lainnya adalah dengan menuliskan perilaku ketidakpastian secara eksplisit. Klausa seperti "Jika tidak yakin, jangan menebak; katakan 'data tidak mencukupi'" menekan kecenderungan model untuk mengisi kekosongan dengan fabrikasi (halusinasi). Satu kalimat ini menghilangkan beban lapisan verifikasi, yang akan kita bahas di unit 11: setelah model menandai ketidakpastian, maka akan lebih mudah untuk mengarah pada validasi manusia.

Terakhir, pertimbangkan upaya dan dorongan bersama. Dengan upaya yang tinggi, model mengeksplorasi lebih banyak dan terkadang melakukan “pekerjaan ekstra” yang tidak diinginkan (penjelasan yang tidak perlu, saran tambahan). Mengatakan "hanya berikan hasil yang diinginkan, jangan tambahkan komentar tambahan" di prompt mengimbangi efek samping dari upaya yang tinggi ini.

Singkatnya

Perintah sistem adalah arahan permanen model: ia mendefinisikan peran, cakupan, format, perilaku ketidakjelasan, dan kerahasiaan. Dalam model modern, perilaku didorong oleh pemikiran adaptif dan parameter upaya, bukan suhu; Menyelaraskan upaya dengan tugas mengelola kualitas dan biaya secara bersamaan. Anda mengamankan keluaran dengan max_tokens, stop array, dan keluaran terstruktur.

Tugas aplikasi

Pilih tugas. (1) Tulis prompt sistem dengan lima komponen (peran, ruang lingkup, format, ambiguitas, kerahasiaan). (2) Nyatakan tingkat upaya apa yang akan Anda pilih untuk tugas ini dan alasannya. (3) Jika keluarannya harus terstruktur, buat sketsa skema JSON kecil. (4) Periksa apakah ada pola yang terlalu agresif dalam prompt Anda dan haluskan.

daftar periksa

[ ] Saya dapat menyebutkan lima komponen prompt sistem yang baik.
[ ] Saya dapat menjelaskan apa yang dilakukan oleh parameter pemikiran adaptif dan upaya.
[ ] Saya dapat menyeimbangkan kualitas/biaya dengan menyesuaikan upaya sesuai dengan tugas.
[] Saya tahu mengapa keluaran terstruktur lebih aman daripada meminta JSON melalui prompt.
[ ] Saya dapat mengenali risiko dalam model modern yang memberikan instruksi yang terlalu agresif.