Keuntungan:
- Kemampuan untuk membuat lapisan validasi keluaran berbasis skema dan aturan
- Kemampuan untuk secara bermakna membutuhkan keterlibatan manusia dalam pengambilan keputusan yang berdampak besar
- Kemampuan untuk merancang perutean berbasis verifikasi dan ambang batas kepercayaan dengan model kedua
Model bahasa menghasilkan sesuatu yang lancar, persuasif, dan sering kali akurat—tetapi “persuasif” tidak sama dengan “benar”. Model dapat secara diam-diam memasukkan jumlah, tanggal, atau kolom JSON; Hal ini disebut halusinasi (model dengan percaya diri menghasilkan informasi yang tidak ada dalam kenyataan). Dalam sistem perusahaan, jika keluaran tersebut mengalir ke langkah berikutnya — pembayaran, email, penulisan database — kesalahan akan meluas ke dunia nyata. Dalam unit ini, kita akan belajar memfilter keluaran dengan lapisan verifikasi sebelum memasuki sistem dan memerlukan keterlibatan manusia dalam pengambilan keputusan yang berdampak besar.
Mengapa Validasi Output Diperlukan?
Output model dapat rusak dalam dua cara utama: format (tidak sesuai dengan skema JSON yang diharapkan, bidang hilang/berlebih) dan konten (format benar tetapi nilainya salah — kode produk tidak ada, tanggal tidak logis). Ada dimensi ketiga dalam hal keamanan: keluaran berbahaya (perintah jahat yang dihasilkan sebagai akibat dari injeksi atau kebocoran). Sistem yang solid menghentikan ketiganya di depan pintu.
Perhatian: "Model secara umum akurat" bukan merupakan kriteria produksi. Dalam sistem tanpa verifikasi, satu kesalahan dalam seribu berarti 100 kesalahan transaksi per hari dalam 100.000 permintaan per hari.
Lapisan Otentikasi: Langkah demi Langkah
- Validasi skema. Periksa dengan mesin apakah keluarannya sesuai dengan struktur yang diharapkan: apakah kolom ada, apakah tipenya benar, apakah kolom yang wajib diisi sudah diisi?
- Validasi aturan/logika bisnis. Apakah nilainya sesuai dengan aturan bisnis? (Jumlah > 0, tanggal bukan di masa depan, kode produk termasuk dalam katalog.)
- Referensi/kontrol sumber. Jika model menghasilkan suatu pernyataan, dapatkah model tersebut dikaitkan dengan sumbernya? (Apakah kutipan RAG benar-benar ada di dokumen?)
- Validasi dengan model kedua (LLM sebagai juri). Model independen mengevaluasi keluaran sebagai "benar/tidak lengkap/berisiko".
- Ambang batas kepercayaan dan orientasi. Jika model atau validator melaporkan tingkat kepercayaan yang rendah, keluarannya tidak lolos secara otomatis; ditujukan kepada manusia.
- Kontrol manusia. Hasil dengan potensi tinggi atau keamanan rendah bergantung pada persetujuan ahli.
Empat Templat yang Dapat Disalin
Skema + "buatlah jika Anda tidak tahu" bersama-sama:
Kembalikan respons dalam skema JSON berikut SAJA: Tulis "rendah". JANGAN PERNAH menulis perkiraan seolah-olah perkiraan tersebut tepat.
Verifikasi dengan model kedua (perintah juri):
Anda adalah validator independen. Di bawah ini adalah teks <sumber> dan <klaim>. Periksa untuk melihat apakah SETIAP nomor dan tanggal dalam klaim muncul kata demi kata di sumbernya. Untuk masing-masing, katakan: "terverifikasi | tidak dalam sumber | bertentangan dengan sumber." Jika salah satu saja 'tidak ada/bertentangan', tandai hasilnya sebagai "HUMAN REVIEW DIPERLUKAN".<source>{{ text }}</source><claim>{{ model_output }}</claim>
Aturan perutean ambang batas kepercayaan:
Aturan perutean:- emin_misin = "tinggi" DAN jumlah < 10.000 TL -> pemrosesan otomatis- emin_misin = "sedang" ATAU jumlah 10.000-100.000 TL -> verifikasi model kedua- emin_misin = "rendah" ATAU jumlah > 100.000 TL -> diperlukan persetujuan manusia
Kartu ringkasan audit manusia (mempercepat peninjauan):
Saat menyampaikan keputusan kepada seseorang, tunjukkan kartu ini: - Apa yang diusulkan? (satu kalimat) - Berdasarkan sumber apa? (referensi artikel/dokumen)- Apa 2 asumsi yang paling lemah?- Jika disetujui, apakah asumsi tersebut dapat dibatalkan? (ya/tidak)
Prompt Lemah / Prompt Kuat
pendekatan yang buruk
Pendekatan yang kuat
"Kurangi jumlah dari faktur" (teks bebas)
Skema JSON yang ketat + null + bidang kepercayaan
Menulis output langsung ke sistem pembayaran
Skema → aturan → persetujuan manusia (jika perlu)
Hanya memberi tahu modelnya "pastikan"
Validasi nomor/tanggal dengan model kedua
Memproses setiap keluaran dengan keyakinan yang sama
Perutean berdasarkan pengaruh dan kepercayaan
Pendekatan yang kuat tidak mengharapkan model tersebut benar; Ini menciptakan pintu yang akan menangkap Anda ketika Anda salah.
Tiga Kasus Mini
Kasus 1 – Skema saja tidak cukup. Otomatisasi akuntansi mengekstraksi jumlah dari faktur sebagai JSON. Skemanya benar, tetapi model tersebut menghasilkan "125.000" bukannya "1.250,00" pada faktur (pergeseran desimal). Skema ini gagal menangkap hal ini; verifikasi aturan ("jumlah harus sesuai dengan total item faktur sebesar ±1%") tertangkap dan pencatatan yang salah sebesar 112.500 TL dapat dicegah.
Kasus 2 — Model kedua menangkap halusinasi. “Pemberitahuan pemutusan hubungan kerja dalam waktu 30 hari,” kata asisten dukungan hukum dalam ringkasan kontrak; Namun dalam kontraknya 90 hari. Ketika hakim independen menandai model tersebut sebagai "bertentangan dengan sumbernya", hasilnya diteruskan ke manusia dan diperbaiki. Jika otomatis, pelanggan akan memberitahukan pembatalan berdasarkan tanggal yang salah.
Kasus 3 — Perutean mengurangi beban sebesar 70%. Sistem klaim asuransi secara otomatis menyetujui klaim dengan jumlah rendah dan keamanan tinggi dan hanya mengirimkan klaim di atas ambang batas/aman rendah kepada ahlinya. Dari 3.200 permintaan harian, hanya 950 yang jatuh ke tangan manusia; para ahli mencurahkan waktunya pada 30% yang benar-benar berisiko, dengan waktu transaksi rata-rata turun dari 4 jam menjadi 40 menit.
Tip: Jangan mengatur kendali manusia sehingga "orang dapat melihat segalanya" — hal ini akan membuat orang lelah dan persetujuan hanya akan menjadi sekedar stempel. Sebaliknya, hanya menyalurkan keluaran yang berdampak tinggi dan tidak pasti kepada manusia; Hal ini memusatkan perhatian pada hal yang benar-benar penting.
Menjadikan Kendali Manusia Bermakna
Human-in-the-loop bukanlah tentang menaruh kotak centang di atas kertas. Peninjau harus memiliki (1) konteks untuk memahami keputusan, (2) akses terhadap sumber, dan (3) wewenang untuk mengatakan “tidak.” Jika tidak, kontrolnya tetap bersifat kosmetik. Kartu ulasan (template keempat di atas) dimaksudkan untuk memberikan konteks tersebut.
Kesalahan umum
- Hanya melakukan validasi skema dan melewatkan kesalahan konten/nilai.
- Berpikir bahwa dengan memberi tahu model "pastikan" Anda melakukan verifikasi yang sebenarnya.
- Secara otomatis menerapkan keputusan yang berdampak besar dan tidak dapat diubah.
- Menempatkan kendali manusia pada setiap keluaran dan mengubah persetujuan menjadi stempel yang tidak berarti.
- Mengatakan “setujui” kepada reviewer tanpa menyebutkan sumber dan konteksnya.
- Memproses semua keluaran dengan risiko yang sama tanpa menetapkan ambang batas kepercayaan dan perutean.
Singkatnya
- Outputnya rusak dalam tiga cara: bentuk, konten, dan niat jahat; sistem yang solid menghentikan ketiganya di depan pintu.
- Lapisan: validasi skema, aturan/logika bisnis, kontrol sumber, model kedua (LLM-sebagai-hakim), dan perutean ambang batas kepercayaan.
- Human-in-the-loop harus diwajibkan untuk keluaran yang berdampak tinggi dan keselamatannya rendah.
- Tinjauan manusia harus bermakna: peninjau harus memiliki konteks, akses sumber daya, dan wewenang untuk mengatakan “tidak.”
- Keamanan dan efisiensi diperoleh dengan hanya mengarahkan hal-hal yang berisiko kepada manusia, bukan setiap keluaran.
Tugas aplikasi
Ambil contoh dari keluaran AI Anda sendiri. Pertama-tama tentukan skema JSON dan paksakan output ke dalamnya. Kemudian tulis setidaknya dua aturan bisnis (misalnya, “jumlah cocok dengan total item”). Terakhir, siapkan tabel perutean: kombinasi kepercayaan/pengaruh mana yang berjalan secara otomatis, mana yang masuk ke model kedua, mana yang masuk ke manusia? Hasilkan sampel yang salah dan amati di mana setiap lapisan menangkapnya.
daftar periksa
- [] Saya mendefinisikan skema ketat untuk keluaran dan memverifikasinya dengan mesin.
- [] Saya menambahkan setidaknya satu validasi bisnis/aturan (logika nilai).
- [ ] Saya dapat menghubungkan pernyataan ke sumbernya dan memeriksanya.
- [ ] Model kedua atau validasi manusia tersedia untuk hasil berdampak tinggi/keamanan rendah.
- [ ] Aturan perutean ditentukan berdasarkan kepercayaan dan pengaruh.
- [ ] Peninjau diberikan konteks, sumber, dan wewenang untuk menolak.