Keuntungan:
- Jelaskan penyebab halusinasi dan peran grounding
- Menerapkan teknik yang membuat model berkata 'Saya tidak tahu' jika tidak sesuai konteks
- Memastikan kepercayaan dan kemampuan audit dengan menambahkan sumber/kutipan yang dapat diverifikasi pada tanggapan
Perilaku paling berbahaya dari seorang model bahasa adalah mengarang sesuatu yang tidak diketahuinya dengan nada percaya diri dan persuasif. Ini disebut halusinasi. Berhalusinasi pada asisten perusahaan tidak hanya menjengkelkan, tapi juga berisiko: hari libur yang salah, harga yang salah, substansi hukum yang salah justru dapat membahayakan karyawan atau pelanggan. Dalam unit ini, kami membahas mengapa halusinasi terjadi, cara menguranginya di RAG, dan cara membuat jawabannya dapat diverifikasi.
Apa Penyebab Halusinasi?
Model dilatih untuk menghasilkan kata berikutnya yang paling mungkin; Bukan “mengatakan kebenaran”, tetapi “menghasilkan teks yang lancar dan masuk akal”. Jika ada informasi yang hilang, hal tersebut dapat mengisi kesenjangan tersebut dengan sesuatu yang masuk akal secara statistik namun secara faktual salah. Tiga pemicu umum:
- Tidak ada jawaban dalam konteksnya, namun model merasa terdorong untuk mengatakan sesuatu.
- Konteksnya bertentangan atau tidak memadai; Model tersebut menutup kesenjangan dengan prediksi.
- Pertanyaannya melampaui konteks; model tersebut kembali ke pengetahuan umumnya (dan mungkin sudah ketinggalan zaman).
RAG mengurangi halusinasi karena memberikan model sumber nyata — tetapi tidak mengatur ulangnya. Jika Anda membawa bagian yang salah atau membiarkan model "kebebasan mengisi celah", sistem dengan RAG juga dapat menyesuaikannya.
jenis halusinasi
gejala
akar permasalahan
lapisan solusi
berasal dari pengambilan
Jawaban yang benar ada di dokumen tetapi tidak sampai
Bagian yang salah/hilang terkirim
Chunking, hybrid, pemeringkatan ulang (Unit 3-4)
Bersumber dari generasi
Bagian yang benar sudah sampai tetapi jawabannya salah/harus ditambahkan
Model tersebut mengisi kesenjangan dengan prediksi
Grounding, izin “tidak tahu”, kreativitas rendah
Sumber kutipan
Jawabannya benar tetapi sumbernya salah
Model merujuk ke bagian yang salah
Verifikasi kutipan (lihat Unit 8)
Petunjuk: Bagilah halusinasi menjadi dua bagian. Bersumber dari pengambilan: bagian yang salah/hilang tiba (solusi: tingkatkan pengambilan). Sumber pembangkitan: Bagian yang benar telah tiba, tetapi model salah membaca/menambahkannya (solusi: prompt dan grounding). Anda tidak dapat memperbaikinya kecuali Anda tahu yang mana.
Landasan: Memakukan Jawaban dalam Konteks
Grounding adalah nama yang diberikan untuk semua teknik menceritakan model "hanya mengandalkan teks yang saya berikan, jangan melampauinya". Tekniknya yang paling mendasar dan paling efektif: secara eksplisit memberikan izin kepada model untuk mengatakan 'Saya tidak tahu'. Model, seperti halnya manusia, ragu-ragu untuk mengatakan "Saya tidak tahu"; Anda harus memberinya izin tegas untuk melakukan ini.
Jawaban hanya berdasarkan KONTEKS di bawah ini. Jika jawabannya tidak JELAS dalam konteksnya, tulislah persis seperti ini: "Saya tidak dapat menemukan cukup informasi mengenai hal ini di dokumentasi." Jangan mencantumkan nomor, tanggal, atau nama apa pun yang tidak sesuai dengan konteksnya. Jangan menebak.
Teknik landasan tambahan:
- Persyaratan kutipan: Sebelum setiap klaim, kutip konteksnya kata demi kata (“Dokumen tersebut berbunyi: '...'”). Membuat kutipan palsu lebih sulit bagi model tersebut.
- Suhu rendah: Suhu (suhu, kreativitas/pengaturan acak) harus rendah. Catatan: pada beberapa model saat ini, parameter ini telah dihapus; Di dalamnya, Anda memberikan landasan dengan prompt. Kreativitas yang tinggi merupakan musuh integritas perusahaan.
- Batasan cakupan: "Hanya tanggapi masalah kebijakan izin; tolak dengan sopan untuk tidak ikut serta."
Kutipan
Pertahanan sistemik terkuat melawan halusinasi adalah membuat jawaban dapat diverifikasi. Jika pengguna dapat melihat dokumen mana yang menjadi dasar jawabannya: (1) dia dapat menangkap sendiri kesalahannya, (2) audit dapat dilakukan, (3) kepercayaan meningkat, dan (4) model memproduksi lebih hati-hati dengan kesadaran bahwa "Saya perlu mengutip sumbernya".
Dua pendekatan umum:
Atribusi sebaris: Tag sumber di samping setiap klaim. "Cuti tahunan adalah 14 hari [1]." Di bawah ini adalah dokumentasi lengkap [1].
Keluaran terstruktur: Meminta model untuk menghasilkan jawaban dan daftar sumber di bidang terpisah; Menampilkan sumber daya sebagai tautan yang dapat diklik di antarmuka.
# Menghasilkan jawaban terstruktur berdasarkan model (konseptual) Berikan jawaban Anda dalam struktur berikut:- jawaban: <jawaban berbasis konteks>- sumber: [{"part_no": 1, "file": "...", "section": "..."}]- kepercayaan: <high|medium|low> # Seberapa jelas konteks mendukungnya? Jika konteks tidak mendukung jawaban, tuliskan “tidak ada informasi ditemukan” pada kolom jawaban dan kosongkan sumbernya.
Agar Kutipan benar-benar berfungsi, perlu dilakukan verifikasi bahwa atribusi tersebut benar. Model terkadang memberikan jawaban yang benar tetapi memberikan sumber yang salah. Sistem yang canggih secara otomatis memeriksa bahwa setiap klaim yang dihasilkan benar-benar didukung pada bagian yang ditunjuknya (pengukuran "kesetiaan" pada unit berikutnya).
Lemah/Kuat: Anjuran Melawan Halusinasi
Lemah (undangan untuk mengisi bagian yang kosong):
Jawablah pertanyaan sebaik mungkin dengan informasi yang Anda miliki: {context} Pertanyaan: {question}# "Sebaik mungkin" artinya "tebak jika Anda tidak tahu" untuk modelnya.
Kuat (landasan + izin tidak tahu + sumber + kepercayaan):
Hanya mengandalkan KONTEKS. Jika tidak, ucapkan "Saya tidak dapat menemukan informasi apa pun"; nomor rias/tanggal/nama. Tambahkan [n] nomor sumber ke setiap klaim. Tentukan tingkat kepercayaan yang didukung oleh konteks. KONTEKS: [1]... [2]... PERTANYAAN: {question}
Tiga Kasus Mini
Kasus 1 — Nomor item buatan. Seorang paralegal membuat pernyataan "Pasal 17/B" yang di luar konteks dan memberikan informasi palsu kepada karyawannya. Ketika instruksi "Jangan berikan nomor artikel yang tidak sesuai konteks, sebaliknya katakan saya tidak tahu" + kewajiban mengutip ditambahkan, kasus artikel palsu berkurang dari 11 menjadi 0 dalam 40 contoh.
Kasus 2 — Jawaban benar, sumber salah. Seorang asisten pendukung menyatakan periode pengembalian yang benar tetapi mengutip artikel yang salah; Ketika pelanggan mengklik link tersebut, halaman yang tidak relevan terbuka. Ketika verifikasi kutipan (memeriksa apakah klaim muncul dalam kutipan) ditambahkan, tingkat kutipan palsu turun dari 23% menjadi 2%.
Kasus 3 — Izin “Saya tidak tahu” tidak diberikan. Seorang asisten HR telah membuat jawaban yang masuk akal namun salah terhadap pertanyaan yang tidak ada dalam dokumen. Ketika persetujuan eksplisit "Saya tidak tahu" dan teks lengkap ("Saya tidak dapat menemukan informasi tentang ini di dokumentasi") ditambahkan ke perintah, tingkat penolakan jujur untuk pertanyaan tanpa jawaban, bukan palsu, meningkat dari 8% menjadi 95%.
Kesalahan umum
- Tidak mengizinkan "Saya tidak tahu": Model mengisi kesenjangan dengan fabrikasi.
- Menjaga kreativitas tetap tinggi: Keacakan merugikan integritas perusahaan.
- Mempercayai sumber tanpa memverifikasinya: Model mungkin melampirkan sumber yang salah pada jawaban yang benar.
- Tidak membedakan kedua jenis halusinasi tersebut: Anda mengoreksi tempat yang salah tanpa mengetahui apakah itu disebabkan oleh pengambilan atau pembangkitan.
- Salah Mengartikan Kutipan untuk Kosmetik: Kutipan sumber merupakan konfirmasi sekaligus pencegah; menganggapnya serius.
Perhatian: "Modelnya terlihat sangat percaya diri" tidak sama dengan "modelnya benar". Halusinasi umumnya merupakan kalimat yang paling lancar dan percaya diri. Bacalah kepercayaan dari sumber yang ditunjukkannya, bukan dari nada kalimatnya.
Singkatnya
- Halusinasi adalah ketika model mengisi kesenjangan informasi dengan teks yang masuk akal tetapi salah; RAG berkurang tetapi tidak diatur ulang.
- Halusinasi tersebut mungkin disebabkan oleh pengambilan (bagian yang salah) atau generasi (pembacaan yang salah); Tentukan yang mana terlebih dahulu.
- Teknik grounding yang paling ampuh adalah memberikan izin eksplisit "Saya tidak tahu" kepada model; juga persyaratan kutipan dan kreativitas rendah.
- Kutipan membuat jawabannya dapat diverifikasi; Hal ini memberikan keyakinan dan mendorong model untuk diproduksi secara hati-hati.
- Keakuratan kutipan juga harus diperiksa; Sumber yang salah mungkin dilampirkan pada jawaban yang benar.
Tugas aplikasi
(1) Siapkan 4 pertanyaan untuk ditanyakan kepada asisten Anda, yang jawabannya tidak ada dalam dokumen (pertanyaan jebakan). Uji masing-masing model dengan perintah lemah dan kuat dan tandai apakah modelnya cocok atau tidak. (2) Untuk 4 pertanyaan yang jawabannya ada di dokumen, minta model membuat nomor las dan verifikasi secara manual apakah las yang ditampilkan benar-benar bagian yang benar. (3) Periksa apakah model memberikan "jawaban benar, sumber salah" setidaknya dalam satu kasus dan tulis dalam satu kalimat bagaimana Anda dapat menangkapnya secara otomatis.
daftar periksa
- [ ] Saya tahu mengapa halusinasi itu terjadi dan RAG menguranginya tetapi tidak mengatur ulangnya.
- [ ] Saya dapat membedakan antara halusinasi pengambilan dan halusinasi yang disebabkan oleh generasi dan mengoreksi tempat yang benar.
- [] Saya menambahkan izin eksplisit "Saya tidak tahu" dan aturan dasar ke prompt.
- [] Saya menambahkan sumber yang dapat diverifikasi (kutipan) pada jawabannya.
- [ ] Saya memahami perlunya memeriksa lebih lanjut keakuratan atribusi tersebut.