Keuntungan:
- Terangkan punca halusinasi dan peranan asas
- Mengaplikasikan teknik yang menjadikan model berkata 'Saya tidak tahu' jika ia tidak dalam konteks
- Memastikan kepercayaan dan kebolehauditan dengan menambahkan sumber/petikan yang boleh disahkan pada respons
Tingkah laku model bahasa yang paling berbahaya ialah mengada-adakan sesuatu yang tidak diketahuinya dengan nada yang yakin dan meyakinkan. Ini dipanggil halusinasi. Berhalusinasi dalam pembantu korporat bukan sahaja menjengkelkan, ia benar-benar berisiko: hari cuti yang salah, harga yang salah, bahan undang-undang yang salah sebenarnya boleh membahayakan pekerja atau pelanggan. Dalam unit ini, kami membincangkan sebab halusinasi berlaku, cara mengurangkannya dalam RAG, dan cara menjadikan jawapan itu boleh disahkan.
Apa yang Menyebabkan Halusinasi?
Model ini dilatih untuk menghasilkan perkataan yang paling mungkin seterusnya; Bukan "berkata benar", tetapi "menghasilkan teks yang fasih dan munasabah". Jika maklumat tiada, ia boleh mengisi jurang dengan sesuatu yang munasabah secara statistik tetapi tidak betul dari segi fakta. Tiga pencetus biasa:
- Tiada jawapan dalam konteks itu, tetapi model itu berasa terpaksa untuk mengatakan sesuatu.
- Konteksnya bercanggah atau tidak mencukupi; Model menutup jurang dengan ramalan.
- Persoalannya melangkaui konteks; model itu kembali kepada pengetahuan umum (dan mungkin ketinggalan zaman) sendiri.
RAG mengurangkan halusinasi kerana ia memberikan model sumber sebenar — tetapi ia tidak menetapkannya semula. Jika anda membawa bahagian yang salah atau meninggalkan model "kebebasan mengisi jurang", sistem dengan RAG juga boleh memuatkannya.
jenis halusinasi
gejala
punca punca
lapisan larutan
berpunca daripada pengambilan semula
Jawapan yang betul ada dalam dokumen tetapi tidak sampai
Bahagian yang salah/hilang dihantar
Pecahan, hibrid, penarafan semula (Unit 3-4)
Bersumberkan generasi
Bahagian yang betul tiba tetapi jawapannya salah/mesti ditambah
Model itu mengisi jurang dengan ramalan
Membumikan, kebenaran "Saya tidak tahu", kreativiti rendah
Sumber petikan
Jawapannya betul tetapi sumbernya salah
Model merujuk kepada bahagian yang salah
Pengesahan petikan (lihat Unit 8)
Petunjuk: Bahagikan halusinasi kepada dua bahagian. Bersumberkan daripada pengambilan: bahagian yang salah/hilang tiba (penyelesaian: memperbaiki pengambilan). Sumber penjanaan: Bahagian yang betul tiba, tetapi model membaca/menambahnya secara tidak betul (penyelesaian: segera dan pembumian). Anda tidak boleh membetulkannya melainkan anda tahu yang mana satu itu.
Pemasaran: Memaku Jawapan dalam Konteks
Pembumian ialah nama yang diberikan kepada semua teknik memberitahu model "hanya bergantung pada teks yang saya berikan kepada anda, jangan melampauinya." Tekniknya yang paling asas dan paling berkesan: secara eksplisit memberikan kebenaran model untuk mengatakan 'Saya tidak tahu'. Model itu, seperti manusia, teragak-agak untuk berkata "Saya tidak tahu"; Anda mesti memberinya kebenaran nyata untuk melakukan ini.
Jawab hanya berdasarkan KONTEKS di bawah. Jika jawapannya tidak JELAS dalam konteks, tulis betul-betul begini: "Saya tidak dapat mencari maklumat yang mencukupi tentang perkara ini dalam dokumentasi." Jangan sertakan sebarang nombor, tarikh atau nama yang tiada dalam konteks. Jangan meneka.
Teknik asas tambahan:
- Keperluan sebut harga: Sebelum setiap tuntutan, sebutkan kata kerja konteks (“Dokumen itu berkata: '...'”). Menghasilkan petikan rekaan adalah lebih sukar untuk model.
- Suhu rendah: Suhu (suhu, kreativiti/tetapan rawak) hendaklah rendah. Nota: dalam beberapa model semasa parameter ini telah dialih keluar; Di dalamnya, anda menyediakan asas dengan gesaan. Kreativiti yang tinggi adalah musuh integriti korporat.
- Had skop: "Hanya balas isu dasar persetujuan; dengan sopan menolak untuk menarik diri."
Petikan
Pertahanan sistemik yang paling kuat terhadap halusinasi ialah menjadikan jawapan itu boleh disahkan. Jika pengguna dapat melihat dokumen mana jawapannya berdasarkan: (1) dia boleh menangkap kesilapan itu sendiri, (2) audit menjadi mungkin, (3) kepercayaan meningkat, dan (4) model menghasilkan lebih berhati-hati dengan kesedaran bahawa "Saya perlu menyebut sumbernya".
Dua pendekatan biasa:
Atribusi sebaris: Teg sumber di sebelah setiap tuntutan. "Cuti tahunan ialah 14 hari [1]." Di bawah ialah dokumentasi penuh [1].
Output berstruktur: Meminta model untuk menghasilkan jawapan dan senarai sumber dalam medan berasingan; Menunjukkan sumber sebagai pautan boleh klik dalam antara muka.
# Menghasilkan jawapan berstruktur berdasarkan model (konseptual) Berikan jawapan anda dalam struktur berikut:- jawapan: <jawapan berasaskan konteks>- sumber: [{"part_no": 1, "file": "...", "section": "..."}]- kepercayaan: <tinggi|sederhana|rendah> # Sejauh manakah konteks menyokongnya dengan jelas? Jika konteks tidak menyokong jawapan, tulis "tiada maklumat ditemui" dalam medan jawapan dan biarkan sumber kosong.
Untuk Petikan benar-benar berfungsi, adalah perlu untuk mengesahkan bahawa atribusi itu betul. Model mungkin kadangkala memberikan jawapan yang betul tetapi memberikan sumber yang salah. Sistem lanjutan secara automatik menyemak bahawa setiap tuntutan yang dihasilkan sebenarnya disokong dalam bahagian yang ditunjukkannya (pengukuran "kesetiaan" dalam unit seterusnya).
Lemah/Kuat: Cepat Melawan Halusinasi
Lemah (jemputan untuk mengisi tempat kosong):
Jawab soalan sebaik mungkin dengan maklumat yang anda ada: {context} Soalan: {question}# "Sebaik-baiknya anda boleh" bermaksud "teka jika anda tidak tahu" untuk model.
Kuat (asas + tidak tahu kebenaran + sumber + kepercayaan):
Hanya bergantung pada KONTEKS. Jika tidak, sebut "Saya tidak dapat mencari sebarang maklumat"; membuat nombor/tarikh/nama.Tambahkan [n] nombor sumber pada setiap tuntutan. Nyatakan tahap kepercayaan yang disokong oleh konteks.KONTEKS: [1]... [2]... SOALAN: {soalan}
Tiga Kes Mini
Kes 1 — Nombor item yang dibuat-buat. Paralegal membuat pernyataan "Artikel 17/B" yang di luar konteks dan memberikan maklumat palsu kepada pekerja. Apabila arahan "Jangan berikan nombor artikel yang tidak dalam konteks, jika tidak katakan saya tidak tahu" + kewajipan untuk memetik ditambah, kes artikel rekaan menurun daripada 11 kepada 0 dalam 40 contoh.
Kes 2 — Jawapan betul, sumber salah. Seorang pembantu sokongan menyatakan tempoh pulangan yang betul tetapi memetik artikel yang salah; Apabila pelanggan mengklik pada pautan, halaman yang tidak berkaitan dibuka. Apabila pengesahan petikan (menyemak sama ada tuntutan muncul dalam bahagian yang disebut) ditambah, kadar petikan palsu menurun daripada 23% kepada 2%.
Kes 3 — "Saya tidak tahu" kebenaran tidak diberikan. Seorang pembantu HR telah membuat jawapan yang munasabah tetapi salah kepada soalan yang tiada dalam dokumen. Apabila persetujuan "Saya tidak tahu" eksplisit dan teks penuh ("Saya tidak dapat mencari maklumat tentang perkara ini dalam dokumentasi") ditambahkan pada gesaan, kadar penolakan jujur untuk soalan tanpa jawapan, dan bukannya rekaan, meningkat daripada 8% kepada 95%.
Kesilapan biasa
- Tidak membenarkan "Saya tidak tahu": Model mengisi jurang dengan fabrikasi.
- Mengekalkan kreativiti yang tinggi: Keacakan memudaratkan integriti korporat.
- Mempercayai sumber tanpa mengesahkannya: Model mungkin melampirkan sumber yang salah pada jawapan yang betul.
- Tidak membezakan antara dua jenis halusinasi: Anda membetulkan tempat yang salah tanpa mengetahui sama ada ia disebabkan oleh pengambilan semula atau penjanaan.
- Tersilap Petikan untuk kosmetik: Petikan sumber adalah pengesahan dan penghalang; ambil serius.
Awas: "Model kelihatan sangat yakin" tidak sama dengan "model itu betul". Halusinasi biasanya merupakan ayat yang paling lancar dan yakin. Baca amanah dari sumber yang ditunjukkan, bukan dari nada ayat.
Secara ringkasnya
- Halusinasi ialah apabila model mengisi jurang maklumat dengan teks yang munasabah tetapi palsu; RAG berkurangan tetapi tidak ditetapkan semula.
- Halusinasi mungkin disebabkan oleh pengambilan semula (bahagian yang salah) atau generasi (pembacaan yang salah); Tentukan yang mana satu dahulu.
- Teknik pembumian yang paling berkuasa ialah memberikan kebenaran "Saya tidak tahu" model yang jelas; juga keperluan petikan dan kreativiti yang rendah.
- Petikan menjadikan jawapan boleh disahkan; Kedua-duanya memberi keyakinan dan mendorong model itu dihasilkan dengan berhati-hati.
- Ketepatan petikan juga perlu disemak; Sumber yang salah mungkin dilampirkan pada jawapan yang betul.
Tugasan permohonan
(1) Sediakan 4 soalan untuk ditanya kepada pembantu anda, jawapannya tiada dalam dokumen (soalan perangkap). Uji setiap satu dengan gesaan yang lemah dan kuat dan tandakan sama ada model itu sesuai atau tidak. (2) Untuk 4 soalan yang jawapannya ada dalam dokumen, minta model menjana nombor kimpalan dan sahkan secara manual sama ada kimpalan yang ditunjukkannya sebenarnya adalah bahagian yang betul. (3) Semak sama ada model memberikan "jawapan betul, sumber salah" dalam sekurang-kurangnya satu kes dan tulis dalam satu ayat bagaimana anda boleh menangkap ini secara automatik.
senarai semak
- [ ] Saya boleh tahu mengapa halusinasi itu berlaku dan RAG mengurangkannya tetapi tidak menetapkannya semula.
- [ ] Saya boleh membezakan antara pengambilan semula dan halusinasi yang disebabkan oleh generasi dan membetulkan tempat yang betul.
- [ ] Saya menambahkan kebenaran "Saya tidak tahu" eksplisit dan peraturan asas pada gesaan.
- [ ] Saya menambah sumber yang boleh disahkan (petikan) pada jawapannya.
- [ ] Saya memahami keperluan untuk menyemak lagi ketepatan atribusi.