Menjana Jawapan daripada Pangkalan Pengetahuan (Pengenalan kepada RAG)

Keuntungan:

• Memahami logik penjanaan berasaskan pengetahuan (RAG) dan sebab ia mengurangkan halusinasi
• Keupayaan untuk meminta model bertindak balas dengan petikan, berdasarkan hanya pada dokumen sumber yang disediakan
• Keupayaan untuk mengurus soalan yang tiada dalam sumber dengan memindahkannya dengan selamat, tanpa membuat soalan

Model bahasa "tahu" banyak, tetapi ia tidak mengetahui dasar pemulangan syarikat anda hari ini, senarai harga semasa anda atau perjanjian penghantaran anda yang berubah semalam. Lebih teruk, apabila dia tidak tahu, dia sering mengada-ngada dan menulis dengan nada yang amat yakin. Ini adalah kecacatan maut dalam perkhidmatan pelanggan: model mengatakan "Bayaran balik dikeluarkan dalam masa 30 hari" manakala polisi anda mungkin 14 hari. Pendekatan yang menutup jurang ini dipanggil RAG: Retrieval-Augmented Generation, iaitu, "pengeluaran dipertingkatkan semula".

Ideanya mudah: Model menjawab soalan bukan dari ingatan, tetapi dari dokumen sumber yang betul diletakkan di hadapannya pada masa itu. Pertama, sekeping dokumen yang betul yang berkaitan dengan soalan ialah "pendapatan semula", kemudian model "menjana" jawapan berdasarkan bahagian itu sahaja. Dalam unit ini, anda akan memahami logik RAG dan belajar bagaimana untuk mengawal model supaya ia hanya berpegang pada sumber yang disahkan yang anda berikan.

Nota: Unit ini mengajar logik kerja dan bahagian pantas RAG. Sistem pengambilan dokumen automatik skala perusahaan (pangkalan data vektor, dsb.) memerlukan pemasangan teknikal; Disiplin di sini adalah asas untuk sistem itu bertindak balas dengan betul.

Mengapa RAG Mengurangkan Halusinasi?

Halusinasi ialah apabila model menghasilkan maklumat yang tidak nyata seolah-olah ia adalah benar. Model ini diprogramkan untuk menghasilkan tindak balas yang kelihatan "mungkin" apabila ia melihat jurang; Tidak tahu sama ada ia benar atau tidak. RAG mengisi jurang ini: anda memberikan model teks yang berkaitan sebenar bersama-sama dengan soalan dan sebut "hanya jawapan dari sini." Dengan cara ini model tidak "perlu" muat.

Terdapat tiga komponen:

• Pangkalan pengetahuan: Teks yang boleh dipercayai seperti Soalan Lazim, dokumen dasar, manual produk, senarai harga.
• Retrieval: Mencari sekeping dokumen yang mengandungi jawapan kepada soalan dan memberikannya kepada model.
• Edisi terhad: Model membalas dengan sebut harga, hanya berdasarkan bahagian yang dibekalkan.

Langkah demi Langkah: Sambutan Setia kepada Sumber

1. Sediakan sumbernya. Cari teks yang akan menjadi asas respons (dasar, Soalan Lazim) dalam format yang jelas dan terkini.
2. Benamkan sumber dalam gesaan. Letakkan teks dalam teg seperti <source>.
3. Tulis peraturan kesetiaan. "Hanya gunakan maklumat dari sumber; jangan menyimpang dari sumber."
4. Buat petikan diperlukan. Biarkan dia menunjukkan bahagian mana jawapan itu berdasarkan.
5. Kenal pasti tingkah laku bukan sumber. Jika jawapannya tiada dalam sumber, biarkan dia berkata "Saya tidak mempunyai maklumat ini" dan menyampaikannya.
6. Sahkan. Sahkan jawapan dengan membandingkannya dengan ayat sumber yang menjadi asasnya.

Gesaan Boleh Salin

Gesaan respons berdasarkan sumber asas:

Peranan: Anda ialah pembantu sokongan pelanggan. Jawab soalan SAHAJA berdasarkan maklumat dalam blok <sumber>di bawah. Jangan tambah sebarang maklumat yang tiada dalam sumber, tekaan atau jawapan daripada pengetahuan am anda. Tambahkan bahagian yang anda andalkan pada penghujung jawapan anda dalam format "[Sumber: ...]". Jika jawapan tiada dalam sumber, tulis perkara berikut: "Saya tidak mempunyai maklumat muktamad mengenai perkara ini, saya memindahkan anda kepada pegawai yang boleh memberikan jawapan yang betul."<source>{{ policy_or_faq_text }}</source>Soalan: {{ customer_question }}

Dalam kes berbilang sumber, gesaan untuk menunjukkan dokumen yang mana ia berdasarkan:

Terdapat berbilang sumber bernombor di bawah. Semasa menjawab soalan, nyatakan nombor sumber yang anda gunakan, seperti [Sumber 2]. Jika lebih daripada satu sumber bercanggah dengan anda, nyatakan dengan jelas dan nyatakan bahawa anda harus bertanya yang mana satu lebih terkini.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Soalan: {{ customer_question }}

Gesaan yang mengurus soalan bukan sumber dengan selamat:

Jika jawapan kepada soalan didapati SEBAHAGIAN dalam sumber: jawab bahagian yang diliputi oleh sumber sahaja, dan sebut "perincian ini tiada dalam sumber" untuk bahagian yang tinggal. Jangan sekali-kali mengisi bahagian yang hilang dengan meneka.

Prompt yang menterjemahkan respons ke dalam bahasa klien, tetapi kekal dengan sumbernya:

Terjemahkan ungkapan rasmi/teknikal dalam sumber ke dalam bahasa biasa yang boleh difahami oleh pelanggan, tetapi JANGAN ubah makna dan nilai berangka (hari, jumlah, kadar). Contohnya, membulatkan "14 hari kalendar" kepada "kira-kira dua minggu"; kekalkan nilai penuh.

Gesaan Lemah / Gesaan Kuat

Gesaan yang lemah

Gesaan yang berkuasa

"Beritahu kami tentang polisi pemulangan kami"

Benamkan sumber + "balas di sini sahaja" + minta sebut harga

Jawapan dari ingatan model (mungkin salah)

Jawapan daripada dokumen semasa anda

Jika tiada dalam sumber, dia mengada-ada

Dia berkata "Saya tidak mempunyai maklumat ini" dan menyampaikannya.

Boleh membundarkan dan memesongkan nombor

Mengekalkan hari/jumlah/kadar dengan tepat

Perbezaannya ialah gesaan kuat memberikan model sauh (teks sumber) dan larangan (keluar dari sumber). Model itu tidak lagi bercakap dari ingatan, tetapi dari realiti di hadapannya.

Tiga Kes Mini

Kes 1 — Perangkap dasar lama. "Pemulangan diterima dalam masa 30 hari," kata bot satu kedai sambil berjalan tanpa kredit; Bagaimanapun, syarikat mengurangkan tempoh tersebut kepada 14 hari. Apabila teks dasar yang dikemas kini ditambahkan pada sumber dalam pemasangan RAG, bot kini bertindak balas "14 hari kalendar [Sumber: Dasar Pemulangan, artikel 2]". Pertikaian bayaran balik yang timbul daripada janji palsu telah ditetapkan semula.

Kes 2 - Menangkap percanggahan. Seorang pelanggan bertanya tentang kos penghantaran. Kedua-dua senarai harga lama dan baharu telah dimasukkan ke dalam sistem sebagai sumber. Terima kasih kepada gesaan berbilang sumber, model itu berkata, "Dua sumber memberikan harga yang berbeza (49 TL dan 59 TL); saya perlu mengesahkan yang semasa" dan menyampaikan isu itu kepada manusia. Daripada memberitahu pelanggan jumlah yang salah, dia menyampaikan ketidakpastian itu dengan jujur.

Kes 3 - Disiplin tindak balas separa. "Adakah anda menghantar produk ke luar negara dan siapa yang membayar duti kastam?" Dalam soalan itu, sumber hanya mengatakan penghantaran dibuat, tidak ada apa-apa tentang siapa yang membayar cukai. Model itu berkata, "Ya, penghantaran dilakukan ke luar negara [Sumber: Soalan Lazim Kargo]. Bagaimanapun, tidak dinyatakan dalam dokumen ini siapa yang membayar duti kastam; Saya memindahkan anda kepada pegawai untuk menjelaskan perkara ini." Daripada jawapan separuh benar, separuh rekaan, ia menghasilkan output yang jujur ​​dan yakin.

Petua: Kekalkan versi sumber kebenaran yang paling terkini dan tunggal bagi pangkalan pengetahuan anda. Mempunyai maklumat yang sama (cth. tempoh pemulangan) ditulis secara berbeza dalam tiga dokumen berasingan ialah musuh terbesar RAG; Model bertindak balas secara berbeza bergantung pada model yang dilihatnya. Mula-mula nyahduplikasi dokumen anda, kemudian automatikkannya.

Pengesahan: Jangan Bertenang Hanya Kerana Sumber Wujud

RAG sangat mengurangkan halusinasi tetapi tidak menetapkannya semula. Model itu kadangkala boleh salah tafsir sumber, mencampurkan dua ayat, atau membuat "kesimpulan" yang tiada dalam sumber. Itulah sebabnya keperluan petikan adalah penting: buka bahagian yang didakwa jawapannya dan semak sama ada ia benar-benar menyatakan demikian. Kawalan ini tidak boleh dirunding, terutamanya dalam respons yang mengandungi nombor (hari, jumlah, kadar) dan syarat (pengecualian, syarat).

Awas: Jika sumber itu sendiri salah atau ketinggalan zaman, RAG dengan setia mengulangi kesilapan itu. Mengatakan "model bercakap dari sumber" tidak bermakna "model bercakap dengan betul"; Anda bertanggungjawab ke atas mata wang dan ketepatan sumber anda.

Memastikan Pangkalan Pengetahuan Sedia untuk Respons

Kualiti RAG bergantung pada cara teks sumber ditulis. Model ini mengembalikan respons yang lebih tepat daripada teks topik tunggal yang tersusun dengan baik, bertajuk. Nasihat praktikal: tulis dasar anda dalam bahagian yang pendek dan bertajuk dan bukannya perenggan bersarang yang panjang; Biarkan setiap bahagian menjawab satu soalan ("Berapa hari tempoh pemulangan?", "Produk mana yang tidak boleh dipulangkan?"). Menyimpan soalan lazim (Soalan Lazim) dalam format soal jawab memudahkan model mencari bahagian yang betul. Nyatakan nilai seperti tarikh, jumlah dan kadar dengan jelas dan di satu tempat dalam teks; Menulis nombor yang sama secara berbeza dalam bahagian yang berbeza mengelirukan model.

Satu lagi tabiat penting ialah mengekalkan asas pengetahuan. Polisi, harga dan promosi berbeza-beza; Jika sumber tidak dikemas kini, model itu terus mengulangi kebenaran lama dengan selamat. Dengan setiap perubahan dasar, kemas kini sumber dan tanya semula model beberapa soalan ujian tentang topik yang diubah untuk mengesahkan bahawa ia memberikan jawapan yang betul. Penyelenggaraan yang kecil tetapi tetap ini menghalang sistem RAG daripada "salah senyap" dari semasa ke semasa.

Kesilapan biasa

• Mengatakan "terangkan dasar kami" tanpa menyembunyikan sumber dan bergantung pada hafalan model.
• Tidak mentakrifkan sempadan "balas daripada sumber sahaja" dan tingkah laku bukan sumber.
• Tidak meminta rujukan petikan/sumber dan membiarkan jawapan tidak dapat disahkan.
• Menyimpan versi bercanggah maklumat yang sama dalam berbilang dokumen dalam pangkalan pengetahuan.
• Membenarkan model membundarkan/mentafsir nilai berangka.
• Terlupa mengemas kini sumber, menyebabkan model mengulangi maklumat lama dengan setia.

Secara ringkasnya

• RAG bermaksud model menghasilkan jawapannya daripada dokumen sumber semasa, dan bukannya dari ingatan.
• Cara paling praktikal untuk mengurangkan halusinasi: kuburkan sumbernya, sebut "hanya balas di sini", minta petikan.
• Jika jawapannya tiada dalam sumber, seseorang itu tidak sepatutnya sesuai dengan model; Dia harus berkata "Saya tidak memilikinya" dan menyerahkannya.
• Jadikan model sedar tentang sumber yang bercanggah; Anda mengekalkan nilai berangka dengan tepat.
• Ketepatan RAG bergantung pada ketepatan masa sumber anda; Sentiasa mengesahkan petikan.

Tugasan permohonan

Ambil teks dasar sebenar (pemulangan, penghantaran atau keahlian) daripada perniagaan anda sendiri dan benamkannya sebagai sumber dalam gesaan asas RAG di atas. Kemudian tanya tiga soalan: (1) soalan yang jawapannya jelas dalam sumber, (2) soalan yang jawapannya tidak sama sekali dalam sumber, (3) soalan yang jawapannya hanya tidak lengkap dalam sumber. Sahkan bahawa model menjawab dengan betul, sebut "Saya tidak memilikinya," dan tandakan jawapan separa dan hilang, masing-masing dengan jujur. Betulkan tingkah laku menyimpang dengan mengukuhkan kesetiaan dan peraturan bukan sumber dalam segera.

senarai semak

• [ ] Saya membenamkan sumber semasa yang mana respons akan berdasarkan dalam gesaan.
• [ ] Saya menambah peraturan "Hanya balasan daripada sumber, jangan melampaui batas".
• [ ] Saya telah meletakkan keperluan rujukan / petikan sumber.
• [ ] Saya menentukan tingkah laku perwakilan jika jawapan tidak tersedia dalam sumber.
• [ ] Saya memerlukan nilai berangka dipelihara dengan tepat.
• [ ] Saya mengesahkan jawapan daripada ayat sumber yang menjadi asasnya.