Menghasilkan Jawaban dari Basis Pengetahuan (Pengantar RAG)

Keuntungan:

• Memahami logika generasi berbasis pengetahuan (RAG) dan mengapa hal itu mengurangi halusinasi
• Kemampuan untuk membuat model merespons dengan kutipan, hanya berdasarkan dokumen sumber yang disediakan
• Kemampuan mengelola soal-soal yang tidak ada pada sumbernya dengan cara mentransfernya secara aman, tanpa mengarang-ngarang soal

Model bahasa "tahu" banyak hal, tetapi tidak mengetahui kebijakan pengembalian perusahaan Anda hari ini, daftar harga Anda saat ini, atau perjanjian pengiriman Anda yang berubah kemarin. Parahnya, ketika dia tidak mengetahuinya, dia sering mengada-ada dan menulis dengan nada yang sangat percaya diri. Ini adalah kesalahan fatal dalam layanan pelanggan: model mengatakan "Pengembalian dana diberikan dalam 30 hari" sedangkan polis Anda mungkin 14 hari. Pendekatan yang menutup kesenjangan ini disebut RAG: Retrieval-Augmented Generation, yaitu "produksi yang ditambah pengambilan".

Idenya sederhana: Model menjawab pertanyaan bukan dari ingatan, tetapi dari dokumen sumber yang benar yang ditempatkan di depannya pada saat itu. Pertama, bagian dokumen yang benar dan relevan dengan pertanyaan adalah "pengambilan", kemudian model "menghasilkan" jawaban berdasarkan bagian tersebut saja. Dalam unit ini, Anda akan memahami logika RAG dan mempelajari cara mengendalikan model agar hanya melekat pada sumber terverifikasi yang Anda berikan.

Catatan: Unit ini mengajarkan logika kerja dan sisi cepat RAG. Sistem pengambilan dokumen otomatis skala perusahaan (database vektor, dll.) memerlukan instalasi teknis; Disiplin di sini menjadi dasar agar sistem dapat merespon dengan benar.

Mengapa RAG Mengurangi Halusinasi?

Halusinasi adalah ketika model menghasilkan informasi yang tidak nyata seolah-olah itu nyata. Model tersebut diprogram untuk menghasilkan respons yang tampak “mungkin” ketika melihat adanya kesenjangan; Tidak tahu apakah itu benar atau tidak. RAG mengisi kesenjangan ini: Anda memberikan model teks relevan yang sebenarnya beserta pertanyaannya dan mengatakan "hanya jawab dari sini". Dengan cara ini model tidak "perlu" disesuaikan.

Ada tiga komponen:

• Basis pengetahuan: Teks yang dapat diandalkan seperti FAQ, dokumen kebijakan, manual produk, daftar harga.
• Retrieval: Menemukan bagian dokumen yang berisi jawaban atas pertanyaan dan memberikannya kepada model.
• Edisi terbatas: Model merespons dengan penawaran, hanya berdasarkan bagian yang disediakan.

Langkah demi Langkah: Respon Setia terhadap Sumbernya

1. Siapkan sumbernya. Temukan teks yang menjadi dasar tanggapan (kebijakan, FAQ) dalam format yang jelas dan terkini.
2. Sematkan sumber di prompt. Letakkan teks dalam tag seperti <source>.
3. Tulis aturan loyalitas. “Gunakan hanya informasi dari sumbernya; jangan menyimpang dari sumbernya.”
4. Buat kutipan diperlukan. Biarkan dia menunjukkan pada bagian mana jawabannya didasarkan.
5. Identifikasi perilaku non-sumber daya. Jika jawabannya tidak ada pada sumbernya, biarkan dia mengatakan “Saya tidak memiliki informasi ini” dan sebarkan.
6. Memeriksa. Konfirmasikan jawaban dengan membandingkannya dengan kalimat sumber yang mendasarinya.

Perintah yang Dapat Ditiru

Prompt respons berdasarkan sumber yang mendasarinya:

Peran: Anda adalah asisten dukungan pelanggan. Jawab pertanyaan HANYA berdasarkan informasi pada blok <source>di bawah. Jangan menambahkan informasi apapun yang tidak ada pada sumbernya, tebakan atau jawaban dari pengetahuan umum Anda. Tambahkan bagian yang Anda andalkan di akhir jawaban Anda dalam format "[Sumber: ...]". Jika jawabannya tidak ada di sumbernya, tulislah yang berikut ini: "Saya tidak mempunyai informasi yang pasti mengenai hal ini, saya akan mentransfer Anda ke pejabat yang dapat memberikan jawaban yang benar."<source>{{ policy_or_faq_text }}</source>Pertanyaan: {{ customer_question }}

Dalam kasus multi-sumber, perintah untuk menunjukkan dokumen mana yang menjadi dasarnya:

Ada beberapa sumber daya yang diberi nomor di bawah ini. Saat menjawab pertanyaan, sebutkan nomor sumber yang Anda gunakan, misalnya [Sumber 2]. Jika ada lebih dari satu sumber yang bertentangan dengan Anda, sampaikan dengan jelas dan nyatakan bahwa Anda sebaiknya menanyakan sumber mana yang lebih mutakhir.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }}</sources>Pertanyaan: {{ customer_question }}

Prompt yang mengelola pertanyaan non-sumber dengan aman:

Jika jawaban atas pertanyaan SEBAGIAN terdapat pada sumbernya: jawablah hanya bagian yang dicakup oleh sumber tersebut, dan ucapkan “rincian ini tidak ada dalam sumber” untuk bagian sisanya. Jangan pernah mengisi bagian yang hilang dengan menebak-nebak.

Prompt yang menerjemahkan respons ke dalam bahasa klien, namun tetap sesuai dengan sumbernya:

Terjemahkan ungkapan resmi/teknis dalam sumber ke dalam bahasa sederhana yang dapat dipahami pelanggan, namun JANGAN mengubah arti dan nilai numerik (hari, jumlah, tarif). Misalnya, membulatkan "14 hari kalender" menjadi "sekitar dua minggu"; menjaga nilai penuh.

Prompt Lemah / Prompt Kuat

Perintah yang lemah

Perintah yang kuat

"Beri tahu kami tentang kebijakan pengembalian kami"

Sematkan sumber + "balas di sini saja" + minta penawaran

Jawaban dari ingatan model (mungkin salah)

Jawaban dari dokumen Anda saat ini

Kalau tidak ada di sumbernya, dia mengada-ada

Dia berkata, "Saya tidak memiliki informasi ini" dan menyebarkannya.

Dapat membulatkan dan mendistorsi angka

Mempertahankan hari/jumlah/tarif dengan tepat

Perbedaannya adalah perintah kuat memberi model sebuah jangkar (teks sumber) dan larangan (keluar dari sumber). Model tidak lagi berbicara dari ingatan, tetapi dari kenyataan yang ada di hadapannya.

Tiga Kasus Mini

Kasus 1 – Jebakan kebijakan lama. "Pengembalian diterima dalam waktu 30 hari," kata bot salah satu toko sambil berjalan tanpa kredit; Namun, perusahaan mengurangi jangka waktunya menjadi 14 hari. Ketika teks kebijakan yang diperbarui ditambahkan ke sumber dalam instalasi RAG, bot sekarang merespons "14 hari kalender [Sumber: Kebijakan Pengembalian, artikel 2]". Sengketa pengembalian dana yang timbul karena janji palsu telah diatur ulang.

Kasus 2 — Menangkap kontradiksi. Seorang pelanggan bertanya tentang biaya pengiriman. Daftar harga lama dan baru dimasukkan ke dalam sistem sebagai sumber. Berkat perintah multi-sumber, model tersebut berkata, "Dua sumber memberikan harga yang berbeda (49 TL dan 59 TL); Saya perlu mengonfirmasi harga saat ini" dan menyampaikan masalahnya kepada manusia. Alih-alih memberi tahu pelanggan jumlah yang salah, dia mengomunikasikan ketidakpastian tersebut dengan jujur.

Kasus 3 — Disiplin respons parsial. “Apakah Anda mengirimkan produk ke luar negeri dan siapa yang membayar bea masuk?” Dalam pertanyaan tersebut, sumber hanya mengatakan pengiriman sudah dilakukan, tidak disebutkan siapa yang membayar pajak. Model tersebut berkata, "Ya, pengiriman dilakukan ke luar negeri [Sumber: FAQ Kargo]. Namun, dalam dokumen ini tidak disebutkan siapa yang membayar bea masuk; saya akan mentransfer Anda ke pejabat untuk mengklarifikasi hal ini." Alih-alih memberikan jawaban yang setengah benar dan setengah dibuat-buat, jawaban yang diberikan justru jujur ​​dan penuh percaya diri.

Tip: Pertahankan versi basis pengetahuan Anda yang paling mutakhir dan satu-satunya sumber kebenaran. Memiliki informasi yang sama (misalnya periode pengembalian) yang ditulis berbeda dalam tiga dokumen terpisah adalah musuh terbesar RAG; Model merespons secara berbeda tergantung pada model mana yang dilihatnya. Hapus duplikat dokumen Anda terlebih dahulu, lalu otomatiskan.

Verifikasi: Jangan Santai Hanya Karena Sumbernya Ada

RAG sangat mengurangi halusinasi tetapi tidak meresetnya. Model terkadang salah menafsirkan sumber, mencampuradukkan dua kalimat, atau menarik “kesimpulan” yang tidak ada dalam sumber. Itu sebabnya persyaratan kutipan sangat penting: buka bagian yang menjadi dasar klaim jawaban dan periksa apakah memang benar demikian. Pengendalian ini tidak dapat dinegosiasikan, terutama pada respon yang memuat angka (hari, jumlah, tarif) dan kondisi (pengecualian, kondisi).

Perhatian: Jika sumbernya salah atau ketinggalan jaman, RAG dengan setia mengulangi kesalahan tersebut. Mengatakan “model berbicara dari sumbernya” tidak berarti “model berbicara dengan benar”; Anda bertanggung jawab atas mata uang dan keakuratan sumber Anda.

Menjaga Basis Pengetahuan Siap Menanggapi

Kualitas RAG sangat bergantung pada cara teks sumber ditulis. Model ini memberikan respons yang jauh lebih akurat dibandingkan teks yang terstruktur dengan baik, diberi judul, dan bertopik tunggal. Saran praktis: tulislah kebijakan-kebijakan Anda dalam bagian-bagian yang singkat dan diberi judul, bukan dalam paragraf-paragraf panjang yang bertumpuk; Biarkan setiap bagian menjawab satu pertanyaan ("Berapa hari periode pengembaliannya?", "Produk mana yang tidak dapat dikembalikan?"). Menyimpan pertanyaan umum (FAQ) dalam format tanya jawab memudahkan model menemukan bagian yang tepat. Menyatakan nilai-nilai seperti tanggal, jumlah, dan tarif dengan jelas dan pada satu tempat di dalam teks; Menulis nomor yang sama secara berbeda di bagian yang berbeda akan membingungkan model.

Kebiasaan penting lainnya adalah menjaga basis pengetahuan tetap hidup. Kebijakan, harga dan promosi bervariasi; Jika sumbernya tidak diperbarui, model tersebut akan terus mengulangi kebenaran lama dengan aman. Dengan setiap perubahan kebijakan, perbarui sumber dan ajukan kembali beberapa pertanyaan pengujian kepada model tentang topik yang diubah untuk mengonfirmasi bahwa model tersebut memberikan jawaban yang benar. Pemeliharaan kecil namun rutin ini mencegah sistem RAG "bermasalah secara diam-diam" seiring berjalannya waktu.

Kesalahan umum

• Mengatakan "jelaskan kebijakan kami" tanpa mengubur sumbernya dan mengandalkan hafalan model.
• Tidak mendefinisikan batasan "balasan dari sumber saja" dan perilaku non-sumber.
• Tidak meminta kutipan/referensi sumber dan membiarkan jawaban tidak dapat diverifikasi.
• Menyimpan versi yang bertentangan dari informasi yang sama di beberapa dokumen di basis pengetahuan.
• Mengizinkan model membulatkan/menafsirkan nilai numerik.
• Lupa memperbarui sumbernya, menyebabkan model mengulangi informasi lama dengan setia.

Singkatnya

• RAG berarti model menghasilkan jawabannya dari dokumen sumber saat ini, bukan dari memori.
• Cara paling praktis untuk mengurangi halusinasi: kubur sumbernya, ucapkan “balas saja di sini”, minta kutipan.
• Jika jawabannya tidak ada dalam sumbernya, maka modelnya tidak cocok; Dia harus mengatakan "Saya tidak memilikinya" dan menyerahkannya.
• Menyadarkan model akan adanya sumber yang bertentangan; Anda mempertahankan nilai numerik dengan tepat.
• Akurasi RAG bergantung pada ketepatan waktu sumber Anda; Selalu konfirmasikan penawarannya.

Tugas aplikasi

Ambil teks kebijakan sebenarnya (pengembalian, pengiriman, atau keanggotaan) dari bisnis Anda sendiri dan sematkan sebagai sumber dalam perintah RAG dasar di atas. Kemudian ajukan tiga pertanyaan: (1) pertanyaan yang jawabannya jelas di sumbernya, (2) pertanyaan yang jawabannya sama sekali tidak ada di sumbernya, (3) pertanyaan yang jawabannya hanya tidak lengkap di sumbernya. Verifikasi bahwa model menjawab dengan benar, mengatakan “Saya tidak memilikinya,” dan dengan jujur ​​​​menandai sebagian jawaban dan yang hilang. Perbaiki perilaku menyimpang dengan memperkuat loyalitas dan aturan non-sumber daya secara cepat.

daftar periksa

• [] Saya menyematkan sumber saat ini yang menjadi dasar respons pada prompt.
• [ ] Saya menambahkan aturan "Hanya balas dari sumbernya, jangan melampaui".
• [ ] Saya telah mencantumkan persyaratan referensi/kutipan sumber.
• [] Saya mendefinisikan perilaku delegasi jika jawabannya tidak tersedia di sumbernya.
• [ ] Saya mengharuskan nilai numerik dipertahankan dengan tepat.
• [ ] Jawaban saya konfirmasi dari kalimat sumber yang mendasarinya.