Keuntungan:
- Pahami cara kerja RAG (fragmentasi, akses, pembangkitan yang bergantung pada sumber daya) dan cara mengurangi halusinasi
- Kemampuan untuk meningkatkan kualitas jawaban dengan membangun basis pengetahuan yang terkini, jelas, bebas konflik dan memiliki satu sumber yang benar.
- Kemampuan untuk menginstruksikan model 'jika tidak ada dalam sumbernya, beri tahu saya Anda tidak tahu' dan mengubah pertanyaan yang tidak dapat dijawabnya menjadi peningkatan basis pengetahuan
Jawaban yang diberikan oleh bot atau asisten agen hanya akan sebaik informasi yang mendasarinya. Ketika pelanggan bertanya "Apakah kampanye berlanjut?", jawaban yang benar tidak terletak pada ingatan model, namun pada basis pengetahuan institusi saat ini. Itu sebabnya inti dari kecerdasan buatan call center adalah basis pengetahuan (KB): sumber daya terkini tempat produk, kebijakan, FAQ, prosedur, dan aturan disimpan secara tertulis. Dan metode yang secara aman menghubungkan basis pengetahuan ini dengan kecerdasan buatan disebut RAG: Retrieval-Augmented Generation — alih-alih membuat jawaban dari ingatannya sendiri, model tersebut terlebih dahulu mengambil bagian informasi yang relevan dari sumbernya (retrieval) dan kemudian menghasilkan jawaban berdasarkan bagian tersebut saja (generasi).
RAG adalah metode paling ampuh untuk mencegah halusinasi. Model tersebut tidak menghasilkan angka di kepalanya untuk pertanyaan “berapa tingkat bunga pinjaman?” Ini mengambil teks minat saat ini dari basis pengetahuan dan jawaban berdasarkan itu. Pada unit ini kita akan melihat cara menyiapkan basis pengetahuan, cara kerja RAG, dan bagaimana basis pengetahuan yang baik menentukan kualitas jawaban.
Cara kerja RAG: empat langkah
Bayangkan RAG seperti pustakawan. Pelanggan mengajukan pertanyaan; Sistem pertama-tama menemukan halaman yang relevan dari rak kanan perpustakaan, kemudian membaca halaman tersebut dan menulis jawabannya. Langkah-langkah teknisnya adalah sebagai berikut:
- Potongan: Dokumen panjang di basis pengetahuan dipecah menjadi bagian-bagian kecil yang bermakna (misalnya, setiap FAQ adalah bagian). Karena model menjawab pertanyaan lebih akurat dengan bagian-bagian kecil yang terkait.
- Penyematan dan pengindeksan: Setiap bagian diterjemahkan ke dalam bentuk numerik yang mewakili maknanya (penyematan—urutan angka yang mewakili makna teks) dan ditempatkan dalam database yang dapat dicari. Jadi, ini bukanlah "kecocokan kata" melainkan "kecocokan makna"; Bahkan jika pelanggan bertanya "kapan uang saya akan disetorkan?", bagian "jangka waktu pengembalian dana" dapat ditemukan.
- Pengambilan: Bagian yang paling dekat artinya dengan pertanyaan pelanggan diambil (misalnya 3-5 bagian yang paling dekat).
- Generasi: Model menulis jawaban HANYA berdasarkan bagian yang digambar dan menunjukkan sumbernya jika memungkinkan.
Poin kritisnya ada pada langkah 4: model diinstruksikan untuk "hanya mengandalkan bagian yang diberikan, atau mengatakan Anda tidak tahu". Tanpa instruksi ini, RAG tidak akan menghalangi pemasangan model.
Petunjuk: Aturan emas RAG: "Jika tidak ada dalam sumbernya, tidak ada jawaban." Sistem RAG yang baik akan mengatakan "Saya tidak tahu pasti tentang ini" pada pertanyaan yang tidak ada dalam basis pengetahuan; tidak pernah mengisi kesenjangan dengan menebak-nebak. Kemampuan bot untuk mengatakan "Saya tidak tahu" adalah fitur keamanan, bukan kelemahan.
Basis pengetahuan yang baik: sumber kualitas jawaban yang sebenarnya
Betapapun bagusnya RAG, jika basis pengetahuannya buruk, jawabannya juga buruk. Kualitas basis pengetahuan diukur dengan:
fitur
basis pengetahuan yang buruk
Basis pengetahuan yang bagus
Kekinian
Tidak diperbarui selama berbulan-bulan
Diperbarui segera ketika diubah
Kejelasan
Teks yang panjang dan berbelit-belit
Artikel pendek dengan topik tunggal
struktur
Tumpukan PDF berantakan
Bahan yang dapat terdegradasi diberi label
Konsistensi
Dua jawaban yang bertentangan
Satu-satunya sumber kebenaran
Ruang lingkup
Ada banyak kesenjangan
Meliputi pertanyaan yang sering diajukan
kepemilikan
Tidak ada yang bertanggung jawab
Setiap topik mempunyai pemiliknya
Masalah paling berbahaya dalam konteks pusat panggilan adalah kontradiksi: jika dua periode pengembalian berbeda ditulis dalam basis pengetahuan, RAG akan mengatakan mana yang diperlukan dan jawaban yang tidak konsisten akan dikirimkan ke pelanggan. Itu sebabnya prinsip "satu sumber kebenaran" sangat penting: informasi selalu diperbarui di satu tempat; Referensi ke sumber tersebutlah yang digunakan, bukan salinannya.
Langkah demi langkah: membangun sistem respons yang didukung RAG
- Bersihkan basis pengetahuan: Hapus artikel yang ketinggalan jaman, bertentangan, dan duplikat. Buatlah setiap artikel pendek dan bertopik tunggal.
- Pisahkan dan beri tag: Tambahkan tag topik dan tanggal pembaruan terakhir ke setiap artikel.
- Membangun akses: Hubungkan mekanisme yang menarik bagian-bagian yang relevan ketika diminta (alat RAG perusahaan menyediakan ini).
- Tuliskan perintah yang tegas: Beri tahu model "hanya mengandalkan bagian yang disediakan, kutip sumbernya, atau katakan Anda tidak tahu".
- Kutip sumbernya: Tunjukkan artikel yang mendasari jawabannya; Keduanya memberikan kepercayaan diri dan memfasilitasi verifikasi.
- Perhatikan kesenjangan: Kumpulkan pertanyaan yang botnya mengatakan "Saya tidak tahu"; Hal ini menunjukkan kekurangan dalam basis pengetahuan, masukan dari sana.
Empat templat yang dapat disalin
1) Prompt jawaban RAG yang ketat:
Jawaban BERDASARKAN bagian [SUMBER] berikut. Aturannya: (1) gunakan informasi yang ada pada sumbernya saja, (2) jika tidak ada pada sumbernya, katakan “Saya tidak punya informasi pasti tentang ini, izinkan saya menghubungkan Anda dengan perwakilannya”, (3) sebutkan artikel mana yang mendasarinya sebagai [Sumber: item-no], (4) kutip jumlah/durasi/kondisi persis dari sumbernya, jangan dibulatkan/ditambahkan. [SUMBER]: <<bagian yang ditarik>>Pertanyaan: "<<pertanyaan pelanggan>>"
2) Penulisan artikel basis pengetahuan:
Ubah teks kebijakan yang tersebar berikut ini menjadi artikel FAQ yang sesuai untuk RAG. Format: Pertanyaan (dalam bahasa pelanggan) / Jawaban singkat (2-3 kalimat) / Ketentuan (klausul) / Tanggal pembaruan terakhir / Tag topik. Tandai setiap poin yang ambigu sebagai "harus diklarifikasi", hanya khayalan. Teks mentah: <<teks>>
3) Memindai kontradiksi dan kesenjangan:
Periksa artikel basis pengetahuan berikut. (1) Tandai pasangan barang yang saling bertentangan (misal periode pengembalian berbeda). (2) Tebak topik yang sering ditanyakan tetapi TIDAK ada jawabannya. Lihat hanya artikel yang diberikan; menghasilkan kebijakan baru.Artikel: <<daftar>>
4) Peningkatan dari log "Saya tidak tahu":
Di bawah ini adalah pertanyaan yang tidak dapat dijawab oleh bot (tidak dapat menemukan sumbernya). Kelompokkan berdasarkan topik dan sarankan judul artikel yang harus ditambahkan ke basis pengetahuan setiap kelompok. Jangan mengarang isi jawaban, cukup beri tahu saya item mana yang hilang. Pertanyaan: <<daftar>>
Perintah lemah / Perintah kuat
Perintah yang lemah:
Jawab pertanyaan pengembalian pelanggan.
Tidak ada sumber; Model mungkin sesuai dari memori, jumlah/durasi mungkin salah, tidak dapat diverifikasi.
Perintah yang kuat:
Jawaban hanya berdasarkan klausul kebijakan pengembalian di bawah. Jika tidak tersedia di sumbernya, katakan "Saya tidak tahu pasti". Kutip periode dan ketentuan secara verbatim, berikan referensi berupa [Sumber: RETURN-03].[SUMBER: RETURN-03]: "Produk yang tidak terpakai dapat dikembalikan dalam waktu 14 hari. Produk yang dipersonalisasi tidak termasuk dalam cakupan pengembalian." Pertanyaan: Bisakah saya mengembalikan produk pribadi yang saya beli 20 hari yang lalu?
Perbedaan: tergantung sumber, referensi wajib, larangan fabrikasi jelas; model menghasilkan jawaban yang benar ("14 hari terakhir dan dipersonalisasi, tidak dapat dikembalikan") dari sumbernya.
tiga kasus mini
Kasus 1 — Mengakhiri halusinasi. Akurasi jawaban bot telekomunikasi terhadap pertanyaan kampanye adalah 71% dalam pengaturan tanpa RAG; Modelnya terkadang membuat kampanye lama. Ketika halaman kampanye saat ini terhubung ke RAG dan aturan "jangan ucapkan jika tidak ada dalam sumbernya" ditambahkan, akurasi meningkat menjadi 96% dan keluhan tentang "kata kampanye yang salah" hampir berakhir.
Kasus 2 - Akibat dari kontradiksi. Dalam basis pengetahuan sebuah perusahaan e-commerce, dua biaya pengiriman yang berbeda ditulis pada dua halaman (satu halaman terkini, satu halaman lama yang terlupakan). Bot tersebut secara acak menarik seseorang dan memberi tahu beberapa pelanggan harga yang salah. Ketika halaman lama diarsipkan dengan prinsip satu sumber yang benar, ketidakkonsistenan hilang. Pelajaran: RAG tidak menyelesaikan kontradiksi, namun justru menyebarkan kontradiksi sebagaimana adanya.
Kasus 3 — Nilai log “Saya tidak tahu”. Di salah satu bank, bot mengatakan "Saya tidak tahu pasti" terhadap ~4.000 pertanyaan sebulan. Ketika pertanyaan-pertanyaan ini dikelompokkan, terlihat bahwa 40% adalah tentang “penggunaan kartu internasional”; Tidak ada artikel tentang itu. Ketika item yang relevan ditambahkan, pertanyaan-pertanyaan ini terpecahkan dan pergantian orang pada subjek tersebut menurun sebesar 55%. Fakta bahwa bot mengatakan tidak mengetahuinya menjadi peta jalan untuk perbaikan.
Kesalahan umum
- Menjawab tanpa menghubungkan ke sumbernya. Tanpa RAG, model tersebut cocok dengan informasi konkret; Jawaban konkrit apa pun harus bergantung pada sumbernya.
- Mematikan opsi "Saya tidak tahu". Memaksa model untuk menjawab setiap pertanyaan memastikan kesesuaian.
- Tidak menghapus informasi yang bertentangan/lama. RAG menyebarkan kontradiksi; Satu sumber yang benar sangatlah penting.
- Mengabaikan untuk rusak. Mengekspor PDF berukuran besar mengganggu akses akurat; Gunakan artikel pendek dengan topik tunggal.
- Menyembunyikan sumbernya. Tidak menunjukkan dasar jawaban akan melemahkan verifikasi dan kepercayaan.
Perhatian: RAG meningkatkan akurasi tetapi tidak memberikan jaminan 100%. Model terkadang salah menafsirkan bagian yang diambil. Oleh karena itu, masalah keuangan, hukum dan keamanan memerlukan persetujuan manusia meskipun sumbernya disebutkan; RAG mengurangi halusinasi tetapi tidak menghilangkan tanggung jawab.
Singkatnya
Basis pengetahuan dan RAG adalah fondasi keakuratan AI call center. RAG sebagian besar mencegah halusinasi dengan mencegah model menyesuaikan jawaban dari memori dan hanya mengandalkan sumber saat ini. Namun RAG hanya akan bagus jika basis pengetahuannya: basis pengetahuan yang terkini, jelas, terstruktur, bebas konflik dan memiliki satu sumber kebenaran sangatlah penting. Beri tahu model "jika tidak ada dalam sumbernya, beri tahu saya Anda tidak tahu", tunjuk sumbernya, dan gunakan pertanyaan yang tidak dapat dijawab oleh bot untuk meningkatkan basis pengetahuannya. Pertahankan persetujuan manusia meskipun ada sumber yang terlibat dalam masalah yang berisiko tinggi.
Tugas aplikasi
Tulis 8 pertanyaan pelanggan yang nyata/realistis dari industri Anda dan 8 artikel basis pengetahuan singkat yang sesuai (setiap artikel: pertanyaan, jawaban singkat, ketentuan, tanggal, tag). Kemudian uji apakah model dapat mengatakan “Saya tidak tahu” dengan menggunakan pola “1) Prompt jawaban RAG Ketat” dan juga mengajukan pertanyaan yang salah satunya tidak ada dalam basis pengetahuan. Terakhir, periksa artikel Anda dengan "3) Kontradiksi dan pemindaian kesenjangan".
daftar periksa
- [ ] Setiap jawaban konkrit yang diberikan oleh bot/asisten bergantung pada basis pengetahuan saat ini (melalui RAG).
- [ ] Saya menginstruksikan model "jika tidak ada dalam sumbernya, beri tahu saya Anda tidak tahu" dan mengujinya.
- [ ] Basis pengetahuan saya terdiri dari artikel-artikel topik tunggal yang terkini, jelas.
- [ ] Saya membersihkan artikel-artikel lama dan saling bertentangan; Hanya ada satu sumber yang benar untuk semua informasi.
- [ ] Jawaban menunjukkan artikel mana yang mendasarinya (sumber).
- [ ] Saya mengumpulkan pertanyaan "Saya tidak tahu" dan memberikan basis pengetahuan.