Keuntungan:
- Fahami cara RAG (pemecahan, akses, penjanaan bergantung kepada sumber) berfungsi dan cara ia mengurangkan halusinasi
- Keupayaan untuk meningkatkan kualiti jawapan dengan mewujudkan pangkalan pengetahuan yang terkini, jelas, bebas konflik dan mempunyai sumber tunggal yang betul.
- Keupayaan untuk mengarahkan model 'jika ia tiada dalam sumber, beritahu saya anda tidak tahu' dan mengubah soalan yang tidak dapat dijawabnya menjadi penambahbaikan asas pengetahuan
Jawapan yang diberikan oleh bot atau pembantu ejen hanya sebaik maklumat yang menjadi asasnya. Apabila pelanggan bertanya "Adakah kempen diteruskan?", jawapan yang betul bukan dalam ingatan model, tetapi dalam pangkalan pengetahuan semasa institusi. Itulah sebabnya inti kepada kecerdasan buatan pusat panggilan ialah pangkalan pengetahuan (KB): sumber terkini di mana produk, dasar, Soalan Lazim, prosedur dan peraturan disimpan secara bertulis. Dan kaedah yang selamat menghubungkan pangkalan pengetahuan ini kepada kecerdasan buatan dipanggil RAG: Retrieval-Augmented Generation — daripada membuat jawapan daripada ingatannya sendiri, model mula-mula mengambil semula cebisan maklumat yang berkaitan daripada sumber (pendapatan semula) dan kemudian menjana jawapan berdasarkan kepingan tersebut sahaja (generasi).
RAG adalah kaedah yang paling berkuasa untuk mencegah halusinasi. Model itu tidak menjana nombor dalam kepalanya untuk soalan "berapakah kadar faedah pinjaman?" Ia mendapatkan semula teks minat semasa daripada pangkalan pengetahuan dan menjawab berdasarkannya. Dalam unit ini kita akan melihat cara menyediakan pangkalan pengetahuan, cara RAG berfungsi dan cara asas pengetahuan yang baik menentukan kualiti jawapan.
Bagaimana RAG berfungsi: empat langkah
Fikirkan RAG seperti seorang pustakawan. Pelanggan bertanya soalan; Sistem mula-mula mencari halaman yang berkaitan dari rak kanan perpustakaan, kemudian membaca halaman tersebut dan menulis jawapannya. Langkah-langkah teknikal adalah seperti berikut:
- Pecahan: Dokumen panjang dalam pangkalan pengetahuan dipecahkan kepada kepingan kecil yang bermakna (cth., setiap Soalan Lazim ialah sebahagian). Kerana model menjawab soalan dengan lebih tepat dengan bahagian kecil yang berkaitan.
- Pembenaman dan pengindeksan: Setiap bahagian diterjemahkan ke dalam bentuk berangka yang mewakili maknanya (pembenaman—jujukan nombor yang mewakili makna teks) dan diletakkan dalam pangkalan data yang boleh dicari. Oleh itu, ia bukanlah "padanan kata" tetapi "padanan makna"; Walaupun pelanggan bertanya "bila wang saya akan didepositkan?", bahagian "tempoh bayaran balik" mungkin ditemui.
- Pengambilan semula: Bahagian yang paling hampir dengan maksud dengan soalan pelanggan diambil semula (cth. 3-5 bahagian yang paling hampir).
- Penjanaan: Model menulis jawapan berdasarkan HANYA bahagian yang dilukis dan menunjukkan sumber jika boleh.
Titik kritikal adalah dalam langkah 4: model diarahkan untuk "hanya bergantung pada kepingan yang diberikan, atau katakan anda tidak tahu." Tanpa arahan ini, RAG tidak menghalang model daripada dipasang.
Petunjuk: Peraturan emas RAG: "Jika tiada dalam sumber, tiada jawapan." Sistem RAG yang baik akan berkata "Saya tidak tahu pasti tentang perkara ini" kepada soalan yang tiada dalam pangkalan pengetahuan; tidak pernah mengisi jurang dengan tekaan. Keupayaan bot untuk mengatakan "Saya tidak tahu" ialah ciri keselamatan, bukan kelemahan.
Pangkalan pengetahuan yang baik: sumber sebenar kualiti jawapan
Sehebat mana pun RAG itu, jika asas ilmu itu buruk, jawapannya adalah buruk. Kualiti asas pengetahuan diukur dengan:
ciri
asas pengetahuan yang buruk
Pangkalan pengetahuan yang baik
semasa
Tidak dikemas kini selama berbulan-bulan
Dikemas kini serta-merta apabila diubah
Kejelasan
Teks panjang dan berbelit-belit
Artikel pendek, topik tunggal
struktur
Longgokan PDF yang tidak kemas
Bahan terurai berlabel
Konsisten
Dua jawapan yang bercanggah
Satu sumber kebenaran
Skop
Terdapat banyak jurang
Meliputi soalan lazim
pemilikan
Tiada siapa yang bertanggungjawab
Setiap topik ada pemiliknya
Masalah paling berbahaya dalam konteks pusat panggilan ialah percanggahan: jika dua tempoh pemulangan berbeza ditulis dalam pangkalan pengetahuan, RAG akan menyatakan yang mana satu yang diperlukan dan jawapan yang tidak konsisten akan dihantar kepada pelanggan. Itulah sebabnya prinsip "sumber tunggal kebenaran" adalah kritikal: maklumat sentiasa dikemas kini di satu tempat; Rujukan kepada sumber itu digunakan, bukan salinan.
Langkah demi langkah: membina sistem tindak balas yang disokong RAG
- Bersihkan pangkalan pengetahuan: Alih keluar artikel lapuk, bercanggah dan berganda. Jadikan setiap artikel pendek dan satu topik.
- Pecahkan dan tandainya: Tambahkan teg topik dan tarikh kemas kini terakhir pada setiap artikel.
- Wujudkan akses: Sambungkan mekanisme yang menarik bahagian yang berkaitan apabila ditanya (alat RAG perusahaan menyediakan ini).
- Tulis gesaan yang ketat: Beritahu model "hanya bergantung pada bahagian yang disediakan, sebut sumber atau katakan anda tidak tahu."
- Petik sumber: Tunjukkan artikel yang menjadi asas jawapannya; Ia memberikan keyakinan dan memudahkan pengesahan.
- Perhatikan jurang: Kumpul soalan yang bot berkata "Saya tidak tahu"; Ini menunjukkan kekurangan dalam pangkalan pengetahuan, suapan dari sana.
Empat templat yang boleh disalin
1) Gesaan jawapan RAG yang ketat:
Jawab BERDASARKAN bahagian [SUMBER] berikut. Peraturan: (1) gunakan hanya maklumat dalam sumber, (2) jika tiada dalam sumber, katakan "Saya tidak mempunyai maklumat pasti tentang perkara ini, biar saya sambungkan anda kepada wakil", (3) nyatakan artikel yang mana ia berdasarkan sebagai [Sumber: item-no], (4) sebutkan jumlah/tempoh/syarat tepat dari sumber, jangan bulatkan/buat. [SUMBER]: <<bahagian yang ditarik>>Soalan: "<<soalan pelanggan>>"
2) Penulisan artikel asas pengetahuan:
Tukar teks dasar bertaburan berikut kepada artikel FAQ yang sesuai untuk RAG. Format: Soalan (dalam bahasa pelanggan) / Jawapan ringkas (2-3 ayat) / Syarat (klausa) / Tarikh kemas kini terakhir / Tag topik. Tandakan mana-mana perkara yang samar-samar sebagai "untuk dijelaskan", buat-buat. Teks mentah: <<teks>>
3) Mengimbas percanggahan dan jurang:
Teliti artikel asas pengetahuan berikut. (1) Tandakan pasangan artikel yang BERCANGGAH antara satu sama lain (cth. tempoh pulangan yang berbeza). (2) Teka topik yang akan sering ditanya tetapi TIADA jawapan. Lihat sahaja artikel yang diberikan; menghasilkan dasar baharu.Artikel: <<senarai>>
4) Penambahbaikan daripada log "Saya tidak tahu":
Di bawah ialah soalan yang tidak dapat dijawab oleh bot (tidak dapat mencari sumber). Kumpulkan mereka ke dalam topik dan cadangkan tajuk artikel yang perlu ditambah ke pangkalan pengetahuan untuk setiap kumpulan. Jangan reka isi jawapan, beritahu saya item mana yang hilang.Soalan: <<senarai>>
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Jawab soalan pemulangan pelanggan.
Tiada sumber; Model mungkin muat dari ingatan, jumlah/tempoh mungkin salah, ia tidak dapat disahkan.
Gesaan kuat:
Jawab hanya berdasarkan klausa polisi pemulangan di bawah. Jika ia tidak tersedia dalam sumber, sebut "Saya tidak tahu pasti". Petikan kata kerja tempoh dan syarat, berikan rujukan dalam bentuk [Sumber: RETURN-03].[SUMBER: RETURN-03]: "Produk yang tidak digunakan boleh dipulangkan dalam masa 14 hari. Produk yang diperibadikan tidak berada dalam skop pemulangan." Soalan: "Bolehkah saya memulangkan produk diperibadikan yang saya beli 20 hari lalu?"
Perbezaan: bergantung sumber, rujukan wajib, larangan fabrikasi jelas; model menjana jawapan yang betul ("14 hari lalu dan diperibadikan, tidak boleh dibayar balik") daripada sumber.
tiga kes mini
Kes 1 — Menamatkan halusinasi. Ketepatan jawapan bot telekom untuk soalan kempen ialah 71% dalam persediaan tanpa RAG; Model itu kadangkala mencipta kempen lama. Apabila halaman kempen semasa disambungkan kepada RAG dan peraturan "jangan sebut jika tiada dalam sumber" ditambah, ketepatan meningkat kepada 96% dan aduan tentang "perkataan kempen yang salah" hampir tamat.
Kes 2 - Harga percanggahan. Dalam pangkalan pengetahuan syarikat e-dagang, dua kos penghantaran berbeza ditulis pada dua halaman (satu halaman semasa, satu halaman lama yang terlupa). Bot itu secara rawak menarik seseorang dan memberitahu beberapa pelanggan harga yang salah. Apabila halaman lama diarkibkan dengan prinsip sumber tunggal yang betul, ketidakkonsistenan itu hilang. Pengajaran: RAG tidak menyelesaikan percanggahan, ia menyebarkan percanggahan sebagaimana adanya.
Kes 3 — Nilai log “Saya tidak tahu”. Di satu bank, bot itu berkata "Saya tidak tahu pasti" kepada ~4,000 soalan sebulan. Apabila soalan-soalan ini dikumpulkan, didapati bahawa 40% adalah mengenai "penggunaan kad antarabangsa"; Tiada artikel mengenainya. Apabila item yang berkaitan ditambah, soalan ini telah diselesaikan dan perolehan kepada orang mengenai subjek itu menurun sebanyak 55%. Hakikat bahawa bot mengatakan ia tidak tahu menjadi peta jalan untuk penambahbaikan.
Kesilapan biasa
- Menjawab tanpa mengaitkan sumber. Tanpa RAG, model ini sesuai dengan maklumat konkrit; Sebarang jawapan konkrit mesti bergantung kepada sumbernya.
- Mematikan pilihan "Saya tidak tahu". Memaksa model untuk menjawab setiap soalan memastikan kesesuaian.
- Tidak membersihkan maklumat yang bercanggah/lama. RAG menyebarkan percanggahan; Satu sumber yang betul adalah penting.
- Melalaikan untuk mencarik. Mengeksport PDF besar seperti yang mengganggu akses tepat; Gunakan artikel pendek dan topik tunggal.
- Menyembunyikan sumber. Tidak menunjukkan jawapan berdasarkan jawapan melemahkan pengesahan dan kepercayaan.
Awas: RAG meningkatkan ketepatan tetapi tidak memberikan jaminan 100%. Model kadangkala boleh salah tafsir bahagian yang ditangkap. Oleh itu, isu kewangan, perundangan dan keselamatan memerlukan kelulusan manusia walaupun sumbernya disebut; RAG mengurangkan halusinasi tetapi tidak menghilangkan tanggungjawab.
Secara ringkasnya
Pangkalan pengetahuan dan RAG adalah asas ketepatan pusat panggilan AI. RAG sebahagian besarnya menghalang halusinasi dengan menghalang model daripada menyesuaikan jawapan dari ingatan dan bergantung semata-mata pada sumber semasa. Tetapi RAG hanya sebaik pangkalan pengetahuannya: pangkalan pengetahuan yang terkini, jelas, berstruktur, bebas konflik dan mempunyai satu sumber kebenaran adalah penting. Beritahu model "jika tiada dalam sumber, beritahu saya anda tidak tahu", tuding pada sumber dan gunakan soalan yang tidak dapat dijawab oleh bot untuk meningkatkan pangkalan pengetahuannya. Mengekalkan persetujuan manusia walaupun sumbernya mengenai perkara yang penting.
Tugasan permohonan
Tulis 8 soalan pelanggan sebenar/realistik daripada industri anda dan 8 artikel asas pengetahuan pendek yang sepadan (setiap artikel: soalan, jawapan ringkas, syarat, tarikh, teg). Kemudian uji sama ada model itu boleh menyebut "Saya tidak tahu" dengan menggunakan pola "1) Tight RAG answer prompt" dan juga bertanya soalan, salah satunya tiada dalam pangkalan pengetahuan. Akhir sekali, semak artikel anda dengan "3) Percanggahan dan pengimbasan jurang".
senarai semak
- [ ] Setiap jawapan konkrit yang diberikan oleh bot/pembantu bergantung pada pangkalan pengetahuan semasa (melalui RAG).
- [ ] Saya mengarahkan model "jika tiada dalam sumber, beritahu saya anda tidak tahu" dan mengujinya.
- [ ] Pangkalan pengetahuan saya terdiri daripada artikel topik tunggal yang terkini, jelas dan topik tunggal.
- [ ] Saya membersihkan artikel yang bercanggah dan lama; Hanya ada satu sumber yang betul untuk semua maklumat.
- [ ] Jawapan menunjukkan artikel berdasarkan (sumber).
- [ ] Saya mengumpul soalan "Saya tidak tahu" dan memberi makan kepada pangkalan pengetahuan.