ฐานความรู้และ RAG: บอทและตัวแทนค้นหาคำตอบที่ถูกต้องได้อย่างไร

กำไร:

• ทำความเข้าใจวิธีการทำงานของ RAG (การกระจายตัว การเข้าถึง การสร้างที่ขึ้นอยู่กับทรัพยากร) และวิธีลดอาการประสาทหลอน
• ความสามารถในการเพิ่มคุณภาพของคำตอบโดยการสร้างฐานความรู้ที่เป็นปัจจุบัน ชัดเจน ปราศจากข้อขัดแย้ง และมีแหล่งข้อมูลที่ถูกต้องเพียงแหล่งเดียว
• ความสามารถในการสอนโมเดล 'หากไม่อยู่ในแหล่งที่มา บอกฉันว่าคุณไม่รู้' และเปลี่ยนคำถามที่ไม่สามารถตอบเป็นการปรับปรุงฐานความรู้

คำตอบที่บอทหรือผู้ช่วยตัวแทนให้นั้นดีพอๆ กับข้อมูลที่ใช้เป็นหลักเท่านั้น เมื่อลูกค้าถามว่า "แคมเปญดำเนินต่อไปหรือไม่" คำตอบที่ถูกต้องไม่ได้อยู่ในหน่วยความจำของโมเดล แต่อยู่ในฐานความรู้ปัจจุบันของสถาบัน นั่นเป็นสาเหตุที่หัวใจสำคัญของปัญญาประดิษฐ์ของศูนย์บริการทางโทรศัพท์คือฐานความรู้ (KB) ซึ่งเป็นทรัพยากรที่ทันสมัยซึ่งมีผลิตภัณฑ์ นโยบาย คำถามที่พบบ่อย ขั้นตอน และกฎเกณฑ์ต่างๆ จะถูกจัดเก็บเป็นลายลักษณ์อักษร และวิธีการเชื่อมต่อฐานความรู้นี้กับปัญญาประดิษฐ์อย่างปลอดภัยเรียกว่า RAG: การดึงข้อมูล-การสร้างเสริม - แทนที่จะสร้างคำตอบจากหน่วยความจำของตัวเอง โมเดลจะดึงข้อมูลส่วนที่เกี่ยวข้องจากแหล่งที่มาก่อน (การดึงข้อมูล) จากนั้นจึงสร้างคำตอบตามส่วนเหล่านั้นเท่านั้น (การสร้าง)

RAG เป็นวิธีการป้องกันภาพหลอนที่ทรงพลังที่สุด แบบจำลองไม่ได้สร้างตัวเลขในหัวสำหรับคำถาม "อัตราดอกเบี้ยเงินกู้คือเท่าไร" โดยจะดึงข้อความความสนใจปัจจุบันจากฐานความรู้และคำตอบตามนั้น ในหน่วยนี้ เราจะดูวิธีตั้งค่าฐานความรู้ วิธีการทำงานของ RAG และฐานความรู้ที่ดีจะกำหนดคุณภาพของคำตอบได้อย่างไร

RAG ทำงานอย่างไร: สี่ขั้นตอน

คิด RAG เหมือนบรรณารักษ์ ลูกค้าถามคำถาม ก่อนอื่นระบบจะค้นหาหน้าที่เกี่ยวข้องจากชั้นวางด้านขวาของห้องสมุด จากนั้นจะอ่านหน้าเหล่านั้นและเขียนคำตอบ ขั้นตอนทางเทคนิคมีดังนี้:

1. การแยกส่วน: เอกสารขนาดยาวในฐานความรู้จะถูกแบ่งออกเป็นชิ้นเล็กๆ ที่มีความหมาย (เช่น คำถามที่พบบ่อยแต่ละรายการจะเป็นชิ้นเดียว) เพราะแบบจำลองตอบคำถามได้แม่นยำยิ่งขึ้นด้วยชิ้นส่วนเล็กๆ ที่เกี่ยวข้อง
2. การฝังและการจัดทำดัชนี: แต่ละชิ้นจะถูกแปลเป็นรูปแบบตัวเลขที่แสดงถึงความหมายของมัน (การฝัง—ลำดับของตัวเลขที่แสดงถึงความหมายของข้อความ) และวางไว้ในฐานข้อมูลที่สามารถค้นหาได้ ดังนั้นจึงไม่ใช่ "การจับคู่คำ" แต่เป็น "การจับคู่ความหมาย" แม้ว่าลูกค้าจะถามว่า "เงินของฉันจะฝากเมื่อใด" แต่ก็อาจพบส่วน "ระยะเวลาการคืนเงิน"
3. การสืบค้น: ส่วนที่มีความหมายใกล้เคียงกับคำถามของลูกค้ามากที่สุดจะถูกดึงออกมา (เช่น ส่วนที่ใกล้เคียงที่สุด 3-5 ส่วนที่ใกล้เคียงที่สุด)
4. การสร้าง: โมเดลจะเขียนคำตอบตามส่วนที่วาดเท่านั้น และระบุแหล่งที่มาหากเป็นไปได้

จุดวิกฤติอยู่ในขั้นตอนที่ 4: แบบจำลองได้รับคำสั่งให้ "อาศัยชิ้นส่วนที่ให้มา หรือบอกว่าคุณไม่รู้" หากไม่มีคำแนะนำนี้ RAG จะไม่ขัดขวางไม่ให้โมเดลติดตั้งได้

คำแนะนำ: กฎทองของ RAG: "หากไม่อยู่ในแหล่งที่มา ก็จะไม่มีคำตอบ" ระบบ RAG ที่ดีจะพูดว่า "ฉันไม่รู้เรื่องนี้แน่นอน" กับคำถามที่ไม่ได้อยู่ในฐานความรู้ ไม่เคยเติมช่องว่างด้วยการคาดเดา ความสามารถของบอทในการพูดว่า "ฉันไม่รู้" ถือเป็นคุณลักษณะด้านความปลอดภัย ไม่ใช่จุดอ่อน

ฐานความรู้ที่ดี: แหล่งคุณภาพคำตอบที่แท้จริง

ไม่ว่า RAG จะดีแค่ไหน ถ้าฐานความรู้ไม่ดี คำตอบก็แย่ คุณภาพฐานความรู้วัดโดย:

คุณสมบัติ

ฐานความรู้ที่ไม่ดี

ฐานความรู้ที่ดี

ความเป็นปัจจุบัน

ไม่อัพเดทมาหลายเดือนแล้ว

อัพเดททันทีเมื่อมีการเปลี่ยนแปลง

ความชัดเจน

ข้อความที่ยาวและซับซ้อน

บทความสั้นหัวข้อเดียว

โครงสร้าง

กอง PDF ยุ่ง

สารที่ติดฉลากย่อยสลายได้

ความสม่ำเสมอ

สองคำตอบที่ขัดแย้งกัน

แหล่งเดียวของความจริง

ขอบเขต

มีช่องว่างมากมาย

ครอบคลุมคำถามที่พบบ่อย

ความเป็นเจ้าของ

ไม่มีใครรับผิดชอบ

ทุกหัวข้อมีเจ้าของ

ปัญหาที่อันตรายที่สุดในบริบทของศูนย์บริการทางโทรศัพท์คือความขัดแย้ง: หากมีการเขียนระยะเวลาการคืนสินค้าที่แตกต่างกันสองช่วงในฐานความรู้ RAG จะแจ้งว่าต้องใช้ช่วงใด และส่งคำตอบที่ไม่สอดคล้องกันไปยังลูกค้า นั่นเป็นเหตุผลว่าทำไมหลักการ "แหล่งความจริงแห่งเดียว" จึงมีความสำคัญ: ข้อมูลจะถูกเก็บไว้เป็นปัจจุบันในที่เดียว การอ้างอิงถึงแหล่งข้อมูลนั้นถูกใช้ ไม่ใช่การคัดลอก

ทีละขั้นตอน: การสร้างระบบตอบสนองที่รองรับ RAG

1. ทำความสะอาดฐานความรู้: ลบบทความที่ล้าสมัย ขัดแย้ง และซ้ำกัน ทำให้แต่ละบทความสั้นและมีหัวข้อเดียว
2. แจกแจงรายละเอียดและแท็ก: เพิ่มแท็กหัวข้อและวันที่อัปเดตล่าสุดในแต่ละบทความ
3. สร้างการเข้าถึง: เชื่อมต่อกลไกที่จะดึงส่วนที่เกี่ยวข้องเมื่อถูกถาม (เครื่องมือ RAG ขององค์กรจัดเตรียมสิ่งนี้ไว้)
4. เขียนข้อความแจ้งที่เข้มงวด: บอกโมเดลว่า "อาศัยชิ้นส่วนที่ให้มาเท่านั้น อ้างอิงแหล่งที่มา หรือบอกว่าคุณไม่ทราบ"
5. อ้างอิงแหล่งที่มา: แสดงบทความที่เป็นพื้นฐานของคำตอบ ทั้งให้ความมั่นใจและอำนวยความสะดวกในการตรวจสอบ
6. ระวังช่องว่าง: รวบรวมคำถามที่บอทบอกว่า "ฉันไม่รู้" สิ่งเหล่านี้แสดงข้อบกพร่องในฐานความรู้ ฟีดจากที่นั่น

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) พรอมต์คำตอบ RAG ที่เข้มงวด:

คำตอบขึ้นอยู่กับส่วน [แหล่งที่มา] ต่อไปนี้ กฎ: (1) ใช้เฉพาะข้อมูลในแหล่งที่มา (2) หากไม่อยู่ในแหล่งที่มา ให้พูดว่า "ฉันไม่มีข้อมูลที่ชัดเจนเกี่ยวกับเรื่องนี้ ให้ฉันติดต่อคุณกับตัวแทน" (3) ระบุว่าบทความใดที่อ้างอิงจาก [แหล่งที่มา: item-no] (4) เสนอราคา/ระยะเวลา/เงื่อนไขที่ตรงจากแหล่งที่มา ห้ามปัดเศษ/แต่งหน้า [แหล่งที่มา]: <<ส่วนที่ดึงออกมา>>คำถาม: "<<คำถามจากลูกค้า>>"

2) การเขียนบทความฐานความรู้:

แปลงข้อความนโยบายที่กระจัดกระจายต่อไปนี้เป็นบทความคำถามที่พบบ่อยที่เหมาะสำหรับ RAG รูปแบบ: คำถาม (เป็นภาษาของลูกค้า) / คำตอบสั้น ๆ (2-3 ประโยค) / เงื่อนไข (ข้อ) / วันที่อัปเดตครั้งล่าสุด / แท็กหัวข้อ ทำเครื่องหมายจุดที่คลุมเครือว่า "ต้องชี้แจง" สมมุติ ข้อความดิบ: <<ข้อความ>>

3) การสแกนหาความขัดแย้งและช่องว่าง:

ตรวจสอบบทความฐานความรู้ต่อไปนี้ (1) ทำเครื่องหมายคู่สิ่งของที่ขัดแย้งกัน (เช่น ระยะเวลาการคืนที่แตกต่างกัน) (2) เดาหัวข้อที่จะถามบ่อย แต่ไม่มีคำตอบ ดูเฉพาะบทความที่ให้มาเท่านั้น จัดทำนโยบายใหม่ บทความ: <<รายการ>>

4) การปรับปรุงจากบันทึก "ฉันไม่รู้":

ด้านล่างนี้เป็นคำถามที่บอทไม่สามารถตอบได้ (ไม่พบแหล่งที่มา) จัดกลุ่มเป็นหัวข้อและเสนอแนะชื่อบทความที่ควรเพิ่มในฐานความรู้ของแต่ละกลุ่ม ไม่ต้องสร้างเนื้อหาคำตอบ เพียงบอกฉันว่ารายการใดขาดหายไป คำถาม: <<รายการ>>

พรอมต์อ่อน / พรอมต์แข็งแกร่ง

พรอมต์ที่อ่อนแอ:

ตอบคำถามการคืนสินค้าของลูกค้า

ไม่มีแหล่งที่มา โมเดลอาจพอดีจากหน่วยความจำ จำนวน/ระยะเวลาอาจผิด ไม่สามารถตรวจสอบได้

พรอมต์อันทรงพลัง:

ตอบตามข้อนโยบายการคืนสินค้าด้านล่างเท่านั้น หากไม่มีอยู่ในแหล่งที่มา ให้พูดว่า "ฉันไม่ทราบแน่ชัด" อ้างอิงระยะเวลาและเงื่อนไขทุกคำ โดยอ้างอิงในรูปแบบ [แหล่งที่มา: RETURN-03] [แหล่งที่มา: RETURN-03]: "สินค้าที่ไม่ได้ใช้สามารถคืนได้ภายใน 14 วัน สินค้าเฉพาะบุคคลไม่อยู่ในขอบเขตของการคืนสินค้า" คำถาม: ฉันสามารถคืนสินค้าส่วนบุคคลที่ฉันซื้อเมื่อ 20 วันที่แล้วได้หรือไม่

ความแตกต่าง: ขึ้นอยู่กับแหล่งที่มา, จำเป็นต้องมีการอ้างอิง, ห้ามการประดิษฐ์ชัดเจน; แบบจำลองจะสร้างคำตอบที่ถูกต้อง ("14 วันที่ผ่านมาและเป็นส่วนตัว ไม่สามารถคืนเงินได้") จากแหล่งที่มา

มินิเคสสามอัน

กรณีที่ 1 — การยุติภาพหลอน ความแม่นยำในการตอบบอทโทรคมนาคมสำหรับคำถามเกี่ยวกับแคมเปญคือ 71% ในการตั้งค่าแบบ no-RAG บางครั้งโมเดลดังกล่าวก็สร้างแคมเปญเก่าขึ้นมา เมื่อหน้าแคมเปญปัจจุบันเชื่อมต่อกับ RAG และเพิ่มกฎ "อย่าพูดหากไม่ได้อยู่ในแหล่งที่มา" ความแม่นยำเพิ่มขึ้นเป็น 96% และการร้องเรียนเกี่ยวกับ "คำในแคมเปญที่ไม่ถูกต้อง" เกือบจะสิ้นสุดลงแล้ว

กรณีที่ 2 — ราคาของความขัดแย้ง ในฐานความรู้ของบริษัทอีคอมเมิร์ซแห่งหนึ่ง ค่าจัดส่งที่แตกต่างกันสองรายการถูกเขียนไว้ในสองหน้า (หน้าหนึ่งคือปัจจุบัน หนึ่งหน้าเก่าที่ถูกลืม) บอทสุ่มดึงใครบางคนและบอกลูกค้าบางรายถึงราคาที่ไม่ถูกต้อง เมื่อเพจเก่าถูกเก็บถาวรด้วยหลักการแหล่งเดียวที่ถูกต้อง ความไม่สอดคล้องกันก็หายไป บทเรียน: RAG ไม่ได้แก้ไขข้อขัดแย้ง แต่เผยแพร่ความขัดแย้งตามที่เป็นอยู่

กรณีที่ 3 — ค่าของบันทึก “ฉันไม่รู้” ที่ธนาคารแห่งหนึ่ง บอทพูดว่า "ฉันไม่รู้แน่นอน" กับคำถามประมาณ 4,000 ข้อต่อเดือน เมื่อรวมคำถามเหล่านี้เข้าด้วยกัน พบว่า 40% เป็นเรื่องเกี่ยวกับ "การใช้บัตรระหว่างประเทศ"; ไม่มีบทความเกี่ยวกับเรื่องนี้ เมื่อเพิ่มรายการที่เกี่ยวข้อง คำถามเหล่านี้ก็ได้รับการแก้ไข และการหมุนเวียนของผู้คนในเรื่องนั้นลดลง 55% ความจริงที่ว่าบอทบอกว่าไม่รู้กลายเป็นแผนงานสำหรับการปรับปรุง

ข้อผิดพลาดทั่วไป

• ตอบโดยไม่โยงแหล่งที่มา หากไม่มี RAG โมเดลจะเหมาะกับข้อมูลที่เป็นรูปธรรม คำตอบที่เป็นรูปธรรมจะต้องขึ้นอยู่กับแหล่งที่มา
• การปิดตัวเลือก "ฉันไม่รู้" การบังคับให้นางแบบตอบทุกคำถามจะทำให้มั่นใจว่าเหมาะสม
• ไม่ล้างข้อมูลที่ขัดแย้ง/เก่า RAG แพร่กระจายความขัดแย้ง แหล่งที่มาที่ถูกต้องเพียงแห่งเดียวถือเป็นสิ่งสำคัญ
• ละเลยที่จะฉีก การส่งออก PDF ขนาดใหญ่เป็นการขัดขวางการเข้าถึงที่แม่นยำ ใช้บทความสั้นหัวข้อเดียว
• กำลังซ่อนแหล่งที่มา การไม่ระบุว่าคำตอบนั้นขึ้นอยู่กับการตรวจสอบและความน่าเชื่อถือที่อ่อนแอลง

ข้อควรระวัง: RAG ปรับปรุงความแม่นยำแต่ไม่ได้รับประกัน 100% บางครั้งโมเดลอาจตีความส่วนที่บันทึกไว้ผิดไป ดังนั้นประเด็นทางการเงิน กฎหมาย และความปลอดภัยจำเป็นต้องได้รับอนุมัติจากมนุษย์แม้ว่าจะมีการอ้างอิงแหล่งที่มาก็ตาม RAG ลดอาการประสาทหลอนแต่ไม่ได้ขจัดความรับผิดชอบ

โดยสรุป

ฐานความรู้และ RAG เป็นรากฐานของความแม่นยำของ AI ของคอลเซ็นเตอร์ RAG ส่วนใหญ่ป้องกันภาพหลอนโดยการป้องกันไม่ให้โมเดลปรับคำตอบจากหน่วยความจำและอาศัยแหล่งที่มาปัจจุบันเพียงอย่างเดียว แต่ RAG จะดีพอๆ กับฐานความรู้เท่านั้น ฐานความรู้ที่ทันสมัย ​​ชัดเจน มีโครงสร้าง ปราศจากข้อขัดแย้ง และมีแหล่งความจริงแห่งเดียวถือเป็นสิ่งสำคัญ บอกโมเดล "ถ้าไม่อยู่ในแหล่งที่มา บอกฉันว่าคุณไม่รู้" ชี้ไปที่แหล่งที่มา และใช้คำถามที่บอทไม่สามารถตอบได้เพื่อปรับปรุงฐานความรู้ รักษาความยินยอมของมนุษย์แม้จะมีแหล่งที่มาในเรื่องที่มีความเสี่ยงสูงก็ตาม

งานสมัคร

เขียนคำถามของลูกค้าจริง/สมจริง 8 คำถามจากอุตสาหกรรมของคุณ และบทความฐานความรู้สั้นๆ ที่เกี่ยวข้อง 8 บทความ (แต่ละบทความ: คำถาม คำตอบสั้นๆ เงื่อนไข วันที่ แท็ก) จากนั้นทดสอบว่าโมเดลสามารถพูดว่า “ฉันไม่รู้” โดยใช้รูปแบบ “1) คำตอบคำตอบ RAG แบบกระชับ” และถามคำถาม ซึ่งหนึ่งในนั้นไม่ได้อยู่ในฐานความรู้ สุดท้าย ตรวจสอบบทความของคุณด้วย "3) ความขัดแย้งและการสแกนช่องว่าง"

รายการตรวจสอบ

• [ ] ทุกคำตอบที่เป็นรูปธรรมให้โดยบอท/ผู้ช่วยจะขึ้นอยู่กับฐานความรู้ปัจจุบัน (ผ่าน RAG)
• [ ] ฉันสั่งโมเดล "ถ้าไม่อยู่ในแหล่งที่มา บอกฉันว่าคุณไม่รู้" และทดสอบแล้ว
• [ ] ฐานความรู้ของฉันประกอบด้วยบทความหัวข้อเดียวที่ทันสมัย ​​ชัดเจน
• [ ] ฉันเคลียร์บทความเก่าๆ ที่ขัดแย้งกันออกไปแล้ว มีแหล่งข้อมูลที่ถูกต้องเพียงแหล่งเดียวสำหรับข้อมูลทั้งหมด
• [ ] คำตอบแสดงว่าบทความนั้นอิงจากบทความใด (ที่มา)
• [ ] ฉันรวบรวมคำถาม "ฉันไม่รู้" และป้อนฐานข้อมูลความรู้