การจัดการข้อมูลองค์กรด้วย RAG

กำไร:

• ทำความเข้าใจว่า RAG ลดอาการประสาทหลอนได้อย่างไรโดยการเชื่อมโยงและอ้างอิงคำตอบไปยังเอกสารจริงของสถาบัน และใช้ความสำคัญของฐานเอกสารที่สะอาด
• ความสามารถในการตรวจสอบแหล่งที่มา วันที่ และสกุลเงินของเอาต์พุต RAG และแยกแยะเวอร์ชันที่ขัดแย้งกัน
• ความสามารถในการปกป้องความเป็นส่วนตัวขององค์กรโดยการป้องกันการตอบสนองจากเอกสารที่ไม่ได้รับอนุญาตด้วยการควบคุมการเข้าถึง

หน่วยความจำขององค์กรอยู่ในเอกสารนับพันที่กระจัดกระจาย: รายงาน คู่มือ นาที ขั้นตอน ขั้นตอน อีเมล พนักงานอาจค้นหาเอกสารเป็นเวลาหลายชั่วโมงเพื่อตอบคำถามง่ายๆ (“ขั้นตอนนี้ทำงานอย่างไร”) ความฝันของผู้จัดการความรู้คือให้หน่วยความจำนี้ตอบคำถามโดยตรงแต่อิงตามแหล่งที่มา นี่คือสิ่งที่ RAG สัญญาไว้ ในหน่วยนี้คุณจะได้เรียนรู้ว่า RAG คืออะไร วิธีใช้ในการจัดการข้อมูลองค์กร และวิธีการรักษาความปลอดภัยในแง่ของความถูกต้อง การรักษาความลับ และความทันเวลา

เรามากำหนดแนวคิดกัน RAG (Retrieval-Augmented Generation) เกิดขึ้นเมื่อ AI ตอบคำถามโดยการค้นหา (ดึงข้อมูล) ชิ้นส่วนที่เกี่ยวข้องจากเอกสารประกอบขององค์กรในขั้นแรก จากนั้นจึงสร้างคำตอบตามชิ้นส่วนเหล่านั้นเท่านั้น สิ่งนี้แตกต่างโดยพื้นฐานจาก AI ทั่วไปที่สร้างคำตอบจากหน่วยความจำ: RAG ลิงก์และหาคำตอบไปยังเอกสารจริงที่ตรวจสอบย้อนกลับได้ ภาพหลอนจึงลดลงอย่างมากเพราะ AI พูดจากเอกสารของสถาบัน ไม่ใช่จาก "หัว"

ทีละขั้นตอน: ทำความเข้าใจระบบ RAG ขององค์กร

1.เตรียมฐานเอกสาร เอกสารที่เชื่อถือได้และทันสมัยขององค์กรได้รับการรวบรวม ทำความสะอาด และแบ่งออกเป็นส่วนๆ (ส่วนเล็กๆ ที่มีความหมายของเอกสาร) หากเอกสารที่ไม่ดี ล้าสมัย หรือขัดแย้งเข้าสู่ระบบ การตอบสนองจะไม่ดี: “ขยะเข้า ขยะออก”

2. ฝังและจัดทำดัชนี แต่ละส่วนจะถูกแปลงเป็นเวกเตอร์ (การฝัง) ซึ่งแสดงถึงความหมายของมัน และใส่ลงในดัชนีที่ค้นหาได้ เมื่อมีคำถามเกิดขึ้น ระบบจะค้นหาส่วนที่มีความหมายใกล้เคียงที่สุด

3.นำชิ้นส่วนที่เกี่ยวข้องมาด้วย เมื่อถามคำถาม ระบบจะดึงส่วนที่เกี่ยวข้องมากที่สุดบางส่วนจากฐานเอกสาร ขั้นตอนนี้สำคัญ: หากนำชิ้นส่วนผิดเข้ามา คำตอบก็จะผิดเช่นกัน

4. สร้างการตอบสนองตามแหล่งที่มา AI สร้างการตอบสนองตามแฟรกเมนต์ที่ดึงมาเพียงอย่างเดียวและระบุว่าเอกสารใดที่นำมา A response that does not cite the source is contrary to the purpose of RAG.

5. ตรวจสอบและรายงานกลับ ผู้ใช้ควรจะสามารถไปที่แหล่งที่มาที่แสดงและยืนยันคำตอบได้ คำตอบที่ไม่ถูกต้องหรือไม่สมบูรณ์จะกลายเป็นข้อเสนอแนะเพื่อปรับปรุงฐานเอกสาร

เคล็ดลับ: คุณภาพของ RAG ส่วนใหญ่ขึ้นอยู่กับคุณภาพของฐานเอกสาร อัปเดตเอกสาร กำจัดเวอร์ชันที่ขัดแย้ง/ล้าสมัย และเพิ่มข้อมูลวันที่และแหล่งที่มาให้กับเอกสารแต่ละฉบับก่อนนำเข้าสู่ระบบ เอกสารที่จัดระเบียบอย่างดี 500 ฉบับจะให้คำตอบที่ดีกว่าเอกสารที่กระจัดกระจาย 5,000 ฉบับ

ขอบเขตของ RAG และจุดรักษาความปลอดภัย

RAG ลดอาการประสาทหลอนแต่ไม่ได้รีเซ็ต หากระบบส่งคืนชิ้นส่วนที่ผิด AI ก็อาจจะยังให้คำตอบที่ผิดโดยยังคง "ภักดี" กับชิ้นส่วนที่ผิดนั้น นอกจากนี้ AI อาจตีความชิ้นส่วนที่ดึงมาผิดหรือรวมชิ้นส่วนหลายชิ้นเข้าด้วยกันในลักษณะที่ขัดแย้งกัน ดังนั้นเอาต์พุต RAG จึงควรได้รับการตรวจสอบโดยไปที่แหล่งที่มา โดยเฉพาะอย่างยิ่งสำหรับการตัดสินใจที่สำคัญ

ความเป็นส่วนตัวถือเป็นประเด็นสำคัญใน RAG ขององค์กร ฐานเอกสารอาจมีข้อมูลที่ละเอียดอ่อน (บุคลากร สัญญา กลยุทธ์) ระบบไม่ควรสร้างการตอบกลับจากเอกสารที่ไม่ได้รับอนุญาตจากผู้ใช้ การควบคุมการเข้าถึง (ผู้ที่สามารถดูเอกสารใด) ควรใช้กับ RAG ด้วย มิฉะนั้น พนักงานอาจเข้าถึงข้อมูลผ่าน RAG ที่เขามองไม่เห็น

ข้อควรสนใจ: แม้จะอ้างอิงเอกสาร RAG ก็ไม่รับประกันว่าเอกสารนั้นจะทันสมัยและถูกต้อง ระบบอาจตอบกลับจากเอกสารขั้นตอนเก่าเมื่อสามปีที่แล้ว เป็นความรับผิดชอบของผู้ใช้และผู้จัดการข้อมูลในการตรวจสอบวันที่และความถูกต้องของเอกสารต้นฉบับ

มินิเคสสามอัน

กรณีที่ 1 — คำถามเชิงขั้นตอนเร่งรัด องค์กรหนึ่งได้จัดตั้งระบบ RAG สำหรับคู่มือขั้นตอนภายในจำนวน 1,200 หน้า คำถาม "ทำอย่างไร" ของพนักงานได้รับการแก้ไขภายในไม่กี่วินาทีพร้อมคำตอบที่ระบุแหล่งที่มา ระยะเวลาการโทรโดยเฉลี่ยลดลงจาก 25 นาทีเป็น 2 นาที เนื่องจากคำตอบแต่ละรายการเชื่อมโยงกับส่วนของเอกสารที่ใช้ พนักงานจึงสามารถตรวจสอบได้

กรณีที่ 2 — เอกสารเก่าที่ถูกยึด ระบบ RAG ตอบคำถามขั้นตอนการอนุญาตจากเอกสารเก่าลงวันที่ปี 2021 อย่างไรก็ตาม เวอร์ชันอัปเดตเปิดตัวในปี 2024 พนักงานที่เปิดลิงก์แหล่งที่มาสังเกตเห็นว่าวันที่นั้นล้าสมัยและพบเอกสารที่อัปเดต ตัวจัดการข้อมูลลบเวอร์ชันเก่าออกจากฐานเอกสาร

กรณีที่ 3 — ป้องกันการเข้าถึงโดยไม่ได้รับอนุญาต ในการตั้งค่าเริ่มต้น RAG จะสแกนเอกสารทั้งหมดแบบสาธารณะ พนักงานได้รับคำตอบจากเอกสารเงินเดือนที่เขาไม่ควรเห็น ทีมงานได้เพิ่มการควบคุมการเข้าถึงไปยัง RAG: ขณะนี้ระบบจะสร้างการตอบกลับจากเอกสารที่ผู้ใช้ได้รับอนุญาตเท่านั้น

การประเมินผล ข้อเสนอแนะ และการปรับปรุงอย่างต่อเนื่อง

ระบบ RAG ไม่ใช่เครื่องมือที่จะติดตั้งเพียงครั้งเดียวและลืมไป ต้องมีการประเมินและปรับปรุงอย่างต่อเนื่อง พื้นฐานสำหรับสิ่งนี้คือการวัดคำตอบของระบบต่อคำถามจริงเป็นประจำ คำถามสองข้อมีความสำคัญ: ระบบดึงข้อมูลชิ้นส่วนเอกสารที่ถูกต้อง (คุณภาพการเข้าถึง) และให้การตอบสนองที่ถูกต้องจากชิ้นส่วนที่ดึงมา (คุณภาพการผลิต) หรือไม่ จำเป็นต้องประเมินสองชั้นนี้แยกกัน เพราะการนำเอกสารที่ถูกต้องมาตีความผิดและการนำเอกสารผิดมาโอนอย่างซื่อสัตย์นั้นเป็นปัญหาที่แตกต่างกันและต้องการวิธีแก้ไขที่แตกต่างกัน แนวทางปฏิบัติที่ดีคือเก็บชุด "คำถามทดสอบ" ไว้พร้อมกับคำตอบที่ถูกต้อง และทดสอบระบบด้วยชุดนี้ในการอัพเดตแต่ละครั้ง นอกจากนี้ ความคิดเห็นของผู้ใช้ "คำตอบนี้มีประโยชน์ / แหล่งที่มาถูกต้องหรือไม่" เผยให้เห็นทั้งช่องว่างในฐานเอกสารและส่วนที่ดึงข้อมูลไม่ถูกต้อง AI สามารถช่วยรวบรวมข้อเสนอแนะนี้และสรุปประเภทของคำถามที่ล้มเหลวบ่อยที่สุด แต่การตัดสินใจว่าจะเพิ่ม อัปเดต หรือลบเอกสารใดเป็นของผู้จัดการข้อมูล ระบบต้องการการดูแลเหมือนสิ่งมีชีวิต RAG ที่ถูกละเลยจะทำให้เข้าใจผิดมากขึ้นเนื่องจากเอกสารที่มีอายุมากขึ้นเมื่อเวลาผ่านไป

เคล็ดลับ: ทันทีที่คุณตั้งค่าระบบ RAG ให้เตรียมชุดทดสอบเล็กๆ ที่ประกอบด้วยคำถามจริง 20-30 ข้อและคำตอบที่ถูกต้อง การเรียกใช้ชุดนี้พร้อมกับการอัปเดตเอกสารแต่ละครั้งจะแสดงทันทีว่าการเปลี่ยนแปลงปรับปรุงหรือทำให้ระบบเสียหายหรือไม่

เทมเพลตที่สามารถคัดลอกได้สี่แบบ

1) Source based response prompt:

บทบาทของคุณ: ผู้ช่วยข้อมูลองค์กร ด้านล่างนี้เป็นเอกสารประกอบเกี่ยวกับคำถาม ให้คำตอบตามชิ้นส่วนเหล่านี้เท่านั้น และระบุว่ามาจากเอกสาร/ชิ้นส่วนใดของข้อมูลแต่ละชิ้น หากไม่มีคำตอบในส่วนต่างๆ ให้บอกว่า “ข้อมูลนี้ไม่รวมอยู่ในเอกสารที่ให้มา” อย่าเดานะครับ คำถาม: [ที่นี่] / อะไหล่: [ที่นี่]

2) ความขัดแย้งและการควบคุมสกุลเงิน:

มีความขัดแย้งหรือเวอร์ชันลงวันที่ที่แตกต่างกันระหว่างส่วนต่อไปนี้หรือไม่? หากเป็นเช่นนั้น ให้ทำเครื่องหมายและระบุว่าอันไหนดูทันสมัยกว่ากัน ชิ้นส่วน (มีวันที่): [ที่นี่]

3) การตรวจสอบการทำความสะอาดฐานเอกสาร:

ในรายการเอกสารด้านล่าง มีเอกสารที่ล้าสมัย ขัดแย้งกัน หรือแหล่งที่มาไม่แน่นอนที่จำเป็นต้องแยกออกก่อนนำเข้าสู่ระบบ RAG หรือไม่ ทำเครื่องหมายและเขียนว่าทำไม รายชื่อ (พร้อมวันที่/แหล่งที่มา): [ที่นี่]

4) ความเป็นส่วนตัวและการควบคุมการเข้าถึงล่วงหน้า:

ส่วนเอกสารต่อไปนี้มีข้อมูลที่ละเอียดอ่อน (ข้อมูลส่วนบุคคล ข้อตกลงที่เป็นความลับ กลยุทธ์) หรือไม่ จำแนกแต่ละรายการเป็น "การเข้าถึงแบบสาธารณะ/แบบจำกัด" และให้เหตุผล แทร็ก: [ที่นี่]

พรอมต์อ่อน / พรอมต์แรง

พรอมต์ที่อ่อนแอ:

อธิบายขั้นตอนการขอใบอนุญาตของสถาบันของเรา

หากไม่มีเอกสารให้ AI จะสร้างขั้นตอนที่สร้างขึ้นจากหน่วยความจำทั่วไปหรือจากการดำเนินการของสถาบันอื่น อาจไม่เกี่ยวข้องกับกฎเกณฑ์ที่แท้จริงของสถาบัน

พรอมต์อันทรงพลัง:

บทบาทของคุณ: ผู้ช่วยข้อมูลองค์กร ด้านล่างนี้คือเอกสาร (พร้อมวันที่) เกี่ยวกับขั้นตอนการอนุญาตของสถาบัน ตอบคำถามตามส่วนเหล่านี้เพียงอย่างเดียว โดยอ้างอิงเอกสารต้นฉบับและวันที่ในแต่ละขั้นตอน หากส่วนต่างๆ ขัดแย้งกัน ให้ใช้ส่วนล่าสุดแล้วพูดเช่นนั้น หากไม่มีอยู่ในเอกสาร ให้พูดว่า "ไม่มีข้อมูล" คำถาม: [ที่นี่] / อะไหล่: [ที่นี่]

พรอมต์อันทรงพลัง; เชื่อมโยงคำตอบกับเอกสารของสถาบันจริง ถามแหล่งที่มาและวันที่ และแก้ไขข้อขัดแย้งและช่องว่างอย่างตรงไปตรงมา

ส่วนประกอบ RAG และตารางความเสี่ยง

ส่วนประกอบ

ฟังก์ชั่น

ความเสี่ยงหลัก

การประกัน

ฐานเอกสาร

ที่มาของคำตอบ

เอกสารล้าสมัย/ขัดแย้งกัน

ความสะอาด ประวัติความเป็นมา

การเรียกคืน

ค้นหาส่วนที่เกี่ยวข้อง

ชิ้นผิด

การทดสอบคุณภาพข้อเสนอแนะ

การผลิต

ตอบกลับ

ความคิดเห็นที่ผิด

แหล่งอ้างอิง, การตรวจสอบ

การควบคุมการเข้าถึง

การตรวจสอบอำนาจ

การเปิดเผยโดยไม่ได้รับอนุญาต

ข้อจำกัดตามผู้ใช้

ข้อผิดพลาดทั่วไป

• การสร้างฐานเอกสารสกปรก เอกสารที่ล้าสมัย/ขัดแย้งกันทำให้เกิดการตอบสนองที่ไม่ดี
• การยอมรับคำตอบโดยไม่ต้องอ้างอิงแหล่งที่มา The purpose of RAG is traceability.
• ไม่ตรวจสอบวันที่เอกสาร คำตอบที่คิดว่าจะอัปเดตมาจากเวอร์ชันเก่า
• ข้ามการควบคุมการเข้าถึง บุคคลที่ไม่ได้รับอนุญาตเข้าถึงข้อมูลที่ละเอียดอ่อน
• การคิดว่า RAG มีภูมิต้านทานต่ออาการประสาทหลอนอย่างสมบูรณ์ ชิ้นส่วนที่ผิดยังคงให้คำตอบที่ผิด

โดยสรุป

RAG สร้างมูลค่ามหาศาลในการจัดการความรู้โดยการเปลี่ยนหน่วยความจำขององค์กรให้เป็นระบบที่ตอบสนองตามทรัพยากร ต่างจาก AI ทั่วไปตรงที่ลิงก์และหาคำตอบไปยังเอกสารจริงขององค์กร ซึ่งช่วยลดอาการประสาทหลอนได้อย่างมาก แต่ความสำเร็จขึ้นอยู่กับฐานเอกสารที่สะอาดและทันสมัย ​​การเข้าถึงแทร็กที่แม่นยำ การระบุแหล่งที่มา การตรวจสอบวันที่/ปัจจุบัน และการควบคุมการเข้าถึง RAG ไม่ได้รีเซ็ตภาพหลอน คำตอบเชิงวิพากษ์ได้รับการตรวจสอบโดยไปที่แหล่งที่มาและรักษาความลับตั้งแต่ต้น

งานสมัคร

เตรียมเอกสารชุดเล็กๆ (เอกสารจริงหรือเอกสารตัวอย่าง 5-8 ฉบับ พร้อมวันที่) ใส่เวอร์ชันเก่าและเวอร์ชันที่ขัดแย้งกันในปัจจุบันอย่างมีสติ ถามคำถามด้วยเทมเพลต “พร้อมท์การตอบกลับตามแหล่งที่มา” และตรวจสอบว่า AI อ้างอิงแหล่งที่มาหรือไม่ จากนั้นประเมินว่า AI ตรวจพบข้อขัดแย้งและเวอร์ชันปัจจุบันอย่างถูกต้องหรือไม่ด้วยเทมเพลต "การตรวจสอบข้อขัดแย้งและเวอร์ชันปัจจุบัน"

รายการตรวจสอบ

• [ ] ฉันอัปเดตฐานเอกสาร และกำจัดเอกสารเก่า/ที่ขัดแย้งกันออกไป
• [ ] ฉันแน่ใจว่าแต่ละคำตอบชี้ไปที่เอกสารต้นฉบับ
• [ ] ฉันตรวจสอบวันที่และความถูกต้องของเอกสารต้นฉบับ
• [ ] ฉันป้องกันการสร้างการตอบกลับจากเอกสารที่ไม่ได้รับอนุญาตด้วยการควบคุมการเข้าถึง
• [ ] ฉันตรวจสอบคำตอบเชิงวิพากษ์วิจารณ์โดยไปที่เอกสารต้นฉบับ