Lợi nhuận:
- Hiểu cách RAG giảm ảo giác bằng cách liên kết và tham khảo câu trả lời với tài liệu thực tế của tổ chức và áp dụng tầm quan trọng của cơ sở tài liệu sạch sẽ
- Khả năng kiểm tra nguồn, ngày và loại tiền của đầu ra RAG và phân biệt các phiên bản xung đột
- Khả năng bảo vệ quyền riêng tư của công ty bằng cách ngăn chặn phản hồi từ các tài liệu trái phép bằng kiểm soát truy cập
Bộ nhớ của một tổ chức tồn tại trong hàng nghìn tài liệu rải rác: báo cáo, sổ tay, biên bản, thủ tục, email. Một nhân viên có thể tìm kiếm tài liệu hàng giờ để trả lời một câu hỏi đơn giản (“quy trình này hoạt động như thế nào?”). Ước mơ của người quản lý kiến thức là trí nhớ này có thể cung cấp những câu trả lời trực tiếp nhưng dựa trên nguồn gốc cho các câu hỏi. Đây chính xác là những gì RAG hứa hẹn. Trong phần này, bạn sẽ tìm hiểu RAG là gì, cách sử dụng nó trong quản lý thông tin doanh nghiệp và cách bảo mật nó về mặt chính xác, bảo mật và kịp thời.
Hãy xác định khái niệm. RAG (Thế hệ tăng cường truy xuất) là khi AI trả lời một câu hỏi bằng cách trước tiên tìm (truy xuất) các phần có liên quan từ tài liệu của chính tổ chức và sau đó tạo ra câu trả lời chỉ dựa trên những phần đó. Điều này về cơ bản khác với AI thông thường tạo ra câu trả lời từ bộ nhớ: RAG liên kết và tìm nguồn câu trả lời cho các tài liệu thực, có thể theo dõi được. Như vậy ảo giác giảm đi rất nhiều vì AI nói từ tài liệu của cơ quan chứ không phải từ "cái đầu" của nó.
Từng bước: tìm hiểu hệ thống RAG doanh nghiệp
1. Chuẩn bị cơ sở tài liệu. Các tài liệu cập nhật, đáng tin cậy của tổ chức được thu thập, làm sạch và chia thành các phần (các phần nhỏ có ý nghĩa của tài liệu). Nếu tài liệu xấu, lỗi thời hoặc xung đột xâm nhập vào hệ thống, phản hồi sẽ rất tệ: “rác vào, rác ra”.
2. Nhúng và lập chỉ mục. Mỗi đoạn được chuyển đổi thành một vectơ (nhúng) biểu thị ý nghĩa của nó và đưa vào chỉ mục có thể tìm kiếm. Khi một câu hỏi xuất hiện, hệ thống sẽ tìm những phần gần nghĩa nhất.
3. Mang theo những bộ phận liên quan. Khi một câu hỏi được đặt ra, hệ thống sẽ lấy một số phần có liên quan nhất từ cơ sở tài liệu. Bước này rất quan trọng: nếu đưa sai quân cờ thì đáp án cũng sẽ sai.
4. Tạo phản hồi dựa trên nguồn. AI tạo ra phản hồi chỉ dựa trên các đoạn được tìm nạp và cho biết nó lấy từ tài liệu nào. Phản hồi không trích dẫn nguồn là trái với mục đích của RAG.
5. Xác minh và báo cáo lại. Người dùng có thể truy cập nguồn được hiển thị và xác nhận câu trả lời. Các câu trả lời sai hoặc không đầy đủ sẽ trở thành phản hồi để cải thiện cơ sở tài liệu.
Mẹo: Chất lượng của RAG phần lớn phụ thuộc vào chất lượng của cơ sở tài liệu. Cập nhật tài liệu, loại bỏ các phiên bản xung đột/lỗi thời, đồng thời thêm thông tin ngày và xuất xứ cho từng tài liệu trước khi đưa vào hệ thống. 500 tài liệu được tổ chức tốt sẽ tạo ra câu trả lời tốt hơn 5.000 tài liệu rải rác.
Biên giới và điểm an ninh của RAG
RAG làm giảm ảo giác nhưng không thiết lập lại nó. Nếu hệ thống trả lại mảnh sai, AI vẫn có thể đưa ra câu trả lời sai bằng cách vẫn “trung thành” với mảnh sai đó. Ngoài ra, AI có thể hiểu sai các phần được tìm nạp hoặc kết hợp nhiều phần theo những cách trái ngược nhau. Do đó, đầu ra RAG cũng cần được xác minh bằng cách truy cập nguồn, đặc biệt đối với các quyết định quan trọng.
Quyền riêng tư là vấn đề trọng tâm trong RAG của công ty. Cơ sở tài liệu có thể chứa thông tin nhạy cảm (nhân sự, hợp đồng, chiến lược). Hệ thống không được tạo phản hồi từ các tài liệu không được người dùng ủy quyền; Kiểm soát truy cập (ai có thể xem tài liệu nào) cũng nên được áp dụng cho RAG. Nếu không, nhân viên có thể truy cập thông tin qua RAG mà anh ta không thể nhìn thấy.
Lưu ý: Ngay cả khi trích dẫn một tài liệu, RAG cũng không đảm bảo rằng tài liệu đó là cập nhật và chính xác. Hệ thống có thể phản hồi từ một tài liệu thủ tục cũ từ ba năm trước. Trách nhiệm của người dùng và người quản lý thông tin là kiểm tra ngày tháng và tính hợp lệ của tài liệu nguồn.
ba trường hợp nhỏ
Trường hợp 1 - Các câu hỏi về thủ tục được tăng tốc. Một tổ chức đã thiết lập hệ thống RAG cho các sổ tay hướng dẫn quy trình nội bộ dài 1.200 trang. Câu hỏi "làm thế nào để thực hiện việc này" của nhân viên đã được giải quyết trong vòng vài giây với câu trả lời nêu rõ nguồn; Thời lượng cuộc gọi trung bình giảm từ 25 phút xuống còn 2 phút. Bởi vì mỗi câu trả lời đều được liên kết với phần tài liệu làm cơ sở cho câu trả lời đó nên nhân viên có thể xác minh nó.
Trường hợp 2 - Tài liệu cũ bị bắt. Hệ thống RAG đã trả lời câu hỏi về thủ tục cấp phép từ một tài liệu cũ ngày 2021; Tuy nhiên, phiên bản cập nhật đã được phát hành vào năm 2024. Nhân viên mở liên kết nguồn nhận thấy ngày tháng đã lỗi thời và tìm thấy tài liệu cập nhật. Người quản lý thông tin đã xóa phiên bản cũ khỏi cơ sở tài liệu.
Trường hợp 3 - Ngăn chặn truy cập trái phép. Trong thiết lập ban đầu, RAG đã quét công khai tất cả tài liệu; một nhân viên đã nhận được phản hồi từ một tài liệu trả lương mà anh ta không được phép xem. Nhóm đã thêm kiểm soát quyền truy cập vào RAG: hệ thống hiện chỉ tạo phản hồi từ các tài liệu mà người dùng được ủy quyền.
Đánh giá, phản hồi và cải tiến liên tục
Hệ thống RAG không phải là một công cụ được cài đặt một lần rồi quên đi; Nó đòi hỏi sự đánh giá và cải tiến liên tục. Cơ sở cho việc này là việc đo lường thường xuyên các câu trả lời của hệ thống cho các câu hỏi thực tế. Hai câu hỏi rất quan trọng: hệ thống có tìm nạp đúng các phần tài liệu (chất lượng truy cập) không và nó có tạo ra phản hồi chính xác từ các phần được tìm nạp (chất lượng sản xuất) không? Cần phải đánh giá riêng hai lớp này; Bởi vì mang đúng tài liệu và hiểu sai và mang tài liệu sai và chuyển giao trung thực là những vấn đề khác nhau và cần có những giải pháp khác nhau. Một cách thực hành tốt là giữ một bộ "câu hỏi kiểm tra" với các câu trả lời đúng đã biết và kiểm tra hệ thống bằng bộ này vào mỗi lần cập nhật. Ngoài ra, phản hồi "câu trả lời này có hữu ích hay nguồn chính xác" của người dùng cho thấy cả những lỗ hổng trong cơ sở tài liệu và các phần được tìm nạp không chính xác. AI có thể giúp tổng hợp phản hồi này và tóm tắt các loại câu hỏi thường gặp lỗi nhất; Nhưng quyết định thêm, cập nhật hoặc xóa tài liệu nào thuộc về người quản lý thông tin. Hệ thống cần được chăm sóc như một cơ thể sống; RAG bị bỏ quên ngày càng trở nên sai lệch do tài liệu cũ đi theo thời gian.
Mẹo: Ngay khi bạn thiết lập hệ thống RAG, hãy chuẩn bị một bộ bài kiểm tra nhỏ gồm 20-30 câu hỏi thực tế và các câu trả lời đúng đã biết. Chạy bộ này với mỗi bản cập nhật tài liệu sẽ ngay lập tức hiển thị liệu một thay đổi sẽ cải thiện hay phá vỡ hệ thống.
Bốn mẫu có thể sao chép
1) Lời nhắc phản hồi dựa trên nguồn:
Vai trò của bạn: trợ lý thông tin công ty. Dưới đây là những phần tài liệu được đưa ra liên quan đến câu hỏi. Đưa ra câu trả lời CHỈ dựa trên những phần này và nêu rõ tài liệu/mảnh cho từng phần thông tin đó đến từ đâu. Nếu không có câu trả lời ở các phần, hãy nói "thông tin này không có trong tài liệu được cung cấp", đừng đoán. Câu hỏi: [tại đây] / Phần: [tại đây]
2) Mâu thuẫn và kiểm soát tiền tệ:
Có bất kỳ mâu thuẫn hoặc phiên bản khác nhau nào giữa các phần sau không? Nếu vậy, hãy đánh dấu nó và cho biết cái nào có vẻ cập nhật hơn. Các bộ phận (có ngày): [tại đây]
3) Kiểm tra vệ sinh cơ sở hồ sơ:
Trong danh sách tài liệu bên dưới, có tài liệu nào lỗi thời, xung đột, hoặc không rõ nguồn gốc cần được sắp xếp trước khi đưa vào hệ thống RAG không? Đánh dấu và viết tại sao. Danh sách (có ngày/nguồn): [tại đây]
4) Kiểm soát trước quyền riêng tư và quyền truy cập:
Các đoạn tài liệu sau có chứa thông tin nhạy cảm (dữ liệu cá nhân, thỏa thuận bí mật, chiến lược) không? Phân loại từng loại là "quyền truy cập công khai/hạn chế" và đưa ra lời giải thích. Bài hát: [tại đây]
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Giải thích thủ tục cấp phép của tổ chức chúng tôi.
Nếu không có tài liệu nào được cung cấp, AI sẽ tạo ra một quy trình tự tạo từ bộ nhớ chung của nó hoặc từ việc triển khai của các tổ chức khác; Nó có thể không liên quan đến quy định thực tế của tổ chức.
Lời nhắc mạnh mẽ:
Vai trò của bạn: trợ lý thông tin công ty. Dưới đây là các tài liệu (có ngày tháng) liên quan đến thủ tục cấp phép của cơ sở. Trả lời câu hỏi chỉ dựa trên những phần này, trích dẫn tài liệu nguồn và ngày tháng ở mỗi bước. Nếu các phần xung đột, hãy sử dụng phần mới nhất và nói như vậy. Nếu nó không có trong tài liệu, hãy nói "không có thông tin". Câu hỏi: [tại đây] / Phần: [tại đây]
Lời nhắc mạnh mẽ; liên kết câu trả lời với các tài liệu thực tế của tổ chức, hỏi nguồn và ngày tháng, đồng thời giải quyết một cách trung thực những mâu thuẫn và khoảng trống.
Bảng thành phần và rủi ro RAG
thành phần
chức năng
Rủi ro chính
Đảm bảo
Cơ sở tài liệu
Nguồn câu trả lời
Tài liệu lỗi thời/mâu thuẫn
Sự sạch sẽ, lịch sử, nguồn gốc
Truy xuất
Tìm phần có liên quan
mảnh sai
Kiểm tra chất lượng, phản hồi
Sản xuất
trả lời
bình luận sai
Trích dẫn nguồn, xác minh
Kiểm soát truy cập
Kiểm tra thẩm quyền
tiết lộ trái phép
Hạn chế dựa trên người dùng
Những lỗi thường gặp
- Thiết lập một cơ sở tài liệu bẩn. Tài liệu lỗi thời/mâu thuẫn tạo ra phản hồi không tốt.
- Chấp nhận câu trả lời mà không trích dẫn nguồn. Mục đích của RAG là truy xuất nguồn gốc.
- Không kiểm tra ngày của tài liệu. Câu trả lời được cho là sẽ được cập nhật đến từ phiên bản cũ.
- Bỏ qua kiểm soát truy cập. Người không được phép truy cập thông tin nhạy cảm.
- Nghĩ rằng RAG hoàn toàn miễn nhiễm với ảo giác. Mảnh sai vẫn tạo ra câu trả lời sai.
Tóm lại
RAG tạo ra giá trị lớn trong việc quản lý kiến thức bằng cách chuyển đổi bộ nhớ của tổ chức thành hệ thống đáp ứng dựa trên tài nguyên; Không giống như AI thông thường, nó liên kết và tìm nguồn câu trả lời cho các tài liệu thực tế của tổ chức, do đó làm giảm đáng kể ảo giác. Nhưng thành công phụ thuộc vào cơ sở tài liệu rõ ràng và cập nhật, quyền truy cập theo dõi chính xác, phân bổ nguồn, kiểm tra ngày/tính hiện tại và kiểm soát quyền truy cập. RAG không thiết lập lại ảo giác; Các câu trả lời quan trọng được xác minh bằng cách truy cập nguồn và tính bảo mật được tôn trọng ngay từ đầu.
Nhiệm vụ ứng dụng
Chuẩn bị một bộ hồ sơ nhỏ (5-8 hồ sơ thực tế hoặc mẫu của cơ quan, có ghi ngày tháng); Có ý thức đưa vào một phiên bản cũ và một phiên bản xung đột hiện tại. Đặt câu hỏi với mẫu “Lời nhắc phản hồi dựa trên nguồn” và kiểm tra xem AI có trích dẫn nguồn hay không. Sau đó đánh giá xem AI có phát hiện chính xác xung đột và phiên bản hiện tại hay không bằng mẫu "Xung đột và kiểm tra phiên bản hiện tại".
danh sách kiểm tra
- [ ] Tôi đã cập nhật cơ sở tài liệu, loại bỏ các tài liệu cũ/xung đột.
- [ ] Tôi đảm bảo rằng mỗi câu trả lời đều dẫn đến tài liệu nguồn.
- [ ] Tôi đã kiểm tra ngày tháng và tính hợp lệ của các tài liệu nguồn.
- [ ] Tôi đã ngăn chặn việc tạo ra phản hồi từ các tài liệu trái phép bằng tính năng kiểm soát truy cập.
- [ ] Tôi đã xác minh các phản hồi quan trọng bằng cách truy cập tài liệu gốc.