Lợi nhuận:
- Hiểu cách hoạt động của RAG (phân mảnh, truy cập, tạo phụ thuộc vào tài nguyên) và cách nó giảm ảo giác
- Khả năng nâng cao chất lượng câu trả lời bằng cách thiết lập nền tảng kiến thức cập nhật, rõ ràng, không xung đột và có một nguồn chính xác duy nhất.
- Có khả năng hướng dẫn mô hình 'nếu nó không có trong nguồn, hãy cho tôi biết bạn không biết' và biến những câu hỏi mà nó không thể trả lời thành cải tiến nền tảng kiến thức
Câu trả lời mà bot hoặc trợ lý đại lý đưa ra chỉ tốt khi có thông tin dựa trên đó. Khi khách hàng hỏi "Chiến dịch có tiếp tục không?", câu trả lời đúng không nằm trong bộ nhớ của mô hình mà nằm trong cơ sở tri thức hiện tại của tổ chức. Đó là lý do tại sao trọng tâm của trí tuệ nhân tạo trung tâm cuộc gọi là cơ sở kiến thức (KB): một nguồn tài nguyên cập nhật nơi các sản phẩm, chính sách, Câu hỏi thường gặp, quy trình và quy tắc được lưu giữ bằng văn bản. Và phương pháp kết nối cơ sở kiến thức này với trí tuệ nhân tạo một cách an toàn được gọi là RAG: Thế hệ tăng cường truy xuất - thay vì tạo ra câu trả lời từ bộ nhớ của chính nó, trước tiên, mô hình sẽ truy xuất các phần thông tin có liên quan từ nguồn (truy xuất) và sau đó tạo ra câu trả lời chỉ dựa trên những phần đó (thế hệ).
RAG là phương pháp ngăn ngừa ảo giác mạnh mẽ nhất. Mô hình không tạo ra một con số trong đầu cho câu hỏi "lãi suất cho vay là bao nhiêu?" Nó lấy văn bản quan tâm hiện tại từ cơ sở kiến thức và câu trả lời dựa trên nó. Trong phần này chúng ta sẽ xem cách thiết lập nền tảng kiến thức, cách RAG hoạt động và cách nền tảng kiến thức tốt quyết định chất lượng của câu trả lời.
Cách thức hoạt động của RAG: bốn bước
Hãy nghĩ về RAG giống như một thủ thư. Khách hàng đặt câu hỏi; Trước tiên, hệ thống sẽ tìm các trang liên quan từ kệ bên phải của thư viện, sau đó đọc các trang đó và viết câu trả lời. Các bước kỹ thuật như sau:
- Phân đoạn: Các tài liệu dài trong cơ sở kiến thức được chia thành các phần nhỏ, có ý nghĩa (ví dụ: mỗi Câu hỏi thường gặp là một đoạn). Bởi vì mô hình trả lời một câu hỏi chính xác hơn với các phần nhỏ liên quan.
- Nhúng và lập chỉ mục: Mỗi phần được dịch sang dạng số biểu thị ý nghĩa của nó (nhúng—một chuỗi số biểu thị ý nghĩa của văn bản) và được đặt trong cơ sở dữ liệu có thể tìm kiếm. Như vậy, nó không phải là “so khớp từ” mà là “so khớp nghĩa”; Ngay cả khi khách hàng hỏi "khi nào tiền của tôi sẽ được gửi?", phần "thời gian hoàn tiền" vẫn có thể được tìm thấy.
- Truy xuất: Truy xuất các phần có ý nghĩa gần nhất với câu hỏi của khách hàng (ví dụ: 3-5 phần gần nhất).
- Tạo: Mô hình viết câu trả lời CHỈ dựa trên các phần được vẽ và cho biết nguồn nếu có thể.
Điểm quan trọng nằm ở bước 4: người mẫu được hướng dẫn "chỉ dựa vào những phần đã cho, hoặc nói rằng bạn không biết". Nếu không có hướng dẫn này, RAG sẽ không ngăn cản việc lắp mô hình.
Gợi ý: Nguyên tắc vàng của RAG: “Nếu không có trong nguồn thì không có câu trả lời”. Một hệ thống RAG tốt sẽ nói "Tôi không biết chắc về điều này" đối với một câu hỏi không có trong cơ sở kiến thức; không bao giờ lấp đầy khoảng trống bằng phỏng đoán. Khả năng nói "Tôi không biết" của bot là một tính năng bảo mật chứ không phải điểm yếu.
Nền tảng kiến thức tốt: nguồn thực sự của chất lượng câu trả lời
RAG dù tốt đến đâu nhưng nền tảng kiến thức kém thì câu trả lời cũng tệ. Chất lượng cơ sở tri thức được đo bằng:
tính năng
cơ sở kiến thức tồi
Nền tảng kiến thức tốt
Tính hiện tại
Không được cập nhật trong nhiều tháng
Cập nhật ngay khi thay đổi
Rõ ràng
Văn bản dài, phức tạp
Bài viết ngắn, có chủ đề duy nhất
cấu trúc
Đống PDF lộn xộn
Các chất có thể phân hủy được dán nhãn
tính nhất quán
Hai câu trả lời trái ngược nhau
Nguồn sự thật duy nhất
Phạm vi
Có nhiều khoảng trống
Bao gồm các câu hỏi thường gặp
quyền sở hữu
Không ai chịu trách nhiệm
Mỗi chủ đề đều có chủ sở hữu
Vấn đề nguy hiểm nhất trong bối cảnh trung tâm cuộc gọi là sự mâu thuẫn: nếu hai khoảng thời gian trả lời khác nhau được ghi trong cơ sở kiến thức, RAG sẽ cho biết cần lấy cái nào và một câu trả lời không nhất quán sẽ được gửi đến khách hàng. Đó là lý do tại sao nguyên tắc "nguồn sự thật duy nhất" rất quan trọng: thông tin được cập nhật ở một nơi; Các tài liệu tham khảo đến nguồn đó được sử dụng chứ không phải bản sao.
Từng bước: xây dựng hệ thống phản hồi được RAG hỗ trợ
- Làm sạch nền tảng kiến thức: Loại bỏ các bài viết lỗi thời, xung đột, trùng lặp. Làm cho mỗi bài viết ngắn gọn và có một chủ đề duy nhất.
- Chia nhỏ và gắn thẻ: Thêm thẻ chủ đề và ngày cập nhật lần cuối cho mỗi bài viết.
- Thiết lập quyền truy cập: Kết nối cơ chế kéo các phần liên quan khi được yêu cầu (các công cụ RAG dành cho doanh nghiệp cung cấp tính năng này).
- Viết lời nhắc nghiêm khắc: Nói với người mẫu “chỉ dựa vào những phần được cung cấp, trích dẫn nguồn hoặc nói rằng bạn không biết”.
- Trích dẫn nguồn: Hiển thị bài viết làm cơ sở cho câu trả lời; Nó vừa mang lại sự tự tin vừa tạo điều kiện cho việc xác minh.
- Chú ý những khoảng trống: Thu thập các câu hỏi mà bot nói "Tôi không biết"; Những điều này thể hiện sự thiếu sót trong nền tảng kiến thức, nuôi dưỡng từ đó.
Bốn mẫu có thể sao chép
1) Lời nhắc trả lời RAG nghiêm ngặt:
Trả lời DỰA TRÊN các phần [NGUỒN] sau đây. Quy tắc: (1) chỉ sử dụng thông tin trong nguồn, (2) nếu nó không có trong nguồn, hãy nói "Tôi không có thông tin chắc chắn về điều này, hãy để tôi kết nối bạn với người đại diện", (3) nêu rõ bài viết đó dựa trên [Nguồn: mục-no], (4) trích dẫn chính xác số lượng/thời lượng/điều kiện từ nguồn, không làm tròn/bịa đặt. [NGUỒN]: <<bộ phận kéo>>Câu hỏi: "<<câu hỏi của khách hàng>>"
2) Viết bài cơ sở kiến thức:
Chuyển đổi văn bản chính sách rải rác sau đây thành bài viết Câu hỏi thường gặp phù hợp với RAG. Định dạng: Câu hỏi (bằng ngôn ngữ của khách hàng) / Câu trả lời ngắn (2-3 câu) / Điều kiện (mệnh đề) / Ngày cập nhật gần đây nhất / Thẻ chủ đề. Đánh dấu bất kỳ điểm mơ hồ nào là "cần được làm rõ", giả vờ. Văn bản thô: <<văn bản>>
3) Rà soát những mâu thuẫn, thiếu sót:
Kiểm tra các bài viết cơ sở kiến thức sau đây. (1) Đánh dấu các cặp bài Mâu thuẫn với nhau (ví dụ: thời gian hoàn trả khác nhau). (2) Đoán những chủ đề thường được hỏi nhưng KHÔNG có câu trả lời. Chỉ nhìn vào các bài viết nhất định; xây dựng chính sách mới.Bài viết: <<list>>
4) Cải thiện từ nhật ký "Tôi không biết":
Dưới đây là những câu hỏi mà bot không trả lời được (không tìm được nguồn). Nhóm chúng thành các chủ đề và gợi ý tiêu đề bài viết cần bổ sung vào kho kiến thức cho mỗi nhóm. Đừng bịa đặt nội dung đáp án, chỉ cần cho tôi biết mục nào còn thiếu. Câu hỏi: <<list>>
Dấu nhắc yếu / Dấu nhắc mạnh
Dấu nhắc yếu:
Trả lời câu hỏi trả lại của khách hàng.
Không có nguồn; Mô hình có thể phù hợp với bộ nhớ, số lượng/thời lượng có thể sai, không thể xác minh được.
Lời nhắc mạnh mẽ:
Chỉ trả lời dựa trên điều khoản chính sách hoàn trả bên dưới. Nếu nó không có sẵn trong nguồn, hãy nói "Tôi không biết chắc chắn". Trích dẫn nguyên văn thời gian và tình trạng, dẫn chứng theo mẫu [Nguồn: RETURN-03].[SOURCE: RETURN-03]: "Sản phẩm chưa sử dụng có thể được trả lại trong vòng 14 ngày. Sản phẩm cá nhân hóa không nằm trong phạm vi được hoàn trả." Câu hỏi: "Tôi có thể trả lại sản phẩm cá nhân hóa mà tôi đã mua cách đây 20 ngày không?"
Sự khác biệt: phụ thuộc vào nguồn, bắt buộc phải tham khảo, cấm chế tạo rõ ràng; mô hình tạo ra câu trả lời chính xác ("14 ngày qua và được cá nhân hóa, không hoàn lại") từ nguồn.
ba trường hợp nhỏ
Trường hợp 1 - Chấm dứt ảo giác. Độ chính xác trong câu trả lời của bot viễn thông cho các câu hỏi của chiến dịch là 71% trong thiết lập không có RAG; Mô hình đôi khi tạo nên các chiến dịch cũ. Khi các trang chiến dịch hiện tại được kết nối với RAG và quy tắc "không nói nếu nó không có trong nguồn" được thêm vào, độ chính xác đã tăng lên 96% và những lời phàn nàn về "từ ngữ chiến dịch sai" gần như đã chấm dứt.
Trường hợp 2 - Cái giá của sự mâu thuẫn. Trong kho kiến thức của một công ty thương mại điện tử, hai trang phí vận chuyển khác nhau được viết trên hai trang (một trang hiện tại, một trang cũ bị lãng quên). Robot đã ngẫu nhiên kéo ai đó và báo sai giá cho một số khách hàng. Khi trang cũ được lưu trữ theo nguyên tắc nguồn chính xác duy nhất, sự không nhất quán đã biến mất. Bài học: RAG không giải quyết được mâu thuẫn mà nó tuyên truyền mâu thuẫn như nó vốn có.
Trường hợp 3 - Giá trị của nhật ký “Tôi không biết”. Tại một ngân hàng, bot nói "Tôi không biết chắc chắn" với khoảng 4.000 câu hỏi mỗi tháng. Khi gộp các câu hỏi này lại, người ta thấy 40% là về “sử dụng thẻ quốc tế”; Không có bài viết nào về nó. Khi các mục liên quan được thêm vào, những câu hỏi này đã được giải quyết và doanh thu từ những người về chủ đề đó giảm 55%. Việc bot nói rằng nó không biết đã trở thành lộ trình để cải thiện.
Những lỗi thường gặp
- Trả lời mà không liên kết với nguồn. Không có RAG, mô hình phù hợp với thông tin cụ thể; Bất kỳ câu trả lời cụ thể nào cũng phải phụ thuộc vào nguồn.
- Tắt tùy chọn "Tôi không biết". Việc buộc người mẫu phải trả lời mọi câu hỏi sẽ đảm bảo sự phù hợp.
- Không xóa thông tin xung đột/cũ. RAG lan truyền mâu thuẫn; Một nguồn chính xác duy nhất là điều cần thiết.
- Bỏ qua việc cắt nhỏ. Việc xuất các tệp PDF lớn sẽ làm gián đoạn việc truy cập chính xác; Sử dụng các bài viết ngắn, có một chủ đề.
- Ẩn nguồn. Việc không chỉ ra câu trả lời dựa trên điều gì sẽ làm suy yếu khả năng xác minh và lòng tin.
Thận trọng: RAG cải thiện độ chính xác nhưng không đảm bảo 100%. Mô hình đôi khi có thể hiểu sai phần được chụp. Vì vậy, các vấn đề tài chính, pháp lý và an ninh đều cần có sự chấp thuận của con người ngay cả khi trích dẫn nguồn; RAG làm giảm ảo giác nhưng không loại bỏ trách nhiệm.
Tóm lại
Cơ sở kiến thức và RAG là nền tảng cho tính chính xác của AI của trung tâm cuộc gọi. RAG ngăn chặn phần lớn ảo giác bằng cách ngăn mô hình khớp câu trả lời từ bộ nhớ và chỉ dựa vào nguồn hiện tại. Nhưng RAG chỉ tốt khi có nền tảng kiến thức của nó: một nền tảng kiến thức cập nhật, rõ ràng, có cấu trúc, không xung đột và có một nguồn thông tin chính xác duy nhất là điều cần thiết. Nói với mô hình "nếu nó không có trong nguồn, hãy cho tôi biết bạn không biết", chỉ vào nguồn và sử dụng các câu hỏi mà bot không thể trả lời để cải thiện nền tảng kiến thức của nó. Duy trì sự đồng ý của con người bất chấp nguồn gốc của các vấn đề có tính rủi ro cao.
Nhiệm vụ ứng dụng
Viết 8 câu hỏi thực tế/thực tế của khách hàng trong ngành của bạn và 8 bài viết cơ sở kiến thức ngắn tương ứng (mỗi bài: câu hỏi, câu trả lời ngắn, điều kiện, ngày tháng, thẻ). Sau đó, kiểm tra xem mô hình có thể nói “Tôi không biết” hay không bằng cách sử dụng mẫu “1) Lời nhắc trả lời RAG chặt chẽ” và đặt một câu hỏi, một trong số đó không có trong cơ sở kiến thức. Cuối cùng, hãy kiểm tra bài viết của bạn bằng phần "3) Quét mâu thuẫn và khoảng cách".
danh sách kiểm tra
- [ ] Mọi câu trả lời cụ thể do bot/trợ lý đưa ra đều phụ thuộc vào nền tảng kiến thức hiện tại (thông qua RAG).
- [ ] Tôi đã hướng dẫn mẫu “nếu không có trong nguồn thì bảo không biết” và test thử.
- [ ] Cơ sở kiến thức của tôi bao gồm các bài viết cập nhật, rõ ràng, theo một chủ đề.
- [ ] Tôi đã xóa những bài viết cũ và mâu thuẫn; Chỉ có một nguồn chính xác cho tất cả thông tin.
- [ ] Câu trả lời cho biết nó dựa trên bài viết nào (nguồn).
- [ ] Tôi thu thập các câu hỏi “Tôi không biết” và cung cấp nền tảng kiến thức.