Zyski:
- Zrozum, jak działa RAG (fragmentacja, dostęp, generowanie zależne od zasobów) i jak zmniejsza halucynacje
- Możliwość podnoszenia jakości odpowiedzi poprzez stworzenie bazy wiedzy, która jest aktualna, przejrzysta, bezkonfliktowa i ma jedno prawidłowe źródło.
- Możliwość poinstruowania modelu „jeśli nie ma go w źródle, powiedz mi, że nie wiesz” i przekształcenia pytań, na które nie może odpowiedzieć, w ulepszenie bazy wiedzy
Odpowiedź udzielona przez bota lub asystenta agenta jest tak dobra, jak informacje, na których jest oparta. Kiedy klient pyta „Czy kampania trwa?”, prawidłowa odpowiedź nie znajduje się w pamięci modela, ale w aktualnej bazie wiedzy instytucji. Dlatego sercem sztucznej inteligencji call center jest baza wiedzy (KB): aktualne źródło informacji, w którym produkty, zasady, często zadawane pytania, procedury i zasady są przechowywane w formie pisemnej. Metoda, która bezpiecznie łączy tę bazę wiedzy ze sztuczną inteligencją, nazywa się RAG: Retrieval-Augmented Generation — zamiast tworzyć odpowiedź z własnej pamięci, model najpierw pobiera odpowiednie informacje ze źródła (wyszukiwanie), a następnie generuje odpowiedź wyłącznie na podstawie tych fragmentów (generowanie).
RAG to najskuteczniejsza metoda zapobiegania halucynacji. Model nie generuje w głowie liczby na pytanie „jakie jest oprocentowanie kredytu?” Pobiera aktualny tekst zainteresowania z bazy wiedzy i na jego podstawie odpowiada. W tej części zobaczymy, jak skonfigurować bazę wiedzy, jak działa RAG i jak dobra baza wiedzy determinuje jakość odpowiedzi.
Jak działa RAG: cztery kroki
Pomyśl o RAG jak o bibliotekarzu. Klient zadaje pytania; System najpierw wyszukuje odpowiednie strony z prawej półki biblioteki, następnie czyta te strony i zapisuje odpowiedź. Etapy techniczne są następujące:
- Dzielenie na kawałki: Długie dokumenty w bazie wiedzy są dzielone na małe, znaczące części (np. każde często zadawane pytania to fragment). Ponieważ model odpowiada na pytanie dokładniej, korzystając z powiązanych małych części.
- Osadzanie i indeksowanie: Każdy fragment jest tłumaczony na postać liczbową reprezentującą jego znaczenie (osadzanie – ciąg liczb reprezentujących znaczenie tekstu) i umieszczany w przeszukiwalnej bazie danych. Zatem nie jest to „dopasowanie słów”, ale „dopasowanie znaczeń”; Nawet jeśli klient zapyta „kiedy zostaną zdeponowane pieniądze?”, może pojawić się informacja o „okresie zwrotu”.
- Wyszukiwanie: Wyszukiwane są części najbliższe pytaniu klienta (np. najbliższe 3-5 części).
- Generowanie: Model zapisuje odpowiedź WYŁĄCZNIE na podstawie narysowanych części i wskazuje źródło, jeśli to możliwe.
Punkt krytyczny znajduje się w kroku 4: model otrzymuje polecenie „po prostu polegaj na danych elementach lub powiedz, że nie wiesz”. Bez tej instrukcji RAG nie uniemożliwia dopasowania modelu.
Wskazówka: złota zasada RAG: „Jeśli nie ma tego w źródle, nie ma odpowiedzi”. Dobry system RAG powie „Nie wiem tego na pewno” na pytanie, którego nie ma w bazie wiedzy; nigdy nie wypełnia luki domysłami. Zdolność bota do powiedzenia „nie wiem” jest cechą bezpieczeństwa, a nie słabością.
Dobra baza wiedzy: prawdziwe źródło jakości odpowiedzi
Nieważne, jak dobry jest RAG, jeśli baza wiedzy jest zła, odpowiedź jest zła. Jakość bazy wiedzy mierzona jest poprzez:
funkcja
zła baza wiedzy
Dobra baza wiedzy
Aktualność
Nieaktualizowane od miesięcy
Aktualizowane natychmiast po zmianie
Przejrzystość
Długi i zawiły tekst
Krótkie, jednotematyczne artykuły
struktura
Brudny stos plików PDF
Oznakowane substancje ulegające rozkładowi
Spójność
Dwie sprzeczne odpowiedzi
Pojedyncze źródło prawdy
Zakres
Jest wiele luk
Obejmuje często zadawane pytania
własność
Nikt nie jest odpowiedzialny
Każdy temat ma swojego właściciela
Najbardziej niebezpiecznym problemem w kontekście call center jest sprzeczność: jeśli w bazie wiedzy zapisane zostaną dwa różne terminy zwrotu, RAG powie, który wybierze, a do klienta zostanie wysłana niespójna odpowiedź. Dlatego też zasada „jednego źródła prawdy” ma kluczowe znaczenie: aktualne informacje znajdują się w jednym miejscu; Wykorzystuje się odniesienia do tego źródła, a nie kopie.
Krok po kroku: budowanie systemu reagowania wspieranego przez RAG
- Wyczyść bazę wiedzy: Usuń nieaktualne, sprzeczne i zduplikowane artykuły. Niech każdy artykuł będzie krótki i zawierał jeden temat.
- Podziel go i oznacz tagiem: Dodaj tag tematu i datę ostatniej aktualizacji do każdego artykułu.
- Zapewnij dostęp: podłącz mechanizm, który wyciąga odpowiednie części na żądanie (zapewniają to narzędzia RAG dla przedsiębiorstw).
- Napisz konkretną zachętę: Powiedz modelowi, że „polega tylko na dostarczonych częściach, podaj źródło lub powiedz, że nie wiesz”.
- Podaj źródło: pokaż artykuł, na którym opiera się odpowiedź; Daje to pewność i ułatwia weryfikację.
- Uważaj na luki: Zbieraj pytania, w których bot mówi „nie wiem”; Pokazują one braki w bazie wiedzy, z której czerpią energię.
Cztery szablony do kopiowania
1) Podpowiedź ścisłej odpowiedzi RAG:
Odpowiedź OPARTA na następujących częściach [ŹRÓDŁO]. Zasady: (1) korzystaj wyłącznie z informacji znajdujących się w źródle, (2) jeśli nie ma ich w źródle, powiedz „Nie mam na ten temat jednoznacznych informacji, pozwól, że połączę Cię z przedstawicielem”, (3) określ, na którym artykule opiera się informacja, jako [Źródło: pozycja-nr], (4) podaj kwotę/czas trwania/stan dokładnie ze źródła, nie zaokrąglaj/nie uzupełniaj. [ŹRÓDŁO]: <<wyciągnięte części>>Pytanie: „<<pytanie klienta>>”
2) Pisanie artykułów w bazie wiedzy:
Przekształć następujący rozproszony tekst zasad w artykuł FAQ odpowiedni dla RAG. Format: Pytanie (w języku klienta) / Krótka odpowiedź (2-3 zdania) / Warunki (klauzula) / Data ostatniej aktualizacji / Tag tematu. Oznacz wszelkie niejednoznaczne punkty jako „do wyjaśnienia”, udawaj, że wierzysz. Surowy tekst: <<tekst>>
3) Skanowanie pod kątem sprzeczności i luk:
Przejrzyj następujące artykuły bazy wiedzy. (1) Zaznacz pary artykułów, które Kłócą się ze sobą (np. inny okres zwrotu). (2) Odgadnij tematy, które będą często zadawane, ale NIE MA odpowiedzi. Spójrz tylko na podane artykuły; tworzenie nowej polityki.Artykuły: <<lista>>
4) Poprawa z dziennika „Nie wiem”:
Poniżej znajdują się pytania, na które bot nie był w stanie odpowiedzieć (nie udało się znaleźć źródła). Pogrupuj je w tematy i zaproponuj tytuł artykułu, który warto dodać do bazy wiedzy dla każdej grupy. Nie dodawaj treści odpowiedzi, po prostu powiedz, którego elementu brakuje. Pytania: <<lista>>
Słaba zachęta/silna zachęta
Słaba zachęta:
Odpowiedz na pytanie zwrotne klienta.
Brak źródła; Model może zmieścić się z pamięci, ilość/czas trwania może być błędny, nie można tego zweryfikować.
Potężny monit:
Odpowiedź opiera się wyłącznie na poniższej klauzuli dotyczącej zasad zwrotów. Jeśli nie ma tego w źródle, powiedz „Nie wiem na pewno”. Podaj dosłownie okres i stan, podaj numer referencyjny w formie [Źródło: RETURN-03].[ŹRÓDŁO: POWRÓT-03]: „Nieużywany produkt można zwrócić w ciągu 14 dni. Zwrotowi nie podlegają produkty spersonalizowane.” Pytanie: „Czy mogę zwrócić spersonalizowany produkt, który kupiłem 20 dni temu?”
Różnica: zależna od źródła, obowiązkowe odniesienie, jasny zakaz wytwarzania; model generuje poprawną odpowiedź („14 dni minęło i jest spersonalizowana, bezzwrotna”) ze źródła.
trzy mini etui
Przypadek 1 — Zakończenie halucynacji. Dokładność odpowiedzi bota telekomunikacyjnego na pytania kampanii wyniosła 71% w konfiguracji bez RAG; Modelka czasami wymyślała stare kampanie. Kiedy bieżące strony kampanii zostały połączone z RAG i dodano zasadę „nie mów tego, jeśli nie ma tego w źródle”, dokładność wzrosła do 96%, a skargi dotyczące „niewłaściwych słów kampanii” prawie się skończyły.
Przypadek 2 — Cena sprzeczności. W bazie wiedzy firmy e-commerce na dwóch stronach (jedna aktualna, druga stara zapomniana) zostały zapisane dwa różne koszty wysyłki. Bot losowo kogoś wyciągał i podawał niektórym klientom niewłaściwą cenę. Kiedy stara strona została zarchiwizowana zgodnie z zasadą jednego prawidłowego źródła, niespójność zniknęła. Lekcja: RAG nie rozwiązuje sprzeczności, propaguje sprzeczność taką, jaka jest.
Przypadek 3 — Wartość dziennika „Nie wiem”. W jednym banku bot odpowiadał „nie wiem na pewno” na około 4000 pytań miesięcznie. Po pogrupowaniu tych pytań okazało się, że 40% dotyczyło „używania kart międzynarodowych”; Nie było o tym żadnego artykułu. Po dodaniu odpowiednich pozycji pytania te zostały rozwiązane, a obroty do osób na ten temat spadły o 55%. Fakt, że bot powiedział, że nie wie, stał się mapą drogową poprawy.
Typowe błędy
- Odpowiadam bez podawania źródła. Bez RAG model pasuje do konkretnych informacji; Konkretna odpowiedź musi zależeć od źródła.
- Wyłączenie opcji „nie wiem”. Zmuszenie modela do odpowiedzi na każde pytanie zapewnia dopasowanie.
- Nieusuwanie sprzecznych/starych informacji. RAG szerzy sprzeczność; Niezbędne jest jedno prawidłowe źródło.
- Zaniedbanie niszczenia. Eksportowanie dużych plików PDF w niezmienionej postaci zakłóca dokładny dostęp; Używaj krótkich artykułów na jeden temat.
- Ukrywanie źródła. Brak wskazania, na czym opiera się odpowiedź, osłabia weryfikację i zaufanie.
Uwaga: RAG poprawia dokładność, ale nie zapewnia 100% gwarancji. Model może czasami błędnie zinterpretować przechwyconą część. Dlatego kwestie finansowe, prawne i związane z bezpieczeństwem wymagają ludzkiej zgody, nawet jeśli podane jest źródło; RAG zmniejsza halucynacje, ale nie usuwa odpowiedzialności.
Podsumowując
Baza wiedzy i RAG są podstawą dokładności AI call center. RAG w dużym stopniu zapobiega halucynacji, uniemożliwiając modelowi dopasowanie odpowiedzi z pamięci i opierając się wyłącznie na bieżącym źródle. Jednak RAG jest tak dobra, jak jej baza wiedzy: baza wiedzy, która jest aktualna, przejrzysta, ustrukturyzowana, pozbawiona konfliktów i mająca jedno źródło prawdy, jest niezbędna. Powiedz modelowi „jeśli nie ma tego w źródle, powiedz mi, że nie wiesz”, wskaż źródło i wykorzystaj pytania, na które bot nie jest w stanie odpowiedzieć, aby ulepszyć swoją bazę wiedzy. Utrzymuj ludzką zgodę pomimo źródła w sprawach wysokiej stawki.
Zadanie aplikacji
Napisz 8 prawdziwych/realistycznych pytań klientów z Twojej branży i 8 odpowiednich krótkich artykułów z bazy wiedzy (każdy artykuł: pytanie, krótka odpowiedź, warunki, data, tag). Następnie przetestuj, czy model potrafi powiedzieć „nie wiem”, korzystając ze wzorca „1) Wąska odpowiedź na pytanie RAG”, a także zadając pytanie, którego jednego nie ma w bazie wiedzy. Na koniec sprawdź swoje artykuły za pomocą „3) Skanowanie sprzeczności i luk”.
lista kontrolna
- [ ] Każda konkretna odpowiedź udzielona przez bota/asystenta zależy od aktualnej bazy wiedzy (poprzez RAG).
- [ ] Poleciłem modelowi „jeśli nie ma go w źródle, powiedz, że nie wiesz” i przetestowałem go.
- [ ] Moja baza wiedzy składa się z aktualnych, przejrzystych, jednotematycznych artykułów.
- [ ] Usunąłem sprzeczne i stare artykuły; Istnieje tylko jedno prawidłowe źródło wszystkich informacji.
- [ ] Odpowiedzi pokazują, na którym artykule się opierają (źródło).
- [ ] Zbieram pytania „nie wiem” i zasilam bazę wiedzy.