Generowanie odpowiedzi z bazy wiedzy (wprowadzenie do RAG)

Zyski:

• Zrozumienie logiki generowania opartego na wiedzy (RAG) i dlaczego zmniejsza to halucynacje
• Możliwość odpowiedzi na model za pomocą cytatu, opartego wyłącznie na dostarczonych dokumentach źródłowych
• Możliwość zarządzania pytaniami, których nie ma w źródle poprzez ich bezpieczne przekazywanie, bez tworzenia pytań

Model językowy „wie” dużo, ale nie zna dzisiejszej polityki zwrotów Twojej firmy, aktualnego cennika ani umowy wysyłkowej, która uległa zmianie wczoraj. Co gorsza, gdy nie wie, często zmyśla i pisze wyjątkowo pewnym siebie tonem. Jest to fatalna wada w obsłudze klienta: model mówi „Zwrot środków następuje w ciągu 30 dni”, podczas gdy Twoja polisa może wynosić 14 dni. Podejście, które wypełnia tę lukę, nosi nazwę RAG: Retrieval-Augmented Generation, czyli „produkcja wspomagana odzyskiwaniem”.

Pomysł jest prosty: model odpowiada na pytanie nie z pamięci, ale z właściwych dokumentów źródłowych znajdujących się przed nim w tym momencie. Po pierwsze, właściwym dokumentem odnoszącym się do pytania jest „odzyskanie”, następnie model „generuje” odpowiedź wyłącznie na podstawie tego fragmentu. Na tym module zrozumiesz logikę RAG i nauczysz się jak zapanować nad modelem, aby trzymał się tylko sprawdzonego źródła, które podasz.

Uwaga: Ta jednostka uczy logiki działania i szybkiej strony RAG. Systemy automatycznego wyszukiwania dokumentów na skalę korporacyjną (bazy danych wektorowych itp.) wymagają instalacji technicznej; Dyscyplina jest tutaj podstawą prawidłowego reagowania systemu.

Dlaczego RAG zmniejsza halucynacje?

Halucynacja ma miejsce, gdy model wytwarza nierealne informacje, tak jakby były prawdziwe. Model jest zaprogramowany tak, aby generować reakcję, która wydaje się „możliwa”, gdy dostrzeże lukę; Nie wiadomo, czy to prawda, czy nie. RAG wypełnia tę lukę: podajesz modelowi odpowiedni tekst wraz z pytaniem i mówisz „odpowiedz tylko stąd”. Dzięki temu model nie „musi” pasować.

Istnieją trzy komponenty:

• Baza wiedzy: Wiarygodne teksty, takie jak często zadawane pytania, dokumenty polityczne, instrukcje produktów, cenniki.
• Odzyskanie: Znalezienie fragmentu dokumentu zawierającego odpowiedź na pytanie i przekazanie go modelowi.
• Edycja limitowana: Model odpowiada wyceną opartą wyłącznie na dostarczonej części.

Krok po kroku: wierna odpowiedź Źródłu

1. Przygotuj źródło. Znajdź tekst, na którym będzie oparta odpowiedź (polityka, FAQ) w przejrzystym i aktualnym formacie.
2. Osadź źródło w monicie. Umieść tekst w tagu, takim jak <source>.
3. Napisz regułę lojalności. „Korzystaj wyłącznie z informacji pochodzących ze źródła; nie oddalaj się od źródła”.
4. Ustaw jako wymagane cytowanie. Pozwól mu wskazać, na którym fragmencie opiera się odpowiedź.
5. Zidentyfikuj zachowanie niezwiązane z zasobami. Jeśli odpowiedzi nie ma w źródle, niech powie „nie mam tej informacji” i przekaże dalej.
6. Zweryfikować. Potwierdź odpowiedź, porównując ją ze zdaniem źródłowym, na którym jest oparta.

Monity do kopiowania

Monit o odpowiedź na podstawie źródła:

Rola: Jesteś asystentem obsługi klienta. Odpowiedz na pytanie TYLKO w oparciu o informacje zawarte w bloku <source> poniżej. Nie dodawaj żadnych informacji, których nie ma w źródle, nie domyślaj się ani nie odpowiadaj na podstawie swojej ogólnej wiedzy. Dodaj sekcję, na której się opierasz, na końcu swojej odpowiedzi w formacie „[Źródło: ...]”. Jeżeli odpowiedzi nie ma w źródle, napisz: „Nie mam ostatecznych informacji na ten temat, kieruję Cię do urzędnika, który może udzielić prawidłowej odpowiedzi”.

W przypadku wielu źródeł monit o wskazanie dokumentu, na którym jest oparty:

Istnieje wiele zasobów ponumerowanych poniżej. Odpowiadając na pytanie, podaj numer źródła, z którego skorzystałeś, np. [Źródło 2]. Jeśli więcej niż jedno źródło Ci zaprzecza, powiedz to wyraźnie i zaznacz, że powinieneś zapytać, które z nich jest bardziej aktualne.<sources>1) {{ source_1 }}2) {{ source_2 }}3) {{ source_3 }</sources>Pytanie: {{customer_question }}

Podpowiedź, która bezpiecznie zarządza pytaniem innym niż źródłowe:

Jeżeli odpowiedź na pytanie CZĘŚCIOWO znajduje się w źródle: odpowiedz tylko na część objętą źródłem, a w pozostałej części powiedz „tego szczegółu nie ma w źródle”. Nigdy nie uzupełniaj brakujących części poprzez zgadywanie.

Podpowiedź, która tłumaczy odpowiedź na język klienta, ale pozostaje zgodna ze źródłem:

Przetłumacz oficjalne/techniczne wyrażenie w źródle na prosty język zrozumiały dla klienta, ale NIE zmieniaj znaczenia i wartości liczbowych (dzień, kwota, stawka). Na przykład zaokrąglenie „14 dni kalendarzowych” do „około dwóch tygodni”; zachować pełną wartość.

Słaba podpowiedź/silna podpowiedź

Słaba zachęta

Potężny monit

„Opowiedz nam o naszej polityce zwrotów”

Umieszcza źródło + „tylko tutaj odpowiedz” + prosi o wycenę

Odpowiedź z pamięci modelu (może błędna)

Odpowiedź z bieżącego dokumentu

Jeśli nie ma tego w źródle, on to wymyśla

Mówi: „Nie mam takich informacji” i przekazuje dalej.

Potrafi zaokrąglać i zniekształcać liczby

Dokładnie utrzymuje dzień/kwotę/stawkę

Różnica polega na tym, że silny monit daje modelowi kotwicę (tekst źródłowy) i blokadę (wyjście ze źródła). Model nie mówi już z pamięci, ale z otaczającej go rzeczywistości.

Trzy mini etui

Przypadek 1 – Stara pułapka polityczna. „Zwroty akceptowane w ciągu 30 dni” – oznajmił bot jednego ze sklepów, działając bez środków; Spółka skróciła jednak ten termin do 14 dni. Po dodaniu zaktualizowanego tekstu zasad do źródła w instalacji RAG bot odpowiada teraz „14 dni kalendarzowych [Źródło: Polityka zwrotów, artykuł 2]”. Spory dotyczące zwrotu pieniędzy wynikające z fałszywych obietnic zostały zresetowane.

Przypadek 2 — Uchwycenie sprzeczności. Klient zapytał o koszty wysyłki. Jako źródła wprowadzono do systemu zarówno stary, jak i nowy cennik. Dzięki podpowiedzi z wielu źródeł model powiedział: „Dwa źródła podają różne ceny (49 TL i 59 TL); muszę potwierdzić obecną” i przekazał problem człowiekowi. Zamiast podać klientowi nieprawidłową kwotę, szczerze przekazał niepewność.

Przypadek 3 — Dyscyplina częściowej odpowiedzi. „Czy wysyłacie produkt za granicę i kto płaci cło?” W pytaniu źródło jedynie stwierdziło, że wysyłka została zrealizowana, nie było nic o tym, kto zapłacił podatek. Modelka powiedziała: „Tak, wysyłka odbywa się za granicę [Źródło: FAQ dotyczące ładunków]. Jednak w tym dokumencie nie jest określone, kto płaci cło; kieruję cię do urzędnika, aby to wyjaśnił”. Zamiast odpowiedzi na wpół prawdziwej, na wpół sfabrykowanej, uzyskano szczery i pewny wynik.

Wskazówka: Zachowaj najbardziej aktualną i zawierającą jedno źródło prawdy wersję swojej bazy wiedzy. Największym wrogiem RAG jest posiadanie tych samych informacji (np. okresu zwrotu) zapisanych w różny sposób w trzech oddzielnych dokumentach; Model reaguje różnie w zależności od tego, na kogo patrzy. Najpierw zdeduplikuj swoje dokumenty, a następnie zautomatyzuj je.

Weryfikacja: Nie relaksuj się tylko dlatego, że źródło istnieje

RAG znacznie zmniejsza halucynacje, ale ich nie resetuje. Model może czasami błędnie zinterpretować źródło, mieszając dwa zdania lub wyciągając „wniosek”, którego nie ma w źródle. Dlatego wymóg cytowania jest tak istotny: otwórz sekcję, na której opiera się odpowiedź, i sprawdź, czy rzeczywiście tak jest. Kontrola ta nie podlega negocjacjom, zwłaszcza w odpowiedziach zawierających liczby (dzień, kwota, stawka) i warunki (wyjątek, warunek).

Uwaga: jeśli samo źródło jest błędne lub nieaktualne, RAG wiernie powtarza ten błąd. Stwierdzenie „model mówi ze źródła” nie oznacza, że ​​„model mówi poprawnie”; Jesteś odpowiedzialny za aktualność i dokładność swojego źródła.

Utrzymywanie bazy wiedzy w gotowości do reakcji

Jakość RAG zależy w dużej mierze od sposobu, w jaki napisany jest tekst źródłowy. Model zwraca znacznie dokładniejszą odpowiedź niż dobrze ustrukturyzowane, zatytułowane i jednotematyczne teksty. Praktyczna rada: pisz swoje zasady w krótkich, zatytułowanych sekcjach, a nie w długich, zagnieżdżonych akapitach; Niech każda sekcja odpowiada na jedno pytanie („Ile dni wynosi okres zwrotu?”, „Które produkty nie podlegają zwrotowi?”). Trzymanie często zadawanych pytań (FAQ) w formie pytań i odpowiedzi ułatwia modelowi znalezienie właściwej części. Podaj wartości takie jak data, kwota i stawka wyraźnie i w jednym miejscu w tekście; Zapisanie tej samej liczby w różnych sekcjach w różny sposób powoduje dezorientację modelu.

Kolejnym ważnym nawykiem jest utrzymywanie bazy wiedzy przy życiu. Zasady, ceny i promocje są różne; Jeśli źródło nie zostanie zaktualizowane, model nadal bezpiecznie powtarza starą prawdę. Przy każdej zmianie zasad aktualizuj źródło i ponownie zadaj modelowi kilka pytań testowych na temat zmienionego tematu, aby potwierdzić, że daje on poprawną odpowiedź. Ta niewielka, ale regularna konserwacja zapobiega „cichemu psuciu się” systemu RAG z biegiem czasu.

Typowe błędy

• Mówienie „wyjaśnij naszą politykę” bez zakopywania źródła i polegania na zapamiętaniu modelu.
• Brak zdefiniowania granicy „odpowiedź tylko ze źródła” i zachowania innego niż źródłowe.
• Brak prośby o cytat/odniesienie do źródła i pozostawienie odpowiedzi niemożliwej do sprawdzenia.
• Przechowywanie sprzecznych wersji tych samych informacji w wielu dokumentach w bazie wiedzy.
• Umożliwienie modelowi zaokrąglania/interpretowania wartości liczbowych.
• Zapomnienie o aktualizacji źródła powoduje, że model wiernie powtarza stare informacje.

Podsumowując

• RAG oznacza, że model generuje odpowiedź na podstawie bieżącego dokumentu źródłowego, a nie z pamięci.
• Najbardziej praktyczny sposób na zmniejszenie halucynacji: zakop źródło, powiedz „odpowiadaj tylko tutaj”, poproś o cytat.
• Jeśli odpowiedzi nie ma w źródle, nie należy dopasowywać się do modelu; Powinien powiedzieć „nie mam” i oddać.
• Uświadom modelowi istnienie sprzecznych źródeł; Zachowałeś dokładnie wartości liczbowe.
• Dokładność RAG zależy od aktualności źródła; Zawsze potwierdzaj wycenę.

Zadanie aplikacji

Weź rzeczywisty tekst zasad (zwrotu, wysyłki lub członkostwa) z własnej firmy i umieść go jako źródło w podstawowym wierszu RAG powyżej. Następnie zadaj trzy pytania: (1) pytanie, na które odpowiedź jest jasna w źródle, (2) pytanie, na które w źródle odpowiedzi w ogóle nie ma, (3) pytanie, na które odpowiedź jest jedynie niepełna w źródle. Sprawdź, czy model odpowiada poprawnie, mówi „nie mam” i uczciwie zaznacza odpowiednio odpowiedź częściową i brakującą. Napraw odbiegające od normy zachowanie, wzmacniając zasady dotyczące lojalności i braku zasobów w monicie.

lista kontrolna

• [ ] W podpowiedzi umieściłem bieżące źródło, na którym będzie oparta odpowiedź.
• [ ] Dodałem zasadę „Odpowiadaj tylko ze źródła, nie wykraczaj poza”.
• [ ] Podałem wymóg odniesienia do źródła/cytowania.
• [ ] Zdefiniowałem zachowanie delegowania, jeśli odpowiedź nie jest dostępna w źródle.
• [ ] Wymagałem dokładnego zachowania wartości liczbowych.
• [ ] Potwierdziłem odpowiedź ze zdania źródłowego, na którym jest ona oparta.