Zyski:
- Wyjaśnij przyczyny halucynacji i rolę uziemienia
- Stosowanie technik, które sprawiają, że model mówi „nie wiem”, jeśli nie ma to kontekstu
- Zapewnienie zaufania i możliwości kontroli poprzez dodanie do odpowiedzi możliwych do sprawdzenia źródeł/cytatów
Najbardziej niebezpiecznym zachowaniem modelu językowego jest wymyślanie czegoś, czego nie zna, pewnym i przekonującym tonem. Nazywa się to halucynacją. Halucynacje u asystenta korporacyjnego są nie tylko irytujące, ale wręcz ryzykowne: niewłaściwy dzień wolny, zła cena, niewłaściwa substancja prawna mogą w rzeczywistości narazić pracownika lub klienta na niebezpieczeństwo. W tej części omówimy, dlaczego pojawiają się halucynacje, jak je zmniejszyć w RAG i jak sprawić, by odpowiedź była możliwa do zweryfikowania.
Co powoduje halucynacje?
Model jest szkolony w zakresie tworzenia kolejnego najbardziej prawdopodobnego słowa; Nie „mów prawdę”, ale „pisz płynny i rozsądny tekst”. Jeśli brakuje informacji, można wypełnić lukę czymś statystycznie wiarygodnym, ale niepoprawnym pod względem faktycznym. Trzy typowe wyzwalacze:
- W kontekście nie ma odpowiedzi, ale model i tak czuje się zmuszony coś powiedzieć.
- Kontekst jest sprzeczny lub nieodpowiedni; Model wypełnia lukę dzięki przewidywaniu.
- Pytanie wykracza poza kontekst; model powraca do swojej ogólnej (i prawdopodobnie nieaktualnej) wiedzy.
RAG zmniejsza halucynacje, ponieważ daje modelowi prawdziwe źródło, ale go nie resetuje. Jeśli przyniesiesz niewłaściwą część lub pozostawisz modelowi „swobodę wypełnienia luki”, system z RAG również może ją dopasować.
rodzaj halucynacji
objaw
pierwotna przyczyna
warstwa roztworu
pochodzące z odzysku
Prawidłowa odpowiedź znajduje się w dokumencie, ale nie dotarła
Dostarczono błędną/brakującą część
Porcjowanie, hybryda, ponowne uszeregowanie (jednostka 3-4)
Pochodzenie generacji
Otrzymano właściwą część, ale odpowiedź jest błędna/należy ją dodać
Model wypełnił lukę przewidywaniami
Uziemienie, pozwolenie na „nie wiem”, niska kreatywność
Źródło cytatu
Odpowiedź jest poprawna, ale źródło jest błędne
Model odniósł się do niewłaściwej części
Weryfikacja cytowań (patrz rozdział 8)
Wskazówka: podziel halucynację na dwie części. Pochodzi z wyszukiwania: przybyła zła/brakująca część (rozwiązanie: usprawnienie wyszukiwania). Źródło generacji: Dotarła prawidłowa część, ale model błędnie ją odczytał/dodał (rozwiązanie: monit i uziemienie). Nie możesz tego naprawić, jeśli nie wiesz, który to jest.
Uziemienie: przybijanie odpowiedzi w kontekście
Uziemienie to nazwa nadana wszystkim technikom mówienia modelowi: „po prostu polegaj na tekście, który ci przekazuję, nie wykraczaj poza niego”. Jego najbardziej podstawowa i najskuteczniejsza technika: wyraźne pozwolenie modelce na powiedzenie „nie wiem”. Modelka, podobnie jak człowiek, waha się, czy powiedzieć „nie wiem”; Musisz dać mu na to wyraźną zgodę.
Odpowiadaj wyłącznie w oparciu o KONTEKST poniżej. Jeśli odpowiedź nie jest JASNA w kontekście, napisz dokładnie tak: „Nie mogłem znaleźć wystarczających informacji na ten temat w dokumentacji”. Nie podawaj żadnych liczb, dat ani nazw, które nie znajdują się w kontekście. Nie zgaduj.
Dodatkowe techniki uziemiania:
- Wymóg cytatu: Przed każdym stwierdzeniem należy dosłownie zacytować kontekst („Dokument mówi: „...”). Tworzenie sfabrykowanych ofert jest dla modelki trudniejsze.
- Niska temperatura: Temperatura (temperatura, kreatywność/ustawienie losowe) powinna być niska. Uwaga: w niektórych aktualnych modelach ten parametr został usunięty; W nich zapewniasz uziemienie za pomocą podpowiedzi. Wysoka kreatywność jest wrogiem uczciwości korporacyjnej.
- Limit zakresu: „Odpowiadaj wyłącznie na kwestie związane z polityką zgody; grzecznie odmów rezygnacji”.
Cytat
Najsilniejszą systemową obroną przed halucynacjami jest umożliwienie sprawdzenia odpowiedzi. Jeśli użytkownik widzi, na jakim dokumencie opiera się odpowiedź: (1) sam wyłapie błąd, (2) staje się możliwy audyt, (3) wzrasta zaufanie oraz (4) model produkuje ostrożniej ze świadomością, że „będę musiał podać źródło”.
Dwa popularne podejścia:
Atrybucja w tekście: tag źródłowy obok każdego roszczenia. „Urlop roczny wynosi 14 dni [1].” Poniżej znajduje się pełna dokumentacja [1].
Ustrukturyzowane dane wyjściowe: poproszenie modelu o wygenerowanie odpowiedzi i listy źródeł w oddzielnych polach; Wyświetlanie zasobów w postaci klikalnych linków w interfejsie.
# Tworzenie ustrukturyzowanej odpowiedzi w oparciu o model (koncepcyjny) Podaj swoją odpowiedź w następującej strukturze: - odpowiedź: <odpowiedź oparta na kontekście> - źródła: [{"part_no": 1, "file": "...", "section": "..."}]- zaufanie: <high|medium|low> # Jak wyraźnie kontekst to potwierdza? Jeżeli kontekst nie pozwala na udzielenie odpowiedzi, wpisz „nie znaleziono żadnych informacji” w polu odpowiedzi i pozostaw źródła puste.
Aby cytowanie naprawdę zadziałało, konieczne jest sprawdzenie, czy atrybucja jest poprawna. Model może czasami dać poprawną odpowiedź, ale podać niewłaściwe źródło. Zaawansowane systemy automatycznie sprawdzają, czy każde zgłoszone twierdzenie jest rzeczywiście poparte elementem, na który wskazuje (miara „wierności” w następnej jednostce).
Słaby/silny: Podatny na halucynacje
Słabe (zaproszenie do uzupełnienia pustego pola):
Odpowiedz na pytanie najlepiej, jak potrafisz, korzystając z posiadanych informacji: {context} Pytanie: {question}# „Najlepiej, jak potrafisz” oznacza „zgadnij, jeśli nie wiesz” w przypadku modelu.
Silne (uziemienie + pozwolenie nie wiem + źródło + zaufanie):
Po prostu polegaj na KONTEKŚCIE. W przeciwnym razie powiedz „Nie mogłem znaleźć żadnych informacji”; utwórz numer/datę/nazwę.Do każdego roszczenia dodaj [n] numer źródłowy. Określ poziom zaufania obsługiwany przez kontekst. KONTEKST: [1]... [2]... PYTANIE: {pytanie}
Trzy mini etui
Przypadek 1 – Numer pozycji wymyślonej. Asystent prawny złożył oświadczenie „Artykuł 17/B”, które było wyrwane z kontekstu i przekazało pracownikowi fałszywe informacje. Po dodaniu instrukcji „Nie podawaj numeru artykułu, który nie znajduje się w kontekście, inaczej powiedz, że nie wiem” + obowiązek cytowania, przypadki artykułów sfabrykowanych spadły z 11 do 0 w 40 przykładach.
Przypadek 2 — Prawidłowa odpowiedź, złe źródło. Asystent wsparcia podał prawidłowy okres zwrotu, ale zacytował niewłaściwy artykuł; Gdy klient kliknął link, otworzyła się nieistotna strona. Po dodaniu weryfikacji cytowań (sprawdzenie, czy twierdzenie pojawia się w cytowanym tekście), odsetek fałszywych cytowań spadł z 23% do 2%.
Przypadek 3 — Pozwolenie „nie wiem” nie zostało wydane. Asystent HR podał wiarygodną, ale błędną odpowiedź na pytanie, którego nie było w dokumencie. Kiedy do podpowiedzi dodano wyraźną zgodę „nie wiem” i pełny tekst („Nie mogłem znaleźć informacji na ten temat w dokumentacji”), odsetek uczciwych odrzuceń w przypadku pytań bez odpowiedzi, a nie sfabrykowanych, wzrósł z 8% do 95%.
Typowe błędy
- Niedopuszczenie „nie wiem”: Model wypełnia lukę fabrykacją.
- Utrzymywanie kreatywności na wysokim poziomie: Losowość szkodzi integralności korporacyjnej.
- Zaufanie źródłu bez jego weryfikacji: Model może przypisać nieprawidłowe źródło do prawidłowej odpowiedzi.
- Brak rozróżnienia między dwoma rodzajami halucynacji: Poprawiasz niewłaściwe miejsce, nie wiedząc, czy jest to spowodowane odzyskaniem, czy generowaniem.
- Błędne cytaty z kosmetykami: Cytowanie źródła ma charakter zarówno potwierdzający, jak i odstraszający; potraktuj to poważnie.
Uwaga: „Model wygląda na bardzo pewnego siebie” to nie to samo, co „model jest prawidłowy”. Halucynacje to na ogół najbardziej płynne i pewne zdania. Odczytuj zaufanie ze źródła, na które wskazuje, a nie z tonu zdania.
Podsumowując
- Halucynacja ma miejsce, gdy model wypełnia lukę informacyjną wiarygodnym, ale fałszywym tekstem; RAG zmniejsza, ale nie resetuje się.
- Halucynacje mogą być spowodowane odzyskaniem (niewłaściwa część) lub generowaniem (złe odczytanie); Ustal, który pierwszy.
- Najpotężniejszą techniką uziemienia jest udzielenie modelowi wyraźnego pozwolenia „nie wiem”; także wymóg cytowania i niska kreatywność.
- Cytowanie sprawia, że odpowiedź jest możliwa do zweryfikowania; Daje to zarówno pewność, jak i skłania do ostrożnej produkcji modelu.
- Należy również sprawdzić poprawność cytatu; Do prawidłowej odpowiedzi można dołączyć niewłaściwe źródło.
Zadanie aplikacji
(1) Przygotuj 4 pytania do asystenta, na które odpowiedzi nie ma w dokumentach (pytania-pułapki). Przetestuj każdy z nich za pomocą słabego i silnego podpowiedzi i zaznacz, czy model pasuje, czy nie. (2) W przypadku 4 pytań, na które odpowiedzi znajdują się w dokumencie, poproś model o wygenerowanie numeru spoiny i ręcznie sprawdź, czy pokazana spoina jest rzeczywiście właściwą częścią. (3) Sprawdź, czy model przynajmniej w jednym przypadku podaje „prawidłową odpowiedź, złe źródło” i napisz w jednym zdaniu, jak możesz to wychwycić automatycznie.
lista kontrolna
- [ ] Potrafię stwierdzić, dlaczego występują halucynacje i że RAG je zmniejsza, ale nie resetuje.
- [ ] Potrafię rozróżnić halucynacje odzyskiwania od halucynacji wywołanych pokoleniem i poprawić właściwe miejsce.
- [ ] Do zachęty dodaję wyraźne zasady dotyczące uprawnień „nie wiem” i podstawowe zasady.
- [ ] Do odpowiedzi dodaję weryfikowalne źródło (cytat).
- [ ] Rozumiem potrzebę dalszej kontroli dokładności przypisania.