Halucynacje i granice wiarygodności — Znajomość sztucznej inteligencji

Zyski:

Potrafi wyjaśnić, czym jest halucynacja i dlaczego występuje
Potrafi określić, kiedy należy zweryfikować wyniki AI
Potrafi zastosować praktyczne techniki zwiększające niezawodność

Być może najbardziej krytyczny temat umiejętności korzystania z sztucznej inteligencji znajduje się w tej jednostce: Tworzenie modelu, czyli halucynacje. Zrozumienie tego terminu jest najbardziej podstawowym środkiem ostrożności dla każdego, kto korzysta z sztucznej inteligencji. Ponieważ użytkownik, który nie rozpoznaje halucynacji, może pomylić fałszywe informacje z prawdą i przenieść je na grunt decyzji biznesowej, komunikacji z klientem lub oficjalnego dokumentu. W tym module dowiesz się, czym jest halucynacja, dlaczego jest nieunikniona i jak się przed nią chronić.

Co to jest halucynacja?

Halucynacja ma miejsce wtedy, gdy model językowy wytwarza informację, która w rzeczywistości nie istnieje w płynnym i pewnym języku, tak jakby była prawdziwa. Modelka nie zamierza kłamać; Tworząc jedynie „najbardziej prawdopodobną kontynuację”, tworzy tekst, który wydaje się prawdopodobny, ale w rzeczywistości jest fałszywy.

Przykład: Jeśli powiesz modelowi: „Poleć źródło akademickie na ten temat. Wszystko pojawia się we właściwym formacie i przekonująco; Ale źródło jest całkowicie wyimaginowane. Jest to klasyczny przykład halucynacji.

Dlaczego to się dzieje? (Pamiętaj o części drugiej)

Źródłem halucynacji jest zasada działania modelu. Model nie jest „encyklopedią faktów”; Jest to „maszyna prawdopodobieństwa”. Jego zadaniem jest zapewnienie możliwie płynnej kontynuacji Twojego pytania; Nie chodzi o to, żeby dostarczać najdokładniejszych informacji. Model:

Nie wie, czego nie wie; Kiedy ma do czynienia z pustym miejscem, ma tendencję do wpisywania możliwej odpowiedzi, zamiast mówić „nie wiem”.
Nie ma mechanizmu kontrolowania rzeczywistości; Nie sprawdza, czy tworzony przez niego tekst pasuje do świata.
Płynność i dokładność to dla niego dwie różne rzeczy; To, że jest płynne, nie oznacza, że jest poprawne.

Uwaga: Halucynacje nie są „awarią”; Jest to nieodłączna cecha technologii. Nowe modele zmniejszają to zjawisko, ale nie mogą go całkowicie wyeliminować. Dlatego zamiast czekać na „model bez halucynacji”, należy nauczyć się żyć z halucynacjami.

Gdzie jest wysokie ryzyko halucynacji?

Nie każdy wynik jest równie ryzykowny. Ryzyko wzrasta, gdy:

Wysokie ryzyko

Niskie ryzyko

Dokładne liczby, daty, statystyki

Generowanie ogólnych pomysłów, burza mózgów

Prośba o źródła, cytaty, referencje

Zmień ton tekstu

Tematy niszowe, specjalistyczne

Wspólne, ogólne tematy

Aktualne wydarzenia i ludzie

Podsumuj swój tekst

Informacje wewnętrzne specyficzne dla Twojej firmy

Korekta gramatyczna

Trzy mini etui

Przypadek 1 — Do prezentacji weszła fałszywa postać. Pracownik poprosił AI o „tempo wzrostu handlu elektronicznego i źródło w Turcji w 2023 r.” na potrzeby raportu branżowego. Model zwrócił przekonujący odsetek (48%) i nazwę instytucji. Pracownik umieścił to w prezentacji bez sprawdzenia; Kiedy na spotkaniu ujawniono, że figurka została sfabrykowana, zarówno prezentacja, jak i reputacja firmy zostały nadszarpnięte. Gdyby ten sam pracownik otrzymał dane z oficjalnego źródła, nie byłoby problemu.

Przypadek 2 – Nieistniejący akt prawny. Asystent poprosił sztuczną inteligencję o „odpowiedni artykuł prawa” do petycji. Model stworzył realistycznie wyglądający numer przedmiotu i tekst; ale tego elementu tam nie było. Na szczęście dział prawny zauważył to przed dostawą. Lekcja: cytaty prawne są zawsze weryfikowane na podstawie pierwotnego źródła.

Przypadek 3 — Właściwa metoda, bezpieczny wynik. Inny pracownik tego samego zespołu po prostu zlecił sztucznej inteligencji sporządzenie raportu, w którym sam wprowadził wszystkie liczby z oficjalnych danych i poinstruował go, aby „nie dodawał żadnych liczb, których nie ma w tym tekście”. Wynik był szybki i dokładny. Różnica: AI napisała wersję roboczą, fakty na podstawie informacji ludzkich.

Słaba podpowiedź/silna podpowiedź

Słaba podpowiedź: Podaj 3 najważniejsze źródła akademickie na ten temat, wraz z autorem i rokiem.

Wynik: Model można bezpiecznie dopasować do nieistniejących źródeł.

Potężna zachęta: napisz podsumowanie na podstawie tekstu, który wkleiłem poniżej. Korzystaj wyłącznie z informacji zawartych w tym tekście. Nie dodawaj żadnych nazwisk, numerów ani źródeł, których nie ma w tekście. Jeśli nie jesteś pewien, napisz „nieokreślone w tekście”.<text>[wklej tutaj]</text>

Wynik: Ponieważ model pobiera źródło od Ciebie, przestrzeń dopasowania staje się węższa.

Praktyczne techniki zwiększające niezawodność

Zaznacz w swojej odpowiedzi każde możliwe do zweryfikowania twierdzenie (numer, data, nazwa, źródło) i umieść je na osobnej liście „obowiązkowych do sprawdzenia”.

Odpowiedz na to pytanie. Jeśli nie jesteś pewien, nie zgaduj; Powiedz „nie jestem pewien” i wyjaśnij, że nie wiesz czego. Temat: [temat]

Odpowiedz na to samo pytanie na dwa różne sposoby i zaznacz sprzeczności między obiema odpowiedziami. Pozwól mi zatem zobaczyć, które punkty budzą wątpliwości. Pytanie: [pytanie]

Zweryfikuję poniższy tekst. Wymień ryzykowne twierdzenia, które powinienem sprawdzić w kolejności ich ważności i zasugeruj, gdzie mogę zweryfikować każde z nich. Tekst: [wklej tutaj]

Dodatkowo przyjmij następujące nawyki:

Podajesz źródło. Wklej odpowiedni dokument do tekstu i powiedz „odpowiedz na podstawie wyłącznie tego”.
Zawsze sprawdzaj możliwe do sprawdzenia fakty. Sprawdź liczby, daty, nazwiska, cytaty i źródła z niezależnego, wiarygodnego źródła.
Poproś go, aby wskazał, że nie jest pewien co do modelu. Zmniejsza to ryzyko, ale nie eliminuje go całkowicie.
W przypadku prac obarczonych wysokim ryzykiem należy zlecić ekspertowi sprawdzenie wyników. Wyniki prawne, finansowe i zdrowotne muszą przejść przez filtr ludzkich ekspertów.
Używaj sztucznej inteligencji jako „punktu wyjścia”, a nie „słowa końcowego”. Projekt pochodzi od niego; Weryfikacja i decyzja należy do Ciebie.

Uwaga: „Model powiedział to dwa razy, więc to prawda” logika jest błędna. Potrafi śmiało powtórzyć ten sam błąd. Powtarzanie nie jest dowodem dokładności.

Typowe błędy

Korzystanie ze źródeł bez ich weryfikacji. Potrafi tworzyć wzorce książek, artykułów, artykułów prawnych i linków; Każde referencje muszą zostać potwierdzone.
Mylenie pewnego tonu z precyzją. Najbardziej niebezpieczną rzeczą w halucynacjach jest właśnie to, że sprawiają one wrażenie pewnych siebie.
Wystarczy, że model powie „weryfikujesz”. Samodzielna walidacja modelu nie jest niezależną walidacją.
Korzystanie z wyników wysokiego ryzyka bez pokazywania ich ekspertowi. Ludzka kontrola jest niezbędna w kontekście pieniędzy, prawa i zdrowia.

Podsumowując

Halucynacja ma miejsce wtedy, gdy model wytwarza nieistniejące informacje w sposób płynny i pewny, tak jakby były one prawdziwe.
Przyczyną nie jest awaria, ale przewidywanie prawdopodobieństwa charakteru modelu; nie da się całkowicie wyeliminować.
Ryzyko jest szczególnie wysokie, jeśli chodzi o dokładne liczby, źródła, aktualne informacje i zagadnienia niszowe.
Aby się zabezpieczyć: podaj źródło, zweryfikuj fakty, powiedz „jeśli nie jesteś pewien, powiedz mi”, zleć ekspertowi sprawdzenie wyników wysokiego ryzyka.
Użyj sztucznej inteligencji jako punktu wyjścia; Ostateczna weryfikacja i odpowiedzialność zawsze pozostają po Twojej stronie.

Zadanie aplikacji

Powiedz swojemu narzędziu AI, aby „zasugerowało 3 źródła akademickie” na temat wymagający specjalistycznej wiedzy i spróbowało potwierdzić sugerowane przez nie źródła w Internecie; Zwróć uwagę, ile z nich jest prawdziwych. Następnie powtórz to samo zadanie metodą „podajesz źródło” i obserwuj różnicę.

Lista kontrolna

[ ] Potrafię wyjaśnić, czym jest halucynacja i dlaczego występuje.
[ ] Potrafię rozróżnić zadania o wysokim i niskim ryzyku halucynacji.
[ ] Mogę zmniejszyć ryzyko fabrykacji, podając źródło modelu.
[ ] Samodzielnie weryfikuję liczby, daty, nazwy i źródła.
[ ] Nie uważam tego pewnego tonu za dowód trafności.