Zyski:
- Zrozum, w jaki sposób RAG zmniejsza halucynacje, łącząc odpowiedź z rzeczywistymi dokumentami instytucji i odwołując się do niej oraz podkreślając znaczenie czystej bazy dokumentów
- Możliwość sprawdzenia źródła, daty i waluty wyniku RAG oraz rozróżnienia sprzecznych wersji
- Możliwość ochrony prywatności firmy poprzez zapobieganie odpowiedziom z nieautoryzowanych dokumentów za pomocą kontroli dostępu
Pamięć organizacji żyje w tysiącach rozproszonych dokumentów: raportów, instrukcji, protokołów, procedur, e-maili. Pracownik może godzinami wyszukiwać dokumenty, aby odpowiedzieć na proste pytanie („jak działa ta procedura?”). Marzeniem menedżera wiedzy jest, aby pamięć ta dostarczała bezpośrednich, ale opartych na źródłach odpowiedzi na pytania. To jest dokładnie to, co obiecuje RAG. W tym module dowiesz się, czym jest RAG, jak go wykorzystać w zarządzaniu informacją w przedsiębiorstwie oraz jak go zabezpieczyć pod względem dokładności, poufności i aktualności.
Zdefiniujmy pojęcie. RAG (generacja wspomagana wyszukiwaniem) ma miejsce wtedy, gdy sztuczna inteligencja odpowiada na pytanie, najpierw znajdując (pobierając) odpowiednie elementy z własnej dokumentacji organizacji, a następnie generując odpowiedź wyłącznie na podstawie tych fragmentów. Różni się to zasadniczo od ogólnej sztucznej inteligencji generującej odpowiedź z pamięci: RAG łączy i pozyskuje odpowiedź z prawdziwymi, możliwymi do prześledzenia dokumentami. W ten sposób halucynacje są znacznie zmniejszone, ponieważ sztuczna inteligencja przemawia z dokumentu instytucji, a nie z jej „głowy”.
Krok po kroku: zrozumienie korporacyjnego systemu RAG
1. Przygotuj bazę dokumentów. Wiarygodne i aktualne dokumenty organizacji są gromadzone, czyszczone i dzielone na fragmenty (znaczące małe sekcje dokumentu). Jeśli do systemu trafią złe, nieaktualne lub sprzeczne dokumenty, reakcje będą złe: „śmieci włożone, śmieci wyrzucone”.
2. Osadź i zaindeksuj. Każdy fragment jest konwertowany na wektor (osadzanie) reprezentujący jego znaczenie i umieszczany w indeksie z możliwością przeszukiwania. Kiedy pojawia się pytanie, system znajduje części o najbliższym znaczeniu.
3. Przynieś odpowiednie części. Kiedy zadawane jest pytanie, system pobiera z bazy dokumentów kilka najbardziej istotnych fragmentów. Ten krok jest kluczowy: jeśli przyniesiesz niewłaściwy element, odpowiedź również będzie błędna.
4. Wygeneruj odpowiedź na podstawie źródła. Sztuczna inteligencja generuje odpowiedź wyłącznie na podstawie pobranych fragmentów i wskazuje, z jakiego dokumentu wzięła. Odpowiedź, która nie podaje źródła, jest sprzeczna z celem RAG.
5. Sprawdź i zdaj raport. Użytkownik powinien mieć możliwość przejścia do wskazanego źródła i potwierdzenia odpowiedzi. Błędne lub niekompletne odpowiedzi stają się informacją zwrotną służącą udoskonaleniu bazy dokumentacji.
Wskazówka: Jakość RAG w dużej mierze zależy od jakości bazy dokumentów. Aktualizuj dokumenty, usuwaj sprzeczne/nieaktualne wersje oraz dodawaj informacje o dacie i pochodzeniu do każdego dokumentu przed umieszczeniem go w systemie. 500 dobrze zorganizowanych dokumentów daje lepsze odpowiedzi niż 5000 rozproszonych dokumentów.
Granice i punkty bezpieczeństwa RAG
RAG zmniejsza halucynacje, ale ich nie resetuje. Jeśli system zwróci niewłaściwy element, sztuczna inteligencja może nadal udzielić błędnej odpowiedzi, pozostając „lojalna” wobec tego niewłaściwego elementu. Ponadto sztuczna inteligencja może błędnie zinterpretować pobrane elementy lub połączyć wiele elementów w sprzeczny sposób. Dlatego też wyniki RAG należy również weryfikować, sięgając do źródła, szczególnie w przypadku decyzji krytycznych.
Prywatność jest centralną kwestią w korporacyjnej RAG. Baza dokumentów może zawierać wrażliwe informacje (personel, umowy, strategia). System nie powinien generować odpowiedzi z dokumentów nieautoryzowanych przez użytkownika; Kontrolę dostępu (kto może zobaczyć, który dokument) należy również zastosować do RAG. W przeciwnym razie pracownik może uzyskać dostęp za pośrednictwem RAG do informacji, których nie może zobaczyć.
Uwaga: Nawet cytując dokument, RAG nie gwarantuje, że dokument ten jest aktualny i dokładny. System może odpowiadać na podstawie starego dokumentu procedury sprzed trzech lat. Za sprawdzenie daty i ważności dokumentu źródłowego odpowiada użytkownik i osoba zarządzająca informacją.
trzy mini etui
Przypadek 1 – Przyspieszone pytania proceduralne. Jedna organizacja ustanowiła system RAG dla swoich 1200-stronicowych podręczników procedur wewnętrznych. Pytania pracowników „jak to zrobić” zostały rozwiązane w ciągu kilku sekund, a odpowiedzi wskazywały źródło; Średni czas trwania połączenia spadł z 25 minut do 2 minut. Ponieważ każda odpowiedź była powiązana z sekcją dokumentacji, na której została oparta, pracownicy mieli możliwość jej weryfikacji.
Przypadek 2 – Przechwycono stary dokument. System RAG odpowiedział na pytanie dotyczące procedury wydawania pozwoleń na podstawie starego dokumentu z 2021 r.; Jednak zaktualizowana wersja została wydana w 2024 r. Pracownik, który otworzył link źródłowy, zauważył, że data była nieaktualna i znalazł zaktualizowany dokument. Menedżer informacji usunął starą wersję z bazy dokumentów.
Przypadek 3 — Zablokowano nieautoryzowany dostęp. Podczas początkowej konfiguracji RAG skanował wszystkie dokumenty publicznie; pracownik otrzymał odpowiedź na dokument płacowy, którego nie miał widzieć. Zespół dodał kontrolę dostępu do RAG: system generuje teraz odpowiedzi tylko z dokumentów, do których użytkownik jest upoważniony.
Ocena, informacja zwrotna i ciągłe doskonalenie
System RAG nie jest narzędziem, które można zainstalować raz i zapomnieć; Wymaga ciągłej oceny i doskonalenia. Podstawą tego jest regularny pomiar odpowiedzi systemu na rzeczywiste pytania. Kluczowe są dwa pytania: czy system pobiera prawidłowe fragmenty dokumentów (jakość dostępu) i czy generuje prawidłową odpowiedź na podstawie pobranych fragmentów (jakość produkcji)? Należy ocenić te dwie warstwy oddzielnie; Ponieważ przyniesienie właściwego dokumentu i jego błędna interpretacja oraz przyniesienie niewłaściwego dokumentu i wierne jego przekazanie to różne problemy i wymagają różnych rozwiązań. Dobrą praktyką jest przechowywanie zestawu „pytań testowych” ze znanymi poprawnymi odpowiedziami i testowanie systemu za pomocą tego zestawu przy każdej aktualizacji. Ponadto opinie użytkowników „czy ta odpowiedź była pomocna / czy źródło było dokładne” ujawniają zarówno luki w bazie dokumentów, jak i nieprawidłowo pobrane części. Sztuczna inteligencja może pomóc w zebraniu tych opinii i podsumowaniu typów pytań, które najczęściej kończą się niepowodzeniem; Jednak decyzja o tym, który dokument dodać, zaktualizować lub usunąć, należy do menedżera informacji. System wymaga opieki jak żywy organizm; Zaniedbana RAG staje się z biegiem czasu coraz bardziej myląca ze względu na starzenie się dokumentacji.
Wskazówka: zaraz po skonfigurowaniu systemu RAG przygotuj mały zestaw testowy składający się z 20–30 prawdziwych pytań i znanych poprawnych odpowiedzi. Uruchamianie tego zestawu przy każdej aktualizacji dokumentu natychmiast pokazuje, czy zmiana poprawia, czy psuje system.
Cztery szablony do kopiowania
1) Monit o odpowiedź na podstawie źródła:
Twoja rola: asystent ds. informacji korporacyjnej. Poniżej znajdują się fragmenty dokumentacji związanej z tą kwestią. Podaj odpowiedź WYŁĄCZNIE na podstawie tych fragmentów i określ, z jakiego dokumentu/elementu pochodzi każda informacja. Jeśli w częściach nie ma odpowiedzi, powiedz „ta informacja nie jest zawarta w dostarczonych dokumentach”, nie zgaduj. Pytanie: [tutaj] / Części: [tutaj]
2) Sprzeczność i kontrola walutowa:
Czy pomiędzy poniższymi utworami są jakieś sprzeczności lub różne datowane wersje? Jeśli tak, zaznacz go i wskaż, który wygląda na bardziej aktualny. Części (z datami): [tutaj]
3) Audyt czystości bazy dokumentów:
Czy na poniższej liście dokumentów znajdują się jakieś nieaktualne, sprzeczne lub niepewnego pochodzenia dokumenty, które należy uporządkować przed umieszczeniem w systemie RAG? Zaznacz i napisz dlaczego. Lista (z datą/źródłem): [tutaj]
4) Wstępna kontrola prywatności i dostępu:
Czy poniższe fragmenty dokumentów zawierają informacje wrażliwe (dane osobowe, poufną umowę, strategię)? Sklasyfikuj każdy z nich jako „publiczny/ograniczony dostęp” i uzasadnij. Utwory: [tutaj]
Słaba zachęta/silna zachęta
Słaba zachęta:
Wyjaśnij procedurę wydawania zezwoleń obowiązującą w naszej instytucji.
W przypadku braku dokumentacji sztuczna inteligencja tworzy zmyśloną procedurę na podstawie swojej ogólnej pamięci lub z wdrożenia innych instytucji; Może nie mieć to żadnego związku z faktycznym funkcjonowaniem instytucji.
Potężny monit:
Twoja rola: asystent ds. informacji korporacyjnej. Poniżej znajdują się fragmenty dokumentów (wraz z datami) dotyczące procedury udzielania zezwoleń w danej instytucji. Odpowiedz na pytanie, opierając się wyłącznie na tych fragmentach, podając na każdym kroku dokument źródłowy i datę. Jeśli części są ze sobą sprzeczne, użyj najbardziej aktualnej i powiedz to. Jeśli nie ma tego w dokumencie, powiedz „brak informacji”. Pytanie: [tutaj] / Części: [tutaj]
Potężny monit; łączy odpowiedź z rzeczywistymi dokumentami instytucji, pyta o źródła i daty oraz szczerze odnosi się do sprzeczności i luk.
Składnik RAG i tabela ryzyka
komponent
Funkcja
Główne ryzyko
Zapewnienie
Baza dokumentów
Źródło odpowiedzi
Nieaktualny/sprzeczny dokument
Czystość, historia, pochodzenie
Odzyskiwanie
Znajdź odpowiednią część
zły kawałek
Testowanie jakości, informacja zwrotna
Produkcja
Odpowiedz
zły komentarz
Cytowanie źródła, weryfikacja
Kontrola dostępu
Kontrola autorytetu
nieuprawnione ujawnienie
Ograniczenia oparte na użytkowniku
Typowe błędy
- Założenie brudnej bazy dokumentów. Nieaktualny/sprzeczny dokument powoduje złą reakcję.
- Przyjęcie odpowiedzi bez podawania źródła. Celem RAG jest identyfikowalność.
- Nie sprawdzanie daty dokumentu. Odpowiedź, która powinna zostać zaktualizowana, pochodzi ze starej wersji.
- Ominięcie kontroli dostępu. Nieupoważniona osoba ma dostęp do poufnych informacji.
- Myślenie, że RAG jest całkowicie odporny na halucynacje. Zły element nadal daje złą odpowiedź.
Podsumowując
RAG wnosi ogromną wartość w zarządzaniu wiedzą, przekształcając pamięć organizacyjną w responsywny system oparty na zasobach; W odróżnieniu od ogólnej sztucznej inteligencji łączy i pozyskuje odpowiedzi z rzeczywistymi dokumentami organizacji, znacznie ograniczając w ten sposób halucynacje. Sukces zależy jednak od czystej i aktualnej bazy dokumentacji, dokładnego dostępu do utworów, przypisania źródła, sprawdzenia daty/aktualności i kontroli dostępu. RAG nie resetuje halucynacji; Krytyczne odpowiedzi są weryfikowane poprzez sięganie do źródła i od samego początku przestrzegana jest poufność.
Zadanie aplikacji
Przygotuj mały zestaw dokumentów (5-8 aktualnych lub przykładowych dokumentów agencyjnych, z datami); Świadomie umieść jedną starą i jedną obecną, sprzeczną wersję. Zadaj pytanie za pomocą szablonu „Monit odpowiedzi na podstawie źródła” i sprawdź, czy sztuczna inteligencja powołuje się na źródło. Następnie oceń, czy AI poprawnie wykryła konflikt i aktualną wersję za pomocą szablonu „Konflikt i sprawdzenie aktualnej wersji”.
lista kontrolna
- [ ] Zaktualizowałem bazę dokumentów, usunąłem stare/sprzeczne dokumenty.
- [ ] Zadbałem o to, aby każda odpowiedź wskazywała na dokument źródłowy.
- [ ] Sprawdziłem datę i ważność dokumentów źródłowych.
- [ ] Zapobiegłem generowaniu odpowiedzi z nieautoryzowanych dokumentów za pomocą kontroli dostępu.
- [ ] Sprawdziłem krytyczne odpowiedzi, sięgając do oryginalnego dokumentu.