Dobici:
- Shvatite kako RAG smanjuje halucinacije povezivanjem i referenciranjem odgovora na stvarne dokumente institucije i primjenom važnosti čiste baze dokumenata
- Sposobnost provjere izvora, datuma i valute RAG izlaza i razlikovanja konfliktnih verzija
- Mogućnost zaštite korporativne privatnosti sprječavanjem odgovora neovlaštenih dokumenata uz kontrolu pristupa
Memorija organizacije živi u hiljadama raspršenih dokumenata: izvještaja, priručnika, zapisnika, procedura, e-mailova. Zaposleni može satima tražiti dokumente kako bi odgovorio na jednostavno pitanje (“kako funkcionira ova procedura?”). San menadžera znanja je da ovo pamćenje pruži direktne odgovore na pitanja zasnovane na izvoru. To je upravo ono što RAG obećava. U ovoj jedinici ćete naučiti šta je RAG, kako ga koristiti u upravljanju informacijama preduzeća i kako ga osigurati u smislu tačnosti, povjerljivosti i pravovremenosti.
Hajde da definišemo koncept. RAG (Retrieval-Augmented Generation) je kada AI odgovori na pitanje tako što prvo pronađe (preuzima) relevantne dijelove iz vlastite dokumentacije organizacije, a zatim generira odgovor isključivo na osnovu tih dijelova. Ovo se suštinski razlikuje od opšte veštačke inteligencije koja generiše odgovor iz memorije: RAG povezuje i izvore odgovora na stvarne dokumente koji se mogu pratiti. Tako se halucinacije uvelike smanjuju jer AI govori iz dokumenta institucije, a ne iz njene "glave".
Korak po korak: razumijevanje poslovnog RAG sistema
1. Pripremite bazu dokumenata. Pouzdani, ažurni dokumenti organizacije se prikupljaju, čiste i dijele na dijelove (značajne male dijelove dokumenta). Ako loši, zastarjeli ili konfliktni dokumenti uđu u sistem, odgovori će biti loši: “smeće unutra, smeće van”.
2. Embed i indeks. Svaki dio se pretvara u vektor (ugrađivanje) koji predstavlja njegovo značenje i stavlja se u indeks za pretraživanje. Kada se postavi pitanje, sistem pronalazi delove koji su po značenju najbliži.
3. Ponesite relevantne dijelove. Kada se postavi pitanje, sistem izvlači nekoliko najrelevantnijih delova iz baze dokumenata. Ovaj korak je kritičan: ako se unese pogrešan komad, odgovor će također biti pogrešan.
4. Generirajte odgovor zasnovan na izvoru. AI generiše odgovor samo na osnovu preuzetih fragmenata i ukazuje iz kojeg dokumenta je uzeo. Odgovor koji ne navodi izvor je u suprotnosti sa svrhom RAG-a.
5. Potvrdite i prijavite. Korisnik bi trebao biti u mogućnosti da ode do prikazanog izvora i potvrdi odgovor. Netačni ili nepotpuni odgovori postaju povratna informacija za poboljšanje dokumentacije.
Savjet: Kvalitet RAG-a u velikoj mjeri ovisi o kvaliteti baze dokumenata. Ažurirajte dokumente, uklonite konfliktne/zastarjele verzije i dodajte podatke o datumu i porijeklu svakom dokumentu prije nego što ga stavite u sistem. 500 dobro organizovanih dokumenata daje bolje odgovore od 5.000 raštrkanih dokumenata.
RAG-ove granice i sigurnosne tačke
RAG smanjuje halucinaciju, ali je ne resetuje. Ako sistem vrati pogrešan komad, AI i dalje može dati pogrešan odgovor tako što će ostati "lojalan" tom pogrešnom komadu. Osim toga, AI može pogrešno protumačiti dohvaćene komade ili kombinirati više komada na kontradiktorne načine. Stoga, izlaz RAG-a također treba provjeriti odlaskom do izvora, posebno za kritične odluke.
Privatnost je centralno pitanje u korporativnom RAG-u. Baza dokumenata može sadržavati osjetljive informacije (osoblje, ugovori, strategija). Sistem ne bi trebao generirati odgovore iz dokumenata koji nisu ovlašteni od strane korisnika; Kontrolu pristupa (ko može vidjeti koji dokument) također treba primijeniti na RAG. U suprotnom, zaposleni može pristupiti informacijama putem RAG-a koje ne može vidjeti.
Pažnja: Čak i kada citira dokument, RAG ne garantuje da je taj dokument ažuran i tačan. Sistem može odgovoriti na osnovu starog proceduralnog dokumenta od prije tri godine. Odgovornost korisnika i menadžera informacija je da provjere datum i valjanost izvornog dokumenta.
tri mini kofera
Slučaj 1 — Ubrzana proceduralna pitanja. Jedna organizacija je uspostavila RAG sistem za svoje interne procedure od 1.200 stranica. Pitanja zaposlenih "kako to učiniti" bila su riješena u roku od nekoliko sekundi s odgovorima koji su ukazivali na izvor; Prosječno trajanje poziva smanjeno je sa 25 minuta na 2 minute. Budući da je svaki odgovor bio povezan sa odjeljkom dokumentacije na kojem je zasnovan, zaposleni su mogli to provjeriti.
Slučaj 2 — Stari dokument snimljen. RAG sistem je odgovorio na pitanje procedure izdavanja dozvole iz starog dokumenta iz 2021. godine; Međutim, ažurirana verzija objavljena je 2024. Zaposlenik koji je otvorio izvorni link primijetio je da je datum zastario i pronašao je ažurirani dokument. Upravitelj informacija je uklonio staru verziju iz baze dokumenata.
Slučaj 3 — Spriječen neovlašteni pristup. U početnom podešavanju, RAG je javno skenirao sve dokumente; zaposleni je dobio odgovor iz dokumenta o platnom spisku koji nije trebao vidjeti. Tim je dodao kontrolu pristupa RAG-u: sistem sada generiše samo odgovore iz dokumenata za koje je korisnik autorizovan.
Evaluacija, povratne informacije i kontinuirano poboljšanje
RAG sistem nije alat koji se jednom instalira i zaboravlja; To zahtijeva stalnu evaluaciju i poboljšanje. Osnova za to je redovno mjerenje odgovora sistema na stvarna pitanja. Dva su pitanja kritična: da li sistem preuzima ispravne delove dokumenta (kvalitet pristupa) i da li proizvodi ispravan odgovor od preuzetih delova (kvalitet proizvodnje)? Potrebno je posebno vrednovati ova dva sloja; Jer donošenje pravog dokumenta i njegovo pogrešno tumačenje i donošenje pogrešnog dokumenta i njegovo verno prenošenje su različiti problemi i zahtevaju različita rešenja. Dobra praksa je da zadržite skup "testnih pitanja" sa poznatim tačnim odgovorima i testirate sistem sa ovim setom pri svakom ažuriranju. Osim toga, povratne informacije korisnika „da li je ovaj odgovor bio koristan/je li izvor bio tačan“ otkrivaju i praznine u bazi dokumenata i netačno dohvaćene dijelove. AI može pomoći da se agregiraju ove povratne informacije i sumiraju vrste pitanja koja najčešće ne uspijevaju; Ali odluka o tome koji dokument dodati, ažurirati ili ukloniti pripada upravitelju informacija. Sistem zahteva brigu kao živi organizam; Zapušteni RAG postaje sve obmanjujući zbog stare dokumentacije tokom vremena.
Savjet: Čim postavite RAG sistem, pripremite mali test od 20-30 pravih pitanja i poznatih tačnih odgovora. Pokretanje ovog skupa sa svakim ažuriranjem dokumenta trenutno pokazuje da li promjena poboljšava ili razbija sistem.
Četiri šablona za kopiranje
1) Prompt za odgovor zasnovan na izvoru:
Vaša uloga: pomoćnik za korporativne informacije. U nastavku su navedeni dijelovi dokumentacije u vezi sa ovim pitanjem. Odgovor dajte SAMO na osnovu ovih dijelova i navedite iz kojeg dokumenta/komada je za svaki podatak. Ako u dijelovima nema odgovora, recite "ova informacija nije uključena u dostavljena dokumenta", nemojte pogađati. Pitanje: [ovdje] / Dijelovi: [ovdje]
2) Kontradikcija i kontrola valute:
Postoje li kontradikcije ili različite datirane verzije između sljedećih dijelova? Ako je tako, označite ga i naznačite koji izgleda ažurniji. Dijelovi (sa datumima): [ovdje]
3) Revizija čišćenja baze dokumenata:
U listi dokumenata u nastavku, da li postoje neki zastarjeli, konfliktni ili dokumenti nesigurnog porijekla koje treba razvrstati prije nego što se stave u RAG sistem? Označite i napišite zašto. Lista (sa datumom/izvorom): [ovdje]
4) Privatnost i prethodna kontrola pristupa:
Da li sljedeći fragmenti dokumenta sadrže osjetljive informacije (lični podaci, povjerljivi ugovor, strategija)? Klasificirajte svaki kao "javni/ograničeni pristup" i dajte opravdanje. Numere: [ovdje]
Slaba prompt / Jaka prompt
Slab upit:
Objasnite proceduru za dobijanje dozvola u našoj ustanovi.
Ako nije data dokumentacija, AU proizvodi izmišljenu proceduru iz svoje opšte memorije ili iz implementacije drugih institucija; To može biti irelevantno za stvarno pravilo institucije.
Snažan upit:
Vaša uloga: pomoćnik za korporativne informacije. Ispod su delovi dokumenata (sa njihovim datumima) koji se odnose na proceduru dobijanja dozvole od strane institucije. Odgovorite na pitanje samo na osnovu ovih dijelova, citirajući izvorni dokument i datum u svakom koraku. Ako su dijelovi u sukobu, upotrijebite najnoviji i recite to. Ako nije u dokumentu, recite "bez informacija". Pitanje: [ovdje] / Dijelovi: [ovdje]
Snažan prompt; povezuje odgovor sa stvarnim dokumentima institucije, traži izvore i datume i iskreno se bavi kontradiktornošću i prazninom.
RAG komponenta i tabela rizika
komponenta
Funkcija
Glavni rizik
Osiguranje
Baza dokumenata
Izvor odgovora
Zastarjeli/konfliktni dokument
Čistoća, istorija, poreklo
Retrieval
Pronađite relevantni dio
pogrešan komad
Ispitivanje kvaliteta, povratne informacije
Proizvodnja
Odgovori
pogrešan komentar
Citiranje izvora, potvrda
Kontrola pristupa
Provjera ovlaštenja
neovlašteno otkrivanje
Ograničenje zasnovano na korisniku
Uobičajene greške
- Uspostavljanje baze prljavih dokumenata. Zastarjeli/konfliktni dokument proizvodi loš odgovor.
- Prihvatanje odgovora bez navođenja izvora. Svrha RAG-a je sljedivost.
- Ne provjeravamo datum dokumenta. Odgovor za koji se misli da će biti ažuriran dolazi iz stare verzije.
- Zaobilazeći kontrolu pristupa. Neovlaštena osoba pristupa osjetljivim informacijama.
- Misleći da je RAG potpuno imun na halucinacije. Pogrešan komad i dalje proizvodi pogrešan odgovor.
Ukratko
RAG proizvodi veliku vrijednost u upravljanju znanjem transformirajući organizacionu memoriju u sistem koji odgovara resursima; Za razliku od opšte veštačke inteligencije, on povezuje i izvore odgovora sa stvarnim dokumentima organizacije, čime značajno smanjuje halucinacije. Ali uspjeh ovisi o čistoj i ažurnoj bazi dokumentacije, preciznom pristupu stazi, izvornoj atribuciji, provjeri datuma/trenutnosti i kontroli pristupa. RAG ne resetuje halucinacije; Kritički odgovori se provjeravaju odlaskom na izvor i povjerljivost se poštuje od samog početka.
Zadatak aplikacije
Pripremite mali set dokumenata (5-8 stvarnih ili uzoraka dokumenata agencije, sa datumima); Svjesno stavite jednu staru i jednu trenutnu konfliktnu verziju. Postavite pitanje pomoću šablona „Odgovor zasnovan na izvoru“ i provjerite da li AI navodi izvor. Zatim procijenite da li je AI ispravno otkrio konflikt i trenutnu verziju pomoću predloška "Provjera sukoba i trenutne verzije".
kontrolna lista
- [ ] Ažurirao sam bazu dokumenata, uklonio stare/konfliktne dokumente.
- [ ] Uvjerio sam se da svaki odgovor ukazuje na izvorni dokument.
- [ ] Provjerio sam datum i validnost izvornih dokumenata.
- [ ] Kontrolom pristupa sam spriječio generiranje odgovora od neovlaštenih dokumenata.
- [ ] Provjerio sam kritičke odgovore tako što sam otišao na originalni dokument.