Dobici:
- Shvatite kako RAG smanjuje halucinacije povezivanjem i referenciranjem odgovora na stvarne dokumente institucije i primjenom važnosti čiste baze dokumenata
- Sposobnost provjere izvora, datuma i valute RAG izlaza i razlikovanja proturječnih verzija
- Sposobnost zaštite korporativne privatnosti sprječavanjem odgovora neovlaštenih dokumenata uz kontrolu pristupa
Memorija organizacije živi u tisućama raspršenih dokumenata: izvješća, priručnika, zapisnika, procedura, e-pošte. Zaposlenik može satima tražiti dokumente kako bi odgovorio na jednostavno pitanje ("kako ovaj postupak funkcionira?"). San menadžera znanja je da ova memorija pruži izravne, ali temeljene na izvoru odgovore na pitanja. To je upravo ono što RAG obećava. U ovoj ćete jedinici naučiti što je RAG, kako ga koristiti u upravljanju informacijama poduzeća i kako ga osigurati u smislu točnosti, povjerljivosti i pravovremenosti.
Definirajmo pojam. RAG (Retrieval-Augmented Generation) je kada AI odgovara na pitanje tako što najprije pronalazi (dohvaća) relevantne dijelove iz vlastite dokumentacije organizacije, a zatim generira odgovor isključivo na temelju tih dijelova. Ovo se bitno razlikuje od općeg AI koji generira odgovor iz memorije: RAG povezuje i pronalazi odgovor na stvarnim, sljedivim dokumentima. Time je halucinacija uvelike smanjena jer AI govori iz dokumenta institucije, a ne iz njezine "glave".
Korak po korak: razumijevanje poslovnog RAG sustava
1. Pripremite bazu dokumenata. Pouzdani, ažurni dokumenti organizacije prikupljaju se, čiste i dijele na dijelove (smislene male dijelove dokumenta). Ako loši, zastarjeli ili proturječni dokumenti uđu u sustav, odgovori će biti loši: "smeće unutra, smeće van."
2. Ugradite i indeksirajte. Svaki se dio pretvara u vektor (ugrađivanje) koji predstavlja njegovo značenje i stavlja se u pretraživi indeks. Kada se pojavi pitanje, sustav pronalazi dijelove koji su najbliži značenju.
3. Donesite relevantne dijelove. Kada se postavi pitanje, sustav iz baze dokumenata izvlači nekoliko najrelevantnijih dijelova. Ovaj korak je kritičan: ako se unese krivi komad, odgovor će također biti pogrešan.
4. Generirajte odgovor temeljen na izvoru. AI generira odgovor isključivo na temelju dohvaćenih fragmenata i ukazuje iz kojeg je dokumenta uzeo. Odgovor koji ne navodi izvor je u suprotnosti sa svrhom RAG-a.
5. Provjerite i izvijestite. Korisnik bi trebao moći otići do prikazanog izvora i potvrditi odgovor. Netočni ili nepotpuni odgovori postaju povratna informacija za poboljšanje dokumentacijske baze.
Savjet: Kvaliteta RAG-a uvelike ovisi o kvaliteti baze dokumenata. Ažurirajte dokumente, uklonite proturječne/zastarjele verzije i dodajte informacije o datumu i porijeklu svakom dokumentu prije nego što ga stavite u sustav. 500 dobro organiziranih dokumenata daje bolje odgovore od 5000 raštrkanih dokumenata.
RAG-ove granice i sigurnosne točke
RAG smanjuje halucinaciju, ali je ne poništava. Ako sustav vrati krivi dio, AI može dati pogrešan odgovor ostajući "vjeran" tom krivom komadu. Osim toga, AI može pogrešno protumačiti dohvaćene dijelove ili kombinirati više dijelova na kontradiktorne načine. Stoga bi se RAG izlaz također trebao provjeriti odlaskom na izvor, posebno za kritične odluke.
Privatnost je središnje pitanje u korporativnom RAG-u. Baza dokumenata može sadržavati osjetljive informacije (osoblje, ugovori, strategija). Sustav ne bi trebao generirati odgovore iz dokumenata koji nisu autorizirani od strane korisnika; Kontrolu pristupa (tko može vidjeti koji dokument) također treba primijeniti na RAG. U suprotnom, zaposlenik može putem RAG-a pristupiti informacijama koje ne može vidjeti.
Pažnja: Čak i kada citirate dokument, RAG ne jamči da je taj dokument ažuran i točan. Sustav može odgovoriti iz starog dokumenta o postupku od prije tri godine. Odgovornost korisnika i upravitelja informacija je provjeriti datum i valjanost izvornog dokumenta.
tri mini kućišta
Slučaj 1 — Ubrzana proceduralna pitanja. Jedna je organizacija uspostavila RAG sustav za svoje priručnike o internim postupcima od 1200 stranica. Pitanja zaposlenika "kako to učiniti" riješena su u roku od nekoliko sekundi s odgovorima koji pokazuju izvor; Prosječno trajanje poziva smanjeno je s 25 minuta na 2 minute. Budući da je svaki odgovor bio povezan s dijelom dokumentacije na kojem se temeljio, zaposlenici su ga mogli provjeriti.
Slučaj 2 — Stari dokument snimljen. Sustav RAG odgovorio je na pitanje o postupku izdavanja dozvole iz starog dokumenta iz 2021. godine; Međutim, ažurirana verzija objavljena je 2024. Zaposlenik koji je otvorio izvornu vezu primijetio je da je datum zastario i pronašao je ažurirani dokument. Upravitelj informacija uklonio je staru verziju iz baze dokumenata.
Slučaj 3 — Spriječen neovlašteni pristup. U početnom postavljanju, RAG je javno skenirao sve dokumente; zaposlenik je dobio odgovor s dokumenta o platnoj listi koji nije trebao vidjeti. Tim je RAG-u dodao kontrolu pristupa: sustav sada samo generira odgovore iz dokumenata za koje je korisnik ovlašten.
Evaluacija, povratne informacije i kontinuirano poboljšanje
RAG sustav nije alat koji se jednom instalira i zaboravi; Zahtijeva stalnu evaluaciju i usavršavanje. Osnova za to je redovito mjerenje odgovora sustava na stvarna pitanja. Dva su pitanja ključna: dohvaća li sustav ispravne dijelove dokumenta (kvaliteta pristupa) i proizvodi li točan odgovor iz dohvaćenih dijelova (kvaliteta proizvodnje)? Potrebno je zasebno vrednovati ova dva sloja; Jer donijeti pravi dokument i krivo ga protumačiti i donijeti krivi dokument i vjerno ga prenijeti različiti su problemi i zahtijevaju različita rješenja. Dobra praksa je držati skup "test pitanja" s poznatim točnim odgovorima i testirati sustav s tim skupom pri svakom ažuriranju. Osim toga, povratne informacije korisnika "je li ovaj odgovor bio od pomoći/je li izvor točan" otkrivaju i praznine u bazi dokumenata i netočno dohvaćene dijelove. AI može pomoći u skupljanju ovih povratnih informacija i sažimanju vrsta pitanja koja najčešće ne uspijevaju; Ali odluka o tome koji dokument dodati, ažurirati ili ukloniti pripada upravitelju informacija. Sustav zahtijeva brigu poput živog organizma; Zanemareni RAG sve više dovodi u zabludu zbog starenja dokumentacije tijekom vremena.
Savjet: Čim postavite RAG sustav, pripremite mali set testova od 20-30 stvarnih pitanja i poznatih točnih odgovora. Pokretanje ovog skupa sa svakim ažuriranjem dokumenta trenutno pokazuje da li promjena poboljšava ili kvari sustav.
Četiri predloška za kopiranje
1) Odgovor temeljen na izvoru:
Vaša uloga: korporativni informacijski asistent. U nastavku se nalaze dijelovi dokumentacije koji se odnose na to pitanje. Dajte odgovor SAMO na temelju ovih dijelova i navedite iz kojeg dokumenta/dijela za svaki podatak potječe. Ako u dijelovima nema odgovora, recite "ova informacija nije uključena u priložene dokumente", nemojte nagađati. Pitanje: [ovdje] / Dijelovi: [ovdje]
2) Kontradikcija i kontrola valute:
Postoje li kontradikcije ili različite datirane verzije između sljedećih dijelova? Ako je tako, označite ga i označite koji od njih izgleda ažurniji. Dijelovi (s datumima): [ovdje]
3) Revizija čišćenja baze dokumenata:
Ima li na donjem popisu dokumenata zastarjelih, proturječnih ili dokumenata nesigurnog podrijetla koje je potrebno razvrstati prije stavljanja u RAG sustav? Označite i napišite zašto. Popis (s datumom/izvorom): [ovdje]
4) Privatnost i predkontrola pristupa:
Sadrže li sljedeći fragmenti dokumenta osjetljive informacije (osobne podatke, povjerljivi ugovor, strategiju)? Klasificirajte svaki kao "javni/ograničeni pristup" i dajte obrazloženje. Pjesme: [ovdje]
Slab upit / Jak upit
Slab upit:
Objasnite postupak dobivanja dozvola naše ustanove.
Ako nije dana nikakva dokumentacija, AI proizvodi izmišljeni postupak iz svoje opće memorije ili iz provedbe drugih institucija; To može biti irelevantno za stvarnu vladavinu institucije.
Snažan upit:
Vaša uloga: korporativni informacijski asistent. Ispod se nalaze dijelovi dokumenata (s njihovim datumima) koji se odnose na proceduru dobivanja dozvole institucije. Odgovorite na pitanje samo na temelju ovih dijelova, navodeći izvorni dokument i datum u svakom koraku. Ako su dijelovi u sukobu, upotrijebite najnoviji i recite to. Ako nije u dokumentu, recite "nema podataka". Pitanje: [ovdje] / Dijelovi: [ovdje]
Snažan brz; povezuje odgovor sa stvarnim institucijskim dokumentima, traži izvore i datume i iskreno se bavi proturječjima i prazninama.
RAG komponenta i tablica rizika
komponenta
Funkcija
Glavni rizik
osiguranje
Baza dokumenata
Izvor odgovora
Zastarjeli/sukobni dokument
Čistoća, povijest, porijeklo
Dohvaćanje
Pronađite relevantni dio
pogrešan komad
Testiranje kvalitete, povratne informacije
Proizvodnja
odgovori
pogrešan komentar
Navođenje izvora, provjera
Kontrola pristupa
Provjera ovlaštenja
neovlašteno otkrivanje
Ograničenje temeljeno na korisniku
Uobičajene greške
- Uspostavljanje prljave baze dokumenata. Zastarjeli/konfliktni dokument daje loš odgovor.
- Prihvaćanje odgovora bez navođenja izvora. Svrha RAG-a je sljedivost.
- Ne provjeravam datum dokumenta. Odgovor koji se smatra ažuriranim dolazi iz stare verzije.
- Zaobilaženje kontrole pristupa. Neovlaštena osoba pristupa osjetljivim informacijama.
- Misleći da je RAG potpuno imun na halucinacije. Pogrešan dio i dalje daje pogrešan odgovor.
Ukratko
RAG proizvodi veliku vrijednost u upravljanju znanjem transformirajući organizacijsku memoriju u sustav koji se temelji na resursima; Za razliku od opće umjetne inteligencije, ona povezuje i pronalazi odgovor sa stvarnim dokumentima organizacije, čime značajno smanjuje halucinacije. Ali uspjeh ovisi o čistoj i ažurnoj bazi dokumentacije, točnom pristupu tragovima, atribuciji izvora, provjeri datuma/aktualnosti i kontroli pristupa. RAG ne poništava halucinacije; Kritični odgovori provjeravaju se odlaskom na izvor, a povjerljivost se poštuje od samog početka.
Zadatak aplikacije
Pripremite mali set dokumenata (5-8 stvarnih ili oglednih agencijskih dokumenata, s datumima); Svjesno staviti jednu staru i jednu sadašnju konfliktnu verziju. Postavite pitanje s predloškom "Upitnik za odgovor temeljen na izvoru" i provjerite navodi li AI izvor. Zatim procijenite je li AI ispravno otkrio sukob i trenutnu verziju pomoću predloška "Provjera sukoba i trenutne verzije".
popis za provjeru
- [ ] Ažurirao sam bazu dokumenata, izbacio stare/sukobne dokumente.
- [ ] Pazio sam da svaki odgovor ukazuje na izvorni dokument.
- [ ] Provjerio sam datum i valjanost izvornih dokumenata.
- [ ] Kontrolom pristupa spriječio sam generiranje odgovora iz neovlaštenih dokumenata.
- [ ] Provjerio sam kritičke odgovore odlaskom na izvorni dokument.