Dobički:
- Razumeti, kako RAG zmanjša halucinacije s povezovanjem in sklicevanjem na odgovor na dejanske dokumente institucije ter uporabo pomena čiste baze dokumentov
- Sposobnost preverjanja vira, datuma in valute izpisa RAG ter razlikovanja nasprotujočih si različic
- Sposobnost zaščite zasebnosti podjetja s preprečevanjem odzivov nepooblaščenih dokumentov z nadzorom dostopa
Spomin organizacije živi v tisočih razpršenih dokumentov: poročilih, priročnikih, zapisnikih, postopkih, elektronskih sporočilih. Zaposleni lahko ure in ure išče dokumente, da odgovori na preprosto vprašanje (»kako ta postopek deluje?«). Sanje upravitelja znanja so, da bi ta spomin zagotovil neposredne odgovore na vprašanja, vendar na podlagi virov. Točno to obljublja RAG. V tej enoti boste izvedeli, kaj je RAG, kako ga uporabljati pri upravljanju informacij v podjetju in kako ga zaščititi v smislu točnosti, zaupnosti in pravočasnosti.
Opredelimo pojem. RAG (Retrieval-Augmented Generation) je, ko umetna inteligenca odgovori na vprašanje tako, da najprej najde (pridobi) ustrezne dele iz lastne dokumentacije organizacije in nato ustvari odgovor, ki temelji izključno na teh delih. To se bistveno razlikuje od splošnega umetne inteligence, ki generira odgovor iz spomina: RAG povezuje in izvira odgovor z resničnimi, sledljivimi dokumenti. Tako se halucinacija močno zmanjša, ker AI govori iz dokumenta institucije, ne iz njene "glave".
Korak za korakom: razumevanje sistema RAG podjetja
1. Pripravite podlago za dokumente. Zanesljivi, posodobljeni dokumenti organizacije so zbrani, očiščeni in razdeljeni na dele (majhne pomembne dele dokumenta). Če v sistem vstopijo slabi, zastareli ali nasprotujoči si dokumenti, bodo odgovori slabi: "smeti noter, smeti ven."
2. Vdelaj in indeksiraj. Vsak kos je pretvorjen v vektor (vdelava), ki predstavlja njegov pomen, in vstavljen v iskalni indeks. Ko se pojavi vprašanje, sistem poišče dele, ki so pomensko najbližji.
3. Prinesite ustrezne dele. Ko je zastavljeno vprašanje, sistem iz baze dokumentov potegne nekaj najpomembnejših delov. Ta korak je ključnega pomena: če se prinese napačen del, bo tudi odgovor napačen.
4. Ustvarite odgovor na podlagi vira. Umetna inteligenca ustvari odgovor samo na podlagi pridobljenih fragmentov in navede, iz katerega dokumenta je vzela. Odgovor, ki ne navaja vira, je v nasprotju z namenom RAG.
5. Preverite in poročajte. Uporabnik mora imeti možnost iti do prikazanega vira in potrditi odgovor. Nepravilni ali nepopolni odgovori postanejo povratna informacija za izboljšanje dokumentacijske baze.
Nasvet: Kakovost RAG je v veliki meri odvisna od kakovosti baze dokumentov. Posodobite dokumente, izločite nasprotujoče si/zastarele različice in dodajte datum in podatke o poreklu vsakemu dokumentu, preden ga vstavite v sistem. 500 dobro organiziranih dokumentov daje boljše odgovore kot 5000 razpršenih dokumentov.
Meje in varnostne točke RAG
RAG zmanjša halucinacije, vendar jih ne ponastavi. Če sistem vrne napačen del, lahko AI še vedno da napačen odgovor, tako da ostane "zvest" temu napačnemu delu. Poleg tega lahko umetna inteligenca napačno razlaga pridobljene dele ali kombinira več kosov na protislovne načine. Zato je treba izhod RAG preveriti tudi z odkrivanjem vira, zlasti za kritične odločitve.
Zasebnost je osrednje vprašanje v podjetju RAG. Baza dokumentov lahko vsebuje občutljive informacije (osebje, pogodbe, strategija). Sistem ne sme generirati odgovorov iz dokumentov, ki jih uporabnik ni odobril; Nadzor dostopa (kdo lahko vidi kateri dokument) je treba uporabiti tudi za RAG. V nasprotnem primeru lahko zaposleni preko RAG dostopa do informacij, ki jih ne vidi.
Pozor: RAG tudi pri citiranju dokumenta ne jamči, da je ta ažuren in točen. Sistem se lahko odzove na stari dokument postopka izpred treh let. Za preverjanje datuma in veljavnosti izvornega dokumenta sta odgovorna uporabnik in upravljavec informacij.
trije mini kovčki
Primer 1 – Pospešeno postopkovna vprašanja. Ena organizacija je vzpostavila sistem RAG za svoje priročnike o notranjih postopkih na 1200 straneh. Vprašanja zaposlenih »kako to narediti« so bila rešena v nekaj sekundah z odgovori, ki so navedli vir; Povprečno trajanje klica se je zmanjšalo s 25 minut na 2 minuti. Ker je bil vsak odgovor povezan z delom dokumentacije, na kateri je temeljil, so ga zaposleni lahko preverili.
Primer 2 – zajet stari dokument. Sistem RAG je odgovoril na vprašanje o postopku izdaje dovoljenja iz starega dokumenta iz leta 2021; Vendar je bila leta 2024 izdana posodobljena različica. Zaposleni, ki je odprl izvorno povezavo, je opazil, da je datum zastarel, in našel posodobljen dokument. Upravitelj informacij je odstranil staro različico iz baze dokumentov.
3. primer – preprečen nepooblaščen dostop. V začetni nastavitvi je RAG javno skeniral vse dokumente; zaposleni je prejel odgovor iz plačilne liste, ki je ni smel videti. Ekipa je RAG-u dodala nadzor dostopa: sistem zdaj generira samo odgovore iz dokumentov, za katere je uporabnik pooblaščen.
Ocenjevanje, povratne informacije in stalne izboljšave
Sistem RAG ni orodje, ki bi ga enkrat namestili in pozabili; Zahteva nenehno vrednotenje in izboljšave. Osnova za to je redno merjenje odgovorov sistema na realna vprašanja. Ključni sta dve vprašanji: ali sistem pridobi pravilne dele dokumenta (kakovost dostopa) in ali proizvede pravilen odgovor iz pridobljenih kosov (kakovost proizvodnje)? Ti dve plasti je treba ovrednotiti ločeno; Kajti prinesti pravi dokument in ga napačno interpretirati ter prinesti napačen dokument in ga zvesto prenesti so različni problemi in zahtevajo različne rešitve. Dobra praksa je, da obdržite nabor "testnih vprašanj" z znanimi pravilnimi odgovori in s tem naborom preizkusite sistem ob vsaki posodobitvi. Poleg tega povratne informacije uporabnikov »ali je bil ta odgovor koristen/ali je bil vir točen« razkrijejo vrzeli v bazi dokumentov in nepravilno pridobljene dele. AI lahko pomaga zbrati te povratne informacije in povzeti vrste vprašanj, ki najpogosteje ne uspejo; Toda odločitev o tem, kateri dokument dodati, posodobiti ali odstraniti, pripada upravljavcu informacij. Sistem potrebuje nego kot živ organizem; Zanemarjeni RAG postaja vse bolj zavajajoč zaradi staranja dokumentacije.
Namig: Takoj ko nastavite sistem RAG, pripravite majhen testni niz 20-30 resničnih vprašanj in znanih pravilnih odgovorov. Zagon tega niza z vsako posodobitvijo dokumenta takoj pokaže, ali sprememba izboljša ali pokvari sistem.
Štiri predloge za kopiranje
1) Poziv za odgovor na podlagi vira:
Vaša vloga: korporativni informacijski pomočnik. Spodaj so prikazani deli dokumentacije v zvezi z vprašanjem. Podajte odgovor SAMO na podlagi teh delčkov in navedite, iz katerega dokumenta/dela za posamezen podatek je. Če v delih ni odgovora, recite "te informacije niso vključene v predložene dokumente", ne ugibajte. Vprašanje: [tukaj] / Deli: [tukaj]
2) Protislovje in valutni nadzor:
Ali obstajajo protislovja ali različne datirane različice med naslednjimi deli? Če je tako, ga označite in označite, kateri je videti bolj posodobljen. Deli (z datumi): [tukaj]
3) Revizija čiščenja baze dokumentov:
Ali so na spodnjem seznamu dokumentov kakršni koli zastareli, nasprotujoči si dokumenti ali dokumenti negotovega izvora, ki jih je treba razvrstiti, preden se dajo v sistem RAG? Odkljukajte in napišite zakaj. Seznam (z datumom/virom): [tukaj]
4) Predhodni nadzor zasebnosti in dostopa:
Ali naslednji fragmenti dokumenta vsebujejo občutljive informacije (osebne podatke, zaupno pogodbo, strategijo)? Vsako razvrstite kot "javni/omejeni dostop" in navedite utemeljitev. Skladbe: [tukaj]
Šibek poziv/močan poziv
Šibek poziv:
Pojasnite postopek izdaje dovoljenj naše ustanove.
Če dokumentacija ni dana, AI izdela izdelan postopek iz svojega splošnega pomnilnika ali iz izvajanja drugih institucij; Za dejansko vladanje institucije je lahko nepomembno.
Močan poziv:
Vaša vloga: korporativni informacijski pomočnik. Spodaj so dokumenti (z njihovimi datumi) v zvezi s postopkom izdaje dovoljenja zavodu. Odgovorite na vprašanje samo na podlagi teh delov in pri vsakem koraku navedite izvorni dokument in datum. Če si deli nasprotujejo, uporabite najnovejšega in to povejte. Če tega ni v dokumentu, recite "ni podatkov". Vprašanje: [tukaj] / Deli: [tukaj]
Močan poziv; povezuje odgovor z dejanskimi institucijskimi dokumenti, sprašuje po virih in datumih ter pošteno obravnava protislovje in vrzel.
Komponenta RAG in tabela tveganj
komponento
funkcija
Glavno tveganje
Zagotovilo
Baza dokumentov
Vir odgovora
Zastarel/nasprotujoč si dokument
Čistoča, zgodovina, poreklo
Pridobivanje
Poiščite ustrezen del
napačen kos
Testiranje kakovosti, povratne informacije
Proizvodnja
Odgovori
napačen komentar
Navajanje vira, preverjanje
Nadzor dostopa
Preverjanje avtoritete
nepooblaščeno razkritje
Uporabniška omejitev
Pogoste napake
- Vzpostavitev umazane baze dokumentov. Zastarel/nasprotujoč si dokument daje slab odgovor.
- Sprejemanje odgovora brez navedbe vira. Namen RAG je sledljivost.
- Ne preverjam datuma dokumenta. Odgovor, ki naj bi bil posodobljen, prihaja iz stare različice.
- Obhod nadzora dostopa. Nepooblaščena oseba dostopa do občutljivih podatkov.
- Misliti, da je RAG popolnoma imun na halucinacije. Napačen del še vedno povzroči napačen odgovor.
Če povzamem
RAG ustvarja veliko vrednost pri upravljanju znanja s preoblikovanjem organizacijskega spomina v sistem, ki temelji na virih; Za razliko od splošne umetne inteligence povezuje in pridobiva odgovor z dejanskimi dokumenti organizacije, s čimer znatno zmanjša halucinacije. Toda uspeh je odvisen od čiste in posodobljene dokumentacijske baze, natančnega dostopa do sledi, pripisa vira, preverjanja datuma/aktualnosti in nadzora dostopa. RAG ne ponastavi halucinacije; Kritični odgovori se preverjajo z dostopom do vira, zaupnost pa se spoštuje od vsega začetka.
Aplikacijska naloga
Pripravite majhen nabor dokumentov (5-8 dejanskih ali vzorčnih agencijskih dokumentov, z datumi); Zavestno postaviti eno staro in eno trenutno konfliktno različico. Postavite vprašanje s predlogo »Poziv na podlagi vira« in preverite, ali AI navaja vir. Nato ocenite, ali je AI pravilno zaznal spor in trenutno različico s predlogo »Preverjanje spora in trenutne različice«.
kontrolni seznam
- [ ] Posodobil sem bazo dokumentov, izločil stare/nasprotujoče si dokumente.
- [ ] Poskrbel sem, da vsak odgovor kaže na izvorni dokument.
- [ ] Preveril sem datum in veljavnost izvornih dokumentov.
- [ ] S kontrolo dostopa sem preprečil generiranje odgovorov iz nepooblaščenih dokumentov.
- [ ] Kritične odzive sem preveril z izvirnim dokumentom.