Pelnas:
- Supraskite, kaip RAG sumažina haliucinacijas, susiejant ir nurodant atsakymą į faktinius institucijos dokumentus ir taikant švarios dokumentų bazės svarbą.
- Galimybė patikrinti RAG išvesties šaltinį, datą ir valiutą bei atskirti prieštaringas versijas
- Galimybė apsaugoti įmonės privatumą užkertant kelią atsakymams iš neteisėtų dokumentų su prieigos kontrole
Organizacijos atmintis gyvena tūkstančiuose išsklaidytų dokumentų: ataskaitose, žinynuose, protokoluose, procedūrose, el. Darbuotojas gali valandų valandas ieškoti dokumentų, kad atsakytų į paprastą klausimą („kaip veikia ši procedūra?“). Žinių vadybininko svajonė yra, kad ši atmintis pateiktų tiesioginius, bet šaltiniu pagrįstus atsakymus į klausimus. Būtent tai žada RAG. Šiame skyriuje sužinosite, kas yra RAG, kaip jį naudoti valdant įmonės informaciją ir kaip užtikrinti jos tikslumą, konfidencialumą ir savalaikiškumą.
Apibrėžkime sąvoką. RAG (Retrieval-Augmented Generation) yra tada, kai AI atsako į klausimą, pirmiausia surasdamas (gaudamas) atitinkamas dalis iš pačios organizacijos dokumentacijos ir tada sugeneruodamas atsakymą, remdamasis tik tais elementais. Tai iš esmės skiriasi nuo bendro AI, generuojančio atsakymą iš atminties: RAG susieja ir pateikia atsakymą į tikrus, atsekamus dokumentus. Taigi haliucinacijos labai sumažėja, nes AI kalba iš institucijos dokumento, o ne iš jos „galvos“.
Žingsnis po žingsnio: įmonės RAG sistemos supratimas
1. Paruoškite dokumentų pagrindą. Patikimi, atnaujinti organizacijos dokumentai surenkami, išvalomi ir suskirstomi į gabalus (prasmingas mažas dokumento dalis). Jei į sistemą pateks blogi, pasenę ar prieštaraujantys dokumentai, atsakymai bus blogi: „šiukšlės į, šiukšlės išvežtos“.
2. Įterpti ir indeksuoti. Kiekvienas gabalas paverčiamas vektoriumi (įterpimu), atspindinčiu jo reikšmę, ir įtraukiamas į paieškos indeksą. Kai iškyla klausimas, sistema suranda dalis, kurios yra arčiausiai prasmės.
3. Atsineškite atitinkamas dalis. Kai užduodamas klausimas, sistema iš dokumentų bazės ištraukia keletą svarbiausių dalių. Šis žingsnis yra labai svarbus: jei atnešama netinkama dalis, atsakymas taip pat bus neteisingas.
4. Sukurkite šaltiniu pagrįstą atsakymą. AI generuoja atsakymą, pagrįstą tik gautais fragmentais, ir nurodo, iš kurio dokumento jis buvo paimtas. Atsakymas, kuriame nenurodomas šaltinis, prieštarauja RAG tikslui.
5. Patikrinkite ir praneškite. Vartotojas turi turėti galimybę eiti į rodomą šaltinį ir patvirtinti atsakymą. Neteisingi arba neišsamūs atsakymai tampa grįžtamuoju ryšiu, siekiant pagerinti dokumentacijos bazę.
Patarimas: RAG kokybė labai priklauso nuo dokumentų bazės kokybės. Atnaujinkite dokumentus, pašalinkite prieštaringas / pasenusias versijas ir pridėkite datos ir kilmės informaciją prie kiekvieno dokumento prieš įtraukdami jį į sistemą. 500 gerai sutvarkytų dokumentų pateikia geresnius atsakymus nei 5000 išsklaidytų dokumentų.
RAG sienos ir apsaugos punktai
RAG sumažina haliucinacijas, bet jų neatkuria. Jei sistema grąžina neteisingą gabalą, AI vis tiek gali pateikti neteisingą atsakymą, likdamas „lojalus“ tam netinkamam kūriniui. Be to, AI gali neteisingai interpretuoti gautas dalis arba sujungti kelias dalis prieštaringai. Todėl RAG išvestis taip pat turėtų būti patikrinta einant į šaltinį, ypač priimant svarbius sprendimus.
Privatumas yra pagrindinė įmonės RAG problema. Dokumentų bazėje gali būti slaptos informacijos (personalas, sutartys, strategija). Sistema neturėtų generuoti atsakymų iš dokumentų, kurių vartotojas nepatvirtino; Prieigos kontrolė (kas gali matyti kokį dokumentą) taip pat turėtų būti taikoma RAG. Priešingu atveju darbuotojas per RAG gali pasiekti informaciją, kurios jis nemato.
Dėmesio: net ir cituodamas dokumentą, RAG negarantuoja, kad tas dokumentas yra atnaujintas ir tikslus. Sistema gali reaguoti iš seno, prieš trejus metus sukurto procedūrinio dokumento. Vartotojas ir informacijos valdytojas yra atsakingi už pirminio dokumento datos ir galiojimo patikrinimą.
trys mini dėklai
1 atvejis – procedūriniai klausimai paspartinti. Viena organizacija sukūrė RAG sistemą savo 1200 puslapių vidaus procedūrų vadovams. Darbuotojų klausimai „kaip tai padaryti“ buvo išspręsti per kelias sekundes, atsakymais nurodant šaltinį; Vidutinė pokalbių trukmė sumažėjo nuo 25 minučių iki 2 minučių. Kadangi kiekvienas atsakymas buvo susijęs su dokumentų skyriumi, kuriuo jis buvo pagrįstas, darbuotojai galėjo jį patikrinti.
2 atvejis – užfiksuotas senas dokumentas. RAG sistema atsakė į leidimo procedūros klausimą iš seno 2021 m. dokumento; Tačiau atnaujinta versija buvo išleista 2024 m. Darbuotojas, atidaręs šaltinio nuorodą, pastebėjo, kad data yra pasenusi ir rado atnaujintą dokumentą. Informacijos tvarkytojas iš dokumentų bazės pašalino senąją versiją.
3 atvejis – užkirstas kelias neteisėtai prieigai. Pradinėje sąrankoje RAG viešai nuskaitė visus dokumentus; darbuotojas gavo atsakymą iš darbo užmokesčio dokumento, kurio neturėjo matyti. Komanda prie RAG pridėjo prieigos kontrolę: dabar sistema generuoja atsakymus tik iš dokumentų, kuriems vartotojas yra įgaliotas.
Įvertinimas, grįžtamasis ryšys ir nuolatinis tobulėjimas
RAG sistema nėra įrankis, kurį reikia vieną kartą įdiegti ir pamiršti; Tai reikalauja nuolatinio vertinimo ir tobulėjimo. To pagrindas – reguliarus sistemos atsakymų į tikrus klausimus matavimas. Svarbūs du klausimai: ar sistema gauna reikiamas dokumento dalis (prieigos kokybė) ir ar ji pateikia teisingą atsakymą iš gautų dalių (gamybos kokybė)? Šiuos du sluoksnius būtina vertinti atskirai; Nes tinkamo dokumento atnešimas ir neteisingas jo aiškinimas bei neteisingo dokumento atnešimas ir ištikimas jo perdavimas yra skirtingos problemos ir reikalauja skirtingų sprendimų. Gera praktika yra laikyti „bandomųjų klausimų“ rinkinį su žinomais teisingais atsakymais ir išbandyti sistemą su šiuo rinkiniu kiekvieno atnaujinimo metu. Be to, vartotojų atsiliepimai „ar šis atsakymas buvo naudingas / ar šaltinis tikslus“ atskleidžia ir dokumentų bazės spragas, ir neteisingai gautas dalis. AI gali padėti kaupti šiuos atsiliepimus ir apibendrinti klausimus, kurių dažniausiai nepavyksta; Tačiau sprendimas, kurį dokumentą pridėti, atnaujinti ar pašalinti, priklauso informacijos valdytojui. Sistema reikalauja priežiūros kaip gyvas organizmas; Nepaisoma RAG tampa vis labiau klaidinanti dėl senstančios dokumentacijos laikui bėgant.
Patarimas: kai tik nustatysite RAG sistemą, paruoškite nedidelį testų rinkinį iš 20–30 tikrų klausimų ir žinomų teisingų atsakymų. Vykdant šį rinkinį su kiekvienu dokumento atnaujinimu akimirksniu parodoma, ar pakeitimas pagerina ar sulaužo sistemą.
Keturi kopijuojami šablonai
1) Šaltiniu pagrįstas atsakymo raginimas:
Jūsų vaidmuo: įmonės informacijos asistentas. Žemiau pateikiami su šiuo klausimu pateikti dokumentai. Pateikite atsakymą, remdamiesi TIK šiomis dalimis, ir nurodykite, iš kurio dokumento / gabalo kiekviena informacija yra. Jei dalyse nėra atsakymo, sakykite „ši informacija nėra įtraukta į pateiktus dokumentus“, nespėk. Klausimas: [čia] / Dalys: [čia]
2) Prieštaravimas ir valiutos kontrolė:
Ar tarp šių kūrinių yra kokių nors prieštaravimų arba skirtingų datuotų versijų? Jei taip, pažymėkite jį ir nurodykite, kuris atrodo naujesnis. Dalys (su datomis): [čia]
3) Dokumentų bazės valymo auditas:
Ar toliau pateiktame dokumentų sąraše yra pasenusių, prieštaraujančių ar neaiškios kilmės dokumentų, kuriuos reikia sutvarkyti prieš įtraukiant juos į RAG sistemą? Pažymėkite ir parašykite kodėl. Sąrašas (su data / šaltiniu): [čia]
4) Privatumas ir išankstinė prieigos kontrolė:
Ar šiuose dokumentų fragmentuose yra neskelbtinos informacijos (asmens duomenys, konfidenciali sutartis, strategija)? Klasifikuokite kiekvieną kaip „vieša / ribota prieiga“ ir pateisinkite. Takeliai: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Paaiškinkite mūsų įstaigos leidimų tvarką.
Jei dokumentai nepateikiami, AI parengia sugalvotą procedūrą iš savo bendrosios atminties arba iš kitų institucijų įgyvendinimo; Tai gali būti nereikšminga faktinei institucijos taisyklei.
Galingas raginimas:
Jūsų vaidmuo: įmonės informacijos asistentas. Žemiau pateikiami dokumentai (su datomis) dėl institucijos leidimų išdavimo procedūros. Atsakykite į klausimą remdamiesi vien šiomis dalimis, kiekviename žingsnyje nurodydami pirminį dokumentą ir datą. Jei dalys prieštarauja, naudokite naujausią ir pasakykite tai. Jei dokumente jo nėra, pasakykite „nėra informacijos“. Klausimas: [čia] / Dalys: [čia]
Galingas raginimas; atsakymą susieja su faktiniais institucijos dokumentais, klausia šaltinių ir datų bei sąžiningai sprendžia prieštaravimą ir spragą.
RAG komponentas ir rizikos lentelė
komponentas
Funkcija
Pagrindinė rizika
Užtikrinimas
Dokumentų bazė
Atsakymo šaltinis
Pasenęs / nesuderinamas dokumentas
Švara, istorija, kilmė
Paėmimas
Raskite atitinkamą dalį
neteisingas gabalas
Kokybės tikrinimas, atsiliepimai
Gamyba
Atsakyti
neteisingas komentaras
Šaltinis cituojamas, patikrinimas
Prieigos kontrolė
Valdžios patikrinimas
neteisėtas atskleidimas
Vartotoju pagrįstas apribojimas
Dažnos klaidos
- Nešvarios dokumentų bazės sukūrimas. Pasenęs / nesuderinamas dokumentas sukelia blogą atsakymą.
- Atsakymo priėmimas nenurodant šaltinio. RAG tikslas – atsekamumas.
- Netikrina dokumento datos. Manoma, kad atnaujintas atsakymas gaunamas iš senosios versijos.
- Apeinant prieigos kontrolę. Neleistinas asmuo pasiekia slaptą informaciją.
- Galvojant, kad RAG yra visiškai apsaugotas nuo haliucinacijų. Neteisingas gabalas vis tiek pateikia neteisingą atsakymą.
Apibendrinant
RAG sukuria didelę žinių valdymo vertę, paversdama organizacijos atmintį į ištekliais pagrįstą reaguojančią sistemą; Skirtingai nuo bendrojo AI, jis susieja ir pateikia atsakymą į tikruosius organizacijos dokumentus, taip žymiai sumažindamas haliucinacijas. Tačiau sėkmė priklauso nuo švarios ir atnaujintos dokumentų bazės, tikslios prieigos prie takelių, šaltinio priskyrimo, datos / aktualumo tikrinimo ir prieigos kontrolės. RAG neatkuria haliucinacijų; Kritiški atsakymai tikrinami nuėjus į šaltinį ir nuo pat pradžių gerbiamas konfidencialumas.
Taikymo užduotis
Parengti nedidelį dokumentų rinkinį (5-8 faktiniai arba pavyzdiniai agentūros dokumentai, su datomis); Sąmoningai įtraukė vieną seną ir vieną dabartinę prieštaraujančią versiją. Užduokite klausimą naudodami šabloną „Šaltinio atsakymo raginimas“ ir patikrinkite, ar AI nurodo šaltinį. Tada įvertinkite, ar AI teisingai aptiko konfliktą ir dabartinę versiją naudodami šabloną „Konfliktas ir dabartinės versijos tikrinimas“.
kontrolinis sąrašas
- [ ] Atnaujinau dokumentų bazę, atsikračiau senus/prieštaraujančius dokumentus.
- [ ] Įsitikinau, kad kiekvienas atsakymas nukreiptų į pirminį dokumentą.
- [ ] Patikrinau pirminių dokumentų datą ir galiojimą.
- [ ] Neleidau generuoti atsakymų iš neteisėtų dokumentų su prieigos kontrole.
- [ ] Aš patikrinau kritinius atsakymus, eidamas į originalų dokumentą.