Kasu:
- Saate aru, kuidas RAG vähendab hallutsinatsioone, sidudes vastuse asutuse tegelikele dokumentidele ja viidates neile ning rakendades puhta dokumendibaasi tähtsust
- Võimalus kontrollida RAG-i väljundi allikat, kuupäeva ja valuutat ning eristada vastuolulisi versioone
- Võimalus kaitsta ettevõtte privaatsust, vältides juurdepääsu kontrolliga volitamata dokumentide vastuseid
Organisatsiooni mälu elab tuhandetes hajutatud dokumentides: aruanded, juhendid, protokollid, protseduurid, e-kirjad. Töötaja võib tunde otsida dokumente, et vastata lihtsale küsimusele ("kuidas see protseduur toimib?"). Teadmusjuhi unistus on, et see mälu annaks küsimustele otsesed, kuid allikapõhised vastused. Just seda RAG lubabki. Selles üksuses saate teada, mis on RAG, kuidas seda ettevõtte teabehalduses kasutada ning kuidas seda täpsuse, konfidentsiaalsuse ja õigeaegsuse osas tagada.
Määratleme mõiste. RAG (Retrieval-Augmented Generation) on see, kui tehisintellekt vastab küsimusele, otsides (otsides) esmalt organisatsiooni enda dokumentatsioonist asjakohased osad ja genereerides seejärel vastuse ainult nende osade põhjal. See erineb põhimõtteliselt üldisest AI-st, mis genereerib vastuse mälust: RAG lingib ja annab vastuse tõelistele, jälgitavatele dokumentidele. Seega vähenevad hallutsinatsioonid oluliselt, kuna AI räägib asutuse dokumendist, mitte selle "peast".
Samm-sammult: ettevõtte RAG-süsteemi mõistmine
1. Valmistage ette dokumendipõhi. Organisatsiooni usaldusväärsed ja ajakohased dokumendid kogutakse kokku, puhastatakse ja jagatakse tükkideks (dokumendi tähenduslikud väikesed osad). Kui süsteemi satuvad halvad, aegunud või vastuolulised dokumendid, on vastused halvad: "prügi sisse, prügi välja".
2. Manusta ja indekseeri. Iga tükk teisendatakse selle tähendust esindavaks vektoriks (manustamine) ja pannakse otsitavasse registrisse. Kui küsimus kerkib, leiab süsteem need osad, mis on tähenduselt kõige lähedasemad.
3. Tooge asjakohased osad. Küsimuse esitamisel tõmbab süsteem dokumendibaasist välja mõned kõige olulisemad osad. See samm on kriitiline: kui tuuakse vale tükk, on ka vastus vale.
4. Looge allikapõhine vastus. AI genereerib vastuse ainult hangitud fragmentide põhjal ja näitab, millisest dokumendist see võeti. Vastus, mis ei viita allikale, on vastuolus RAG eesmärgiga.
5. Kontrollige ja teatage sellest. Kasutajal peaks olema võimalik minna näidatud allika juurde ja vastust kinnitada. Valed või mittetäielikud vastused saavad dokumentatsioonibaasi täiustamiseks tagasisideks.
Näpunäide: RAG-i kvaliteet sõltub suuresti dokumendibaasi kvaliteedist. Värskendage dokumente, eemaldage vastuolulised/aegunud versioonid ning lisage igale dokumendile kuupäev ja päritoluteave enne selle süsteemi sisestamist. 500 hästi organiseeritud dokumenti annavad paremaid vastuseid kui 5000 hajutatud dokumenti.
RAGi piirid ja turvapunktid
RAG vähendab hallutsinatsioone, kuid ei lähtesta seda. Kui süsteem tagastab vale tüki, võib AI ikkagi anda vale vastuse, jäädes sellele valele tükile "lojaalseks". Lisaks võib tehisintellekt toodud osi valesti tõlgendada või mitut tükki omavahel vastuoluliselt kombineerida. Seetõttu tuleks RAG-i väljundit kontrollida ka allika juurde minnes, eriti kriitiliste otsuste puhul.
Privaatsus on ettevõtte RAGi keskne küsimus. Dokumendibaas võib sisaldada tundlikku teavet (personal, lepingud, strateegia). Süsteem ei tohiks genereerida vastuseid dokumentidest, mida kasutaja pole volitanud; Juurdepääsukontroll (kes millist dokumenti näeb) tuleks rakendada ka RAG-ile. Vastasel juhul võib töötaja RAG-i kaudu juurde pääseda teabele, mida ta ei näe.
Tähelepanu: isegi dokumendi tsiteerimisel ei garanteeri RAG, et see dokument on ajakohane ja täpne. Süsteem võib vastata vanast kolme aasta tagusest menetlusdokumendist. Algdokumendi kuupäeva ja kehtivuse kontrollimine on kasutaja ja infohalduri kohustus.
kolm minikarpi
Juhtum 1 – menetlusküsimusi kiirendati. Üks organisatsioon lõi oma 1200-leheküljeliste siseprotseduuride käsiraamatute jaoks RAG-süsteemi. Töötajate küsimused "kuidas seda teha" lahendati sekunditega koos vastustega, mis viitasid allikale; Keskmine kõne kestus vähenes 25 minutilt 2 minutile. Kuna iga vastus oli seotud selle aluseks olnud dokumentatsiooniosaga, said töötajad seda kontrollida.
Juhtum 2 – jäädvustatud vana dokument. RAG süsteem vastas loamenetluse küsimusele vanast 2021. aasta dokumendist; Uuendatud versioon ilmus aga aastal 2024. Lähtelingi avanud töötaja märkas, et kuupäev on aegunud ja leidis uuendatud dokumendi. Teabehaldur eemaldas vana versiooni dokumendibaasist.
Juhtum 3 – volitamata juurdepääs on keelatud. Algseadistuse korral skaneeris RAG kõik dokumendid avalikult; töötaja sai vastuse palgaarvestuse dokumendist, mida ta ei pidanud nägema. Meeskond lisas RAG-ile juurdepääsukontrolli: süsteem genereerib nüüd vastuseid ainult dokumentidest, millele kasutaja on volitatud.
Hindamine, tagasiside ja pidev täiustamine
RAG-süsteem ei ole tööriist, mis tuleb üks kord paigaldada ja unustada; See nõuab pidevat hindamist ja täiustamist. Selle aluseks on süsteemi tegelikele küsimustele antud vastuste regulaarne mõõtmine. Kaks küsimust on kriitilised: kas süsteem tõmbab õiged dokumenditükid (juurdepääsukvaliteet) ja kas see annab hangitud tükkidelt õige vastuse (tootmise kvaliteet)? Neid kahte kihti on vaja eraldi hinnata; Sest õige dokumendi toomine ja selle valesti tõlgendamine ning vale dokumendi toomine ja tõetruu üleandmine on erinevad probleemid ja nõuavad erinevaid lahendusi. Hea tava on säilitada teadaolevate õigete vastustega "testküsimuste" komplekt ja testida süsteemi selle komplektiga iga värskenduse korral. Lisaks näitab kasutajate tagasiside "kas see vastus oli kasulik / kas allikas oli täpne" nii lünki dokumendibaasis kui ka valesti toodud osi. AI võib aidata seda tagasisidet koondada ja teha kokkuvõtte küsimuste tüübist, mis kõige sagedamini ebaõnnestuvad; Kuid otsus, millist dokumenti lisada, uuendada või eemaldada, on teabehalduril. Süsteem vajab hoolt nagu elusorganism; Tähelepanuta jäetud RAG muutub aja jooksul vananeva dokumentatsiooni tõttu üha eksitavamaks.
Näpunäide: kohe pärast RAG-süsteemi seadistamist valmistage ette väike test, mis koosneb 20–30 tõelisest küsimusest ja teadaolevatest õigetest vastustest. Selle komplekti käitamine iga dokumendi värskendusega näitab kohe, kas muudatus parandab või rikub süsteemi.
Neli kopeeritavat malli
1) Allikapõhine vastuseviip:
Sinu roll: ettevõtte teabeassistent. Allpool on esitatud küsimusega seotud dokumentatsioonid. Andke vastus AINULT nende osade põhjal ja märkige iga teabe puhul, millisest dokumendist/tükist see pärineb. Kui osades pole vastust, öelge "seda teavet esitatud dokumentides ei sisaldu", ärge arvake. Küsimus: [siin] / Osad: [siin]
2) Vastuolu ja valuuta kontroll:
Kas järgmiste tükkide vahel on vastuolusid või erinevaid dateeritud versioone? Kui jah, siis märkige see ära ja märkige, kumb tundub ajakohasem. Osad (koos kuupäevadega): [siin]
3) Dokumendibaasi puhastamise audit:
Kas allolevas dokumentide loendis on aegunud, vastuolulisi või ebakindla päritoluga dokumente, mis tuleb enne RAG-süsteemi sisestamist välja sorteerida? Märkige linnuke ja kirjutage, miks. Loend (koos kuupäeva/allikaga): [siin]
4) Privaatsus ja juurdepääsu eelkontroll:
Kas järgmised dokumendifragmendid sisaldavad tundlikku teavet (isikuandmed, konfidentsiaalne leping, strateegia)? Klassifitseerige igaüks kui "avalik/piiratud juurdepääs" ja põhjendage. Lood: [siin]
Nõrk viip / Tugev viip
Nõrk viip:
Selgitage meie asutuse loamenetlust.
Kui dokumente ei esitata, koostab tehisintellekt oma üldisest mälust või teiste institutsioonide rakendamisest välja töötatud protseduuri; See ei pruugi olla asutuse tegeliku valitsemise seisukohast oluline.
Võimas viip:
Sinu roll: ettevõtte teabeassistent. Allpool on dokumendid (koos kuupäevadega) asutuse loamenetluse kohta. Vastake küsimusele ainult nende osade põhjal, viidates igas etapis algdokumendile ja kuupäevale. Kui osad on vastuolus, kasutage uusimat ja öelge nii. Kui seda dokumendis pole, öelge "teavet pole". Küsimus: [siin] / Osad: [siin]
Võimas viip; seob vastuse tegelike asutuse dokumentidega, küsib allikaid ja kuupäevi ning käsitleb ausalt vastuolu ja lünka.
RAG komponent ja riskitabel
komponent
Funktsioon
Peamine risk
Kindlus
Dokumendi alus
Vastuse allikas
Aegunud/vastuoluline dokument
Puhtus, ajalugu, päritolu
Otsimine
Otsige üles vastav osa
vale tükk
Kvaliteedi testimine, tagasiside
Tootmine
Vasta
vale kommentaar
Allika viide, kontrollimine
Juurdepääsu kontroll
Autoriteedi kontroll
volitamata avalikustamine
Kasutajapõhine piirang
Levinud vead
- Määrdunud dokumendibaasi rajamine. Aegunud/konfliktne dokument annab halva vastuse.
- Vastuse vastuvõtmine allikale viitamata. RAGi eesmärk on jälgitavus.
- Dokumendi kuupäeva ei kontrollita. Uuendatavaks peetud vastus pärineb vanast versioonist.
- Juurdepääsukontrollist möödahiilimine. Volitamata isik pääseb ligi tundlikule teabele.
- Mõeldes, et RAG on hallutsinatsioonide suhtes täiesti immuunne. Vale tükk annab ikka vale vastuse.
Kokkuvõttes
RAG loob teadmistehalduses suurt väärtust, muutes organisatsiooni mälu ressursipõhiseks reageerivaks süsteemiks; Erinevalt üldisest tehisintellektist seob see vastuse organisatsiooni tegelikele dokumentidele ja annab neile allikad, vähendades seega oluliselt hallutsinatsioone. Kuid edu sõltub puhtast ja ajakohasest dokumentatsioonibaasist, täpsest juurdepääsust rajale, allika omistamisest, kuupäeva/ajakohasuse kontrollimisest ja juurdepääsu kontrollist. RAG ei lähtesta hallutsinatsiooni; Kriitilised vastused kontrollitakse allika juurde minnes ja konfidentsiaalsust austatakse algusest peale.
Rakenduse ülesanne
Valmistage ette väike dokumentide komplekt (5-8 tegelikku või näidisdokumenti koos kuupäevadega); Teadlikult sisse pandud üks vana ja üks praegune vastuoluline versioon. Esitage küsimus malliga „Allikaspõhine vastuseviipa” ja kontrollige, kas tehisintellekt viitab allikale. Seejärel hinnake malli "Konflikt ja praeguse versiooni kontroll" abil, kas AI tuvastas konflikti ja praeguse versiooni õigesti.
kontrollnimekiri
- [ ] Uuendasin dokumendibaasi, rookisin välja vanad/vastuolulised dokumendid.
- [ ] Jälgisin, et iga vastus osutaks algdokumendile.
- [ ] Kontrollisin algdokumentide kuupäeva ja kehtivust.
- [ ] Hoidsin juurdepääsu kontrolliga ära vastuste genereerimise volitamata dokumentidest.
- [ ] Kontrollisin kriitilisi vastuseid, minnes originaaldokumendi juurde.