Ieguvumi:
- Izprotiet, kā RAG samazina halucinācijas, saistot atbildi un atsaucoties uz iestādes faktiskajiem dokumentiem un piemērojot tīras dokumentu bāzes nozīmi.
- Spēja pārbaudīt RAG izvades avotu, datumu un valūtu un atšķirt konfliktējošās versijas
- Spēja aizsargāt uzņēmuma privātumu, novēršot atbildes no nesankcionētiem dokumentiem ar piekļuves kontroli
Organizācijas atmiņa mīt tūkstošiem izkliedētu dokumentu: atskaitēs, rokasgrāmatās, protokolos, procedūrās, e-pastos. Darbinieks var meklēt dokumentus stundām ilgi, lai atbildētu uz vienkāršu jautājumu ("kā šī procedūra darbojas?"). Zināšanu vadītāja sapnis ir, lai šī atmiņa sniegtu tiešas, bet uz avotiem balstītas atbildes uz jautājumiem. Tas ir tieši tas, ko RAG sola. Šajā nodaļā jūs uzzināsiet, kas ir RAG, kā to izmantot uzņēmuma informācijas pārvaldībā un kā nodrošināt to precizitātes, konfidencialitātes un savlaicīguma ziņā.
Definēsim jēdzienu. RAG (Retrieval-Augmented Generation) ir tad, kad AI atbild uz jautājumu, vispirms atrodot (izgūstot) atbilstošos elementus no pašas organizācijas dokumentācijas un pēc tam ģenerējot atbildi, pamatojoties tikai uz šiem elementiem. Tas būtiski atšķiras no vispārēja AI, kas ģenerē atbildi no atmiņas: RAG saista un sniedz atbildi uz reāliem, izsekojamiem dokumentiem. Tādējādi halucinācijas ir ievērojami samazinātas, jo AI runā no iestādes dokumenta, nevis no tās "galvas".
Soli pa solim: uzņēmuma RAG sistēmas izpratne
1. Sagatavojiet dokumentu bāzi. Organizācijas uzticamie, aktuālie dokumenti tiek apkopoti, iztīrīti un sadalīti gabalos (nozīmīgās mazās dokumenta sadaļās). Ja sistēmā nonāk slikti, novecojuši vai pretrunīgi dokumenti, atbildes būs sliktas: “atkritumi iekšā, atkritumi ārā”.
2. Iegult un indeksēt. Katrs fragments tiek pārveidots par vektoru (iegulšana), kas atspoguļo tā nozīmi, un ievietots meklēšanas rādītājā. Kad rodas jautājums, sistēma atrod tās daļas, kurām ir vistuvākā nozīme.
3. Atnesiet attiecīgās daļas. Kad tiek uzdots jautājums, sistēma no dokumentu bāzes izvelk dažus visatbilstošākos elementus. Šis solis ir kritisks: ja tiek atnests nepareizs gabals, arī atbilde būs nepareiza.
4. Izveidojiet uz avotu balstītu atbildi. AI ģenerē atbildi, pamatojoties tikai uz ienestajiem fragmentiem, un norāda, no kura dokumenta tas tika ņemts. Atbilde, kurā nav norādīts avots, ir pretrunā RAG mērķim.
5. Pārbaudiet un ziņojiet par to. Lietotājam ir jāspēj doties uz parādīto avotu un apstiprināt atbildi. Nepareizas vai nepilnīgas atbildes kļūst par atgriezenisko saiti, lai uzlabotu dokumentācijas bāzi.
Padoms: RAG kvalitāte lielā mērā ir atkarīga no dokumentu bāzes kvalitātes. Atjauniniet dokumentus, izslēdziet konfliktējošās/novecojušās versijas un pievienojiet datuma un izcelsmes informāciju katram dokumentam pirms tā ievietošanas sistēmā. 500 labi sakārtoti dokumenti sniedz labākas atbildes nekā 5000 izkliedētu dokumentu.
RAG robežas un drošības punkti
RAG samazina halucinācijas, bet neatjauno tās. Ja sistēma atgriež nepareizo gabalu, AI joprojām var sniegt nepareizu atbildi, paliekot "lojals" šim nepareizajam gabalam. Turklāt mākslīgais intelekts var nepareizi interpretēt ienestos gabalus vai apvienot vairākus elementus pretrunīgi. Tāpēc arī RAG izvade ir jāpārbauda, dodoties uz avotu, jo īpaši attiecībā uz kritiskiem lēmumiem.
Privātums ir galvenais korporatīvās RAG jautājums. Dokumentu bāzē var būt sensitīva informācija (personāls, līgumi, stratēģija). Sistēma nedrīkst ģenerēt atbildes no dokumentiem, kurus lietotājs nav autorizējis; Piekļuves kontrole (kurš var redzēt, kuru dokumentu) jāpiemēro arī RAG. Pretējā gadījumā darbinieks caur RAG var piekļūt informācijai, kuru viņš neredz.
Uzmanību: pat citējot dokumentu, RAG negarantē, ka dokuments ir atjaunināts un precīzs. Sistēma var reaģēt no veca procedūras dokumenta, kas izdots pirms trim gadiem. Lietotāja un informācijas pārvaldnieka pienākums ir pārbaudīt avota dokumenta datumu un derīgumu.
trīs mini futrāļi
1. gadījums — procedūras jautājumi paātrināti. Viena organizācija izveidoja RAG sistēmu savām 1200 lappušu iekšējām procedūru rokasgrāmatām. Darbinieku jautājumi "kā to izdarīt" tika atrisināti dažu sekunžu laikā ar atbildēm, norādot avotu; Vidējais sarunu ilgums samazinājās no 25 minūtēm līdz 2 minūtēm. Tā kā katra atbilde bija saistīta ar to dokumentācijas sadaļu, uz kuras tā tika balstīta, darbinieki varēja to pārbaudīt.
2. gadījums — tverts vecs dokuments. RAG sistēma atbildēja uz atļaujas procedūras jautājumu no vecā dokumenta, kas datēts ar 2021. gadu; Tomēr 2024. gadā tika izlaista atjaunināta versija. Darbinieks, kurš atvēra avota saiti, pamanīja, ka datums ir novecojis, un atrada atjaunināto dokumentu. Informācijas pārvaldnieks no dokumentu bāzes izņēma veco versiju.
3. gadījums — ir novērsta nesankcionēta piekļuve. Sākotnējā iestatījumā RAG publiski skenēja visus dokumentus; darbinieks saņēma atbildi no algas dokumenta, kuru viņam nebija paredzēts redzēt. Komanda pievienoja RAG piekļuves kontroli: sistēma tagad ģenerē atbildes tikai no dokumentiem, kuriem lietotājs ir pilnvarots.
Novērtēšana, atgriezeniskā saite un nepārtraukta uzlabošana
RAG sistēma nav rīks, ko vienreiz uzstādīt un aizmirst; Tas prasa pastāvīgu izvērtēšanu un uzlabojumus. Pamats tam ir regulāra sistēmas atbilžu uz reāliem jautājumiem mērīšana. Divi jautājumi ir būtiski: vai sistēma ienes pareizos dokumenta gabalus (piekļuves kvalitāte) un vai tā rada pareizo atbildi no ienestajiem gabaliem (ražošanas kvalitāte)? Šie divi slāņi ir jānovērtē atsevišķi; Jo pareizā dokumenta atnešana un nepareiza interpretācija un nepareiza dokumenta atnešana un patiesa pārsūtīšana ir dažādas problēmas un prasa dažādus risinājumus. Laba prakse ir saglabāt "testa jautājumu" kopu ar zināmām pareizajām atbildēm un pārbaudīt sistēmu ar šo komplektu katrā atjauninājumā. Turklāt lietotāju atsauksmes "vai šī atbilde bija noderīga / vai avots bija precīzs" atklāj gan nepilnības dokumentu bāzē, gan nepareizi ienestās daļas. AI var palīdzēt apkopot šīs atsauksmes un apkopot to jautājumu veidus, kas visbiežāk neizdodas; Taču lēmums par to, kuru dokumentu pievienot, atjaunināt vai noņemt, ir informācijas pārvaldniekam. Sistēma prasa aprūpi kā dzīvam organismam; Novārtā atstāta RAG kļūst arvien maldinošāka, jo laika gaitā dokumentācija noveco.
Padoms. Tiklīdz esat iestatījis RAG sistēmu, sagatavojiet nelielu testa komplektu, kurā ir 20–30 reāli jautājumi un zināmas pareizās atbildes. Šīs kopas palaišana ar katru dokumenta atjauninājumu uzreiz parāda, vai izmaiņas uzlabo vai sabojā sistēmu.
Četras kopējamas veidnes
1) Uz avotu balstīta atbildes uzvedne:
Jūsu loma: korporatīvās informācijas asistents. Tālāk ir sniegtas dokumentācijas daļas, kas izvirzītas saistībā ar šo jautājumu. Sniedziet atbildi, pamatojoties TIKAI uz šīm daļām, un norādiet, no kura dokumenta/gabala katrai informācijai tā ir. Ja daļās nav atbildes, sakiet "šī informācija nav iekļauta sniegtajos dokumentos", neuzminēt. Jautājums: [šeit] / Daļas: [šeit]
2) Pretrunas un valūtas kontrole:
Vai starp šiem gabaliem ir kādas pretrunas vai dažādas datētas versijas? Ja tā, atzīmējiet to un norādiet, kurš izskatās jaunāks. Daļas (ar datumiem): [šeit]
3) Dokumentu bāzes tīrīšanas audits:
Vai tālāk esošajā dokumentu sarakstā ir kādi novecojuši, pretrunīgi vai neskaidras izcelsmes dokumenti, kas ir jāsakārto pirms ievietošanas RAG sistēmā? Atzīmējiet un uzrakstiet, kāpēc. Saraksts (ar datumu/avotu): [šeit]
4) Privātums un piekļuves iepriekšēja kontrole:
Vai šādi dokumentu fragmenti satur sensitīvu informāciju (personas datus, konfidenciālu līgumu, stratēģiju)? Klasificējiet katru kā "publisku/ierobežotu piekļuvi" un sniedziet pamatojumu. Dziesmas: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Izskaidrojiet mūsu iestādes atļauju procedūru.
Ja dokumentācija netiek sniegta, AI izveido izdomātu procedūru no savas vispārējās atmiņas vai no citu institūciju īstenošanas; Tas var nebūt saistīts ar iestādes faktisko regulējumu.
Spēcīga uzvedne:
Jūsu loma: korporatīvās informācijas asistents. Zemāk ir dokumenti (ar to datumiem) par iestādes atļauju izsniegšanas procedūru. Atbildiet uz jautājumu, pamatojoties tikai uz šīm daļām, norādot avota dokumentu un datumu katrā solī. Ja daļas ir pretrunā, izmantojiet jaunāko un sakiet to. Ja dokumentā tā nav, sakiet "nav informācijas". Jautājums: [šeit] / Daļas: [šeit]
Spēcīga uzvedne; sasaista atbildi ar faktiskajiem iestādes dokumentiem, jautā avotus un datumus un godīgi novērš pretrunu un nepilnības.
RAG komponents un riska tabula
sastāvdaļa
Funkcija
Galvenais risks
Pārliecība
Dokumentu bāze
Atbildes avots
Novecojis/pretrunīgs dokuments
Tīrība, vēsture, izcelsme
Atgūšana
Atrodiet atbilstošo daļu
nepareizs gabals
Kvalitātes pārbaude, atsauksmes
Ražošana
Atbildēt
nepareizs komentārs
Avota atsauce, pārbaude
Piekļuves kontrole
Iestādes pārbaude
neatļauta izpaušana
Uz lietotāju balstīts ierobežojums
Biežas kļūdas
- Netīras dokumentu bāzes izveidošana. Novecojis/konfliktējošais dokuments rada sliktu atbildi.
- Atbildes pieņemšana, nenorādot avotu. RAG mērķis ir izsekojamība.
- Nepārbauda dokumenta datumu. Atbilde, kas tiek uzskatīta par atjauninātu, nāk no vecās versijas.
- Piekļuves kontroles apiešana. Nepilnvarota persona piekļūst sensitīvai informācijai.
- Domājot, ka RAG ir pilnīgi imūna pret halucinācijām. Nepareizs gabals joprojām rada nepareizu atbildi.
Rezumējot
RAG rada lielu vērtību zināšanu pārvaldībā, pārveidojot organizācijas atmiņu uz resursiem balstītā reaģējošā sistēmā; Atšķirībā no vispārējā AI, tas saista un sniedz atbildi uz organizācijas faktiskajiem dokumentiem, tādējādi ievērojami samazinot halucinācijas. Taču panākumi ir atkarīgi no tīras un atjauninātas dokumentācijas bāzes, precīzas piekļuves ierakstiem, avota attiecinājuma, datuma/aktualitātes pārbaudes un piekļuves kontroles. RAG neatjauno halucinācijas; Kritiskās atbildes tiek pārbaudītas, dodoties uz avotu, un konfidencialitāte tiek ievērota jau no paša sākuma.
Lietojumprogrammas uzdevums
Sagatavot nelielu dokumentu komplektu (5-8 faktiskos vai aģentūras dokumentu paraugus, ar datumiem); Apzināti ievietota viena veca un viena aktuāla pretrunīga versija. Uzdodiet jautājumu, izmantojot veidni “Atbildes uzvedne uz avotu”, un pārbaudiet, vai AI atsaucas uz avotu. Pēc tam novērtējiet, vai AI pareizi atklāja konfliktu un pašreizējo versiju, izmantojot veidni "Konflikts un pašreizējās versijas pārbaude".
kontrolsaraksts
- [ ] Atjaunināju dokumentu bāzi, atsijāju vecos/pretrunīgos dokumentus.
- [ ] Es pārliecinājos, ka katra atbilde norāda uz avota dokumentu.
- [ ] Es pārbaudīju avota dokumentu datumu un derīgumu.
- [ ] Es novērsu atbilžu ģenerēšanu no neautorizētiem dokumentiem ar piekļuves kontroli.
- [ ] Es pārbaudīju kritiskās atbildes, pārejot uz oriģinālo dokumentu.