Gevinster:
- Forstå hvordan RAG reduserer hallusinasjoner ved å koble og referere svaret til institusjonens faktiske dokumenter og bruke viktigheten av en ren dokumentbase
- Evne til å sjekke kilden, datoen og valutaen til RAG-utdata og skille motstridende versjoner
- Evne til å beskytte bedriftens personvern ved å forhindre svar fra uautoriserte dokumenter med tilgangskontroll
En organisasjons minne lever i tusenvis av spredte dokumenter: rapporter, manualer, referater, prosedyrer, e-poster. En ansatt kan søke etter dokumenter i timevis for å svare på et enkelt spørsmål ("hvordan fungerer denne prosedyren?"). Kunnskapsforvalterens drøm er at dette minnet skal gi direkte, men kildebaserte svar på spørsmål. Det er nettopp dette RAG lover. I denne enheten lærer du hva RAG er, hvordan du bruker det i bedriftsinformasjonshåndtering, og hvordan du sikrer det når det gjelder nøyaktighet, konfidensialitet og aktualitet.
La oss definere konseptet. RAG (Retrieval-Augmented Generation) er når en AI svarer på et spørsmål ved først å finne (hente) relevante deler fra organisasjonens egen dokumentasjon og deretter generere svaret utelukkende basert på disse brikkene. Dette er fundamentalt forskjellig fra en generell AI som genererer et svar fra minnet: RAG kobler og henter svaret til ekte, sporbare dokumenter. Dermed reduseres hallusinasjoner kraftig fordi AI snakker fra institusjonens dokument, ikke fra "hodet".
Trinn for trinn: forstå et RAG-system for bedrifter
1. Klargjør dokumentbasen. Organisasjonens pålitelige, oppdaterte dokumenter samles inn, renses og deles inn i biter (meningsfulle små deler av et dokument). Hvis dårlige, utdaterte eller motstridende dokumenter kommer inn i systemet, vil svarene være dårlige: "søppel inn, søppel ut."
2. Bygg inn og indekser. Hver del konverteres til en vektor (innbygging) som representerer dens betydning og settes inn i en søkbar indeks. Når et spørsmål kommer opp, finner systemet de delene som er nærmest i mening.
3. Ta med relevante deler. Når et spørsmål stilles, henter systemet noen av de mest relevante bitene fra dokumentbasen. Dette trinnet er kritisk: Hvis feil brikke tas inn, vil svaret også være feil.
4. Generer kildebasert respons. AI genererer en respons basert utelukkende på de hentede fragmentene og indikerer hvilket dokument den hentet fra. Et svar som ikke oppgir kilden er i strid med formålet med RAG.
5. Bekreft og rapporter tilbake. Brukeren skal kunne gå til kilden som vises og bekrefte svaret. Feil eller ufullstendige svar blir tilbakemelding for å forbedre dokumentasjonsgrunnlaget.
Tips: Kvaliteten på RAG avhenger i stor grad av kvaliteten på dokumentgrunnlaget. Oppdater dokumenter, luk ut motstridende/utdaterte versjoner, og legg til dato- og herkomstinformasjon til hvert dokument før du legger det inn i systemet. 500 velorganiserte dokumenter gir bedre svar enn 5000 spredte dokumenter.
RAGs grenser og sikkerhetspunkter
RAG reduserer hallusinasjonen, men tilbakestiller den ikke. Hvis systemet returnerer feil brikke, kan AI fortsatt gi feil svar ved å forbli "lojal" til den feil brikken. I tillegg kan AI feiltolke hentede stykker eller kombinere flere stykker på motstridende måter. Derfor bør RAG-utdata også verifiseres ved å gå til kilden, spesielt for kritiske beslutninger.
Personvern er et sentralt tema i bedriftens RAG. Dokumentgrunnlaget kan inneholde sensitiv informasjon (personell, kontrakter, strategi). Systemet skal ikke generere svar fra dokumenter som ikke er autorisert av brukeren; Adgangskontroll (hvem kan se hvilket dokument) bør også legges på RAG. Ellers kan en ansatt få tilgang til informasjon gjennom RAG som han ikke kan se.
OBS: Selv når det siterer et dokument, garanterer ikke RAG at dokumentet er oppdatert og nøyaktig. Systemet kan svare fra et gammelt prosedyredokument fra tre år tilbake. Det er brukerens og informasjonsansvarligs ansvar å kontrollere dato og gyldighet av kildedokumentet.
tre minisaker
Sak 1 – Prosedyrespørsmål akselererte. En organisasjon etablerte et RAG-system for sine 1200 siders interne prosedyremanualer. Ansattes spørsmål om "hvordan gjør man dette" ble løst i løpet av sekunder med svar som indikerte kilden; Gjennomsnittlig samtalevarighet gikk ned fra 25 minutter til 2 minutter. Fordi hvert svar knyttet til delen av dokumentasjonen som det var basert på, var ansatte i stand til å bekrefte det.
Sak 2 — Gammelt dokument fanget. Et RAG-system svarte på et spørsmål om tillatelsesprosedyre fra et gammelt dokument datert 2021; En oppdatert versjon ble imidlertid utgitt i 2024. Den ansatte som åpnet kildelenken la merke til at datoen var utdatert og fant det oppdaterte dokumentet. Informasjonssjefen fjernet den gamle versjonen fra dokumentbasen.
Tilfelle 3 — Uautorisert tilgang forhindret. I det første oppsettet skannet RAG alle dokumenter offentlig; en ansatt fikk svar fra et lønnsdokument han ikke skulle se. Teamet la til tilgangskontroll til RAG: systemet genererer nå kun svar fra dokumenter som brukeren er autorisert til.
Evaluering, tilbakemelding og kontinuerlig forbedring
Et RAG-system er ikke et verktøy som skal installeres én gang og glemmes; Det krever konstant evaluering og forbedring. Grunnlaget for dette er regelmessig måling av systemets svar på reelle spørsmål. To spørsmål er kritiske: henter systemet de riktige dokumentdelene (tilgangskvalitet) og gir det riktig svar fra de hentede delene (produksjonskvalitet)? Det er nødvendig å vurdere disse to lagene separat; Fordi å ta med riktig dokument og feiltolke det og bringe feil dokument og overføre det trofast er forskjellige problemer og krever forskjellige løsninger. En god praksis er å holde et sett med "testspørsmål" med kjente riktige svar og teste systemet med dette settet ved hver oppdatering. I tillegg avslører brukernes "var dette svaret nyttig / var kilden nøyaktig" tilbakemeldinger både hull i dokumentbasen og feil hentede deler. AI kan hjelpe til med å samle denne tilbakemeldingen og oppsummere typene spørsmål som oftest mislykkes; Men beslutningen om hvilket dokument som skal legges til, oppdateres eller fjernes, tilhører informasjonsansvarlig. Systemet krever omsorg som en levende organisme; En forsømt RAG blir stadig mer misvisende på grunn av aldrende dokumentasjon over tid.
Tips: Så snart du har satt opp RAG-systemet, lag et lite testsett med 20-30 ekte spørsmål og kjente riktige svar. Å kjøre dette settet med hver dokumentoppdatering viser umiddelbart om en endring forbedrer eller ødelegger systemet.
Fire kopierbare maler
1) Kildebasert svarforespørsel:
Din rolle: bedriftsinformasjonsassistent. Nedenfor finner du dokumentasjon angående spørsmålet. Gi svaret KUN basert på disse bitene og oppgi hvilket dokument/bit for hver informasjon det er fra. Hvis det ikke er noe svar i delene, si "denne informasjonen er ikke inkludert i de oppgitte dokumentene", ikke gjett. Spørsmål: [her] / Deler: [her]
2) Motsigelse og valutakontroll:
Er det noen motsetninger eller forskjellige daterte versjoner mellom de følgende delene? I så fall, merk det og angi hvilken som ser mest oppdatert ut. Deler (med datoer): [her]
3) Revisjon av rengjøring av dokumentgrunnlag:
I dokumentlisten nedenfor, er det noen utdaterte, motstridende eller dokumenter med usikker opprinnelse som må sorteres før de settes inn i et RAG-system? Kryss av og skriv hvorfor. Liste (med dato/kilde): [her]
4) Personvern og forhåndskontroll for tilgang:
Inneholder følgende dokumentfragmenter sensitiv informasjon (personopplysninger, konfidensiell avtale, strategi)? Klassifiser hver som "offentlig/begrenset tilgang" og begrunn. Spor: [her]
Svak forespørsel / Sterk forespørsel
Svak melding:
Forklar institusjonens tillatelsesprosedyre.
Hvis det ikke gis dokumentasjon, produserer AI en sammensatt prosedyre fra dets generelle minne eller fra implementeringen av andre institusjoner; Det kan være irrelevant for institusjonens faktiske regelverk.
Kraftig ledetekst:
Din rolle: bedriftsinformasjonsassistent. Nedenfor er dokumentene (med deres datoer) angående institusjonens tillatelsesprosedyre. Svar på spørsmålet basert på disse delene alene, og siter kildedokumentet og datoen for hvert trinn. Hvis delene er i konflikt, bruk den mest aktuelle og si det. Hvis det ikke er i dokumentet, si "ingen informasjon". Spørsmål: [her] / Deler: [her]
Kraftig ledetekst; knytter svaret til faktiske institusjonsdokumenter, ber om kilder og datoer, og tar ærlig opp motsigelsen og gapet.
RAG-komponent og risikotabell
komponent
Funksjon
Hovedrisiko
Trygghet
Dokumentgrunnlag
Kilde til svaret
Utdatert/motstridende dokument
Renslighet, historie, opprinnelse
Henting
Finn den aktuelle delen
feil stykke
Kvalitetstesting, tilbakemelding
Produksjon
Svar
feil kommentar
Kildehenvisning, verifisering
Adgangskontroll
Myndighetssjekk
uautorisert avsløring
Brukerbasert begrensning
Vanlige feil
- Etablere en skitten dokumentbase. Utdatert/motstridende dokument gir dårlig respons.
- Godta et svar uten å oppgi kilden. Formålet med RAG er sporbarhet.
- Sjekker ikke dokumentdatoen. Et svar som antas å være oppdatert kommer fra den gamle versjonen.
- Omgå adgangskontroll. Uautorisert person får tilgang til sensitiv informasjon.
- Tenker at RAG er helt immun mot hallusinasjoner. Feil stykke gir fortsatt feil svar.
Oppsummert
RAG produserer stor verdi i kunnskapsledelse ved å transformere organisasjonsminne til et ressursbasert responsivt system; I motsetning til generell kunstig intelligens, kobler den og henter svaret til organisasjonens faktiske dokumenter, og reduserer dermed hallusinasjoner betydelig. Men suksess avhenger av en ren og oppdatert dokumentasjonsbase, nøyaktig sportilgang, kildetilordning, kontroll av dato/aktuelt og tilgangskontroll. RAG tilbakestiller ikke hallusinasjonen; Kritiske svar verifiseres ved å gå til kilden og konfidensialitet respekteres helt fra begynnelsen.
Søknadsoppgave
Forbered et lite sett med dokumenter (5-8 faktiske dokumenter eller eksempler på byrådokumenter, med datoer); Bevisst satt inn én gammel og én gjeldende motstridende versjon. Still et spørsmål med malen "Kildebasert svarforespørsel" og sjekk om AI-en siterer kilden. Evaluer deretter om AI-en riktig oppdaget konflikten og den gjeldende versjonen med malen "Konflikt og gjeldende versjonssjekk".
sjekkliste
- [ ] Jeg oppdaterte dokumentgrunnlaget, luket ut gamle/motstridende dokumenter.
- [ ] Jeg sørget for at hvert svar peker mot kildedokumentet.
- [ ] Jeg sjekket datoen og gyldigheten av kildedokumentene.
- [ ] Jeg forhindret generering av svar fra uautoriserte dokumenter med tilgangskontroll.
- [ ] Jeg bekreftet de kritiske svarene ved å gå til originaldokumentet.