Guadagni:
- Comprendere come RAG riduce le allucinazioni collegando e facendo riferimento alla risposta ai documenti effettivi dell'istituzione e applicando l'importanza di una base documentale pulita
- Possibilità di controllare la fonte, la data e la valuta dell'output RAG e di distinguere le versioni in conflitto
- Possibilità di tutelare la privacy aziendale impedendo risposte da documenti non autorizzati con controllo degli accessi
La memoria di un'organizzazione vive in migliaia di documenti dispersi: report, manuali, verbali, procedure, email. Un dipendente può cercare documenti per ore per rispondere ad una semplice domanda (“come funziona questa procedura?”). Il sogno del gestore della conoscenza è che questa memoria fornisca risposte dirette ma basate sulla fonte alle domande. Questo è esattamente ciò che RAG promette. In questa unità imparerai cos'è RAG, come utilizzarlo nella gestione delle informazioni aziendali e come proteggerlo in termini di accuratezza, riservatezza e tempestività.
Definiamo il concetto. RAG (Retrieval-Augmented Generation) è quando un'intelligenza artificiale risponde a una domanda prima trovando (recuperando) pezzi rilevanti dalla documentazione dell'organizzazione e quindi generando la risposta basata esclusivamente su tali pezzi. Questo è fondamentalmente diverso da un'intelligenza artificiale generale che genera una risposta dalla memoria: RAG collega e fornisce la risposta a documenti reali e tracciabili. Così l'allucinazione è molto ridotta perché l'IA parla dal documento dell'istituzione, non dalla sua "testa".
Passo dopo passo: comprendere un sistema RAG aziendale
1. Preparare la base dei documenti. I documenti affidabili e aggiornati dell'organizzazione vengono raccolti, puliti e divisi in blocchi (piccole sezioni significative di un documento). Se nel sistema entrano documenti scadenti, obsoleti o in conflitto, le risposte saranno negative: “garbage in, garbage out”.
2. Incorpora e indicizza. Ogni blocco viene convertito in un vettore (incorporamento) che ne rappresenta il significato e inserito in un indice ricercabile. Quando sorge una domanda, il sistema trova le parti che hanno il significato più vicino.
3. Porta le parti pertinenti. Quando viene posta una domanda, il sistema estrae alcuni dei pezzi più rilevanti dalla base del documento. Questo passaggio è fondamentale: se viene inserito il pezzo sbagliato, anche la risposta sarà sbagliata.
4. Generare una risposta basata sulla fonte. L'IA genera una risposta basata esclusivamente sui frammenti recuperati e indica da quale documento ha preso. Una risposta che non citi la fonte è contraria allo scopo di RAG.
5. Verificare e riferire. L'utente dovrebbe essere in grado di accedere alla fonte mostrata e confermare la risposta. Le risposte errate o incomplete diventano feedback per migliorare la base documentale.
Suggerimento: la qualità di RAG dipende in gran parte dalla qualità del documento di base. Aggiorna i documenti, elimina le versioni contrastanti/obsolete e aggiungi informazioni su data e provenienza a ciascun documento prima di inserirlo nel sistema. 500 documenti ben organizzati producono risposte migliori di 5.000 documenti sparsi.
I confini e i punti di sicurezza di RAG
RAG riduce l'allucinazione ma non la resetta. Se il sistema restituisce il pezzo sbagliato, l’IA potrebbe comunque dare la risposta sbagliata rimanendo “fedele” a quel pezzo sbagliato. Inoltre, l'intelligenza artificiale potrebbe interpretare erroneamente i pezzi recuperati o combinare più pezzi in modi contraddittori. Pertanto, anche i risultati del RAG dovrebbero essere verificati andando alla fonte, soprattutto per le decisioni critiche.
La privacy è una questione centrale nel RAG aziendale. La base documentale può contenere informazioni sensibili (personale, contratti, strategia). Il sistema non deve generare risposte da documenti non autorizzati dall'utente; Il controllo degli accessi (chi può vedere quale documento) dovrebbe essere applicato anche a RAG. In caso contrario, un dipendente potrebbe accedere tramite RAG a informazioni che non può vedere.
Attenzione: Anche quando si cita un documento, RAG non garantisce che tale documento sia aggiornato e accurato. Il sistema potrebbe rispondere da un vecchio documento procedurale di tre anni fa. È responsabilità dell'utente e del gestore delle informazioni verificare la data e la validità del documento sorgente.
tre mini custodie
Caso 1 — Questioni procedurali accelerate. Un'organizzazione ha istituito un sistema RAG per i suoi manuali di procedure interne da 1.200 pagine. Le domande dei dipendenti su "come fare" sono state risolte in pochi secondi con risposte che indicavano la fonte; La durata media della chiamata è diminuita da 25 minuti a 2 minuti. Poiché ogni risposta rimandava alla sezione della documentazione su cui si basava, i dipendenti hanno potuto verificarla.
Caso 2: vecchio documento catturato. Un sistema RAG ha risposto ad una domanda sulla procedura di autorizzazione da un vecchio documento datato 2021; Tuttavia, nel 2024 è stata rilasciata una versione aggiornata. Il dipendente che ha aperto il collegamento alla fonte ha notato che la data era obsoleta e ha trovato il documento aggiornato. Il gestore delle informazioni ha rimosso la vecchia versione dalla base del documento.
Caso 3: accesso non autorizzato impedito. Nella configurazione iniziale, RAG ha scansionato pubblicamente tutti i documenti; un dipendente ha ricevuto una risposta da un documento del libro paga che non avrebbe dovuto vedere. Il team ha aggiunto il controllo degli accessi a RAG: il sistema ora genera solo risposte da documenti per i quali l'utente è autorizzato.
Valutazione, feedback e miglioramento continuo
Un sistema RAG non è uno strumento da installare una volta e dimenticare; Richiede valutazione e miglioramento costanti. La base è la misurazione regolare delle risposte del sistema a domande reali. Due domande sono fondamentali: il sistema recupera le parti di documento corrette (qualità di accesso) e produce la risposta corretta dalle parti recuperate (qualità di produzione)? È necessario valutare questi due strati separatamente; Perché portare il documento giusto e interpretarlo male e portare il documento sbagliato e trasferirlo fedelmente sono problemi diversi e richiedono soluzioni diverse. Una buona pratica è conservare una serie di "domande di prova" con risposte corrette note e testare il sistema con questa serie ad ogni aggiornamento. Inoltre, il feedback degli utenti "questa risposta è stata utile/la fonte è stata accurata" rivela sia lacune nella base del documento che parti recuperate in modo errato. L’intelligenza artificiale può aiutare ad aggregare questo feedback e a riassumere i tipi di domande che falliscono più frequentemente; Ma la decisione su quale documento aggiungere, aggiornare o rimuovere spetta al gestore delle informazioni. Il sistema richiede cure come un organismo vivente; Un RAG trascurato diventa sempre più fuorviante a causa dell'invecchiamento della documentazione nel tempo.
Suggerimento: non appena imposti il sistema RAG, prepara un piccolo set di prova di 20-30 domande reali e risposte corrette conosciute. L'esecuzione di questo set con ogni aggiornamento del documento mostra immediatamente se una modifica migliora o interrompe il sistema.
Quattro modelli copiabili
1) Richiesta di risposta basata sulla fonte:
Il tuo ruolo: assistente alle informazioni aziendali. Di seguito sono riportati alcuni pezzi di documentazione presentati in merito alla questione. Dai la risposta basandoti SOLO su questi pezzi e indica da quale documento/pezzo proviene per ogni informazione. Se non c'è risposta nelle parti, dì "queste informazioni non sono incluse nei documenti forniti", non indovinare. Domanda: [qui] / Parti: [qui]
2) Contraddizione e controllo valutario:
Ci sono contraddizioni o versioni con datazioni differenti tra i seguenti brani? In tal caso, contrassegnalo e indica quale sembra più aggiornato. Parti (con date): [qui]
3) Verifica della pulizia della base documentale:
Nell'elenco dei documenti riportato di seguito, sono presenti documenti obsoleti, in conflitto o di origine incerta che devono essere risolti prima di essere inseriti in un sistema RAG? Spunta e scrivi il motivo. Elenco (con data/fonte): [qui]
4) Privacy e precontrollo accessi:
I seguenti frammenti di documento contengono informazioni sensibili (dati personali, accordo confidenziale, strategia)? Classificare ciascuno come "accesso pubblico/ristretto" e fornire la giustificazione. Tracce: [qui]
Prompt debole / Prompt forte
Suggerimento debole:
Spiegare la procedura di autorizzazione della nostra istituzione.
Se non viene fornita alcuna documentazione, l’AI produce una procedura inventata dalla sua memoria generale o dall’implementazione di altre istituzioni; Potrebbe essere irrilevante per la regola effettiva dell'istituzione.
Suggerimento potente:
Il tuo ruolo: assistente alle informazioni aziendali. Di seguito sono riportati i documenti (con le relative date) riguardanti la procedura di autorizzazione dell'istituto. Rispondi alla domanda basandoti solo su queste parti, citando il documento originale e la data in ogni passaggio. Se le parti sono in conflitto, utilizzare quella più recente e dirlo. Se non è nel documento, dì "nessuna informazione". Domanda: [qui] / Parti: [qui]
Prompt potente; collega la risposta ai documenti dell'istituzione reale, richiede fonti e date e affronta onestamente la contraddizione e la lacuna.
Componente RAG e tabella dei rischi
componente
Funzione
Rischio principale
Assicurazione
Fondo documentale
Fonte della risposta
Documento obsoleto/conflittuale
Pulizia, storia, origine
Recupero
Trova la parte pertinente
pezzo sbagliato
Test di qualità, feedback
Produzione
Rispondi
commento sbagliato
Citazione della fonte, verifica
Controllo degli accessi
Controllo dell'autorità
divulgazione non autorizzata
Limitazione basata sull'utente
Errori comuni
- Creazione di una base di documenti sporca. Un documento obsoleto/in conflitto produce una risposta negativa.
- Accettare una risposta senza citare la fonte. Lo scopo di RAG è la tracciabilità.
- Non controllare la data del documento. Una risposta che si ritiene aggiornata arriva dalla vecchia versione.
- Bypassare il controllo degli accessi. Una persona non autorizzata accede a informazioni sensibili.
- Pensare che RAG sia completamente immune alle allucinazioni. Il pezzo sbagliato produce comunque la risposta sbagliata.
In sintesi
RAG produce un grande valore nella gestione della conoscenza trasformando la memoria organizzativa in un sistema reattivo basato sulle risorse; A differenza dell'intelligenza artificiale generale, collega e fornisce la risposta ai documenti reali dell'organizzazione, riducendo così in modo significativo le allucinazioni. Ma il successo dipende da una base di documentazione pulita e aggiornata, da un accesso accurato alle tracce, dall'attribuzione della fonte, dal controllo di data/attualità e dal controllo degli accessi. RAG non cancella l'allucinazione; Le risposte critiche vengono verificate andando alla fonte e la riservatezza è rispettata fin dall'inizio.
Compito dell'applicazione
Preparare una piccola serie di documenti (5-8 documenti reali o campione dell'agenzia, con le date); Inserisci consapevolmente una versione vecchia e una attuale in conflitto. Fai una domanda con il modello “Richiesta di risposta basata sulla fonte” e controlla se l’IA cita la fonte. Quindi valutare se l'IA ha rilevato correttamente il conflitto e la versione corrente con il modello "Controllo conflitto e versione corrente".
lista di controllo
- [ ] Ho aggiornato la base dei documenti, eliminato i documenti vecchi/conflittuali.
- [ ] Mi sono assicurato che ogni risposta rimandasse al documento di origine.
- [ ] Ho controllato la data e la validità dei documenti originali.
- [ ] Ho impedito la generazione di risposte da documenti non autorizzati con controllo degli accessi.
- [ ] Ho verificato le risposte critiche andando al documento originale.