Guadagni:
- Spiegare le cause delle allucinazioni e il ruolo del radicamento
- Applicare tecniche che facciano dire al modello "non lo so" se non è nel contesto
- Garantire fiducia e verificabilità aggiungendo fonti/citazioni verificabili alle risposte
Il comportamento più pericoloso di un modello linguistico è inventare qualcosa che non conosce con tono fiducioso e persuasivo. Questa si chiama allucinazione. Avere allucinazioni in un assistente aziendale non è solo fastidioso, è addirittura rischioso: il giorno libero sbagliato, il prezzo sbagliato, la sostanza giuridica sbagliata possono effettivamente mettere in pericolo un dipendente o un cliente. In questa unità, spiegheremo perché si verificano le allucinazioni, come ridurle in RAG e come rendere verificabile la risposta.
Quali sono le cause delle allucinazioni?
Il modello è addestrato a produrre la parola più probabile successiva; Non "dire la verità", ma "produrre un testo scorrevole e ragionevole". Se mancano informazioni, queste possono colmare la lacuna con qualcosa di statisticamente plausibile ma di fatto errato. Tre trigger tipici:
- Non c’è una risposta nel contesto, ma la modella si sente comunque obbligata a dire qualcosa.
- Il contesto è conflittuale o inadeguato; Il modello colma il divario con la previsione.
- La domanda va oltre il contesto; il modello ritorna alla propria conoscenza generale (e forse obsoleta).
RAG riduce le allucinazioni perché fornisce al modello una fonte reale, ma non lo ripristina. Se si porta la parte sbagliata o si lascia al modello "libertà di colmare il vuoto", anche il sistema con RAG può adattarsi.
tipo di allucinazione
sintomo
causa principale
strato di soluzione
originato dal recupero
La risposta corretta è nel documento ma non è arrivata
Consegnata parte errata/mancante
Chunking, ibrido, riclassificazione (Unità 3-4)
Generazione di provenienza
È arrivata la parte corretta ma la risposta è sbagliata/deve essere aggiunta
Il modello ha colmato il divario con la previsione
Radicamento, permesso "non lo so", scarsa creatività
Citazione di provenienza
La risposta è corretta ma la fonte è sbagliata
Il modello si riferisce alla parte sbagliata
Verifica delle citazioni (vedi Unità 8)
Suggerimento: dividi l'allucinazione in due parti. Proveniente dal recupero: è arrivata la parte sbagliata/mancante (soluzione: migliorare il recupero). Fonte di generazione: è arrivata la parte corretta, ma il modello l'ha letta/aggiunta in modo errato (soluzione: prompt e messa a terra). Non puoi aggiustarlo se non sai quale è.
Radicamento: individuare la risposta nel contesto
Grounding è il nome dato a tutte le tecniche per dire al modello "affidati solo al testo che ti do, non andare oltre". La sua tecnica più elementare ed efficace: dare esplicitamente al modello il permesso di dire "non lo so". Il modello, come l'umano, esita a dire "non lo so"; Devi dargli il permesso esplicito per farlo.
Rispondi solo in base al CONTESTO riportato di seguito. Se la risposta non è CHIARAMENTE nel contesto, scrivi esattamente questo: "Non ho trovato abbastanza informazioni a riguardo nella documentazione". Non includere numeri, date o nomi che non siano nel contesto. Non indovinare.
Ulteriori tecniche di messa a terra:
- Obbligo di citazione: prima di ogni affermazione, citare testualmente il contesto (“Il documento dice: '...'”). La produzione di preventivi fittizi è più difficile per il modello.
- Bassa temperatura: la temperatura (temperatura, creatività/impostazione casuale) dovrebbe essere bassa. Nota: in alcuni modelli attuali questo parametro è stato rimosso; In essi fornisci la messa a terra con un suggerimento. L’elevata creatività è nemica dell’integrità aziendale.
- Limite di ambito: "Rispondi solo ai problemi relativi alle norme sul consenso; rifiuta cortesemente di rinunciare".
Citazione
La più forte difesa sistemica contro le allucinazioni è rendere la risposta verificabile. Se l'utente riesce a vedere su quale documento si basa la risposta: (1) può individuare lui stesso l'errore, (2) l'audit diventa possibile, (3) la fiducia aumenta e (4) il modello produce con maggiore cautela con la consapevolezza che "dovrò citare la fonte".
Due approcci comuni:
Attribuzione in linea: tag di origine accanto a ciascuna dichiarazione. "Le ferie annuali sono di 14 giorni [1]." Di seguito è riportata la documentazione completa di [1].
Output strutturato: chiedere al modello di produrre la risposta e l'elenco delle fonti in campi separati; Mostrare le risorse come collegamenti cliccabili nell'interfaccia.
# Produrre una risposta strutturata basata sul modello (concettuale) Fornisci la tua risposta nella seguente struttura:- risposta: <risposta basata sul contesto>- fonti: [{"part_no": 1, "file": "...", "sezione": "..."}]- fiducia: <alto|medio|basso> # Quanto chiaramente il contesto lo supporta? Se il contesto non supporta la risposta, scrivi "nessuna informazione trovata" nel campo della risposta e lascia vuote le fonti.
Perché la Citazione funzioni davvero è necessario verificare che l'attribuzione sia corretta. Il modello a volte può dare la risposta corretta ma fornire la fonte sbagliata. Sistemi avanzati controllano automaticamente che ogni affermazione prodotta sia effettivamente supportata nel pezzo a cui punta (la misurazione della “fedeltà” nell'unità successiva).
Debole/Forte: Pronto contro le allucinazioni
Debole (invito a riempire lo spazio vuoto):
Rispondi alla domanda meglio che puoi con le informazioni che hai: {context} Domanda: {question}# "Come meglio puoi" significa "indovina se non lo sai" per il modello.
Forte (radicamento + autorizzazione di non conoscenza + fonte + fiducia):
Affidati solo al CONTESTO. Altrimenti dite "Non ho trovato nessuna informazione"; numero/data/nome di composizione. Aggiungi [n] numero di origine a ciascuna richiesta. Specificare il livello di attendibilità supportato dal contesto.CONTEXT: [1]... [2]... QUESTION: {question}
Tre mini custodie
Caso 1: numero dell'articolo inventato. Un assistente legale ha redatto una dichiarazione "Articolo 17/B" fuori contesto e ha fornito informazioni false al dipendente. Quando è stata aggiunta l'istruzione "Non indicare un numero di articolo che non è nel contesto, altrimenti dite che non lo so" + l'obbligo di citazione, i casi di articoli fabbricati sono diminuiti da 11 a 0 in 40 esempi.
Caso 2 – Risposta corretta, fonte sbagliata. Un assistente di supporto ha indicato il periodo di restituzione corretto ma ha citato l'articolo sbagliato; Quando il cliente ha cliccato sul collegamento, si è aperta una pagina irrilevante. Quando è stata aggiunta la verifica delle citazioni (controllare se l'affermazione appare nel pezzo citato), il tasso di citazioni false è sceso dal 23% al 2%.
Caso 3: il permesso “non lo so” non è stato concesso. Un assistente delle risorse umane aveva dato una risposta plausibile ma errata a una domanda che non era contenuta nel documento. Quando al prompt è stato aggiunto il consenso esplicito "Non lo so" e il testo completo ("Non sono riuscito a trovare informazioni al riguardo nella documentazione"), il tasso di rifiuto onesto per le domande senza risposta, piuttosto che per quelle inventate, è aumentato dall'8% al 95%.
Errori comuni
- Non consentire "Non lo so": il modello colma il divario con la fabbricazione.
- Mantenere alta la creatività: la casualità è dannosa per l’integrità aziendale.
- Fidarsi della fonte senza verificarla: il modello potrebbe allegare la fonte sbagliata alla risposta corretta.
- Non distinguere tra i due tipi di allucinazioni: correggi il posto sbagliato senza sapere se è causato dal recupero o dalla generazione.
- Citazione erronea per cosmetici: la citazione della fonte è allo stesso tempo confermativa e deterrente; prendilo sul serio.
Attenzione: "Il modello sembra molto fiducioso" non è la stessa cosa di "il modello è corretto". Le allucinazioni sono generalmente le frasi più fluenti e sicure. Leggi la fiducia dalla fonte che indica, non dal tono della frase.
In sintesi
- L'allucinazione si verifica quando il modello colma la lacuna informativa con testo plausibile ma falso; Il RAG si riduce ma non si azzera.
- L'allucinazione può essere causata dal recupero (parte sbagliata) o dalla generazione (lettura sbagliata); Determina quale per primo.
- La tecnica più potente del grounding è quella di dare al modello il permesso esplicito "Non lo so"; anche requisiti di citazione e scarsa creatività.
- La citazione rende la risposta verificabile; Dà fiducia e spinge il modello a essere prodotto con cautela.
- Dovrebbe essere verificata anche l'accuratezza della citazione; Alla risposta corretta potrebbe essere allegata la fonte sbagliata.
Compito dell'applicazione
(1) Prepara 4 domande da porre al tuo assistente, le cui risposte non sono nei documenti (domande trappola). Mettili alla prova ciascuno con il suggerimento debole e forte e indica se il modello è adatto o meno. (2) Per le 4 domande le cui risposte sono nel documento, fare in modo che il modello generi il numero di saldatura e verifichi manualmente se la saldatura mostrata è effettivamente la parte corretta. (3) Controlla se il modello fornisce "risposta giusta, fonte sbagliata" in almeno un caso e scrivi in una frase come puoi rilevarlo automaticamente.
lista di controllo
- [ ] Posso dire perché si sta verificando l'allucinazione e che RAG la riduce ma non la ripristina.
- [ ] Posso distinguere tra allucinazioni indotte dal recupero e dalla generazione e correggere il posto corretto.
- [ ] Sto aggiungendo l'autorizzazione esplicita "Non so" e le regole di messa a terra al prompt.
- [] Sto aggiungendo una fonte verificabile (citazione) alla risposta.
- [ ] Comprendo la necessità di verificare ulteriormente l'esattezza dell'attribuzione.