Guadagni:
- Comprendere come funziona il RAG (frammentazione, accesso, generazione dipendente dalle risorse) e come riduce le allucinazioni
- Capacità di aumentare la qualità delle risposte stabilendo una base di conoscenza che sia attuale, chiara, priva di conflitti e con un'unica fonte corretta.
- Capacità di istruire il modello "se non è nella fonte, dimmi che non lo sai" e di trasformare le domande a cui non può rispondere in un miglioramento della base di conoscenza
La risposta fornita da un bot o da un assistente agente è valida tanto quanto le informazioni su cui si basa. Quando il cliente chiede "La campagna continua?", la risposta corretta non è nella memoria del modello, ma nell'attuale base di conoscenza dell'istituzione. Ecco perché il cuore dell'intelligenza artificiale dei call center è la knowledge base (KB): una risorsa aggiornata in cui prodotti, policy, FAQ, procedure e regole sono tenuti per iscritto. E il metodo che collega in modo sicuro questa base di conoscenza all’intelligenza artificiale si chiama RAG: Retrieval-Augmented Generation: invece di inventare la risposta dalla propria memoria, il modello prima recupera le informazioni rilevanti dalla fonte (retrieval) e poi genera la risposta basandosi solo su quelle parti (generazione).
RAG è il metodo più potente per prevenire le allucinazioni. Il modello non genera un numero nella sua testa per la domanda "qual è il tasso di interesse del prestito?" Recupera il testo di interesse corrente dalla knowledge base e risponde in base ad esso. In questa unità vedremo come impostare la base di conoscenza, come funziona RAG e come una buona base di conoscenza determina la qualità delle risposte.
Come funziona RAG: quattro passaggi
Pensa a RAG come a un bibliotecario. Il cliente fa domande; Il sistema prima trova le pagine rilevanti dallo scaffale destro della biblioteca, poi le legge e scrive la risposta. I passaggi tecnici sono i seguenti:
- Chunking: i documenti lunghi nella knowledge base vengono suddivisi in parti piccole e significative (ad esempio, ogni FAQ è un pezzo). Perché il modello risponde a una domanda in modo più accurato con le piccole parti correlate.
- Incorporamento e indicizzazione: ogni pezzo viene tradotto in una forma numerica che ne rappresenta il significato (incorporamento, una sequenza di numeri che rappresenta il significato del testo) e inserito in un database ricercabile. Pertanto, non si tratta di una "corrispondenza di parole" ma di una "corrispondenza di significato"; Anche se il cliente chiede "quando verrà depositato il mio denaro?", è possibile che si trovi la parte "periodo di rimborso".
- Recupero: vengono recuperate le parti più vicine nel significato alla domanda del cliente (ad esempio le 3-5 parti più vicine).
- Generazione: il modello scrive la risposta basandosi SOLO sulle parti disegnate e indica la fonte, se possibile.
Il punto critico è nel passaggio 4: al modello viene detto di "fare affidamento solo sui pezzi dati o di dire che non lo sai". Senza questa istruzione RAG non impedisce la vestibilità del modello.
Suggerimento: la regola d'oro di RAG: "Se non è nella fonte, non c'è risposta". Un buon sistema RAG dirà "Non ne sono sicuro" a una domanda che non è nella knowledge base; non colma mai il vuoto con congetture. La capacità di un bot di dire "non lo so" è una caratteristica di sicurezza, non un punto debole.
Una buona base di conoscenza: la vera fonte della qualità delle risposte
Non importa quanto sia valido il RAG, se la base di conoscenza è negativa, la risposta è negativa. La qualità della base di conoscenza è misurata da:
caratteristica
base di conoscenze pessima
Buona base di conoscenze
Attualità
Non aggiornato da mesi
Aggiornato immediatamente quando modificato
Chiarezza
Testo lungo e contorto
Articoli brevi e monoargomento
struttura
Pila di PDF disordinata
Sostanze degradabili etichettate
Coerenza
Due risposte contrastanti
Unica fonte di verità
Ambito
Ci sono molte lacune
Copre le domande più frequenti
proprietà
Nessuno è responsabile
Ogni argomento ha un proprietario
Il problema più pericoloso nel contesto del call center è la contraddizione: se nella knowledge base vengono scritti due periodi di restituzione diversi, RAG dirà quello necessario e al cliente verrà inviata una risposta incoerente. Ecco perché il principio della "fonte unica della verità" è fondamentale: le informazioni sono mantenute aggiornate in un unico posto; Vengono utilizzati riferimenti a tale fonte, non copie.
Passo dopo passo: costruire un sistema di risposta supportato da RAG
- Pulisci la knowledge base: rimuovi articoli obsoleti, in conflitto e duplicati. Rendi ogni articolo breve e con un unico argomento.
- Suddividilo e taggalo: aggiungi un tag argomento e la data dell'ultimo aggiornamento a ciascun articolo.
- Stabilisci l'accesso: collega un meccanismo che estrae le parti rilevanti quando richiesto (gli strumenti RAG aziendali lo forniscono).
- Scrivi un messaggio rigoroso: dì al modello "fai affidamento solo sulle parti fornite, cita la fonte o dì che non lo sai".
- Citare la fonte: mostrare l'articolo su cui si basa la risposta; Dà fiducia e facilita la verifica.
- Fai attenzione alle lacune: raccogli domande in cui il bot dice "Non lo so"; Questi mostrano le carenze nella base di conoscenza, da lì si alimentano.
Quattro modelli copiabili
1) Richiesta di risposta RAG rigorosa:
Risposta BASATA sulle seguenti parti [FONTE]. Regole: (1) utilizzare solo le informazioni nella fonte, (2) se non sono nella fonte, dire "Non ho informazioni precise al riguardo, lasciami metterti in contatto con il rappresentante", (3) indicare su quale articolo si basa come [Fonte: articolo-no], (4) citare l'importo/durata/condizione esattamente dalla fonte, non arrotondare/compensare. [FONTE]: <<parti estratte>>Domanda: "<<domanda del cliente>>"
2) Scrittura di articoli della knowledge base:
Converti il seguente testo di policy sparso in un articolo di FAQ adatto a RAG. Formato: Domanda (nella lingua del cliente) / Risposta breve (2-3 frasi) / Condizioni (clausola) / Data dell'ultimo aggiornamento / Tag argomento. Contrassegna eventuali punti ambigui come "da chiarire", per finzione. Testo grezzo: <<testo>>
3) Ricerca di contraddizioni e lacune:
Esaminare i seguenti articoli della Knowledge Base. (1) Contrassegnare le coppie di articoli in CONFLITTO tra loro (es. periodo di reso diverso). (2) Indovina gli argomenti che verranno posti frequentemente ma che NON hanno risposte. Guarda solo gli articoli indicati; produrre nuova politica.Articoli: <<list>>
4) Miglioramento dal registro "Non lo so":
Di seguito sono riportate le domande a cui il bot non ha potuto rispondere (impossibile trovare una fonte). Raggrupparli in argomenti e suggerire il titolo dell'articolo da aggiungere alla knowledge base per ciascun gruppo. Non inventare il contenuto della risposta, dimmi solo quale elemento manca. Domande: <<lista>>
Prompt debole / Prompt forte
Suggerimento debole:
Rispondi alla domanda sul reso del cliente.
Nessuna fonte; Il modello potrebbe essere memorizzato, la quantità/durata potrebbe essere errata, non è possibile verificarlo.
Suggerimento potente:
Rispondi solo in base alla clausola sulla politica di restituzione di seguito. Se non è disponibile nella fonte, dì "Non lo so per certo". Citare il periodo e la condizione testualmente, fornire il riferimento sotto forma di [Fonte: RETURN-03].[FONTE: RETURN-03]: "Il prodotto non utilizzato può essere restituito entro 14 giorni. I prodotti personalizzati non rientrano nell'ambito del reso." Domanda: "Posso restituire il prodotto personalizzato che ho acquistato 20 giorni fa?"
Differenza: dipendente dalla fonte, riferimento obbligatorio, divieto di fabbricazione chiaro; il modello genera la risposta corretta ("14 giorni passati e personalizzata, non rimborsabile") dalla fonte.
tre mini custodie
Caso 1 – Fine dell’allucinazione. La precisione delle risposte di un bot delle telecomunicazioni alle domande della campagna era del 71% in una configurazione senza RAG; La modella a volte inventava vecchie campagne. Quando le pagine della campagna corrente sono state collegate a RAG ed è stata aggiunta la regola "non dirlo se non è nella fonte", la precisione è aumentata al 96% e i reclami sulle "parole sbagliate della campagna" sono quasi finiti.
Caso 2 — Il prezzo della contraddizione. Nella knowledge base di un'azienda di e-commerce sono stati scritti due diversi costi di spedizione su due pagine (una pagina attuale, una vecchia pagina dimenticata). Il bot trascinava qualcuno a caso e diceva ad alcuni clienti il prezzo sbagliato. Quando la vecchia pagina è stata archiviata secondo il principio dell'unica fonte corretta, l'incoerenza è scomparsa. Lezione: RAG non risolve la contraddizione, propaga la contraddizione così com'è.
Caso 3: il valore del registro "Non so". In una banca, il bot rispondeva "Non lo so per certo" a circa 4.000 domande al mese. Raggruppando queste domande si è visto che il 40% riguardava "l'uso della carta internazionale"; Non c'era nessun articolo a riguardo. Quando sono state aggiunte le voci pertinenti, queste domande sono state risolte e il turnover delle persone su quell'argomento è diminuito del 55%. Il fatto che il bot abbia affermato di non saperlo è diventato la tabella di marcia per il miglioramento.
Errori comuni
- Rispondere senza linkare la fonte. Senza RAG, il modello si adatta alle informazioni concrete; Qualsiasi risposta concreta deve dipendere dalla fonte.
- Disattivazione dell'opzione "Non lo so". Costringere il modello a rispondere a ogni domanda garantisce l'adattamento.
- Non vengono cancellate informazioni contrastanti/vecchie. RAG diffonde contraddizione; È essenziale avere un’unica fonte corretta.
- Trascurando di distruggere. L'esportazione di PDF di grandi dimensioni così come sono interrompe l'accesso accurato; Utilizza articoli brevi e monoargomento.
- Nascondere la fonte. Non indicare su cosa si basa la risposta indebolisce la verifica e la fiducia.
Attenzione: RAG migliora la precisione ma non fornisce una garanzia al 100%. A volte il modello può interpretare erroneamente la parte catturata. Pertanto, le questioni finanziarie, legali e di sicurezza richiedono l'approvazione umana anche se viene citata la fonte; RAG riduce le allucinazioni ma non elimina la responsabilità.
In sintesi
La base di conoscenza e il RAG sono il fondamento dell'accuratezza dell'intelligenza artificiale dei call center. RAG previene in gran parte le allucinazioni impedendo al modello di adattare la risposta dalla memoria e basandosi esclusivamente sulla fonte corrente. Ma RAG è valido tanto quanto la sua base di conoscenza: una base di conoscenza che sia aggiornata, chiara, strutturata, priva di conflitti e con un'unica fonte di verità è essenziale. Di' al modello "se non è nella fonte, dimmi che non lo sai", indica la fonte e usa le domande a cui il bot non può rispondere per migliorare la sua base di conoscenza. Mantenere il consenso umano nonostante la fonte su questioni ad alto rischio.
Compito dell'applicazione
Scrivi 8 domande reali/realistiche dei clienti del tuo settore e 8 brevi articoli corrispondenti della knowledge base (ogni articolo: domanda, risposta breve, condizioni, data, tag). Quindi verifica se il modello può dire "Non lo so" utilizzando il modello "1) Richiesta di risposta RAG stretta" e ponendo anche una domanda, una delle quali non è nella knowledge base. Infine, controlla i tuoi articoli con "3) Contraddizione e scansione delle lacune".
lista di controllo
- [ ] Ogni risposta concreta fornita dal bot/assistente dipende dalla base di conoscenza attuale (tramite RAG).
- [ ] Ho dato istruzioni al modello "se non è nella fonte, dimmi che non lo sai" e l'ho testato.
- [ ] La mia base di conoscenza è costituita da articoli aggiornati, chiari e monoargomento.
- [ ] Ho eliminato gli articoli vecchi e contrastanti; Esiste una sola fonte corretta per tutte le informazioni.
- [ ] Le risposte mostrano su quale articolo si basa (fonte).
- [ ] Raccolgo domande "non so" e alimento la base di conoscenza.