Allucinazioni e limiti della credibilità

Guadagni:

• È in grado di spiegare cos'è un'allucinazione e perché si verifica
• Può determinare quando l'output dell'IA deve essere convalidato
• Può applicare tecniche pratiche che aumentano l'affidabilità

Forse l'argomento più critico dell'alfabetizzazione sull'intelligenza artificiale è in questa unità: la creazione di modelli, ovvero l'allucinazione. Comprendere questo termine è la precauzione di sicurezza più elementare per chiunque utilizzi l’intelligenza artificiale. Perché un utente che non riconosce l'allucinazione può confondere informazioni false per vere e trasferirle in una decisione aziendale, in una comunicazione al cliente o in un documento ufficiale. In questa unità imparerai cos'è un'allucinazione, perché è inevitabile e come proteggersi da essa.

Cos'è un'allucinazione?

Un'allucinazione avviene quando un modello linguistico produce informazioni che in realtà non esistono in un linguaggio fluente e sicuro, proprio come se fossero vere. La modella non intende mentire; Producendo solo la "continuazione più probabile", crea un testo che sembra probabile ma in realtà è falso.

Esempio: se dici a un modello "Consiglia una fonte accademica sull'argomento Tutto appare nel formato corretto e in modo convincente; Ma la fonte è completamente immaginaria. Questo è un classico esempio di allucinazione.

Perché succede? (Ricorda l'Unità Due)

La fonte dell'allucinazione risiede nel principio di funzionamento del modello. Il modello non è una “enciclopedia dei fatti”; È una "macchina delle probabilità". Il suo compito è produrre la continuazione più fluida possibile della tua domanda; Non si tratta di fornire le informazioni più accurate. Modello:

• Non sa quello che non sa; Di fronte a un vuoto, tende a riempire una possibile risposta piuttosto che dire "Non lo so".
• Non ha alcun meccanismo per controllare la realtà; Non controlla se il testo che produce corrisponde al mondo.
• La fluidità e la precisione sono due cose diverse per lui; Solo perché è fluente non significa che sia corretto.

Attenzione: l'allucinazione non è un "malfunzionamento"; È una caratteristica intrinseca della tecnologia. I nuovi modelli riducono questo problema ma non possono eliminarlo completamente. Pertanto, invece di aspettare un "modello non allucinatorio", è necessario imparare a convivere con l'allucinazione.

Dove è alto il rischio di allucinazioni?

Non tutti i risultati sono ugualmente rischiosi. Il rischio aumenta quando:

Alto rischio

Basso rischio

Cifre esatte, date, statistiche

Generazione di idee generali, brainstorming

Richiesta di fonti, citazioni, riferimenti

Cambiare il tono di un testo

Argomenti di nicchia e specialistici

Argomenti comuni e generali

Attualità e persone

Riassumi il tuo testo

Informazioni privilegiate specifiche per la tua azienda

Correzione grammaticale

Tre mini custodie

Caso 1 – Una figura falsa è entrata nella presentazione. Un dipendente ha chiesto ad AI "tasso di crescita dell'e-commerce nel 2023 e fonte in Türkiye" per il rapporto di settore. Il modello ha restituito una percentuale convincente (48%) e il nome di un istituto. Il dipendente lo ha inserito nella presentazione senza verificarlo; Quando nel corso della riunione si è scoperto che la figura era falsa, sia la presentazione che la reputazione dell'azienda sono state danneggiate. Se lo stesso dipendente avesse ricevuto il dato dalla fonte ufficiale non ci sarebbero problemi.

Caso 2: atto legislativo inesistente. Un assistente ha chiesto all'AI "l'articolo di legge pertinente" per una petizione. Il modello ha prodotto un numero di articolo e un testo dall'aspetto realistico; ma quell'oggetto non c'era. Fortunatamente, l'ufficio legale se ne è accorto prima della consegna. Lezione: le citazioni legali sono sempre verificate dalla fonte primaria.

Caso 3 – Metodo corretto, risultato sicuro. Un altro dipendente della stessa squadra ha semplicemente chiesto all'IA di redigere il rapporto, inserendo lui stesso tutti i numeri dai dati ufficiali e dicendogli di "non aggiungere cifre che non siano presenti in questo testo". Il risultato è stato veloce e preciso. Differenza: l'intelligenza artificiale ha scritto la bozza, i fatti sono stati nutriti dall'uomo.

Prompt debole / Prompt forte

Suggerimento debole: fornire le 3 fonti accademiche più importanti su questo argomento con l'autore e l'anno.

Risultato: il modello può adattarsi in modo sicuro a fonti inesistenti.

Suggerimento potente: scrivi un riepilogo basato sul testo che ho incollato di seguito. Utilizzare solo le informazioni contenute in questo testo. Non aggiungere nomi, numeri o fonti che non siano presenti nel testo. Se non sei sicuro scrivi "non specificato nel testo".<text>[incolla qui]</text>

Risultato: poiché il modello riceve la fonte da te, lo spazio di adattamento diventa più ristretto.

Tecniche pratiche che aumentano l'affidabilità

Contrassegna ogni affermazione verificabile nella tua risposta (numero, data, nome, fonte) e inseriscila in un elenco separato di "da verificare".

Rispondi a questa domanda. Se non sei sicuro, non indovinare; Di' "Non sono sicuro" e spiega che non sai cosa. Oggetto: [oggetto]

Rispondi alla stessa domanda in due modi diversi e sottolinea le contraddizioni tra le due risposte. Quindi vediamo quali punti sono discutibili. Domanda: [domanda]

Verificherò il testo qui sotto. Elenca le affermazioni rischiose che dovrei controllare in ordine di importanza e suggerisci dove posso verificarle.Testo: [incolla qui]

Inoltre, adotta queste abitudini:

1. Fornisci la fonte. Incolla il documento pertinente nel testo e dì "rispondi basandoti solo su questo".
2. Controlla sempre i fatti verificabili. Verifica numeri, date, nomi, citazioni e fonti da una fonte indipendente e affidabile.
3. Chiedigli di indicare che non è sicuro del modello. Ciò riduce il rischio ma non lo elimina completamente.
4. Per i lavori ad alto rischio, chiedere a un esperto di ispezionare l'output. I risultati legali, finanziari e relativi alla salute devono passare attraverso il filtro di esperti umani.
5. Usa l’intelligenza artificiale come “punto di partenza”, non come “parola finale”. La bozza è sua; La verifica e la decisione spetta a te.

Attenzione: "Il modello l'ha detto due volte, allora è vero" la logica è sbagliata. Può ripetere lo stesso errore con sicurezza. La ripetizione non è prova di accuratezza.

Errori comuni

Errori comuni

• Utilizzare le fonti senza verificarle. Può creare libri modello, articoli, articoli di legge e collegamenti; Ogni riferimento deve essere confermato.
• Confondendo il tono fiducioso con la precisione. La cosa più pericolosa di un'allucinazione è proprio che sembra sicura.
• È sufficiente che il modello dica "verifica". L'autoconvalida del modello non è una convalida indipendente.
• Utilizzare output ad alto rischio senza mostrarli a un esperto. Il controllo umano è essenziale nel campo del denaro, del diritto e della salute.

In sintesi

• L'allucinazione si verifica quando il modello produce informazioni inesistenti in modo fluido e sicuro come se fossero vere.
• La causa non è un malfunzionamento, ma la natura predittiva del modello; non può essere completamente eliminato.
• Il rischio è particolarmente elevato quando si tratta di cifre precise, fonti, informazioni aggiornate e questioni di nicchia.
• Per tutelarsi: indicare la fonte, verificare i fatti, dire "se non sei sicuro, dimmi", far controllare da un esperto gli output ad alto rischio.
• Utilizzare l'intelligenza artificiale come punto di partenza; La verifica e la responsabilità ultima rimangono sempre con te.

Compito dell'applicazione

Di' al tuo strumento AI di "suggerire 3 fonti accademiche" su un argomento che richiede esperienza e prova a confermare le fonti che suggerisce su Internet; Nota quanti sono reali. Quindi ripeti la stessa operazione con il metodo "dai la fonte" e osserva la differenza.

Lista di controllo

• [ ] Posso spiegare cos'è un'allucinazione e perché si verifica.
• [ ] Riesco a distinguere tra compiti ad alto e basso rischio di allucinazioni.
• [] Posso ridurre il rischio di fabbricazione fornendo la fonte al modello.
• [ ] Verifico in modo indipendente numeri, date, nomi e fonti.
• [ ] Non considero il tono fiducioso una prova di accuratezza.