Guadagni:
- Capacità di spiegare perché l'allucinazione (fonte inventata, citazione, evento) e l'anacronismo sono gli errori più pericolosi della storia
- Capacità di applicare la disciplina della verifica di ogni riferimento nel catalogo, del confronto del contenuto con il documento e della conferma incrociata dei fatti critici.
- Capacità di mettere in discussione pregiudizi e voci mancanti nelle fonti chiedendo all'intelligenza artificiale dove cercare invece della fonte reale
C'è un avvertimento ripetuto in ogni unità di questo modulo: l'output dell'IA è un'affermazione, non un fatto, finché non viene verificato. Questa unità trasforma quell'avvertimento in una disciplina. La storia e l'archiviazione sono campi intrinsecamente basati sull'evidenza; L'abilità più basilare di uno storico è la critica delle fonti (chiedere da chi, quando, per quale scopo è stata prodotta una fonte e quanto sia affidabile). Nell’era dell’intelligenza artificiale, questa abilità è diventata ancora più critica perché la fonte stessa ora può essere fabbricata.
Qui tratteremo in modo approfondito tre pericoli: allucinazioni (l'intelligenza artificiale che produce informazioni, fonti o citazioni inventate), anacronismo (elementi periodici spostati nel periodo sbagliato) e la disciplina della verifica delle fonti in generale. Vedremo anche che l’intelligenza artificiale apprende da fonti che in passato erano imprecise o distorte, in modo da poter riprodurre i pregiudizi.
Allucinazione: l'errore più pericoloso
Un'allucinazione è quando un'intelligenza artificiale presenta con sicurezza qualcosa che in realtà non esiste. Storicamente, è più comunemente visto nelle seguenti forme:
- Fonte/riferimento fabbricato: un fondo d'archivio, un numero di file, un libro o un articolo inesistente.
- Citazione inventata: una parola che non è stata effettivamente detta, una frase che non è nel documento.
- Evento/data/persona inventata: Un evento che non è accaduto, una data falsa, una persona che non esiste.
- Connessione fittizia: rapporto causa-effetto inesistente tra due eventi reali.
Ciò che rende pericolosa un'allucinazione è che sembra credibile. Una referenza fittizia ha lo stesso formato di una referenza reale: nome del fondo, numero, data. Quindi "il formato sembra corretto" non significa mai "corretto".
Attenzione: Nessuna risorsa prodotta da YZ può essere utilizzata senza essere verificata e trovata nel catalogo o in un luogo attendibile. L'unico modo per dimostrare che un riferimento esiste è vederlo dove si trova la fonte originale (catalogo dell'archivio, biblioteca, pubblicazione). "L'AI l'ha dato" non è una prova.
Anacronismo: occhiali dell'epoca
Anacronismo è vedere il passato attraverso gli occhiali di oggi. Poiché l’intelligenza artificiale è addestrata nel linguaggio odierno, ha una forte tendenza a:
- Termine anacronistico: utilizzo di una parola, istituzione o concetto che non appartiene al periodo.
- Anacronismo concettuale: proiettare un'idea del presente (ad esempio un'ideologia o un'identità moderna) nel passato.
- Anacronismo di valore: giudicare il comportamento passato solo secondo gli standard odierni.
Il compito dello storico è comprendere il passato nel suo contesto. L’intelligenza artificiale non ha questa sensibilità al contesto; Devi fornirlo tu stesso.
Capire perché le allucinazioni si verificano così spesso rende più facile proteggersi da esse. L’intelligenza artificiale è un sistema che funziona per produrre la “parola più probabile successiva”; Non ha alcuno scopo come "conoscere la verità". Quando gli viene posta una domanda, che conosca o meno la risposta, produce un testo che sembra statisticamente convincente. Il formato di un riferimento archivistico (nome del fondo, numero, data) è un modello appreso; L’intelligenza artificiale può riempire questo schema senza un riferimento reale. Quindi “perché l’intelligenza artificiale lo inventa?” La risposta alla domanda è semplice: per lui è più facile inventarsi che "non sapere". La responsabilità di riempire questi stampi con risorse reali ricade su di voi.
Disciplina della verifica della fonte: passo dopo passo
1. Verificare l'esistenza della risorsa. Trova ogni riferimento fornito da AI nel catalogo/pubblicazione. Se non riesci a trovarlo, non usarlo.
2. Confronta il contenuto con la fonte. Le informazioni che l'AI attribuisce a un documento esistono effettivamente nel documento? La citazione è esattamente la stessa?
3. Conferma incrociata. Per un fatto critico, guarda almeno due fonti affidabili indipendenti.
4. Applicare la critica alla fonte. La fonte stessa è affidabile? Chi lo ha prodotto, quando e per quale scopo? È di parte?
5. Passalo attraverso il filtro anacronismo. Ci sono termini, concetti o giudizi di valore che non si adattano al periodo nell'output?
6. Metti in discussione i pregiudizi. L’intelligenza artificiale avrebbe potuto riprodurre i pregiudizi presenti nelle fonti storiche (ignorando un gruppo, favorendo un punto di vista)?
Livello di autenticazione
Domanda
chi lo fa
entità
Esiste davvero questa risorsa?
Tu nel catalogo.
Contenuto
C'è scritto davvero nel documento?
Tu nel documento
Conferma
Qualche altra fonte lo supporta?
tu, croce
affidabilità
La fonte è affidabile?
giudizio esperto
Periodo
Ci sono anacronismi?
giudizio esperto
pregiudizio
Di chi è la voce mancante/distorta?
giudizio esperto
tre mini custodie
Caso 1: sei riferimenti fabbricati. Un ricercatore ha chiesto all’IA un elenco di fonti su un argomento. YZ ha fornito 6 riferimenti di archivio con una formattazione perfetta. Nella ricerca nel catalogo ne mancavano 4 su 6, 2 di loro avevano il numero sbagliato. Se il ricercatore non avesse verificato, sarebbe emerso uno studio che citava fonti inesistenti. Lezione: ogni referenza è verificata nel catalogo.
Caso 2 — Preventivo inventato. Uno scrittore utilizzerebbe una citazione sorprendente che l’AI attribuisce a una figura storica. Quando ha indagato sulla fonte, ha visto che non esisteva alcun documento che provasse che quella persona avesse detto una cosa del genere e che la dichiarazione era stata "inventata" da AI. Lezione: le citazioni non possono essere utilizzate senza la verifica di una fonte primaria o affidabile.
Caso 3 — Riproduzione del pregiudizio. Uno studente ha chiesto all'intelligenza artificiale di spiegare la storia di una regione. L’output ignorava completamente una comunità specifica in quella zona perché anche le fonti da cui l’IA aveva appreso li avevano ignorati. Lo studente ha notato e corretto questa lacuna con riferimenti incrociati. Lezione: l’intelligenza artificiale riproduce silenzi e pregiudizi nelle fonti; C'è da chiedersi di chi è la voce che manca.
Quattro modelli copiabili
1) Elenco di verifica dei riferimenti:
TUTTE le fonti, i riferimenti, le citazioni, le date e i nomi delle persone nel testo sottostante appaiono in un elenco separato. Aggiungere una nota per ciascuno: "dichiarato in questo testo, deve essere verificato in modo indipendente". Se non selezioni nessuno, "verifica"; Basta produrre un elenco da verificare in modo da poterlo controllare dal catalogo/fonte. Testo: [qui]
2) Scansione dell'anacronismo:
Esamina il testo relativo a [periodo] di seguito. Evidenzia termini, istituzioni, concetti e valori che POTREBBERO NON appartenere a questo periodo. Per ciascuno, scrivi brevemente perché sei sospettoso. Giudizio finale; Crea un elenco di sospetti che l'esperto controllerà. Testo: [qui]
3) Quadro di critica della fonte:
Viene redatta una critica della fonte sulla seguente fonte: (1) Chi potrebbe averlo prodotto, (2) Quando, (3) Per quale scopo, (4) Quali sono i suoi possibili pregiudizi, (5) Quali questioni dovrebbero essere attendibili e quali dovrebbero essere caute. Imposizione del giudizio finale; Fornire domande e possibili opzioni di risposta. Fonte: [qui]
4) Controllo volume/bias mancante:
CHI è la voce e l'esperienza di quale gruppo potrebbe mancare o essere unilaterale nel seguente riassunto storico? Quale prospettiva è dominante e quale è invisibile? Producilo come un elenco di domande; Lo riempirò di riferimenti incrociati. Sommario: [qui]
Prompt debole / Prompt forte
Debole:
Datemi fonti storiche attendibili e citazioni su questo argomento.
L'intelligenza artificiale è molto incline a produrre riferimenti corretti nella forma ma inventati nel contenuto quando vengono richieste "fonte" e "citazione". Questo suggerimento è un invito diretto all'allucinazione.
Forte:
Suggerisci quale TIPO di fonti (tipo di fondo di archivio, tipo di pubblicazione, istituzione) dovrei cercare nella mia ricerca su questo argomento. MONTAGGIO di un riferimento specifico, numero di file o preventivo; Dimmi solo dove cercare. Poi troverò le vere fonti dai cataloghi.
Differenza: all'IA viene chiesto "dove guardare", non "riferimento effettivo"; Il rischio di allucinazioni è radicalmente ridotto e la verifica è lasciata all'uomo.
Errori comuni
- Affidarsi al riferimento corretto. Anche il riferimento inventato appare impeccabile; deve essere verificato sul catalogo.
- Prendendo una citazione diretta da AI. Le citazioni non possono essere utilizzate senza la conferma della fonte primaria/affidabile.
- Trascurando l'anacronismo. I termini e i concetti di oggi penetrano silenziosamente nel passato.
- Riproduzione del pregiudizio. L'intelligenza artificiale copia i silenzi dalle fonti; È necessario chiedere del suono mancante.
- Affidarsi ad un'unica fonte. I fatti critici devono essere confermati da almeno due fonti indipendenti.
In sintesi
La verifica della fonte è al centro della storia e dell’archiviazione ed è ancora più critica nell’era dell’intelligenza artificiale. L'allucinazione produce fonti, citazioni ed eventi la cui forma è perfetta ma il cui contenuto è fittizio; l'anacronismo distorce il passato attraverso le lenti di oggi; e l’intelligenza artificiale riproduce i pregiudizi nelle fonti. La difesa è una disciplina: verificare ogni riferimento nel catalogo, confrontare il contenuto con il documento, verificare i fatti critici, filtrare per periodo e pregiudizi. Chiedi all’intelligenza artificiale “dove cercare”, non “la fonte effettiva”. Il custode della verità è sempre l'esperto.
Compito dell'applicazione
Chiedi all'intelligenza artificiale di produrre un elenco di risorse su un argomento su cui stai lavorando (con un "prompt debole" deliberatamente). Quindi estrai tutti i riferimenti da questo output con il modello "elenco di convalida dei riferimenti" e cerca ciascuno di essi in un catalogo. Conta quanti effettivamente esistono e quanti sono inventati o imprecisi. Ripeti lo stesso argomento con un "forte suggerimento" ("dove dovrei guardare") e sperimenta la differenza.
lista di controllo
- [ ] Ho verificato ogni riferimento nel catalogo/fonte attendibile.
- [ ] Ho verificato ogni citazione con la fonte primaria/affidabile.
- [] Ho effettuato un controllo incrociato dei fatti critici con almeno due fonti indipendenti.
- [] Ho filtrato l'output per anacronismi.
- [ ] Ho messo in dubbio le voci mancanti/distorte e i pregiudizi.