Winst:
- Vermogen om uit te leggen waarom hallucinatie (verzonnen bron, citaat, gebeurtenis) en anachronisme de gevaarlijkste fouten in de geschiedenis zijn
- Mogelijkheid om de discipline toe te passen van het verifiëren van elke referentie in de catalogus, het vergelijken van de inhoud met het document en het bevestigen van kritische feiten.
- Mogelijkheid om vooringenomenheid en ontbrekende stemmen in bronnen in twijfel te trekken door kunstmatige intelligentie te vragen waar te kijken in plaats van naar de echte bron
Er wordt in elke eenheid van deze module een waarschuwing herhaald: de output van de AI is een claim en geen feit totdat deze is geverifieerd. Deze eenheid maakt van die waarschuwing een discipline. Geschiedenis en archivering zijn inherent op bewijs gebaseerde vakgebieden; De meest fundamentele vaardigheid van een historicus is bronnenkritiek (vragen stellen door wie, wanneer, met welk doel een bron is geproduceerd en hoe betrouwbaar deze is). In het tijdperk van AI is deze vaardigheid zelfs nog belangrijker geworden omdat de bron zelf nu mogelijk is verzonnen.
Hier gaan we dieper in op drie gevaren: hallucinatie (AI die verzonnen informatie, bronnen of citaten produceert), anachronisme (periodieke elementen die naar de verkeerde periode worden verplaatst) en de discipline van bronverificatie in het algemeen. We zullen ook zien dat AI leert van bronnen die in het verleden onnauwkeurig of bevooroordeeld waren, zodat het vooroordelen kan reproduceren.
Hallucinatie: de gevaarlijkste fout
Er is sprake van een hallucinatie wanneer een AI zelfverzekerd iets presenteert dat niet echt bestaat. Historisch gezien wordt het meestal gezien in de volgende vormen:
- Verzonnen bron/referentie: Een niet-bestaand archieffonds, dossiernummer, boek of artikel.
- Verzonnen citaat: Een woord dat niet daadwerkelijk is gezegd, een zin die niet in het document staat.
- Verzonnen gebeurtenis/datum/persoon: Een gebeurtenis die niet heeft plaatsgevonden, een valse datum, een persoon die niet bestaat.
- Fictief verband: een niet-bestaande oorzaak-gevolgrelatie tussen twee echte gebeurtenissen.
Wat een hallucinatie gevaarlijk maakt, is dat ze geloofwaardig lijkt. Een opgemaakte referentie heeft hetzelfde formaat als een echte referentie: fondsnaam, nummer, datum. Dus "format ziet er goed uit" betekent nooit "correct".
Let op: Geen enkele door YZ geproduceerde bron kan worden gebruikt zonder te zijn geverifieerd en gevonden in de catalogus of op een betrouwbare plaats. De enige manier om te bewijzen dat een verwijzing bestaat, is door te kijken waar de oorspronkelijke bron zich bevindt (archiefcatalogus, bibliotheek, publicatie). "AI gaf het" is geen bewijs.
Anachronisme: glazen uit die tijd
Anachronisme is het verleden bekijken door de bril van vandaag. Omdat AI getraind is in de taal van vandaag, heeft het een sterke neiging om:
- Termanachronisme: Een woord, instelling of concept gebruiken dat niet bij de periode hoort.
- Concept anachronisme: Het projecteren van een idee van het heden (bijvoorbeeld een moderne ideologie of identiteit) in het verleden.
- Waarde-anachronisme: gedrag uit het verleden alleen beoordelen volgens de normen van vandaag.
Het is de taak van de historicus om het verleden in zijn context te begrijpen. AI mist deze contextgevoeligheid; U dient deze zelf aan te leveren.
Als u begrijpt waarom hallucinaties zo vaak voorkomen, kunt u zich er gemakkelijker tegen beschermen. AI is een systeem dat werkt om het “volgende meest waarschijnlijke woord” te produceren; Het heeft geen ander doel dan ‘de waarheid kennen’. Wanneer hem een vraag wordt gesteld, of hij het antwoord nu weet of niet, produceert hij een tekst die er statistisch overtuigend uitziet. Het formaat van een archiefreferentie (fondsnaam, nummer, datum) is een aangeleerd patroon; AI kan dit patroon vullen zonder een echte referentie. Dus “waarom verzint AI dit?” Het antwoord op de vraag is simpel: het is gemakkelijker voor hem om het goed te maken dan "niet weten". De verantwoordelijkheid ligt bij jou om deze mallen met echte grondstoffen te vullen.
Bronverificatiediscipline: stap voor stap
1. Controleer het bestaan van de bron. Vind elke referentie gegeven door AI in de catalogus/publicatie. Als u het niet kunt vinden, gebruik het dan niet.
2. Vergelijk de inhoud met de bron. Bestaat de informatie die AI aan een document toekent ook daadwerkelijk in het document? Is de quote precies hetzelfde?
3. Kruisbevestiging. Kijk voor een cruciaal feit naar ten minste twee onafhankelijke, betrouwbare bronnen.
4. Pas bronkritiek toe. Is de bron zelf betrouwbaar? Wie heeft het geproduceerd, wanneer en met welk doel? Is het bevooroordeeld?
5. Haal het door het anachronismefilter. Zijn er termen, concepten of waardeoordelen die niet passen bij de periode in de output?
6. Stel vooroordelen in vraag. Had AI de vooroordelen in historische bronnen kunnen reproduceren (één groep negeren, één standpunt bevoordelen)?
Authenticatie laag
Vraag
wie wel
entiteit
Bestaat deze hulpbron echt?
Jij in de catalogus.
Inhoud
Staat dit echt in het document?
Jij in het document
Bevestiging
Ondersteunt een andere bron dit?
jij, kruis
betrouwbaarheid
Is de bron betrouwbaar?
deskundig oordeel
Periode
Zijn er anachronismen?
deskundig oordeel
vooroordeel
Wiens stem ontbreekt/vervormd?
deskundig oordeel
drie minikoffers
Geval 1 — Zes verzonnen referenties. Een onderzoeker vroeg de AI om een lijst met bronnen over een onderwerp. YZ leverde 6 archiefreferenties met perfecte opmaak. Bij het zoeken in de catalogus ontbraken er 4 van de 6, waarvan er 2 een verkeerd nummer hadden. Als de onderzoeker dit niet had geverifieerd, zou er een onderzoek zijn ontstaan waarin niet-bestaande bronnen werden geciteerd. Les: elke referentie wordt geverifieerd in de catalogus.
Geval 2 — Verzonnen citaat. Een schrijver zou een opvallend citaat gebruiken dat de AI aan een historische figuur toeschrijft. Toen hij de bron onderzocht, zag hij dat er geen document was waaruit bleek dat die persoon zoiets zei, en dat de verklaring ‘verzonnen’ was door AI. Les: citaten kunnen niet worden gebruikt zonder verificatie van een primaire of betrouwbare bron.
Geval 3 — Reproductie van vooroordelen. Een student liet de AI de geschiedenis van een regio uitleggen. De output negeerde een specifieke gemeenschap op dat gebied volledig omdat de bronnen waarvan de AI had geleerd, hen ook hadden genegeerd. De student merkte deze leemte op en corrigeerde deze met kruisverwijzingen. Les: AI reproduceert stiltes en vooroordelen in bronnen; Je moet je afvragen wiens stem ontbreekt.
Vier kopieerbare sjablonen
1) Referentieverificatielijst:
ALLE bron-, referentie-, citaat-, datum- en persoonsnamen in onderstaande tekst verschijnen in een aparte lijst. Voeg voor elk een opmerking toe: "beweerd in deze tekst, moet onafhankelijk worden geverifieerd." Als u geen selecteert, "verifieer"; Maak gewoon een lijst ter verificatie, zodat ik deze kan controleren vanuit de catalogus/bron. Tekst: [hier]
2) Anachronisme scannen:
Bekijk de tekst over [periode] hieronder. Benadruk termen, instellingen, concepten en waarden die MISSCHIEN NIET tot deze periode behoren. Schrijf voor elk kort waarom u achterdochtig bent. Het maken van een definitief oordeel; Maak een lijst met vermoedens die de deskundige zal controleren. Tekst: [hier]
3) Kader voor bronkritiek:
Er wordt een bronnenkritiek opgesteld over de volgende bron: (1) Wie zou de bron kunnen hebben geproduceerd, (2) Wanneer, (3) Met welk doel, (4) Wat zijn de mogelijke vooroordelen, (5) Welke kwesties moeten worden vertrouwd en welke moeten voorzichtig zijn. Het opleggen van een definitief oordeel; Geef vragen en mogelijke antwoordmogelijkheden op. Bron: [hier]
4) Ontbrekende volume-/biasregeling:
Wiens stem en de ervaring van welke groep zou in de volgende historische samenvatting kunnen ontbreken of eenzijdig kunnen zijn? Welk perspectief is dominant, welk perspectief is onzichtbaar? Maak dit als een lijst met vragen; Ik zal het vullen met kruisverwijzingen. Samenvatting: [hier]
Zwakke prompt/sterke prompt
Zwak:
Geef mij betrouwbare historische bronnen en citaten over dit onderwerp.
AI is zeer geneigd referenties te produceren die qua vorm correct zijn, maar qua inhoud verzonnen wanneer er om "bron" en "citaat" wordt gevraagd. Deze prompt is een directe uitnodiging tot hallucinatie.
Sterk:
Stel voor naar wat voor soort bronnen (type archieffonds, type publicatie, instelling) ik moet zoeken in mijn onderzoek naar dit onderwerp. HET PASSEN van een specifieke referentie, dossiernummer of offerte; Vertel me gewoon waar ik moet kijken. Dan zoek ik de echte bronnen uit de catalogi.
Verschil: AI wordt gevraagd om "waar te kijken", niet om "daadwerkelijke referentie"; Het risico op hallucinaties wordt radicaal verminderd en de verificatie wordt aan de mens overgelaten.
Veel voorkomende fouten
- Vertrouwen op de juiste referentie. Ook de verzonnen referentie oogt onberispelijk; moet in de catalogus worden geverifieerd.
- Een direct citaat van AI nemen. Offertes kunnen niet worden gebruikt zonder bevestiging van de primaire/betrouwbare bron.
- Het anachronisme over het hoofd zien. De termen en concepten van vandaag sijpelen stilletjes het verleden binnen.
- Vooroordelen reproduceren. AI kopieert stiltes uit bronnen; Het is noodzakelijk om te vragen naar het ontbrekende geluid.
- Vertrouwend op één enkele bron. Kritieke feiten moeten worden bevestigd door ten minste twee onafhankelijke bronnen.
Samengevat
Bronverificatie vormt de kern van geschiedenis en archivering, en is zelfs nog belangrijker in het tijdperk van AI. Hallucinatie levert bronnen, citaten en gebeurtenissen op waarvan de vorm perfect is, maar waarvan de inhoud fictief is; anachronisme verdraait het verleden door de lenzen van vandaag; en AI reproduceert vooroordelen in bronnen. Verdediging is een discipline: verifieer elke referentie in de catalogus, vergelijk inhoud met document, controleer kritische feiten, filter op periode en vooringenomenheid. Vraag de AI naar ‘waar te kijken’, niet naar ‘de daadwerkelijke bron’. De bewaker van de waarheid is altijd de expert.
Applicatie taak
Laat de AI een lijst met bronnen produceren over een onderwerp waaraan u werkt (met een opzettelijk "zwakke prompt"). Extraheer vervolgens alle referenties uit deze uitvoer met de sjabloon "referentievalidatielijst" en doorzoek ze allemaal in een catalogus. Tel hoeveel er daadwerkelijk bestaan en hoeveel verzonnen of onnauwkeurig zijn. Herhaal hetzelfde onderwerp met een "sterke prompt" ("waar moet ik kijken") en ervaar het verschil.
controlelijst
- [ ] Ik heb elke referentie in de catalogus/betrouwbare bron geverifieerd.
- [ ] Ik heb elk citaat geverifieerd met de primaire/betrouwbare bron.
- [ ] Ik heb kritische feiten vergeleken met ten minste twee onafhankelijke bronnen.
- [ ] Ik heb de uitvoer gefilterd op anachronismen.
- [ ] Ik stelde ontbrekende/vervormde stemmen en vooringenomenheid in vraag.