Gevinster:
- Evne til systematisk at verificere en påstand gennem herkomst, kildens troværdighed og uafhængige krydstjektrin
- Evne til at forstå, at kunstig intelligens i sig selv kan producere falsk information gennem hallucination, træningsdatabias og smiger, og at behandle dets output med ekstra mistænksomhed
- Evne til at teste bias ved at markere resultatet med et tydeligt konfidensniveau og evaluere den samme begivenhed fra forskellige perspektiver
Diplomati arbejder med information, og værdien af information afhænger af dens nøjagtighed. En orientering, en forhandlingsposition eller en offentlig udtalelse baseret på urigtige oplysninger har konsekvenser, som er svære at omgøre. Derfor er en af en diplomats mest essentielle færdigheder kildebekræftelse: systematisk at vurdere, hvor en påstand kommer fra, hvor pålidelig den er, og om den faktisk er sand. I denne enhed lærer du, hvordan du inkorporerer kunstig intelligens i verifikation; men du lærer, hvordan du bruger det, mens du husker på, at AI i sig selv kan være en kilde til misinformation og bias.
Lad os først adskille de tre begreber. Misinformation: forkert information spredes utilsigtet. Desinformation: misinformation, der er bevidst, målrettet produceret og spredt. Fordomme: systematisk forskydning af information eller evaluering mod en bestemt side. En diplomat skal være opmærksom på alle tre, og AI kan være både en hjælp og en risiko i alle tre.
Trin for trin: bekræftelse af et krav
1. Angiv kravet tydeligt. Hvad præcist skal verificeres? Kog det ned til en enkelt, klar påstand som "Land X trak sig fra aftale Y." Fuzzy påstande kan ikke bekræftes.
2. Find din oprindelse. Hvor, hvornår og af hvem blev denne påstand først fremsat? De fleste misinformationer stammer fra en enkelt tvivlsom kilde og forstærkes. Gå tilbage til kilden.
3. Vurder kildens troværdighed. Er kilden officiel, uafhængig eller forudindtaget? Har han givet nøjagtige oplysninger tidligere? Har han en egeninteresse i dette? Selv en pålidelig kilde kan tage fejl; men en kilde med lav troværdighed kræver ekstra bekræftelse.
4. Krydstjek. Bekræft påstanden med mindst to uafhængige, pålidelige kilder. 50 sider fodret af det samme nyhedsbureau er ikke uafhængige kilder.
5. Test intern sammenhæng og kontekst. Er påstanden internt konsistent? Modsiger det kendte fakta? Taget ud af kontekst? En sand sætning kan være vildledende i den forkerte sammenhæng.
6. Marker resultatet med konfidensniveauet. Angiv en tydelig etiket såsom "verificeret", "delvist verificeret", "eneste kilde", "kunne ikke verificeres", "falsk". Selv "jeg er ikke sikker" er en konklusion og bør siges ærligt.
Tip: Jo mere en påstand giver genklang eller fremkalder en følelsesmæssig reaktion, jo mere omhyggelig bør du være med at bekræfte den. Desinformation retter sig mod selve følelsen af vrede, frygt eller "de nyheder, vi ønsker." Oplysninger, der beder dig om at handle hurtigt, er ofte den information, der kræver mest bekræftelse.
AI i sig selv er en kilde til risiko
Den vigtigste advarsel ved denne enhed: AI er ikke en verifikationsautoritet; Det kan i sig selv generere misinformation og bias. AI kan vildlede på tre måder:
1. Hallucination: Præsenterer en ikke-eksisterende kilde, citat eller begivenhed som virkelig. "Hvilken kilde bekræfter denne påstand?" Når du spørger, kan han endda give dig et opdigtet kildenavn.
2. Træningsdatabias: AI’en afspejler det dominerende perspektiv i de tekster, den trænes på. Hvis synet af en del af verden på et bestemt emne dominerer dataene, kan AI svaje på den måde. Dette er ikke tilsigtet, men en afspejling af dataene - men resultatet er stadig et partisk output.
3. Sycophancy: AI kan have en tendens til at besvare spørgsmålet på en måde, der behager dig. Hvis du ønsker at bekræfte en påstand, har den en tendens til at give et svar, der understøtter det.
Så brug AI som et værktøj til verifikation (redigering af kilder, markering af konflikter, hjælp til herkomstsporing), men tag aldrig AI'en, der siger "dette er sandt" som det sidste ord.
Forsigtig: Når du har AI'en til at verificere en kilde, skal du kontrollere, om AI'en viser dig en rigtig kilde eller producerer en plausibel udseende fremstilling. Betragt det ikke som "verificeret", før du uafhængigt åbner og ser hvert kildenavn, link og citat, han giver. En AI-sammensat kilde kan virke mere overbevisende end en rigtig kilde.
tre minisager
Tilfælde 1 — Oprindelsesbekræftelse gemt. Et "officielt meddelelse"-skærmbillede faldt på bordet, og det så ægte ud. Verifikationen viste, at der ikke var en sådan erklæring på denne institutions officielle kanaler; billedet var falsk. Oprindelseskontrol forhindrede en falsk erklæring i at komme ind i briefingen.
Tilfælde 2 — AI fremstillet kilde. En ekspert fik AI til at verificere en statistik. YZ citerede en kilde ved at sige "ifølge denne organisations rapport fra 2023..." Han kaldte ekspertkilden: der var hverken en sådan rapport eller et sådant tal; AI'en havde lavet begge dele. Uafhængig kontrol fangede en opdigtet "bekræftelse".
Tilfælde 3 — Bias offset. En ekspert fik AI til at opsummere en kontroversiel begivenhed og bemærkede, at outputtet var tydeligt tæt på den ene sides fortælling. Da jeg igen spurgte "opsummer den samme begivenhed fra modpartens perspektiv", tegnede der sig et helt andet billede. Sammenligning af de to resultater forhindrede at indføre en ensidig ramme i rapporten.
Fire kopierbare skabeloner
1) Protokol for kravbekræftelse:
Din rolle: valideringsanalytiker. For følgende påstand: (1) reducer påstanden til en nettek-sætning, (2) find hvor/hvornår den første gang er nævnt i de kilder, jeg gav, (3) hvor mange UAFHÆNGIGE kilder understøtter den, (4) er der modstridende kilder, (5) marker resultatet med et af følgende tags: verificeret / enkelt kilde / modstridende / ikke verificeret. Kildefremstilling; Bare brug det, jeg giver dig. Påstand+kilder: [her]
2) AI bias test:
Opsummer først følgende hændelse så objektivt som muligt. Opsummer derefter den SAMME begivenhed separat (a) fra part A's synspunkt, (b) fra part B's synspunkt. Angiv forskellene mellem de tre versioner. Det kan således ses, hvilke punkter der er parternes fortolkning, og hvilke der er fælles kendsgerninger. Case/kilder: [her]
3) Vurdering af kildepålidelighed:
Evaluer for følgende kilde: type (officiel/uafhængig/partisk/anonym), potentiel interesse i sagen, oplysninger givet om tidligere troværdighed, yderligere trin, der kræves til verifikation. Skriv også ned, hvorfor kilden kan være forkert. Kilde: [her]
4) Desinformation røde flag:
Scan indholdet nedenfor for desinformation. Se efter disse flag: ikke-sourcede statistikker, følelsesfremkaldende sprog, billeder uden kontekst, "skynd/del"-pres, ikke-verificerbart autoritetsord, samtidig koordineret formidling. Marker hvert fund med begrundelse. Foretag ikke endelige domme. Indhold: [her]
Svag prompt / Stærk prompt
Svag prompt:
Er denne påstand sand? Søg på nettet og fortæl mig det.
AI, der siger "sand" er ikke verifikation; Han kan give falske kilder eller give et partisk eller flatterende svar.
Kraftig prompt:
Din rolle: verifikationsanalytiker. Nedenfor er en påstand og de kilder, jeg har indsamlet. Fortæl mig ikke "rigtigt/forkert"; I stedet: Vis oprindelsen af påstanden, antallet af uafhængige kilder, eventuelle modsigelser og tillidsniveauet. Gå ikke ud over de kilder, jeg har givet, find ikke på kilder. Hvis du ikke er sikker, så marker det som "kræver menneskelig verifikation". Påstand+kilder: [her]
Forskellen er klar: at kræve herkomst, uafhængig bekræftelse og et niveau af tillid frem for en "sand/falsk" dom begrænser risikoen ved AI.
Tabel med bekræftelsesstatus
Etiket
Betydning
Anvendelse i rapporten
Verificeret
Mindst 2 uafhængige pålidelige kilder
Kan bruges som etui
Delvist bekræftet
Nogle bekræftede
Begrænset, med forklaring
enkelt kilde
Kun én kilde
Som et "krav" kræves bekræftelse
modstridende
Kilderne stemmer ikke overens
Fremstillet som usikkerhed
Kunne ikke bekræfte
Ingen bekræftelse fundet
Ikke brugt som et faktum
forkert
Det modsatte er blevet bevist
Som en rettelse i rapporten
Almindelige fejl
- I betragtning af at AI siger "korrekt" som validering. AI kan fremstille, bias eller pander.
- Åbning af kilden givet af AI og accept af den uden at se den. Opdigtede kilder virker overbevisende.
- Bekræftelse af lidt information, der passer til dine behov. Følelsesmæssig/passende information er den information, der kræver mest bekræftelse.
- At tage fejl af overfloden af kopier som bekræftelse. Hundredvis af websteder, der fodrer fra den samme kilde, er en enkelt kilde.
- Tester slet ikke bias. At opsummere den samme begivenhed fra forskellige perspektiver giver balance.
Sammenfattende
Kildeverifikation er grundlaget for diplomatisk viden, og AI er både en hjælp og en risiko i dette arbejde. AI organiserer kilder, hjælper med herkomstsporing og konfliktmarkering; men det kan selv generere misinformation på grund af hallucinationer, træningsdatabias og smiger. Herkomstsporing, uafhængig krydstjek, kildeinformations troværdighedsadskillelse, tillidsniveaumærkning og ekstra tvivl om AI-output er rygraden i denne enhed.
Ansøgningsopgave
Vælg en aktuel, kontroversiel påstand og saml kilder fra forskellige genrer. Evaluer kravet om herkomst og uafhængig verifikation med "kravverifikationsprotokollen". Med "AI-bias-testen" opsummerer du den samme begivenhed fra forskellige perspektiver og opregner forskellene. Hvis AI giver en ressource, skal du åbne den uafhængigt og kontrollere, om den faktisk eksisterer.
tjekliste
- [ ] Jeg reducerede påstanden til en enkelt klar sætning og ledte efter dens oprindelse.
- [ ] Jeg har krydstjekket med mindst to uafhængige pålidelige kilder.
- [ ] Jeg har uafhængigt verificeret hver kilde leveret af AI.
- [ ] Jeg testede bias ved at opsummere den samme begivenhed fra forskellige perspektiver.
- [ ] Jeg markerede resultatet med et tydeligt konfidensniveau.