Gewinne:
- Fähigkeit, eine Behauptung systematisch anhand von Herkunft, Glaubwürdigkeit der Quelle und unabhängigen Gegenprüfungsschritten zu überprüfen
- Fähigkeit zu verstehen, dass künstliche Intelligenz selbst durch Halluzination, Trainingsdatenverzerrung und Schmeichelei falsche Informationen produzieren kann, und ihre Ergebnisse mit zusätzlichem Misstrauen zu behandeln
- Möglichkeit, Verzerrungen zu testen, indem das Ergebnis mit einem klaren Konfidenzniveau gekennzeichnet wird und dasselbe Ereignis aus verschiedenen Perspektiven bewertet wird
Diplomatie arbeitet mit Informationen, und der Wert von Informationen hängt von ihrer Genauigkeit ab. Ein Briefing, eine Verhandlungsposition oder eine öffentliche Äußerung auf der Grundlage falscher Informationen hat schwer rückgängig zu machende Konsequenzen. Aus diesem Grund ist die Quellenüberprüfung eine der wichtigsten Fähigkeiten eines Diplomaten: systematisch bewerten, woher eine Behauptung stammt, wie zuverlässig sie ist und ob sie tatsächlich wahr ist. In dieser Einheit erfahren Sie, wie Sie künstliche Intelligenz in die Verifizierung integrieren. Aber Sie werden lernen, wie man es nutzt, und dabei bedenken, dass KI selbst eine Quelle von Fehlinformationen und Voreingenommenheit sein kann.
Lassen Sie uns zunächst die drei Konzepte trennen. Fehlinformationen: Falsche Informationen werden unbeabsichtigt verbreitet. Desinformation: Fehlinformationen, die bewusst und gezielt produziert und verbreitet werden. Vorurteil: systematische Verschiebung von Informationen oder Bewertungen auf eine bestimmte Seite. Ein Diplomat muss auf alle drei Punkte achten, und KI kann bei allen dreien sowohl eine Hilfe als auch ein Risiko sein.
Schritt für Schritt: Überprüfung eines Anspruchs
1. Formulieren Sie den Anspruch deutlich. Was genau soll überprüft werden? Reduzieren Sie es auf eine einzige, eindeutige Behauptung wie „Land X ist aus der Vereinbarung Y zurückgetreten.“ Fuzzy-Ansprüche können nicht überprüft werden.
2. Finden Sie Ihren Ursprung. Wo, wann und von wem wurde diese Behauptung erstmals erhoben? Die meisten Fehlinformationen stammen aus einer einzigen zweifelhaften Quelle und werden verstärkt. Gehen Sie zurück zur Quelle.
3. Bewerten Sie die Glaubwürdigkeit der Quelle. Ist die Quelle offiziell, unabhängig oder voreingenommen? Hat er in der Vergangenheit genaue Angaben gemacht? Hat er daran ein berechtigtes Interesse? Sogar eine zuverlässige Quelle kann falsch sein; Eine Quelle mit geringer Glaubwürdigkeit erfordert jedoch eine zusätzliche Bestätigung.
4. Gegenprüfung. Bestätigen Sie die Behauptung mit mindestens zwei unabhängigen, zuverlässigen Quellen. 50 von derselben Nachrichtenagentur gespeiste Websites sind keine unabhängigen Quellen.
5. Testen Sie die interne Konsistenz und den Kontext. Ist die Behauptung in sich konsistent? Widerspricht es bekannten Tatsachen? Aus dem Zusammenhang gerissen? Ein wahrer Satz kann im falschen Kontext irreführend sein.
6. Markieren Sie das Ergebnis mit dem Konfidenzniveau. Geben Sie eine eindeutige Kennzeichnung an, z. B. „verifiziert“, „teilweise verifiziert“, „einzige Quelle“, „konnte nicht verifiziert werden“, „falsch“. Sogar „Ich bin nicht sicher“ ist eine Schlussfolgerung und sollte ehrlich gesagt werden.
Tipp: Je mehr eine Behauptung Anklang findet oder eine emotionale Reaktion hervorruft, desto sorgfältiger sollten Sie bei der Überprüfung vorgehen. Desinformation zielt auf die Emotionen Wut, Angst oder „die Nachrichten, die wir wollen“ ab. Informationen, die Sie zu schnellem Handeln veranlassen, sind oft die Informationen, die am meisten überprüft werden müssen.
KI selbst ist eine Risikoquelle
Der wichtigste Vorbehalt dieser Einheit: KI ist keine Verifizierungsbehörde; Es kann selbst zu Fehlinformationen und Voreingenommenheit führen. KI kann auf drei Arten irreführen:
1. Halluzination: Stellt eine nicht existierende Quelle, ein Zitat oder ein Ereignis als real dar. „Welche Quelle bestätigt diese Behauptung?“ Wenn Sie danach fragen, nennt er Ihnen möglicherweise sogar einen erfundenen Quellennamen.
2. Trainingsdaten-Bias: Die KI spiegelt die vorherrschende Perspektive in den Texten wider, auf die sie trainiert wird. Wenn die Sichtweise eines Teils der Welt zu einem bestimmten Thema die Daten dominiert, kann KI auf diese Weise Einfluss nehmen. Dies ist nicht beabsichtigt, sondern spiegelt die Daten wider – das Ergebnis ist jedoch immer noch eine voreingenommene Ausgabe.
3. Speichelleckerei: KI neigt möglicherweise dazu, die Frage auf eine Weise zu beantworten, die Ihnen gefällt. Wenn Sie eine Behauptung überprüfen möchten, führt dies in der Regel zu einer Antwort, die diese Behauptung stützt.
Nutzen Sie also KI als Werkzeug zur Verifizierung (Bearbeiten von Quellen, Kennzeichnung von Konflikten, Hilfe bei der Rückverfolgung der Herkunft), aber nehmen Sie niemals die KI, die „das ist wahr“ sagt, als letztes Wort.
Achtung: Wenn Sie eine Quelle von der KI verifizieren lassen, prüfen Sie, ob die KI Ihnen eine echte Quelle anzeigt oder eine plausibel aussehende Fälschung produziert. Betrachten Sie es nicht als „bestätigt“, bis Sie alle Quellennamen, Links und Zitate, die er angibt, unabhängig öffnen und sehen. Eine von der KI zusammengestellte Quelle mag überzeugender erscheinen als eine echte Quelle.
drei Mini-Koffer
Fall 1 – Herkunftsüberprüfung gespeichert. Ein Screenshot einer „offiziellen Ankündigung“ fiel auf den Tisch und sah echt aus. Die Überprüfung ergab, dass es auf den offiziellen Kanälen dieser Institution keine solche Erklärung gab; Das Bild war gefälscht. Die Überprüfung der Herkunft verhinderte, dass eine gefälschte Aussage in das Briefing gelangte.
Fall 2 – Von der KI hergestellte Quelle. Ein Experte ließ eine Statistik von der KI verifizieren. YZ zitierte eine Quelle mit den Worten: „Laut dem Bericht dieser Organisation von 2023 …“ Er nannte die Expertenquelle: Es gab weder einen solchen Bericht noch eine solche Zahl; Die KI hatte beides erfunden. Eine unabhängige Überprüfung ergab eine gefälschte „Bestätigung“.
Fall 3 – Bias-Offset. Ein Experte ließ die KI ein kontroverses Ereignis zusammenfassen und stellte fest, dass die Ausgabe deutlich der Erzählung einer Seite entsprach. Als ich noch einmal fragte: „Fassen Sie das gleiche Ereignis aus der Perspektive der anderen Partei zusammen“, ergab sich ein ganz anderes Bild. Der Vergleich der beiden Ergebnisse verhinderte die Einführung eines einseitigen Rahmens in den Bericht.
Vier kopierbare Vorlagen
1) Protokoll zur Anspruchsüberprüfung:
Ihre Rolle: Validierungsanalyst. Für die folgende Behauptung: (1) Reduzieren Sie die Behauptung auf einen Nettek-Satz, (2) finden Sie heraus, wo/wann sie in den von mir angegebenen Quellen zum ersten Mal erwähnt wird, (3) wie viele UNABHÄNGIGE Quellen unterstützen sie, (4) gibt es widersprüchliche Quellen, (5) markieren Sie das Ergebnis mit einem der folgenden Tags: bestätigt / einzelne Quelle / widersprüchlich / nicht bestätigt. Quellenherstellung; Benutze einfach, was ich dir gebe. Anspruch+Quellen: [hier]
2) KI-Bias-Test:
Fassen Sie zunächst den folgenden Vorfall so objektiv wie möglich zusammen. Fassen Sie dann das GLEICHE Ereignis getrennt (a) aus Sicht von Partei A und (b) aus Sicht von Partei B zusammen. Listen Sie die Unterschiede zwischen den drei Versionen auf. Somit ist ersichtlich, welche Punkte die Interpretation der Parteien sind und welche die gemeinsamen Tatsachen sind. Fall/Quellen: [hier]
3) Bewertung der Quellenzuverlässigkeit:
Bewerten Sie die folgende Quelle: Art (offiziell/unabhängig/voreingenommen/anonym), potenzielles Interesse an der Angelegenheit, bereitgestellte Informationen zur Glaubwürdigkeit in der Vergangenheit, zusätzliche zur Überprüfung erforderliche Schritte. Schreiben Sie auch auf, warum die Quelle möglicherweise falsch ist. Quelle: [hier]
4) Warnsignale für Desinformation:
Scannen Sie den folgenden Inhalt auf Desinformation. Achten Sie auf diese Flags: Statistiken ohne Quellenangabe, emotionsgeladene Sprache, Bilder ohne Kontext, „Beeilen/Teilen“-Druck, nicht überprüfbares Autoritätswort, gleichzeitige koordinierte Verbreitung. Markieren Sie jeden Befund mit einer Begründung. Treffen Sie keine endgültigen Urteile. Inhalt: [hier]
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwache Eingabeaufforderung:
Ist diese Behauptung wahr? Suchen Sie online und lassen Sie es mich wissen.
Die KI, die „wahr“ sagt, ist keine Bestätigung; Er gibt möglicherweise falsche Quellen an oder gibt eine voreingenommene oder schmeichelhafte Antwort.
Kraftvolle Aufforderung:
Ihre Rolle: Verifizierungsanalyst. Nachfolgend finden Sie eine Behauptung und die von mir gesammelten Quellen. Sagen Sie mir nicht „richtig/falsch“; Stattdessen: Zeigen Sie den Ursprung der Behauptung, die Anzahl unabhängiger Quellen, etwaige Widersprüche und den Grad der Konfidenz an. Gehen Sie nicht über die von mir angegebenen Quellen hinaus, erfinden Sie keine Quellen. Wenn Sie sich nicht sicher sind, markieren Sie es als „Erfordert menschliche Überprüfung“. Anspruch+Quellen: [hier]
Der Unterschied ist klar: Die Forderung nach Herkunft, unabhängiger Bestätigung und einem gewissen Maß an Vertrauen anstelle eines „wahr/falsch“-Urteils begrenzt die Risiken der KI.
Tabelle mit den Verifizierungsstatus
Etikett
Bedeutung
Verwendung im Bericht
Verifiziert
Mindestens 2 unabhängige, zuverlässige Quellen
Kann als Koffer verwendet werden
Teilweise bestätigt
Einige bestätigten es
Begrenzt, mit Erklärung
einzige Quelle
Nur eine Quelle
Als „Anspruch“ ist eine Bestätigung erforderlich
widersprüchlich
Quellen stimmen nicht überein
Als Unsicherheit dargestellt
Konnte nicht überprüft werden
Keine Bestätigung gefunden
Wird nicht als Tatsache verwendet
falsch
Das Gegenteil ist bewiesen
Als Korrektur im Bericht
Häufige Fehler
- Betrachten wir die Aussage der KI als Bestätigung, dass sie „richtig“ sei. KI kann fabrizieren, voreingenommen oder nachgeben.
- Die von der KI bereitgestellte Quelle öffnen und akzeptieren, ohne sie zu sehen. Gefälschte Quellen scheinen überzeugend.
- Überprüfung kleiner Informationen, die Ihren Anforderungen entsprechen. Emotionale/angemessene Informationen sind die Informationen, die am meisten Bestätigung erfordern.
- Die Fülle an Kopien als Bestätigung verwechseln. Hunderte von Standorten, die aus derselben Quelle speisen, bilden eine einzige Quelle.
- Überhaupt keine Testvoreingenommenheit. Die Zusammenfassung desselben Ereignisses aus verschiedenen Perspektiven sorgt für Ausgewogenheit.
Zusammenfassend
Die Quellenüberprüfung ist die Grundlage diplomatischen Wissens, und KI ist bei dieser Arbeit sowohl eine Hilfe als auch ein Risiko. KI organisiert Quellen, hilft bei der Herkunftsverfolgung und Konfliktkennzeichnung; Aber es kann aufgrund von Halluzinationen, Trainingsdatenverzerrungen und Schmeicheleien selbst zu Fehlinformationen führen. Herkunftsverfolgung, unabhängige Gegenprüfung, Trennung der Glaubwürdigkeit von Quelle und Information, Kennzeichnung des Vertrauensniveaus und zusätzliche Zweifel an der KI-Ausgabe sind das Rückgrat dieser Einheit.
Anwendungsaufgabe
Wählen Sie eine aktuelle, kontroverse Behauptung und sammeln Sie Quellen aus verschiedenen Genres. Bewerten Sie den Anspruch auf Herkunft und unabhängige Überprüfung mit dem „Anspruchsüberprüfungsprotokoll“. Fassen Sie mit dem „KI-Bias-Test“ dasselbe Ereignis aus verschiedenen Perspektiven zusammen und listen Sie die Unterschiede auf. Wenn die KI eine Ressource angibt, öffnen Sie diese selbstständig und prüfen Sie, ob sie tatsächlich existiert.
Checkliste
- [ ] Ich habe die Behauptung auf einen einzigen klaren Satz reduziert und nach ihrem Ursprung gesucht.
- [ ] Ich habe mit mindestens zwei unabhängigen zuverlässigen Quellen abgeglichen.
- [ ] Ich habe jede von AI bereitgestellte Quelle unabhängig überprüft.
- [ ] Ich habe die Verzerrung getestet, indem ich dasselbe Ereignis aus verschiedenen Perspektiven zusammengefasst habe.
- [ ] Ich habe das Ergebnis mit einer eindeutigen Kennzeichnung des Konfidenzniveaus gekennzeichnet.