Zyski:
- Możliwość systematycznej weryfikacji roszczenia poprzez pochodzenie, wiarygodność źródła i niezależne etapy kontroli krzyżowej
- Umiejętność zrozumienia, że sztuczna inteligencja sama w sobie może generować fałszywe informacje poprzez halucynacje, stronniczość danych treningowych i pochlebstwa, oraz traktowanie jej wyników z dodatkową podejrzliwością
- Możliwość testowania błędu systematycznego poprzez oznaczenie wyniku wyraźną etykietą poziomu ufności i ocenę tego samego zdarzenia z różnych perspektyw
Dyplomacja pracuje z informacją, a wartość informacji zależy od jej dokładności. Odprawa, stanowisko negocjacyjne czy publiczne oświadczenie oparte na błędnych informacjach niesie ze sobą trudne do odwrócenia skutki. Dlatego jedną z najważniejszych umiejętności dyplomaty jest weryfikacja źródła: systematyczna ocena, skąd pochodzi informacja, na ile jest wiarygodna i czy rzeczywiście jest prawdziwa. W tej części dowiesz się, jak włączyć sztuczną inteligencję do weryfikacji; ale dowiesz się, jak z niego korzystać, pamiętając, że sztuczna inteligencja sama w sobie może być źródłem dezinformacji i uprzedzeń.
Najpierw oddzielmy te trzy pojęcia. Dezinformacja: nieprawidłowe informacje rozpowszechniane w sposób niezamierzony. Dezinformacja: dezinformacja, która jest świadomie, celowo tworzona i rozpowszechniana. Uprzedzenie: systematyczne przesuwanie informacji lub ocen w określoną stronę. Dyplomata musi zwracać uwagę na wszystkie trzy, a sztuczna inteligencja może być zarówno pomocą, jak i zagrożeniem we wszystkich trzech przypadkach.
Krok po kroku: weryfikacja roszczenia
1. Jasno określ roszczenie. Co dokładnie należy zweryfikować? Sprowadzić to do jednego, jednoznacznego stwierdzenia, np. „Kraj X wycofał się z umowy Y”. Niejasnych twierdzeń nie można zweryfikować.
2. Znajdź swoje pochodzenie. Gdzie, kiedy i przez kogo po raz pierwszy wysunięto to twierdzenie? Większość dezinformacji pochodzi z jednego wątpliwego źródła i jest wzmacniana. Wróć do źródła.
3. Oceń wiarygodność źródła. Czy źródło jest oficjalne, niezależne lub stronnicze? Czy w przeszłości podawał dokładne informacje? Czy ma w tym interes? Nawet wiarygodne źródło może się mylić; ale źródło o niskiej wiarygodności wymaga dodatkowego potwierdzenia.
4. Kontrola krzyżowa. Potwierdź roszczenie w co najmniej dwóch niezależnych, wiarygodnych źródłach. 50 witryn zasilanych przez tę samą agencję informacyjną nie jest niezależnym źródłem.
5. Sprawdź wewnętrzną spójność i kontekst. Czy roszczenie jest wewnętrznie spójne? Czy jest to sprzeczne ze znanymi faktami? Wyrwane z kontekstu? Prawdziwe zdanie może wprowadzać w błąd w niewłaściwym kontekście.
6. Oznacz wynik poziomem ufności. Podaj jasne oznaczenie, np. „zweryfikowane”, „częściowo zweryfikowane”, „jedyne źródło”, „nie można zweryfikować”, „fałszywe”. Nawet „nie jestem pewien” jest wnioskiem i należy je wyrazić szczerze.
Wskazówka: Im bardziej twierdzenie rezonuje lub wywołuje reakcję emocjonalną, tym bardziej skrupulatnie powinieneś go weryfikować. Dezinformacja celuje w takie emocje, jak złość, strach lub „wiadomości, których chcemy”. Informacje, które skłaniają do szybkiego podjęcia działań, często wymagają największej weryfikacji.
Sztuczna inteligencja sama w sobie jest źródłem ryzyka
Najważniejsze zastrzeżenie tej jednostki: AI nie jest organem weryfikującym; Samo w sobie może generować dezinformację i stronniczość. Sztuczna inteligencja może wprowadzać w błąd na trzy sposoby:
1. Halucynacja: przedstawia nieistniejące źródło, cytat lub wydarzenie jako rzeczywiste. „Które źródło potwierdza to twierdzenie?” Kiedy o to poprosisz, może nawet podać wymyśloną nazwę źródłową.
2. Stronniczość danych szkoleniowych: sztuczna inteligencja odzwierciedla dominującą perspektywę w tekstach, na których jest szkolona. Jeśli w danych dominuje pogląd jednej części świata na konkretną kwestię, sztuczna inteligencja może to zmienić. Nie jest to zamierzone, ale jest odzwierciedleniem danych, ale wynik nadal jest stronniczy.
3. Pochlebstwo: sztuczna inteligencja może mieć tendencję do odpowiadania na pytanie w sposób, który ci się podoba. Jeśli chcesz zweryfikować twierdzenie, zwykle daje ono odpowiedź, która je potwierdza.
Używaj więc sztucznej inteligencji jako narzędzia weryfikacji (edycja źródeł, oznaczanie konfliktów, pomoc w ustalaniu pochodzenia), ale nigdy nie traktuj sztucznej inteligencji mówiącej „to prawda” jako ostatniego słowa.
Uwaga: gdy sztuczna inteligencja zweryfikuje źródło, sprawdź, czy sztuczna inteligencja pokazuje prawdziwe źródło lub tworzy wiarygodnie wyglądającą fabrykację. Nie uważaj tego za „zweryfikowane”, dopóki samodzielnie nie otworzysz i nie zobaczysz każdej podanej przez niego nazwy źródła, linku i cytatu. Źródło wymyślone przez sztuczną inteligencję może wydawać się bardziej przekonujące niż źródło prawdziwe.
trzy mini etui
Przypadek 1 – Zapisano weryfikację pochodzenia. Zrzut ekranu z „oficjalnym ogłoszeniem” spadł na stół i wyglądał realnie. Weryfikacja wykazała, że w oficjalnych kanałach tej instytucji nie było takiego komunikatu; obraz był fałszywy. Kontrola pochodzenia zapobiegła przedostaniu się fałszywego oświadczenia na odprawę.
Przypadek 2 – sfabrykowane źródło AI. Ekspert zlecił AI zweryfikowanie statystyk. YZ powołał się na źródło, mówiąc: „według raportu tej organizacji za 2023 rok…”. Powołał się na źródło eksperckie: nie było ani takiego raportu, ani takich liczb; AI wymyśliła jedno i drugie. Niezależne sprawdzenie wykryło sfabrykowane „potwierdzenie”.
Przypadek 3 — Przesunięcie odchylenia. Ekspert zlecił AI podsumowanie kontrowersyjnego wydarzenia i zauważył, że wynik był wyraźnie zbliżony do narracji jednej ze stron. Kiedy ponownie zapytałem „podsumuj to samo wydarzenie z perspektywy drugiej strony”, wyłonił się zupełnie inny obraz. Porównanie obu wyników zapobiegło wprowadzeniu do raportu jednostronnych ram.
Cztery szablony do kopiowania
1) Protokół weryfikacji reklamacji:
Twoja rola: analityk ds. walidacji. Dla następującego twierdzenia: (1) sprowadź twierdzenie do zdania nettek, (2) dowiedz się, gdzie/kiedy jest ono po raz pierwszy wspomniane w źródłach, które podałem, (3) ile NIEZALEŻNYCH źródeł to potwierdza, (4) czy istnieją jakieś źródła sprzeczne, (5) oznacz wynik jednym z następujących tagów: zweryfikowane / pojedyncze źródło / sprzeczne / niezweryfikowane. Produkcja źródłowa; Po prostu użyj tego, co ci daję. Roszczenie+źródła: [tutaj]
2) Testowanie stronniczości AI:
Najpierw podsumuj następujące wydarzenie tak obiektywnie, jak to możliwe. Następnie podsumuj SAME wydarzenie oddzielnie (a) z punktu widzenia strony A, (b) z punktu widzenia strony B. Wymień różnice pomiędzy trzema wersjami. Można zatem zobaczyć, które punkty stanowią interpretację stron, a które fakty wspólne. Sprawa/źródła: [tutaj]
3) Ocena wiarygodności źródła:
Oceń pod kątem następującego źródła: rodzaj (oficjalne/niezależne/stronnicze/anonimowe), potencjalne zainteresowanie sprawą, dostarczone informacje na temat wiarygodności w przeszłości, dodatkowe kroki wymagane do weryfikacji. Napisz także dlaczego źródło może być błędne. Źródło: [tutaj]
4) Sygnały ostrzegawcze dezinformacji:
Przeskanuj poniższą zawartość pod kątem dezinformacji. Szukaj tych flag: niepotwierdzone statystyki, język wywołujący emocje, obrazy bez kontekstu, presja „spiesz się/udostępnij”, niemożliwy do sprawdzenia autorytet, jednoczesne skoordynowane rozpowszechnianie. Każde ustalenie opatrz uzasadnieniem. Nie wydawaj ostatecznych osądów. Treść: [tutaj]
Słaba zachęta/silna zachęta
Słaba zachęta:
Czy to twierdzenie jest prawdziwe? Poszukaj w internecie i daj znać.
AI mówiąca „prawda” nie jest weryfikacją; Może podać fałszywe źródła lub udzielić stronniczej lub pochlebnej odpowiedzi.
Potężny monit:
Twoja rola: analityk weryfikacyjny. Poniżej znajduje się roszczenie i źródła, które zebrałem. Nie mów mi „dobrze/źle”; Zamiast tego: pokaż pochodzenie twierdzenia, liczbę niezależnych źródeł, ewentualne sprzeczności i poziom pewności. Nie wychodź poza źródła, które podałem, nie wymyślaj źródeł. Jeśli nie jesteś pewien, oznacz go jako „wymaga weryfikacji przez człowieka”. Roszczenie+źródła: [tutaj]
Różnica jest wyraźna: wymaganie pochodzenia, niezależnego potwierdzenia i poziomu zaufania zamiast oceny „prawda/fałsz” ogranicza ryzyko związane ze sztuczną inteligencją.
Tabela statusów weryfikacji
Etykieta
Znaczenie
Zastosowanie w raporcie
Zweryfikowano
Co najmniej 2 niezależne, wiarygodne źródła
Może służyć jako etui
Częściowo potwierdzone
Niektóre potwierdzone
Ograniczona, z wyjaśnieniem
pojedyncze źródło
Tylko jedno źródło
Jako „roszczenie” wymagane jest potwierdzenie
sprzeczne
Źródła się nie zgadzają
Przedstawiana jako niepewność
Nie udało się zweryfikować
Nie znaleziono potwierdzenia
Nie używane jako fakt
źle
Udowodniono, że jest odwrotnie
Jako sprostowanie w raporcie
Typowe błędy
- Uznanie, że sztuczna inteligencja mówi „poprawnie” jako potwierdzenie. Sztuczna inteligencja może fabrykować, stronniczo lub ulegać wpływom.
- Otwarcie źródła podanego przez sztuczną inteligencję i zaakceptowanie go bez oglądania go. Sfabrykowane źródła wydają się przekonujące.
- Weryfikacja niewielkich informacji, które odpowiadają Twoim potrzebom. Informacje emocjonalne/odpowiednie to informacje, które wymagają najwięcej potwierdzenia.
- Branie obfitości kopii za potwierdzenie. Setki miejsc zasilanych z tego samego źródła to jedno źródło.
- W ogóle nie testuję stronniczości. Podsumowanie tego samego wydarzenia z różnych perspektyw zapewnia równowagę.
Podsumowując
Weryfikacja źródła jest podstawą wiedzy dyplomatycznej, a sztuczna inteligencja jest zarówno pomocą, jak i ryzykiem w tej pracy. AI organizuje źródła, pomaga w śledzeniu pochodzenia i oznaczaniu konfliktów; ale sam może generować dezinformację w wyniku halucynacji, stronniczości danych treningowych i pochlebstw. Śledzenie pochodzenia, niezależne sprawdzanie krzyżowe, oddzielanie wiarygodności informacji źródłowych, oznaczanie poziomu zaufania i dodatkowe wątpliwości co do wyników AI stanowią podstawę tej jednostki.
Zadanie aplikacji
Wybierz aktualne, kontrowersyjne twierdzenie i zbierz źródła z różnych gatunków. Oceń oświadczenie pod kątem pochodzenia i niezależnej weryfikacji za pomocą „protokołu weryfikacji oświadczenia”. Za pomocą „testu stronniczości sztucznej inteligencji” podsumuj to samo wydarzenie z różnych perspektyw i wypisz różnice. Jeśli AI daje zasób, otwórz go samodzielnie i sprawdź, czy faktycznie istnieje.
lista kontrolna
- [ ] Sprowadziłem tę tezę do jednego jasnego zdania i szukałem jej źródła.
- [ ] Sprawdziłem to w co najmniej dwóch niezależnych, wiarygodnych źródłach.
- [ ] Niezależnie zweryfikowałem każde źródło dostarczone przez AI.
- [ ] Sprawdziłem błąd, podsumowując to samo wydarzenie z różnych perspektyw.
- [ ] Oznaczyłem wynik wyraźną etykietą poziomu ufności.