Dobici:
- Sposobnost sustavne provjere tvrdnje putem provenijencije, vjerodostojnosti izvora i neovisnih koraka unakrsne provjere
- Sposobnost razumijevanja da umjetna inteligencija sama po sebi može proizvesti lažne informacije kroz halucinacije, pristranost podataka o uvježbavanju i laskanja, te da se prema njezinim rezultatima odnosi s dodatnom sumnjom
- Sposobnost testiranja pristranosti označavanjem rezultata jasnom oznakom razine pouzdanosti i vrednovanjem istog događaja iz različitih perspektiva
Diplomacija radi s informacijama, a vrijednost informacija ovisi o njihovoj točnosti. Brifing, pregovaračka pozicija ili izjava za javnost temeljena na netočnim informacijama ima teško popravljive posljedice. Zato je jedna od najvažnijih vještina diplomata provjera izvora: sustavno ocjenjivanje odakle potječe tvrdnja, koliko je pouzdana i je li doista istinita. U ovoj ćete jedinici naučiti kako uključiti umjetnu inteligenciju u provjeru; ali naučit ćete kako se njime služiti imajući na umu da sama umjetna inteligencija može biti izvor dezinformacija i pristranosti.
Najprije razdvojimo tri pojma. Pogrešne informacije: nenamjerno se šire netočne informacije. Dezinformacija: dezinformacija koja se svjesno, ciljano proizvodi i širi. Predrasude: sustavno prebacivanje informacija ili ocjena na određenu stranu. Diplomat mora paziti na sva tri, a AI može biti i pomoć i rizik u sva tri.
Korak po korak: provjera zahtjeva
1. Jasno navedite tvrdnju. Što točno treba provjeriti? Svedite to na jednu, jasnu tvrdnju poput "Zemlja X se povukla iz sporazuma Y." Nejasne tvrdnje nije moguće provjeriti.
2. Pronađite svoje porijeklo. Gdje, kada i tko je prvi put iznio ovu tvrdnju? Većina dezinformacija potječe iz jednog sumnjivog izvora i pojačava se. Vrati se izvoru.
3. Ocijenite vjerodostojnost izvora. Je li izvor služben, neovisan ili pristran? Je li u prošlosti davao točne informacije? Ima li on u tome interes? Čak i pouzdan izvor može biti pogrešan; ali izvor niske vjerodostojnosti zahtijeva dodatnu potvrdu.
4. Unakrsna provjera. Potvrdite tvrdnju s najmanje dva neovisna, pouzdana izvora. 50 stranica koje hrani ista novinska agencija nisu neovisni izvori.
5. Testirajte unutarnju dosljednost i kontekst. Je li tvrdnja interno dosljedna? Proturječi li poznatim činjenicama? Izvučeno iz konteksta? Istinita rečenica može dovesti u zabludu u pogrešnom kontekstu.
6. Rezultat označite razinom pouzdanosti. Dajte jasnu oznaku kao što je "provjereno", "djelomično provjereno", "jedini izvor", "nije moguće provjeriti", "lažno". Čak je i "nisam siguran" zaključak i treba ga izreći iskreno.
Savjet: Što tvrdnja više odjekuje ili izaziva emocionalnu reakciju, to biste trebali biti pedantniji u njezinoj provjeri. Dezinformacije ciljaju na samu emociju ljutnje, straha ili "vijesti koje želimo". Informacije koje vas potiču da brzo poduzmete radnju često su one koje treba najviše provjeriti.
AI je sama po sebi izvor rizika
Najvažnije upozorenje ove jedinice: AI nije tijelo za provjeru; Sam može generirati dezinformacije i pristranost. AI može dovesti u zabludu na tri načina:
1. Halucinacija: Predstavlja nepostojeći izvor, citat ili događaj kao stvaran. "Koji izvor potvrđuje ovu tvrdnju?" Kad ga pitate, možda će vam dati i izmišljeno ime izvora.
2. Pristranost podataka o obuci: AI odražava dominantnu perspektivu u tekstovima na kojima se obučava. Ako pogled jednog dijela svijeta na određeno pitanje dominira podacima, AI može utjecati na taj način. Ovo nije namjerno, već je odraz podataka — ali rezultat je još uvijek pristran izlaz.
3. Ulizništvo: AI može nastojati odgovoriti na pitanje na način koji vam se sviđa. Ako želite provjeriti tvrdnju, ona ima tendenciju proizvesti odgovor koji je podržava.
Zato koristite umjetnu inteligenciju kao alat za provjeru (uređivanje izvora, označavanje sukoba, pomoć u praćenju porijekla), ali nikada ne uzimajte umjetnu inteligenciju koja govori "ovo je istina" kao posljednju riječ.
Oprez: kada umjetna inteligencija provjeri izvor, provjerite prikazuje li vam umjetna inteligencija pravi izvor ili proizvodi izmišljotinu koja izgleda uvjerljivo. Nemojte ga smatrati "provjerenim" dok neovisno ne otvorite i vidite svako ime izvora, vezu i citat koji on daje. Izvor koji je izmislila umjetna inteligencija može se činiti uvjerljivijim od stvarnog izvora.
tri mini kućišta
Slučaj 1 — Provjera podrijetla spremljena. Snimka zaslona "službene objave" pala je na stol i izgledala je stvarno. Provjerom se pokazalo da takve izjave nema na službenim kanalima te institucije; slika je bila lažna. Provjera podrijetla spriječila je ulazak lažne izjave na brifing.
Slučaj 2 — AI tvornički izvor. Stručnjak je dao AI-u da provjeri statistiku. YZ je citirao izvor rekavši "prema izvješću ove organizacije za 2023. godinu..." Pozvao je stručni izvor: nije bilo takvog izvješća niti takve brojke; AI je izmislio oboje. Neovisna provjera uhvatila je izmišljenu “potvrdu”.
Slučaj 3 — Pomak pristranosti. Stručnjak je dao umjetnoj inteligenciji da sažme kontroverzni događaj i primijetio je da je rezultat bio izrazito blizak narativu jedne strane. Kad sam ponovno pitao "sažeti isti događaj iz perspektive druge strane", pojavila se sasvim drugačija slika. Usporedba dva ishoda spriječila je uvođenje jednostranog okvira u izvješće.
Četiri predloška za kopiranje
1) Protokol provjere zahtjeva:
Vaša uloga: validacijski analitičar. Za sljedeću tvrdnju: (1) svedite tvrdnju na nettek rečenicu, (2) pronađite gdje/kada se prvi put spominje u izvorima koje sam dao, (3) koliko NEOVISNIH izvora to podržava, (4) postoje li sukobljeni izvori, (5) označite rezultat jednom od sljedećih oznaka: provjereno / jedan izvor / kontradiktorno / neprovjereno. Izrada izvora; Samo iskoristi ono što ti dajem. Tvrdnja+izvori: [ovdje]
2) AI testiranje pristranosti:
Prvo, sažeti sljedeći događaj što je objektivnije moguće. Zatim odvojeno sažmite ISTI događaj (a) sa stajališta strane A, (b) sa stajališta strane B. Navedite razlike između tri verzije. Tako se može vidjeti koje su točke tumačenje stranaka, a koje su zajedničke činjenice. Slučaj/izvori: [ovdje]
3) Procjena pouzdanosti izvora:
Ocijenite sljedeći izvor: vrstu (službeni/neovisni/pristrani/anonimni), potencijalni interes za predmet, pružene informacije o prošloj vjerodostojnosti, dodatne korake potrebne za provjeru. Također zapišite zašto bi izvor mogao biti pogrešan. Izvor: [ovdje]
4) Dezinformacijske crvene zastavice:
Skenirajte donji sadržaj radi dezinformacija. Potražite ove oznake: statistika bez izvora, jezik koji izaziva emocije, slike bez konteksta, pritisak "požuri/dijeli", neprovjerena autoritetna riječ, istovremeno koordinirano širenje. Svaki nalaz označite obrazloženjem. Nemojte donositi konačne sudove. Sadržaj: [ovdje]
Slab upit / Jak upit
Slab upit:
Je li ova tvrdnja istinita? Potražite na mreži i javite mi.
AI kaže "istinito" nije provjera; On može dati lažne izvore ili dati pristran ili laskav odgovor.
Snažan upit:
Vaša uloga: analitičar provjere. Ispod je tvrdnja i izvori koje sam prikupio. Nemojte mi govoriti "točno/pogrešno"; Umjesto toga: pokažite podrijetlo tvrdnje, broj neovisnih izvora, sve proturječnosti i razinu povjerenja. Nemojte ići dalje od izvora koje sam naveo, nemojte izmišljati izvore. Ako niste sigurni, označite to kao "zahtijeva ljudsku provjeru". Tvrdnja+izvori: [ovdje]
Razlika je jasna: zahtijevanje podrijetla, neovisne potvrde i razine povjerenja umjesto prosudbe "točno/netočno" ograničava rizike umjetne inteligencije.
Tablica statusa verifikacije
Oznaka
Značenje
Upotreba u izvješću
Provjereno
Najmanje 2 neovisna pouzdana izvora
Može se koristiti kao kofer
Djelomično potvrđeno
Neki su potvrdili
Ograničeno, s objašnjenjem
jedan izvor
Samo jedan izvor
Kao "zahtjev", potrebna je potvrda
kontradiktoran
Izvori se ne podudaraju
Predstavljeno kao neizvjesnost
Nije moguće potvrditi
Nije pronađena potvrda
Ne koristi se kao činjenica
pogrešno
Dokazano je suprotno
Kao ispravak u izvješću
Uobičajene greške
- Uzimajući u obzir da AI kaže "ispravno" kao potvrdu. AI može izmišljati, pristrasno ili podmetati.
- Otvaranje izvora koji daje AI i prihvaćanje bez da ga se vidi. Izmišljeni izvori djeluju uvjerljivo.
- Provjera malo informacija koje odgovaraju vašim potrebama. Emocionalna/prikladna informacija je informacija koja zahtijeva najviše potvrde.
- Miješajući obilje kopija kao potvrdu. Stotine stranica koje se hrane iz istog izvora su jedan izvor.
- Uopće ne testira pristranost. Sažimanje istog događaja iz različitih perspektiva osigurava ravnotežu.
Ukratko
Provjera izvora temelj je diplomatskog znanja, a AI je i pomoć i rizik u ovom poslu. AI organizira izvore, pomaže u praćenju porijekla i označavanju sukoba; ali može sam generirati dezinformacije zbog halucinacija, pristranosti podataka o obuci i laskanja. Praćenje porijekla, neovisna unakrsna provjera, odvajanje vjerodostojnosti izvora i informacija, označavanje razine povjerenja i dodatna sumnja na izlaz AI okosnica su ove jedinice.
Zadatak aplikacije
Odaberite trenutnu, kontroverznu tvrdnju i prikupite izvore iz različitih žanrova. Ocijenite tvrdnju o podrijetlu i neovisnu provjeru pomoću "protokola provjere tvrdnje". S "testom pristranosti umjetne inteligencije" sažmite isti događaj iz različitih perspektiva i navedite razlike. Ako AI daje resurs, otvorite ga samostalno i provjerite postoji li doista.
popis za provjeru
- [ ] Tvrdnju sam sveo na jednu jasnu rečenicu i tražio njezino podrijetlo.
- [ ] Provjerio sam s najmanje dva neovisna pouzdana izvora.
- [ ] Neovisno sam provjerio svaki izvor koji je pružio AI.
- [ ] Testirao sam pristranost sažimajući isti događaj iz različitih perspektiva.
- [ ] Rezultat sam označio jasnom oznakom razine pouzdanosti.