Dobički:
- Sposobnost sistematičnega preverjanja trditve s poreklom, verodostojnostjo vira in koraki neodvisnega navzkrižnega preverjanja
- Sposobnost razumeti, da lahko umetna inteligenca sama proizvede lažne informacije s halucinacijami, pristranskostjo podatkov o usposabljanju in laskanjem, ter ravnati s svojim rezultatom z dodatnim sumom
- Sposobnost testiranja pristranskosti z označevanjem rezultata z jasno oznako stopnje zaupanja in ocenjevanjem istega dogodka z različnih perspektiv
Diplomacija dela z informacijami, vrednost informacij pa je odvisna od njihove točnosti. Brifing, pogajalsko stališče ali javna izjava, ki temelji na napačnih informacijah, ima težko popravljive posledice. Zato je ena najpomembnejših veščin diplomata preverjanje vira: sistematično ocenjevanje, od kod izvira trditev, kako zanesljiva je in ali je dejansko resnična. V tej enoti se boste naučili, kako vključiti umetno inteligenco v preverjanje; vendar se boste naučili, kako ga uporabljati, pri tem pa ne pozabite, da je umetna inteligenca sama lahko vir napačnih informacij in pristranskosti.
Najprej ločimo tri pojme. Napačne informacije: napačne informacije se nenamerno širijo. Dezinformacije: dezinformacije, ki so zavestno, ciljno proizvedene in širjene. Predsodek: sistematično preusmerjanje informacij ali vrednotenja na določeno stran. Diplomat mora biti pozoren na vse tri in umetna inteligenca je lahko v vseh treh pomoč in tveganje.
Korak za korakom: preverjanje zahtevka
1. Jasno navedite trditev. Kaj natančno je treba preveriti? Spustite ga na eno samo, jasno trditev, kot je "Država X je odstopila od sporazuma Y." Mehkih trditev ni mogoče preveriti.
2. Poiščite svoj izvor. Kje, kdaj in kdo je prvič podal to trditev? Večina napačnih informacij izvira iz enega samega dvomljivega vira in se razširi. Vrni se k izvoru.
3. Ocenite verodostojnost vira. Je vir uraden, neodvisen ali pristranski? Ali je v preteklosti posredoval točne podatke? Ali ima v tem interes? Tudi zanesljiv vir se lahko moti; vendar nizko verodostojen vir zahteva dodatno potrditev.
4. Navzkrižno preverjanje. Trditev potrdite z vsaj dvema neodvisnima, zanesljivima viroma. 50 strani, ki jih hrani ista tiskovna agencija, niso neodvisni viri.
5. Preizkusite notranjo skladnost in kontekst. Ali je trditev notranje skladna? Ali je v nasprotju z znanimi dejstvi? Iztrgano iz konteksta? Pravi stavek je lahko zavajajoč v napačnem kontekstu.
6. Rezultat označite s stopnjo zaupanja. Dajte jasno oznako, kot je "preverjeno", "delno preverjeno", "edini vir", "ni bilo mogoče preveriti", "napačen". Tudi "nisem prepričan" je sklep in ga je treba povedati iskreno.
Namig: Bolj ko trditev odmeva ali vzbudi čustveni odziv, bolj natančni morate biti pri njenem preverjanju. Dezinformacije ciljajo na samo čustvo jeze, strahu ali »novic, ki jih želimo«. Informacije, ki vas spodbudijo k hitremu ukrepanju, so pogosto tiste, ki potrebujejo največ preverjanja.
Umetna inteligenca je sama po sebi vir tveganja
Najpomembnejše opozorilo te enote: AI ni organ za preverjanje; Sama lahko ustvari napačne informacije in pristranskost. AI lahko zavede na tri načine:
1. Halucinacija: neobstoječi vir, citat ali dogodek predstavi kot resničnega. "Kateri vir potrjuje to trditev?" Ko vprašate, vam lahko celo da izmišljeno ime vira.
2. Pristranskost podatkov o usposabljanju: AI odraža prevladujočo perspektivo v besedilih, na katerih se usposablja. Če v podatkih prevladuje pogled enega dela sveta na določeno vprašanje, lahko AI tako vpliva. To ni namerno, ampak odraz podatkov - vendar je rezultat še vedno pristranski rezultat.
3. Sikofanija: umetna inteligenca lahko odgovori na vprašanje na način, ki vam ustreza. Če želite preveriti trditev, ponavadi ustvari odgovor, ki jo podpira.
Uporabite torej umetno inteligenco kot orodje za preverjanje (urejanje virov, označevanje sporov, pomoč pri sledenju izvora), vendar nikoli ne jemljite umetne inteligence, ki pravi, da je to res, kot zadnje besede.
Pozor: Ko AI preveri vir, preverite, ali vam AI prikazuje resnični vir ali proizvaja verodostojno izmišljotino. Ne imejte ga za "preverjenega", dokler neodvisno odprete in vidite vsakega imena vira, povezave in citata, ki ga navede. Vir, ki ga je izdelala umetna inteligenca, se morda zdi bolj prepričljiv kot pravi vir.
trije mini kovčki
1. primer — Preverjanje izvora je shranjeno. Posnetek zaslona "uradne objave" je padel na mizo in je bil videti resničen. Preverjanje je pokazalo, da take izjave na uradnih kanalih te institucije ni; slika je bila lažna. Preverjanje izvora je preprečilo vstop lažne izjave na briefing.
Primer 2 – vir, izdelan z umetno inteligenco. Strokovnjak je AI preveril statistiko. YZ je navedel vir z besedami "glede na poročilo te organizacije za leto 2023 ..." Poklical je strokovni vir: ni bilo ne takega poročila ne takšne številke; AI je izmislil oboje. Neodvisno preverjanje je ujelo izmišljeno "potrditev".
Primer 3 – Odmik pristranskosti. Strokovnjak je dal AI povzeti sporen dogodek in opazil, da je bil rezultat izrazito blizu pripovedi ene strani. Ko sem ponovno vprašal "povzemite isti dogodek z vidika druge strani", se je pojavila zelo drugačna slika. Primerjava obeh rezultatov je preprečila vnos enostranskega okvira v poročilo.
Štiri predloge za kopiranje
1) Protokol preverjanja zahtevka:
Vaša vloga: validacijski analitik. Za naslednjo trditev: (1) zmanjšajte trditev na stavek nettek, (2) poiščite, kje/kdaj je prvič omenjena v virih, ki sem jih navedel, (3) koliko NEODVISNIH virov jo podpira, (4) ali obstajajo nasprotujoči si viri, (5) označite rezultat z eno od naslednjih oznak: preverjeno / en vir / protislovno / nepreverjeno. Izdelava vira; Samo uporabi, kar ti dam. Trditev+viri: [tukaj]
2) Testiranje pristranskosti AI:
Najprej povzemite naslednji dogodek čim bolj objektivno. Nato ločeno povzemite ISTI dogodek (a) s stališča stranke A, (b) s stališča stranke B. Naštej razlike med tremi različicami. Tako je razvidno, katere točke so razlaga strank in katere so splošna dejstva. Primer/viri: [tukaj]
3) Ocena zanesljivosti vira:
Ocenite naslednji vir: vrsta (uradni/neodvisni/pristranski/anonimen), morebitno zanimanje za zadevo, posredovane informacije o pretekli verodostojnosti, dodatni koraki, potrebni za preverjanje. Zapišite tudi, zakaj je vir morda napačen. Vir: [tukaj]
4) Dezinformacijske rdeče zastavice:
Preglejte spodnjo vsebino za dezinformacije. Poiščite te zastavice: statistični podatki brez virov, jezik, ki vzbuja čustva, slike brez konteksta, pritisk »pohiti/deli«, nepreverljiva avtoriteta, sočasno usklajeno razširjanje. Vsako ugotovitev označi z utemeljitvijo. Ne dajajte dokončnih sodb. Vsebina: [tukaj]
Šibek poziv/močan poziv
Šibek poziv:
Je ta trditev resnična? Poiščite na spletu in mi sporočite.
AI, ki pravi "true", ni preverjanje; Lahko navede lažne vire ali ponudi pristranski ali laskavi odgovor.
Močan poziv:
Vaša vloga: analitik preverjanja. Spodaj je trditev in viri, ki sem jih zbral. Ne govori mi "prav/narobe"; Namesto tega: pokažite izvor trditve, število neodvisnih virov, morebitna protislovja in stopnjo zaupanja. Ne prekoračite virov, ki sem jih navedel, ne izmišljujte si virov. Če niste prepričani, označite kot "zahteva človeško preverjanje". Trditev+viri: [tukaj]
Razlika je jasna: zahteva po poreklu, neodvisni potrditvi in stopnji zaupanja namesto presoje »resnično/napačno« omejuje tveganja umetne inteligence.
Tabela statusov preverjanja
Oznaka
Pomen
Uporaba v poročilu
Preverjeno
Vsaj 2 neodvisna zanesljiva vira
Lahko se uporablja kot etui
Delno potrjeno
Nekateri so potrdili
Omejeno, z obrazložitvijo
en vir
Samo en vir
Kot "zahtevek" je potrebna potrditev
protislovno
Viri se ne ujemajo
Predstavljeno kot negotovost
Ni bilo mogoče preveriti
Ni potrditve
Ni uporabljeno kot dejstvo
narobe
Nasprotno je dokazano
Kot popravek v poročilu
Pogoste napake
- Umetna inteligenca pravi "pravilno" kot potrditev. Umetna inteligenca lahko izdeluje, pristranskost ali podvaja.
- Odpiranje vira, ki ga poda AI, in njegovo sprejemanje, ne da bi ga videli. Izmišljeni viri so videti prepričljivi.
- Preverjanje malo informacij, ki ustrezajo vašim potrebam. Čustvene/primerne informacije so tiste, ki zahtevajo največ potrditve.
- Številčnost kopij napačno jemljejo kot potrditev. Na stotine spletnih mest, ki se napajajo iz istega vira, je en sam vir.
- Sploh ne testira pristranskosti. Povzemanje istega dogodka iz različnih perspektiv zagotavlja ravnovesje.
Če povzamem
Preverjanje vira je temelj diplomatskega znanja, umetna inteligenca pa je pri tem delu hkrati pomoč in tveganje. AI organizira vire, pomaga pri sledenju porekla in označevanju konfliktov; lahko pa sam ustvari napačne informacije zaradi halucinacij, pristranskosti podatkov o usposabljanju in laskanja. Sledenje izvoru, neodvisno navzkrižno preverjanje, ločevanje verodostojnosti izvornih informacij, označevanje ravni zaupanja in dodatni dvomi o izhodu AI so hrbtenica te enote.
Aplikacijska naloga
Izberite trenutno, kontroverzno trditev in zberite vire iz različnih žanrov. Ocenite trditev o poreklu in neodvisno preverjanje s "protokolom za preverjanje trditev". S »testom pristranskosti AI« povzamete isti dogodek iz različnih perspektiv in navedete razlike. Če AI daje vir, ga odprite neodvisno in preverite, ali dejansko obstaja.
kontrolni seznam
- [ ] Trditev sem skrčil na en sam jasen stavek in poiskal njen izvor.
- [ ] Navzkrižno sem preveril pri vsaj dveh neodvisnih zanesljivih virih.
- [ ] Neodvisno sem preveril vsak vir, ki ga je zagotovil AI.
- [ ] Pristranskost sem preizkusil tako, da sem isti dogodek povzel iz različnih perspektiv.
- [ ] Rezultat sem označil z jasno oznako stopnje zaupanja.