Pelnas:
- Gebėjimas sistemingai tikrinti teiginį naudojant kilmę, šaltinio patikimumą ir nepriklausomus kryžminio patikrinimo veiksmus
- Gebėjimas suprasti, kad dirbtinis intelektas pats gali pateikti klaidingą informaciją per haliucinacijas, treniruodamasis duomenų šališkumu ir glostymu, ir vertinti jo rezultatus itin įtariai.
- Galimybė patikrinti šališkumą pažymint rezultatą aiškia patikimumo lygio etikete ir įvertinant tą patį įvykį iš skirtingų perspektyvų
Diplomatija veikia su informacija, o informacijos vertė priklauso nuo jos tikslumo. Instruktažas, derybinė pozicija ar viešas pareiškimas, pagrįstas neteisinga informacija, turi pasekmių, kurias sunku pakeisti. Štai kodėl vienas iš svarbiausių diplomato įgūdžių yra šaltinio patikrinimas: sistemingas vertinimas, iš kur gaunamas teiginys, kiek jis patikimas ir ar jis iš tikrųjų yra teisingas. Šiame skyriuje sužinosite, kaip dirbtinį intelektą įtraukti į patikrinimą; bet išmoksite jį naudoti, turėdami omenyje, kad pats AI gali būti dezinformacijos ir šališkumo šaltinis.
Pirmiausia atskirkime tris sąvokas. Dezinformacija: neteisinga informacija pasklinda netyčia. Dezinformacija: dezinformacija, kuri yra sąmoningai, tikslingai kuriama ir skleidžiama. Išankstinis nusistatymas: sistemingas informacijos ar vertinimo perkėlimas į tam tikrą pusę. Diplomatas turi būti atsargus dėl visų trijų, o AI gali būti ir pagalba, ir rizika visuose trijuose.
Žingsnis po žingsnio: paraiškos patvirtinimas
1. Aiškiai suformuluokite reikalavimą. Ką tiksliai reikia patikrinti? Sumažinkite tai iki vieno aiškaus teiginio, pvz., „Šalis X pasitraukė iš Y susitarimo“. Neaiškių tvirtinimų negalima patikrinti.
2. Raskite savo kilmę. Kur, kada ir kas pirmą kartą pateikė šį reikalavimą? Dauguma dezinformacijos kyla iš vieno abejotino šaltinio ir yra sustiprinta. Grįžkite į šaltinį.
3. Įvertinkite šaltinio patikimumą. Ar šaltinis oficialus, nepriklausomas ar šališkas? Ar jis praeityje pateikė tikslios informacijos? Ar jis yra tuo suinteresuotas? Net patikimas šaltinis gali būti klaidingas; tačiau žemo patikimumo šaltinis reikalauja papildomo patvirtinimo.
4. Kryžminis patikrinimas. Patvirtinkite teiginį bent iš dviejų nepriklausomų, patikimų šaltinių. 50 svetainių, kurias teikia ta pati naujienų agentūra, nėra nepriklausomi šaltiniai.
5. Patikrinkite vidinį nuoseklumą ir kontekstą. Ar teiginys yra nuoseklus? Ar tai prieštarauja žinomiems faktams? Ištrauktas iš konteksto? Tikras sakinys gali būti klaidinantis netinkamame kontekste.
6. Pažymėkite rezultatą pasitikėjimo lygiu. Pateikite aiškią etiketę, pvz., „patvirtinta“, „iš dalies patvirtinta“, „vienintelis šaltinis“, „nepavyko patvirtinti“, „neteisinga“. Net „aš nesu tikras“ yra išvada ir ją reikia pasakyti sąžiningai.
Patarimas: kuo labiau teiginys atliepia ar sukelia emocinį atsaką, tuo kruopščiau turėtumėte jį patikrinti. Dezinformacija nukreipta į pačias pykčio, baimės ar „žinias, kurių norime“ emociją. Informacija, kuri ragina greitai imtis veiksmų, dažnai yra ta informacija, kurią reikia labiausiai patikrinti.
Pati AI yra rizikos šaltinis
Svarbiausias šio įrenginio įspėjimas: AI nėra tikrinimo institucija; Ji pati gali generuoti dezinformaciją ir šališkumą. AI gali suklaidinti trimis būdais:
1. Haliucinacijos: neegzistuojantį šaltinį, citatą ar įvykį pateikia kaip tikrą. "Koks šaltinis patvirtina šį teiginį?" Kai paklausite, jis netgi gali suteikti jums sugalvotą šaltinio pavadinimą.
2. Mokymo duomenų šališkumas: AI atspindi dominuojančią perspektyvą tekstuose, pagal kuriuos jis mokomas. Jei duomenyse dominuoja vienos pasaulio dalies požiūris į konkrečią problemą, dirbtinis intelektas gali taip pasikeisti. Tai nėra tyčia, o duomenų atspindys, tačiau rezultatas vis tiek yra šališkas.
3. Sąmoningumas: AI gali būti linkęs atsakyti į klausimą jums patinkančiu būdu. Jei norite patikrinti teiginį, jis paprastai pateikia jį patvirtinantį atsakymą.
Taigi naudokite dirbtinį intelektą kaip patikrinimo įrankį (redaguokite šaltinius, pažymėkite konfliktus, padėkite atsekti kilmę), bet niekada nepriimkite AI posakio „tai tiesa“ kaip galutinio žodžio.
Įspėjimas: kai AI patvirtina šaltinį, patikrinkite, ar AI rodo jums tikrą šaltinį, ar sukuria patikimai atrodančią prasmę. Nelaikykite jo „patvirtintu“, kol neatsiversite ir nepamatysite kiekvieno jo pateikto šaltinio pavadinimo, nuorodos ir citatos. AI sukurtas šaltinis gali atrodyti įtikinamesnis nei tikras šaltinis.
trys mini dėklai
1 atvejis – išsaugotas kilmės patvirtinimas. „Oficialaus pranešimo“ ekrano kopija nukrito ant stalo ir atrodė tikra. Patikrinus paaiškėjo, kad tos institucijos oficialiuose kanaluose tokio pareiškimo nebuvo; vaizdas buvo netikras. Kilmės patikrinimas neleido į instruktažą patekti netikram pareiškimui.
2 atvejis – dirbtinio intelekto šaltinis. Ekspertas turėjo AI patikrinti statistiką. YZ citavo šaltinį, sakydamas, kad „pagal šios organizacijos 2023 m. ataskaitą...“ Jis paskambino ekspertų šaltiniui: nebuvo nei tokios ataskaitos, nei tokio skaičiaus; AI sugalvojo abu. Nepriklausomas patikrinimas sugavo išgalvotą „patvirtinimą“.
3 atvejis – poslinkio kompensavimas. Ekspertas liepė dirbtiniam intelektui apibendrinti prieštaringą įvykį ir pastebėjo, kad rezultatas buvo labai artimas vienos pusės pasakojimui. Kai dar kartą paklausiau „apibendrinkite tą patį įvykį iš kitos pusės perspektyvos“, išryškėjo visai kitoks vaizdas. Palyginus šiuos du rezultatus, į ataskaitą nebuvo įtraukta vienpusė sistema.
Keturi kopijuojami šablonai
1) Pretenzijos patvirtinimo protokolas:
Jūsų vaidmuo: patvirtinimo analitikas. Dėl šio teiginio: (1) sumažinkite teiginį iki nettek sakinio, (2) suraskite, kur/kada jis pirmą kartą paminėtas mano pateiktuose šaltiniuose, (3) kiek NEPRIKLAUSOMŲ šaltinių jį palaiko, (4) ar yra prieštaraujančių šaltinių, (5) pažymėkite rezultatą viena iš šių žymų: patikrinta / vienas šaltinis / prieštaringas / nepatikrintas. Šaltinio gamyba; Tiesiog naudokis tuo, ką tau duodu. Pretenzija + šaltiniai: [čia]
2) AI šališkumo tikrinimas:
Pirmiausia kiek įmanoma objektyviau apibendrinkite toliau pateiktą įvykį. Tada apibendrinkite tą patį įvykį atskirai (a) iš šalies A požiūrio, (b) iš šalies B požiūrio. Išvardykite skirtumus tarp trijų versijų. Taigi matyti, kurie punktai yra šalių aiškinimas, o kurie – bendri faktai. Byla / šaltiniai: [čia]
3) Šaltinio patikimumo įvertinimas:
Įvertinkite pagal šį šaltinį: tipas (oficialus/nepriklausomas/šališkas/anoniminis), galimas susidomėjimas šiuo klausimu, pateikta informacija apie ankstesnį patikimumą, reikalingi papildomi patikrinimo veiksmai. Taip pat parašykite, kodėl šaltinis gali būti klaidingas. Šaltinis: [čia]
4) Dezinformacijos raudonos vėliavėlės:
Nuskaitykite toliau pateiktą turinį, ieškodami dezinformacijos. Ieškokite šių vėliavėlių: šaltinių neturinčios statistikos, emocijas sukeliančios kalbos, vaizdų be konteksto, spaudimo „skubėk/dalinkitės“, nepatikrinamo autoriteto žodžio, vienu metu suderintos sklaidos. Pažymėkite kiekvieną radinį su pagrindimu. Nepriimkite galutinių sprendimų. Turinys: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas raginimas:
Ar šis teiginys teisingas? Ieškokite internete ir praneškite man.
AI pasakymas „tiesa“ nėra patikrinimas; Jis gali pateikti klaidingus šaltinius arba pateikti šališką ar glostantį atsakymą.
Galingas raginimas:
Jūsų vaidmuo: tikrinimo analitikas. Žemiau yra teiginys ir mano surinkti šaltiniai. Nesakyk man „teisingai/neteisingai“; Vietoj to: parodykite teiginio kilmę, nepriklausomų šaltinių skaičių, bet kokius prieštaravimus ir pasitikėjimo lygį. Neperžengkite mano pateiktų šaltinių ribų, nekurkite šaltinių. Jei nesate tikri, pažymėkite kaip „reikia žmogaus patvirtinimo“. Pretenzija + šaltiniai: [čia]
Skirtumas aiškus: AI rizika ribojama, kai reikalaujama kilmės, nepriklausomo patvirtinimo ir pasitikėjimo lygio, o ne „teisingo/klaidingo“ sprendimo.
Patvirtinimo būsenų lentelė
Etiketė
Reikšmė
Naudojimas ataskaitoje
Patvirtinta
Bent 2 nepriklausomi patikimi šaltiniai
Galima naudoti kaip dėklą
Iš dalies patvirtinta
Kai kurie patvirtino
Ribotas, su paaiškinimu
vienas šaltinis
Tik vienas šaltinis
Kaip „pretenzija“ reikalingas patvirtinimas
prieštaringi
Šaltiniai nesutampa
Pateikiamas kaip neapibrėžtumas
Nepavyko patvirtinti
Patvirtinimo nerasta
Nenaudojamas kaip faktas
negerai
Įrodyta priešingai
Kaip pataisymas ataskaitoje
Dažnos klaidos
- AI posakį „teisingai“ vertinant kaip patvirtinimą. Dirbtinis intelektas gali sugalvoti, iškraipyti ar pamaloninti.
- AI pateikto šaltinio atidarymas ir priėmimas jo nematant. Išgalvoti šaltiniai atrodo įtikinami.
- Tikrinama mažai informacijos, kuri atitinka jūsų poreikius. Emocinė/tinkama informacija yra ta informacija, kuriai reikia daugiausiai patvirtinimo.
- Kopijų gausos klaidinimas kaip patvirtinimas. Šimtai svetainių, tiekiamų iš to paties šaltinio, yra vienas šaltinis.
- Visai netikrina šališkumo. Apibendrinant tą patį įvykį iš skirtingų perspektyvų, gaunama pusiausvyra.
Apibendrinant
Šaltinio patikrinimas yra diplomatinių žinių pagrindas, o dirbtinis intelektas šiame darbe yra ir pagalba, ir rizika. AI tvarko šaltinius, padeda sekti kilmę ir pažymėti konfliktus; tačiau ji pati gali generuoti dezinformaciją dėl haliucinacijų, treniruočių duomenų šališkumo ir meilikavimo. Kilmės atsekimas, nepriklausomas kryžminis patikrinimas, šaltinio informacijos patikimumo atskyrimas, pasitikėjimo lygio žymėjimas ir papildomos abejonės dėl AI išvesties yra šio įrenginio pagrindas.
Taikymo užduotis
Pasirinkite dabartinį, prieštaringą teiginį ir surinkite įvairių žanrų šaltinius. Įvertinkite teiginį dėl kilmės ir nepriklausomo patikrinimo naudodami „pretenzijos tikrinimo protokolą“. Naudodami „AI šališkumo testą“ apibendrinkite tą patį įvykį iš skirtingų perspektyvų ir išvardykite skirtumus. Jei AI suteikia išteklių, atidarykite jį savarankiškai ir patikrinkite, ar jis iš tikrųjų egzistuoja.
kontrolinis sąrašas
- [ ] Reikalavimą sumažinau iki vieno aiškaus sakinio ir ieškojau jo kilmės.
- [ ] Patikrinau bent du nepriklausomus patikimus šaltinius.
- [ ] Nepriklausomai patikrinau kiekvieną AI pateiktą šaltinį.
- [ ] Išbandžiau šališkumą apibendrindamas tą patį įvykį iš skirtingų perspektyvų.
- [ ] Rezultatą pažymėjau aiškia patikimumo lygio etikete.