Ieguvumi:
- Spēja sistemātiski pārbaudīt prasību, izmantojot izcelsmi, avota uzticamību un neatkarīgas savstarpējas pārbaudes darbības
- Spēja saprast, ka mākslīgais intelekts pats var radīt nepatiesu informāciju, izmantojot halucinācijas, apmācības datu novirzes un glaimi, un izturēties pret tā rezultātiem ar papildu aizdomām.
- Spēja pārbaudīt neobjektivitāti, atzīmējot rezultātu ar skaidru ticamības līmeņa etiķeti un novērtējot vienu un to pašu notikumu no dažādām perspektīvām
Diplomātija darbojas ar informāciju, un informācijas vērtība ir atkarīga no tās precizitātes. Brīfingam, sarunu pozīcijai vai publiskam paziņojumam, kas balstīts uz nepareizu informāciju, ir sekas, kuras ir grūti mainīt. Tāpēc viena no diplomāta būtiskākajām prasmēm ir avota pārbaude: sistemātiski izvērtēt, no kurienes prasība nāk, cik tā ir uzticama un vai tā patiešām ir patiesa. Šajā nodaļā jūs uzzināsiet, kā verificēšanā iekļaut mākslīgo intelektu; bet jūs uzzināsit, kā to izmantot, vienlaikus paturot prātā, ka AI pati par sevi var būt dezinformācijas un neobjektivitātes avots.
Vispirms atdalīsim trīs jēdzienus. Dezinformācija: nejauši izplatīta nepareiza informācija. Dezinformācija: apzināti, mērķtiecīgi radīta un izplatīta dezinformācija. Aizspriedumi: sistemātiska informācijas vai vērtējuma novirzīšana uz noteiktu pusi. Diplomātam ir jābūt modram pret visiem trim, un AI var būt gan palīdzība, gan risks visos trijos gadījumos.
Soli pa solim: pretenzijas pārbaude
1. Skaidri formulējiet prasību. Kas tieši ir jāpārbauda? Apvienojiet to līdz vienai, skaidrai pretenzijai, piemēram, “Valsts X atteicās no Y līguma”. Izplūdušas pretenzijas nevar pārbaudīt.
2. Atrodi savu izcelsmi. Kur, kad un kas pirmo reizi iesniedza šo prasību? Lielākā daļa dezinformācijas nāk no viena apšaubāma avota un tiek pastiprināta. Atgriezieties pie avota.
3. Novērtējiet avota ticamību. Vai avots ir oficiāls, neatkarīgs vai neobjektīvs? Vai viņš agrāk ir sniedzis precīzu informāciju? Vai viņš ir ieinteresēts šajā jautājumā? Pat uzticams avots var kļūdīties; bet zemas ticamības avotam ir nepieciešams papildu apstiprinājums.
4. Savstarpēja pārbaude. Apstipriniet apgalvojumu ar vismaz diviem neatkarīgiem, uzticamiem avotiem. 50 vietnes, ko baro viena un tā pati ziņu aģentūra, nav neatkarīgi avoti.
5. Pārbaudiet iekšējo konsekvenci un kontekstu. Vai prasība ir iekšēji konsekventa? Vai tas ir pretrunā ar zināmiem faktiem? Izņemts no konteksta? Patiess teikums var būt maldinošs nepareizā kontekstā.
6. Atzīmējiet rezultātu ar ticamības līmeni. Piešķiriet skaidru apzīmējumu, piemēram, "pārbaudīts", "daļēji pārbaudīts", "vienīgais avots", "nevarēja pārbaudīt", "nepatiess". Pat "es neesmu pārliecināts" ir secinājums, un tas ir jāpasaka godīgi.
Padoms. Jo vairāk pretenzija atbalsojas vai izraisa emocionālu reakciju, jo rūpīgāk jums vajadzētu to pārbaudīt. Dezinformācijas mērķis ir dusmas, bailes vai "ziņas, kuras mēs vēlamies". Informācija, kas liek jums ātri rīkoties, bieži vien ir tā informācija, kas ir visvairāk jāpārbauda.
AI pati par sevi ir riska avots
Vissvarīgākais šīs vienības brīdinājums: AI nav verifikācijas iestāde; Tas pats par sevi var radīt dezinformāciju un neobjektivitāti. AI var maldināt trīs veidos:
1. Halucinācijas: parāda neesošu avotu, citātu vai notikumu kā īstu. "Kurš avots apstiprina šo apgalvojumu?" Kad jūs jautāsiet, viņš pat var jums dot izdomātu avota nosaukumu.
2. Apmācības datu novirze: AI atspoguļo dominējošo perspektīvu tekstos, kuros tas tiek apmācīts. Ja datos dominē kādas pasaules daļas skatījums uz konkrētu jautājumu, AI var ietekmēt to. Tas nav tīšs, bet gan datu atspoguļojums, taču rezultāts joprojām ir neobjektīvs rezultāts.
3. Sikofānija: AI var atbildēt uz jautājumu jums patīkamā veidā. Ja vēlaties pārbaudīt pretenziju, tā parasti sniedz atbildi, kas to atbalsta.
Tāpēc izmantojiet AI kā verifikācijas rīku (rediģējiet avotus, atzīmējiet konfliktus, palīdziet izcelsmei), taču nekad neuztveriet mākslīgā intelekta teicienu "tā ir patiesība" kā pēdējo vārdu.
Uzmanību! Kad AI ir verificējis avotu, pārbaudiet, vai AI rāda jums īstu avotu vai rada ticama izskata izdomājumu. Neuzskatiet to par "pārbaudītu", kamēr neatverat un neredzat katru viņa sniegto avota nosaukumu, saiti un citātu. AI izdomāts avots var šķist pārliecinošāks nekā īsts avots.
trīs mini futrāļi
1. gadījums — saglabāta izcelsmes pārbaude. Uz galda nokrita "oficiālā paziņojuma" ekrānuzņēmums, un tas izskatījās īsts. Pārbaude parādīja, ka šīs iestādes oficiālajos kanālos šāda paziņojuma nebija; attēls bija viltots. Izcelsmes pārbaude neļāva instruktāžā iekļūt viltotam paziņojumam.
2. gadījums — mākslīgā intelekta avots. Eksperts lika AI pārbaudīt statistiku. YZ atsaucās uz avotu, sakot, ka "saskaņā ar šīs organizācijas 2023. gada ziņojumu..." Viņš piesauca eksperta avotu: nebija ne šāda ziņojuma, ne šāda skaitļa; AI bija abus izdomājis. Neatkarīgā pārbaudē tika iegūts izdomāts “apstiprinājums”.
3. gadījums — novirzes nobīde. Kāds eksperts lika AI apkopot strīdīgu notikumu un pamanīja, ka rezultāts bija nepārprotami tuvu vienas puses stāstījumam. Kad es vēlreiz jautāju "apkopojiet to pašu notikumu no otras puses skatījuma", atklājās pavisam cita aina. Abu rezultātu salīdzināšana neļāva ziņojumā ieviest vienpusēju sistēmu.
Četras kopējamas veidnes
1) Pretenzijas pārbaudes protokols:
Jūsu loma: validācijas analītiķis. Šādam apgalvojumam: (1) samaziniet pretenziju līdz nettek teikumam, (2) atrodiet, kur/kad tas pirmo reizi minēts manis sniegtajos avotos, (3) cik NEATKARĪGI avoti to atbalsta, (4) vai ir kādi pretrunīgi avoti, (5) atzīmējiet rezultātu ar vienu no šiem tagiem: pārbaudīts / viens avots / pretrunīgs / nepārbaudīts. Avota izgatavošana; Vienkārši izmantojiet to, ko es jums dodu. Pretenzija+avoti: [šeit]
2) AI novirzes pārbaude:
Pirmkārt, pēc iespējas objektīvāk apkopojiet šo incidentu. Pēc tam apkopojiet to pašu notikumu atsevišķi (a) no partijas A skatījuma, (b) no partijas B skatījuma. Uzskaitiet atšķirības starp trim versijām. Tādējādi ir redzams, kuri punkti ir pušu interpretācija un kuri ir kopīgie fakti. Lieta/avoti: [šeit]
3) Avota uzticamības novērtējums:
Novērtējiet pēc šāda avota: veids (oficiāls/neatkarīgs/neobjektīvs/anonīms), iespējamā interese par šo jautājumu, sniegtā informācija par pagātnes uzticamību, verifikācijai nepieciešamie papildu soļi. Pierakstiet arī, kāpēc avots varētu būt nepareizs. Avots: [šeit]
4) Dezinformācijas sarkanie karogi:
Skenējiet tālāk esošo saturu, lai atrastu dezinformāciju. Meklējiet šos karogus: statistika bez avota, emocijas izraisoša valoda, attēli bez konteksta, spiediens “steidzieties/dalies”, nepārbaudāms autoritātes vārds, vienlaicīga koordinēta izplatīšana. Atzīmējiet katru atradumu ar pamatojumu. Nepieņemiet galīgos spriedumus. Saturs: [šeit]
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Vai šis apgalvojums ir patiess? Meklējiet tiešsaistē un dariet man zināmu.
AI teiciens "patiess" nav pārbaude; Viņš var sniegt nepatiesus avotus vai sniegt neobjektīvu vai glaimojošu atbildi.
Spēcīga uzvedne:
Jūsu loma: verifikācijas analītiķis. Tālāk ir sniegta prasība un mani savāktie avoti. Nesaki man "pareizi/nepareizi"; Tā vietā: parādiet apgalvojuma izcelsmi, neatkarīgo avotu skaitu, visas pretrunas un ticamības līmeni. Nepārsniedziet tos avotus, kurus esmu norādījis, neveidojiet avotus. Ja neesat pārliecināts, atzīmējiet to kā "nepieciešama cilvēka pārbaude". Pretenzija+avoti: [šeit]
Atšķirība ir skaidra: AI risku ierobežo prasība pēc izcelsmes, neatkarīga apstiprinājuma un uzticības līmeņa, nevis "patiesa/nepatiesa" sprieduma.
Verifikācijas statusu tabula
Etiķete
Nozīme
Izmantošana pārskatā
Pārbaudīts
Vismaz 2 neatkarīgi uzticami avoti
Var izmantot kā futrāli
Daļēji apstiprināts
Daži apstiprināja
Ierobežots, ar skaidrojumu
viens avots
Tikai viens avots
Kā "pretenzija" nepieciešams apstiprinājums
pretrunīgi
Avoti nesakrīt
Tiek pasniegta kā nenoteiktība
Nevarēja pārbaudīt
Apstiprinājums nav atrasts
Nav izmantots kā fakts
nepareizi
Ir pierādīts pretējais
Kā labojums ziņojumā
Biežas kļūdas
- Uzskatot AI teicienu "pareizi" par apstiprinājumu. AI var izdomāt, novirzīt vai izjaukt.
- AI norādītā avota atvēršana un tā pieņemšana, to neredzot. Izgudrotie avoti šķiet pārliecinoši.
- Pārbauda mazu informāciju, kas atbilst jūsu vajadzībām. Emocionālā/atbilstošā informācija ir tā informācija, kurai nepieciešams visvairāk apstiprinājuma.
- Kļūdains kopiju pārpilnība kā apstiprinājums. Simtiem vietņu, kas barojas no viena avota, ir viens avots.
- Nepārbaudot neobjektivitāti vispār. Viena un tā paša notikuma apkopošana no dažādām perspektīvām nodrošina līdzsvaru.
Rezumējot
Avota pārbaude ir diplomātisko zināšanu pamats, un AI šajā darbā ir gan palīdzība, gan risks. AI organizē avotus, palīdz izcelsmei un konfliktu atzīmēšanā; bet tas pats var radīt dezinformāciju halucināciju, apmācības datu novirzes un glaimošanas dēļ. Izcelsmes izsekošana, neatkarīga savstarpēja pārbaude, avota informācijas ticamības nodalīšana, uzticamības līmeņa marķēšana un papildu šaubas par AI produkciju ir šīs ierīces mugurkauls.
Lietojumprogrammas uzdevums
Izvēlieties aktuālu, pretrunīgu apgalvojumu un apkopojiet dažādu žanru avotus. Novērtējiet prasību par izcelsmi un neatkarīgu pārbaudi, izmantojot "pretenzijas pārbaudes protokolu". Izmantojot “AI novirzes testu”, apkopojiet vienu un to pašu notikumu no dažādām perspektīvām un uzskaitiet atšķirības. Ja AI sniedz resursu, atveriet to neatkarīgi un pārbaudiet, vai tas patiešām pastāv.
kontrolsaraksts
- [ ] Es samazināju prasību līdz vienam skaidram teikumam un meklēju tā izcelsmi.
- [ ] Esmu salīdzinājis ar vismaz diviem neatkarīgiem uzticamiem avotiem.
- [ ] Esmu neatkarīgi pārbaudījis katru AI sniegto avotu.
- [ ] Es pārbaudīju neobjektivitāti, apkopojot vienu un to pašu notikumu no dažādām perspektīvām.
- [ ] Es atzīmēju rezultātu ar skaidru ticamības līmeņa etiķeti.