Keuntungan:
- Keupayaan untuk mengesahkan tuntutan secara sistematik melalui asal, kredibiliti sumber dan langkah semakan silang bebas
- Keupayaan untuk memahami bahawa kecerdasan buatan itu sendiri boleh menghasilkan maklumat palsu melalui halusinasi, berat sebelah data latihan, dan sanjungan, dan untuk merawat outputnya dengan syak wasangka tambahan
- Keupayaan untuk menguji berat sebelah dengan menandakan keputusan dengan label tahap keyakinan yang jelas dan menilai peristiwa yang sama dari perspektif yang berbeza
Diplomasi berfungsi dengan maklumat, dan nilai maklumat bergantung pada ketepatannya. Taklimat, kedudukan rundingan atau kenyataan awam berdasarkan maklumat yang salah mempunyai akibat yang sukar untuk diterbalikkan. Itulah sebabnya salah satu kemahiran diplomat yang paling penting ialah pengesahan sumber: menilai secara sistematik dari mana tuntutan datang, sejauh mana ia boleh dipercayai dan sama ada ia benar-benar benar. Dalam unit ini, anda akan belajar cara menggabungkan kecerdasan buatan ke dalam pengesahan; tetapi anda akan belajar cara menggunakannya sambil mengingati bahawa AI sendiri boleh menjadi sumber maklumat yang salah dan berat sebelah.
Mari kita pisahkan dahulu ketiga-tiga konsep tersebut. Maklumat salah: maklumat yang salah tersebar secara tidak sengaja. Disinformasi: maklumat salah yang dihasilkan dan disebarkan secara sedar, disasarkan. Prejudis: peralihan maklumat atau penilaian yang sistematik ke arah pihak tertentu. Seorang diplomat mesti berwaspada terhadap ketiga-tiganya, dan AI boleh menjadi bantuan dan risiko dalam ketiga-tiganya.
Langkah demi langkah: mengesahkan tuntutan
1. Nyatakan tuntutan dengan jelas. Apa sebenarnya yang perlu disahkan? Uraikannya kepada satu tuntutan yang jelas seperti "Negara X menarik diri daripada perjanjian Y." Tuntutan kabur tidak dapat disahkan.
2. Cari asal usul anda. Di mana, bila dan oleh siapa tuntutan ini mula-mula dibuat? Kebanyakan maklumat salah berasal dari satu sumber yang meragukan dan diperkuatkan. Kembali kepada sumber.
3. Menilai kredibiliti sumber. Adakah sumber itu rasmi, bebas atau berat sebelah? Adakah dia memberikan maklumat yang tepat pada masa lalu? Adakah dia mempunyai kepentingan dalam hal ini? Malah sumber yang boleh dipercayai boleh menjadi salah; tetapi sumber kredibiliti rendah memerlukan pengesahan tambahan.
4. Semak silang. Sahkan tuntutan dengan sekurang-kurangnya dua sumber bebas dan boleh dipercayai. 50 laman web yang diberi makan oleh agensi berita yang sama bukanlah sumber bebas.
5. Uji ketekalan dalaman dan konteks. Adakah tuntutan secara dalaman konsisten? Adakah ia bercanggah dengan fakta yang diketahui? Diketepikan di luar konteks? Ayat yang benar boleh mengelirukan dalam konteks yang salah.
6. Tandakan keputusan dengan tahap keyakinan. Berikan label yang jelas seperti "disahkan", "disahkan sebahagian", "sumber tunggal", "tidak dapat disahkan", "palsu". Malah "Saya tidak pasti" adalah kesimpulan dan harus dinyatakan dengan jujur.
Petua: Lebih banyak tuntutan bergema atau menimbulkan tindak balas emosi, lebih teliti anda harus mengesahkannya. Disinformasi menyasarkan emosi kemarahan, ketakutan, atau "berita yang kita mahu." Maklumat yang menggesa anda untuk mengambil tindakan dengan cepat selalunya merupakan maklumat yang paling memerlukan pengesahan.
AI sendiri adalah sumber risiko
Kaveat paling penting bagi unit ini: AI bukanlah pihak berkuasa pengesahan; Ia sendiri boleh menghasilkan maklumat yang salah dan berat sebelah. AI boleh mengelirukan dalam tiga cara:
1. Halusinasi: Mempersembahkan sumber, petikan atau peristiwa yang tidak wujud sebagai nyata. "Sumber mana yang mengesahkan dakwaan ini?" Apabila anda bertanya, dia mungkin memberi anda nama sumber yang dibuat-buat.
2. Kecondongan data latihan: AI mencerminkan perspektif dominan dalam teks di mana ia dilatih. Jika pandangan satu bahagian dunia mengenai isu tertentu mendominasi data, AI boleh mempengaruhi cara itu. Ini tidak disengajakan, tetapi mencerminkan data - tetapi hasilnya masih merupakan output yang berat sebelah.
3. Sycophancy: AI mungkin cenderung untuk menjawab soalan dengan cara yang menggembirakan anda. Jika anda ingin mengesahkan tuntutan, ia cenderung untuk menghasilkan jawapan yang menyokongnya.
Jadi gunakan AI sebagai alat untuk pengesahan (mengedit sumber, membenderakan konflik, membantu dengan pengesanan asal), tetapi jangan sekali-kali mengambil AI yang mengatakan "ini benar" sebagai kata akhir.
Awas: Apabila anda mempunyai AI mengesahkan sumber, semak sama ada AI menunjukkan kepada anda sumber sebenar atau menghasilkan rekaan yang kelihatan munasabah. Jangan anggap ia "disahkan" sehingga anda membuka secara bebas dan melihat setiap nama sumber, pautan dan petikan yang diberikannya. Sumber yang direka oleh AI mungkin kelihatan lebih meyakinkan daripada sumber sebenar.
tiga kes mini
Kes 1 — Pengesahan asal disimpan. Tangkapan skrin "pengumuman rasmi" dijatuhkan di atas meja dan ia kelihatan nyata. Pengesahan menunjukkan bahawa tiada kenyataan sedemikian pada saluran rasmi institusi itu; imej itu palsu. Semakan asal menghalang kenyataan palsu daripada memasuki taklimat.
Kes 2 — Sumber rekaan AI. Seorang pakar mempunyai AI mengesahkan statistik. YZ memetik sumber dengan mengatakan "menurut laporan 2023 organisasi ini..." Dia memanggil sumber pakar: tidak ada laporan sedemikian mahupun angka sedemikian; AI telah membuat kedua-duanya. Pemeriksaan bebas mendapat "pengesahan" yang direka-reka.
Kes 3 — Bias mengimbangi. Seorang pakar telah meminta AI meringkaskan peristiwa kontroversi dan mendapati bahawa output itu jelas hampir dengan naratif satu pihak. Apabila saya bertanya lagi "ringkaskan peristiwa yang sama dari perspektif pihak lain", gambaran yang sangat berbeza muncul. Membandingkan dua hasil menghalang pengenalan rangka kerja berat sebelah ke dalam laporan.
Empat templat yang boleh disalin
1) Protokol pengesahan tuntutan:
Peranan anda: penganalisis pengesahan. Untuk tuntutan berikut: (1) kurangkan tuntutan kepada ayat nettek, (2) cari di mana/bila ia pertama kali disebut dalam sumber yang saya berikan, (3) berapa banyak sumber BEBAS menyokongnya, (4) adakah terdapat sumber yang bercanggah, (5) tandakan hasilnya dengan salah satu tag berikut: disahkan / sumber tunggal / bercanggah / tidak disahkan. Fabrikasi sumber; Gunakan sahaja apa yang saya berikan. Tuntutan+sumber: [di sini]
2) Ujian bias AI:
Pertama, ringkaskan kejadian berikut seobjektif mungkin. Kemudian ringkaskan peristiwa yang SAMA secara berasingan (a) daripada pandangan pihak A, (b) daripada pandangan pihak B. Senaraikan perbezaan antara tiga versi. Oleh itu, dapat dilihat titik mana yang menjadi tafsiran pihak-pihak dan yang mana fakta umum. Kes/sumber: [di sini]
3) Penilaian kebolehpercayaan sumber:
Nilai untuk sumber berikut: jenis (rasmi/bebas/berat sebelah/tanpa nama), potensi minat dalam perkara itu, maklumat yang diberikan tentang kredibiliti masa lalu, langkah tambahan yang diperlukan untuk pengesahan. Tulis juga mengapa sumbernya mungkin salah. Sumber: [sini]
4) Bendera merah salah maklumat:
Imbas kandungan di bawah untuk mendapatkan maklumat yang salah. Cari bendera ini: statistik tidak bersumber, bahasa membangkitkan emosi, imej tanpa konteks, tekanan "cepat/kongsi", kata kuasa yang tidak boleh disahkan, penyebaran terkoordinasi serentak. Tandakan setiap penemuan dengan justifikasi. Jangan buat pertimbangan muktamad. Kandungan: [di sini]
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Adakah dakwaan ini benar? Cari dalam talian dan beritahu saya.
AI mengatakan "benar" bukan pengesahan; Dia mungkin memberikan sumber palsu atau menghasilkan jawapan yang berat sebelah atau menyanjung.
Gesaan kuat:
Peranan anda: penganalisis pengesahan. Di bawah adalah tuntutan dan sumber yang saya kumpulkan. Jangan beritahu saya "betul/salah"; Sebaliknya: tunjukkan asal usul tuntutan, bilangan sumber bebas, sebarang percanggahan dan tahap keyakinan. Jangan melampaui sumber yang telah saya berikan, jangan mengada-adakan sumber. Jika anda tidak pasti, tandakannya sebagai "memerlukan pengesahan manusia". Tuntutan+sumber: [di sini]
Perbezaannya adalah jelas: memerlukan asal, pengesahan bebas dan tahap kepercayaan dan bukannya penghakiman "benar/palsu" mengehadkan risiko AI.
Jadual status pengesahan
Label
Maknanya
Penggunaan dalam laporan
Disahkan
Sekurang-kurangnya 2 sumber bebas yang boleh dipercayai
Boleh digunakan sebagai kes
Separa disahkan
Ada yang mengesahkan
Terhad, dengan penjelasan
sumber tunggal
Hanya satu sumber
Sebagai "tuntutan", pengesahan diperlukan
bercanggah
Sumber tidak sepadan
Dibentangkan sebagai ketidakpastian
Tidak dapat mengesahkan
Tiada pengesahan ditemui
Tidak digunakan sebagai fakta
salah
Sebaliknya telah terbukti
Sebagai pembetulan dalam laporan
Kesilapan biasa
- Memandangkan AI berkata "betul" sebagai pengesahan. AI boleh mengada-adakan, berat sebelah atau pander.
- Membuka sumber yang diberikan oleh AI dan menerimanya tanpa melihatnya. Sumber rekaan kelihatan meyakinkan.
- Mengesahkan sedikit maklumat yang sesuai dengan keperluan anda. Maklumat emosi/sesuai ialah maklumat yang paling memerlukan pengesahan.
- Menganggap banyak salinan sebagai pengesahan. Beratus-ratus tapak suapan dari sumber yang sama adalah satu sumber.
- Tidak menguji berat sebelah sama sekali. Merumuskan peristiwa yang sama dari perspektif yang berbeza memberikan keseimbangan.
Secara ringkasnya
Pengesahan sumber ialah asas pengetahuan diplomatik, dan AI merupakan bantuan dan risiko dalam kerja ini. AI mengatur sumber, membantu dengan penjejakan asal dan pembenderaan konflik; tetapi ia sendiri boleh menjana maklumat salah kerana halusinasi, berat sebelah data latihan dan sanjungan. Pengesanan asal, semakan silang bebas, pemisahan kredibiliti maklumat sumber, penandaan tahap kepercayaan dan keraguan tambahan pada output AI adalah tulang belakang unit ini.
Tugasan permohonan
Pilih tuntutan semasa yang kontroversial dan kumpulkan sumber daripada genre yang berbeza. Nilaikan tuntutan untuk pengesahan asal dan bebas dengan "protokol pengesahan tuntutan". Dengan "ujian bias AI", rumuskan peristiwa yang sama dari perspektif yang berbeza dan senaraikan perbezaannya. Jika AI memberikan sumber, bukanya secara bebas dan semak sama ada ia benar-benar wujud.
senarai semak
- [ ] Saya mengurangkan tuntutan kepada satu ayat yang jelas dan mencari asal usulnya.
- [ ] Saya telah menyemak silang dengan sekurang-kurangnya dua sumber bebas yang boleh dipercayai.
- [ ] Saya telah mengesahkan secara bebas setiap sumber yang disediakan oleh AI.
- [ ] Saya menguji bias dengan meringkaskan peristiwa yang sama dari perspektif yang berbeza.
- [ ] Saya menandakan keputusan dengan label tahap keyakinan yang jelas.