Keuntungan:
- Kemampuan untuk memverifikasi klaim secara sistematis melalui asal usul, kredibilitas sumber, dan langkah pemeriksaan silang independen
- Kemampuan untuk memahami bahwa kecerdasan buatan itu sendiri dapat menghasilkan informasi palsu melalui halusinasi, bias data pelatihan, dan sanjungan, serta memperlakukan keluarannya dengan kecurigaan ekstra
- Kemampuan menguji bias dengan menandai hasil dengan label tingkat kepercayaan yang jelas dan mengevaluasi peristiwa yang sama dari perspektif berbeda
Diplomasi bekerja dengan informasi, dan nilai informasi bergantung pada keakuratannya. Pengarahan, posisi negosiasi atau pernyataan publik yang didasarkan pada informasi yang tidak benar mempunyai konsekuensi yang sulit untuk dibatalkan. Itu sebabnya salah satu keterampilan diplomat yang paling penting adalah verifikasi sumber: mengevaluasi secara sistematis dari mana suatu klaim berasal, seberapa andal klaim tersebut, dan apakah klaim tersebut benar. Di unit ini, Anda akan mempelajari cara memasukkan kecerdasan buatan ke dalam verifikasi; namun Anda akan mempelajari cara menggunakannya dengan tetap mengingat bahwa AI itu sendiri dapat menjadi sumber misinformasi dan bias.
Mari kita pisahkan dulu ketiga konsep tersebut. Misinformasi: informasi yang salah menyebar secara tidak sengaja. Disinformasi: misinformasi yang diproduksi dan disebarkan secara sadar dan terarah. Prasangka: pergeseran informasi atau evaluasi secara sistematis ke arah tertentu. Seorang diplomat harus waspada terhadap ketiga hal tersebut, dan AI dapat membantu sekaligus menimbulkan risiko pada ketiga hal tersebut.
Langkah demi langkah: memverifikasi klaim
1. Nyatakan klaim dengan jelas. Apa sebenarnya yang harus diverifikasi? Ringkaslah menjadi satu klaim yang jelas seperti “Negara X menarik diri dari perjanjian Y.” Klaim fuzzy tidak dapat diverifikasi.
2. Temukan asal Anda. Di mana, kapan, dan oleh siapa klaim ini pertama kali dibuat? Kebanyakan misinformasi berasal dari satu sumber yang meragukan dan diperkuat. Kembali ke sumbernya.
3. Evaluasi kredibilitas sumbernya. Apakah sumbernya resmi, independen, atau bias? Apakah dia pernah memberikan informasi yang akurat di masa lalu? Apakah dia punya kepentingan dalam hal ini? Bahkan sumber terpercaya pun bisa saja salah; namun sumber dengan kredibilitas rendah memerlukan konfirmasi ekstra.
4. Periksa silang. Konfirmasikan klaim tersebut dengan setidaknya dua sumber independen dan terpercaya. 50 situs yang disediakan oleh kantor berita yang sama bukanlah sumber independen.
5. Uji konsistensi dan konteks internal. Apakah klaim tersebut konsisten secara internal? Apakah hal tersebut bertentangan dengan fakta yang diketahui? Di luar konteks? Kalimat yang benar bisa menyesatkan jika konteksnya salah.
6. Tandai hasilnya dengan tingkat kepercayaan. Berikan label yang jelas seperti “terverifikasi”, “terverifikasi sebagian”, “satu-satunya sumber”, “tidak dapat diverifikasi”, “salah”. Bahkan "Saya tidak yakin" adalah sebuah kesimpulan dan harus dinyatakan dengan jujur.
Tip: Semakin sebuah klaim beresonansi atau membangkitkan respons emosional, Anda harus semakin teliti dalam memverifikasinya. Disinformasi menargetkan emosi kemarahan, ketakutan, atau “berita yang kita inginkan”. Informasi yang mendorong Anda untuk mengambil tindakan dengan cepat sering kali merupakan informasi yang paling memerlukan verifikasi.
AI sendiri merupakan sumber risiko
Peringatan terpenting dari unit ini: AI bukanlah otoritas verifikasi; Hal ini sendiri dapat menghasilkan misinformasi dan bias. AI dapat menyesatkan dalam tiga cara:
1. Halusinasi: Menampilkan sumber, kutipan, atau peristiwa yang tidak ada sebagai nyata. “Sumber mana yang membenarkan klaim ini?” Saat Anda bertanya, dia bahkan mungkin memberi Anda nama sumber yang dibuat-buat.
2. Bias data pelatihan: AI mencerminkan perspektif dominan dalam teks yang dilatihnya. Jika pandangan suatu negara mengenai isu tertentu mendominasi data, AI dapat mempengaruhi hal tersebut. Hal ini tidak disengaja, namun merupakan cerminan dari data — namun hasilnya masih berupa keluaran yang bias.
3. Penjilat: AI mungkin cenderung menjawab pertanyaan dengan cara yang Anda sukai. Jika ingin memverifikasi suatu klaim, cenderung menghasilkan jawaban yang mendukungnya.
Jadi gunakan AI sebagai alat untuk verifikasi (mengedit sumber, menandai konflik, membantu penelusuran asal), tetapi jangan pernah menganggap AI yang mengatakan "ini benar" sebagai kata akhir.
Perhatian: Saat AI Anda memverifikasi suatu sumber, periksa apakah AI tersebut menunjukkan kepada Anda sumber sebenarnya atau menghasilkan fabrikasi yang tampak masuk akal. Jangan menganggapnya “terverifikasi” sampai Anda secara mandiri membuka dan melihat setiap nama sumber, link, dan kutipan yang diberikannya. Sumber yang dibuat oleh AI mungkin tampak lebih meyakinkan dibandingkan sumber sebenarnya.
tiga kasus mini
Kasus 1 — Verifikasi asal disimpan. Tangkapan layar "pengumuman resmi" dijatuhkan di atas meja dan tampak nyata. Verifikasi menunjukkan bahwa tidak ada pernyataan seperti itu di saluran resmi lembaga tersebut; gambar itu palsu. Pemeriksaan asal mencegah pernyataan palsu masuk ke dalam briefing.
Kasus 2 - Sumber buatan AI. Seorang ahli meminta AI memverifikasi statistik. YZ mengutip sebuah sumber dengan mengatakan "menurut laporan organisasi ini tahun 2023..." Dia menelepon sumber ahli: tidak ada laporan atau angka seperti itu; AI telah mengarang keduanya. Pemeriksaan independen menemukan “konfirmasi” yang dibuat-buat.
Kasus 3 - Bias offset. Seorang ahli meminta AI merangkum peristiwa kontroversial dan memperhatikan bahwa hasilnya sangat mirip dengan narasi satu pihak. Ketika saya bertanya lagi “meringkas peristiwa yang sama dari sudut pandang pihak lain”, muncul gambaran yang sangat berbeda. Membandingkan kedua hasil tersebut menghalangi penerapan kerangka kerja sepihak ke dalam laporan.
Empat templat yang dapat disalin
1) Protokol verifikasi klaim:
Peran Anda: analis validasi. Untuk klaim berikut: (1) kurangi klaim tersebut menjadi kalimat nettek, (2) cari di mana/kapan pertama kali disebutkan dalam sumber yang saya berikan, (3) berapa sumber INDEPENDEN yang mendukungnya, (4) adakah sumber yang bertentangan, (5) tandai hasilnya dengan salah satu tag berikut: terverifikasi / sumber tunggal / kontradiktif / belum terverifikasi. Fabrikasi sumber; Gunakan saja apa yang kuberikan padamu. Klaim+sumber: [di sini]
2) Pengujian bias AI:
Pertama, rangkum kejadian berikut seobjektif mungkin. Kemudian rangkum kejadian yang SAMA secara terpisah (a) dari pandangan pihak A, (b) dari pandangan pihak B. Sebutkan perbedaan antara ketiga versi tersebut. Dengan demikian, dapat diketahui poin-poin mana yang menjadi penafsiran para pihak dan mana yang menjadi fakta umum. Kasus/sumber: [di sini]
3) Penilaian keandalan sumber:
Evaluasi sumber berikut: jenis (resmi/independen/bias/anonim), potensi ketertarikan terhadap permasalahan tersebut, informasi yang diberikan mengenai kredibilitas masa lalu, langkah-langkah tambahan yang diperlukan untuk verifikasi. Tuliskan juga mengapa sumbernya mungkin salah. Sumber: [di sini]
4) Tanda bahaya disinformasi:
Pindai konten di bawah untuk mencari disinformasi. Carilah tanda-tanda ini: statistik yang tidak bersumber, bahasa yang menggugah emosi, gambar tanpa konteks, tekanan “cepat/bagikan”, kata-kata otoritas yang tidak dapat diverifikasi, sosialisasi yang terkoordinasi secara simultan. Tandai setiap temuan dengan pembenaran. Jangan membuat penilaian akhir. Konten: [di sini]
Perintah lemah / Perintah kuat
Perintah yang lemah:
Apakah klaim ini benar? Cari online dan beri tahu saya.
AI yang mengatakan "benar" bukanlah verifikasi; Dia mungkin memberikan sumber yang salah atau memberikan jawaban yang bias atau menyanjung.
Perintah yang kuat:
Peran Anda: analis verifikasi. Di bawah ini adalah klaim dan sumber yang saya kumpulkan. Jangan bilang "benar/salah"; Sebagai gantinya: tunjukkan asal klaim, jumlah sumber independen, kontradiksi apa pun, dan tingkat kepercayaannya. Jangan melampaui sumber yang saya berikan, jangan mengarang sumber. Jika Anda tidak yakin, tandai sebagai "memerlukan verifikasi manusia". Klaim+sumber: [di sini]
Perbedaannya jelas: memerlukan asal usul, konfirmasi independen, dan tingkat kepercayaan, bukan penilaian “benar/salah” sehingga akan membatasi risiko AI.
Tabel status verifikasi
Label
Artinya
Penggunaan dalam laporan
Terverifikasi
Setidaknya 2 sumber independen dan terpercaya
Dapat digunakan sebagai kasus
Dikonfirmasi sebagian
Beberapa membenarkan
Terbatas, dengan penjelasan
sumber tunggal
Hanya satu sumber
Sebagai "klaim", diperlukan konfirmasi
kontradiktif
Sumber tidak cocok
Disajikan sebagai ketidakpastian
Tidak dapat memverifikasi
Tidak ada konfirmasi yang ditemukan
Tidak digunakan sebagai fakta
salah
Hal sebaliknya telah terbukti
Sebagai koreksi dalam laporan
Kesalahan umum
- Mengingat AI mengatakan "benar" sebagai validasi. AI dapat mengarang, membiaskan, atau menjadi calo.
- Membuka sumber yang diberikan oleh AI dan menerimanya tanpa melihatnya. Sumber palsu tampak meyakinkan.
- Memverifikasi sedikit informasi yang sesuai dengan kebutuhan Anda. Informasi emosional/tepat adalah informasi yang paling memerlukan konfirmasi.
- Mengira banyaknya salinan sebagai konfirmasi. Ratusan situs yang memberi makan dari sumber yang sama adalah satu sumber.
- Tidak menguji bias sama sekali. Meringkas peristiwa yang sama dari perspektif berbeda memberikan keseimbangan.
Singkatnya
Verifikasi sumber adalah landasan pengetahuan diplomatik, dan AI merupakan bantuan sekaligus risiko dalam pekerjaan ini. AI mengatur sumber, membantu pelacakan asal dan penandaan konflik; tetapi hal itu sendiri dapat menghasilkan informasi yang salah karena halusinasi, bias data pelatihan, dan sanjungan. Penelusuran asal, pemeriksaan silang independen, pemisahan kredibilitas sumber-informasi, penandaan tingkat kepercayaan, dan keraguan ekstra pada keluaran AI adalah tulang punggung unit ini.
Tugas aplikasi
Pilih klaim terkini yang kontroversial dan kumpulkan sumber dari berbagai genre. Evaluasi klaim asal dan verifikasi independen dengan "protokol verifikasi klaim". Dengan “uji bias AI”, rangkum peristiwa yang sama dari perspektif berbeda dan buat daftar perbedaannya. Jika AI memberikan sumber daya, buka secara mandiri dan periksa apakah benar-benar ada.
daftar periksa
- [ ] Saya mengurangi klaim tersebut menjadi satu kalimat yang jelas dan mencari asal usulnya.
- [ ] Saya telah melakukan cross check dengan setidaknya dua sumber independen yang dapat dipercaya.
- [ ] Saya telah memverifikasi secara independen setiap sumber yang disediakan oleh AI.
- [ ] Saya menguji bias tersebut dengan merangkum peristiwa yang sama dari sudut pandang yang berbeda.
- [ ] Saya menandai hasilnya dengan label tingkat kepercayaan yang jelas.