Keuntungan:
- Kemampuan untuk memahami bahwa halusinasi melekat dalam model bahasa dan memilih metode verifikasi yang sesuai untuk setiap jenis keluaran.
- Verifikasi nilai-nilai kritis dalam dua cara independen dengan triangulasi dan jangan bingung antara kelancaran dan akurasi
- Kemampuan menerapkan transparansi, ketertelusuran, integritas data dan tanggung jawab manusia sebagai landasan integritas ilmiah
Satu frasa muncul berulang kali di seluruh modul ini: “AI memproduksi, manusia memverifikasi.” Dalam unit ini, kami mengubah kalimat tersebut menjadi sebuah sistem. Tujuannya adalah untuk mengenali halusinasi (menghasilkan informasi yang salah/dibuat dengan bahasa yang percaya diri), yang merupakan perilaku AI yang paling berbahaya, untuk menetapkan metode verifikasi yang konkrit untuk setiap jenis keluaran, dan untuk menempatkan semua ini dalam kerangka integritas ilmiah (kejujuran, transparansi, ketertelusuran). Keluaran AI yang belum terverifikasi dalam bidang kimia bukan sekadar kesalahan; Ini bisa berupa eksperimen yang meledak, seseorang diracuni, atau kertas ditarik kembali.
Mengapa halusinasi tidak bisa dihindari?
Model bahasa besar menghasilkan “kata berikutnya yang paling mungkin”; Hal ini bertujuan pada apa yang mungkin, bukan apa yang benar. Jadi dia bisa mengisi berat molekul, DOI, atau titik didih dengan nilai yang “tampaknya masuk akal” — tanpa memeriksa apakah nilai tersebut nyata. Halusinasi tersebut bukanlah suatu kerusakan, melainkan konsekuensi dari sifat teknologi ini. Solusinya bukan dengan "mencoba memperbaiki" model, tetapi membangun shell validasi di sekitar setiap keluaran.
Aspek halusinasi yang paling berbahaya adalah bahasanya yang percaya diri. Berat molekul yang salah disajikan dengan keyakinan yang sama persis dengan berat molekul yang benar. Jadi “tampak percaya diri” tidak pernah berarti “benar”.
Perhatian: Seberapa lancar dan percaya diri AI berbicara tentang suatu subjek tidak terkait dengan keakuratan informasi tersebut. Kefasihan meyakinkan; Hanya sumber independen yang menentukan keakuratannya.
Validasi berdasarkan jenis keluaran dalam kimia
Setiap jenis keluaran memiliki metode verifikasinya sendiri. Daripada menghafal satu aturan, gunakan alat yang sesuai untuk menghasilkan keluaran:
Jenis keluaran
Metode verifikasi
kendaraan
Berat molekul, rumus
Hitung ulang dari rumus
RDKit / secara manual
SENYUM/struktur
Parsing + kanonikalisasi
RDKit
Kutipan/DOI
Selesaikan dalam database
doi.org, Crossref
Konstanta fisika (kn, pKa)
Basis data referensi
PubChem, buku pegangan
perhitungan numerik
Tulis+jalankan kode
ular piton
reaksi/kondisi
Konfirmasi literatur
Reaxys, artikel
klaim keamanan
SDS/GHS
SDS resmi
Penugasan spektrum
Multi-teknis + manusia
Spektrum eksperimental
Tabel ini sebenarnya adalah ringkasan dari modul ini: setiap unit adalah satu baris.
Triangulasi: tiga jalur independen
Teknik verifikasi yang paling ampuh adalah "triangulasi": mencapai kesimpulan yang sama dalam tiga cara independen. Misalnya untuk berat molekul: (1) apa yang tertulis di YZ, (2) perhitungan RDKit, (3) perhitungan tangan dari rumus. Jika ketiganya tumpang tindih, kepercayaan akan tinggi; Jika ada yang tersesat, berhentilah dan selidiki. Jangan pernah mengandalkan satu sumber pun dalam bidang kimia; Carilah setidaknya dua jalur independen.
Langkah demi langkah: alur kerja verifikasi
- Klasifikasikan keluarannya: Apakah berupa angka, struktur, atribusi, pernyataan keamanan?
- Pilih alat yang sesuai: Dapatkan jalur verifikasi yang sesuai untuk jenis keluaran dari tabel di atas.
- Hitung/cari secara mandiri: Jalankan kendaraan secara independen dari AI; bandingkan hasilnya.
- Jika ada penyimpangan, hentikan: Jika nilainya tidak sesuai, jangan lanjutkan tanpa menyelidiki mana yang benar.
- Tinggalkan jejak Anda: Catat apa yang Anda verifikasi dan bagaimana caranya (integritas ilmiah).
- Tentukan ketidakpastian: Tandai sesuatu yang tidak dapat diverifikasi sebagai "belum dikonfirmasi", jangan sembunyikan.
Empat templat yang dapat disalin
1) Verifikasi diri:
Anda baru saja memberikan output berikut: [OUTPUT]. Tugas: Buat daftar setiap pernyataan numerik/faktual dari keluaran ini pada baris terpisah. Untuk setiap pernyataan: "bagaimana cara memverifikasinya secara independen?" metode tulis (alat/database mana). JANGAN KLAIM bahwa klaim tersebut benar; berikan saja cara untuk memverifikasinya.
2) Kontrol triangulasi:
Saya ingin memeriksa berat molekul berikut dengan tiga cara: [SENYUM].Tugas: 1) Turunkan rumus molekul.2) Tunjukkan perhitungan berat molekul atom demi atom (kontribusi setiap unsur).Catatan: Saya juga akan menghitungnya di RDKit dan ketiga membandingkannya dengan yang Anda berikan. Jika ketiganya tidak tumpang tindih, peringatkan.
3) Penandaan ambiguitas:
Ada beberapa klaim faktual dalam teks berikut:[TEKS]Tugas: Beri label tingkat kepercayaan di samping setiap klaim:[VERIFIED] / [VERIFIED] / [UNCERTAIN].Jangan tandai apa pun [VERIFIED] jika Anda tidak yakin.
4) Kueri silang konsistensi:
Saya akan menanyakan pertanyaan yang sama dalam dua cara berbeda; Lihat apakah jawaban Anda konsisten. Pertanyaan A: Apa rumus molekul suatu senyawa
Perintah lemah / Perintah kuat
Lemah:
Tuliskan semua yang Anda ketahui tentang senyawa ini.
AI tanpa pandang bulu mencampurkan informasi yang dapat diverifikasi dan dibuat-buat; Tidak jelas mana yang asli.
Kuat:
Berikan informasi tentang senyawa ini, tetapi beri label setiap klaim sebagai:[DETERMINISTIS - diverifikasi oleh instrumen] mis. rumus molekul,[EKSPERIMENTAL - perlu kutipan] mis. titik leleh,[TIDAK PASTI - tidak yakin].Jangan menulis klaim tanpa label apa pun.
Perbedaan: Kami memaksa AI untuk menandai ketidakpastiannya sendiri; Kami membuat pekerjaan verifikasi dapat direncanakan.
Integritas ilmiah: kejujuran dan ketertelusuran
Verifikasi bukan sekedar langkah teknis, namun merupakan masalah etika. Integritas ilmiah memerlukan:
- Transparansi: Jangan sembunyikan bahwa Anda menggunakan AI; Tentukan sesuai dengan kebijakan publikasi/laporan Anda.
- Ketertelusuran: Catat keluaran apa yang berasal dari AI dan bagaimana verifikasinya.
- Integritas data: “Mempercantik” hasil dengan AI, membuang outlier tanpa pembenaran adalah penipuan.
- Tanggung jawab: Anda bertanggung jawab atas hasil akhir; “AI berkata begitu” bukanlah sebuah alasan.
Tip: Terimalah sejak awal bahwa Anda tidak akan pernah bisa menggunakan frasa "AI berkata begitu" dalam laporan atau pembelaan. Penerimaan ini secara otomatis memunculkan kebiasaan memverifikasi setiap keluaran.
kasus kecil
Kasus 1 — Triangulasi menemukan kesalahan. Seorang siswa memeriksa berat molekul dengan tiga cara: YZ mengatakan 178,2, perhitungan manual menghasilkan 180,16, RDKit memberikan 180,16. Dua jalur independen saling tumpang tindih dan menghilangkan AI. Pelajaran: dua verifikasi independen secara diam-diam mengalahkan satu keluaran yang salah.
Kasus 2 — Bahasa yang aman, informasi yang salah. AI menulis dengan sangat yakin bahwa suatu reaksi "berjalan secara spontan pada suhu kamar". Literatur menunjukkan bahwa hal ini memerlukan pemanasan dan katalis. Siswa memercayai sumbernya, bukan bahasa yang aman. Pelajaran: kelancaran bukanlah keakuratan.
Kasus 3 — Mendapatkan transparansi. Di bagian metode makalahnya, seorang peneliti dengan jelas menyatakan langkah mana yang dia gunakan dalam AI (pengeditan teks, penyusunan kode) dan menulis bahwa dia secara independen memverifikasi semua hasil numerik. Proses wasit berjalan lancar. Pelajaran: transparansi membangun kepercayaan, penyembunyian menciptakan risiko.
Kesalahan umum
- Mempercayai bahasa yang aman. Nada percaya diri AI bukanlah indikasi keakuratan.
- Mengandalkan satu sumber. Menerima satu keluaran tanpa triangulasi.
- Tidak memisahkan jenis keluaran. Berpikir bahwa saya "memeriksa" nomor, atribusi, dan pernyataan keamanan dengan metode yang sama.
- Menyembunyikan ketidakpastian. Melaporkan sesuatu yang tidak dapat dibuktikan kebenarannya seolah-olah hal itu pasti.
- Menyembunyikan penggunaan AI. Kurangnya transparansi melemahkan integritas ilmiah.
- Mendelegasikan tanggung jawab. Alasan "AI bilang begitu" tidak valid; Tanggung jawab ada pada orangnya.
Singkatnya
- Halusinasi melekat pada model bahasa; Solusinya adalah dengan membangun shell validasi di sekitar setiap keluaran.
- Setiap jenis keluaran memiliki metode verifikasinya sendiri; mengklasifikasikan output dan menggunakan alat yang sesuai.
- Triangulasi (dua jalur independen) merupakan pengendalian yang paling kuat; Jangan percaya satu sumber pun.
- Kefasihan dan bahasa yang percaya diri tidak berhubungan dengan akurasi.
- Integritas ilmiah memerlukan transparansi, ketertelusuran, integritas data, dan tanggung jawab manusia.
Tugas aplikasi
Secara sengaja menghasilkan berbagai keluaran dalam sesi AI: berat molekul, referensi, konstanta fisik, klaim keamanan, perhitungan numerik. Verifikasi masing-masing secara mandiri dengan metode yang benar (lihat tabel). Cobalah untuk menangkap setidaknya satu halusinasi. Kemudian siapkan "matriks validasi": keluaran baris, kolom (nilai AI/nilai independen/apakah tumpang tindih/bagaimana cara memverifikasinya). Bagaimana Anda melaporkan sesi ini dalam kaitannya dengan integritas ilmiah?
daftar periksa
- [ ] Saya mengerti mengapa halusinasi tidak bisa dihindari.
- [ ] Saya mengklasifikasikan setiap keluaran menurut jenisnya dan memverifikasinya dengan metode yang sesuai.
- [ ] Saya melakukan triangulasi (dua jalur independen) pada nilai-nilai kritis.
- [ ] Saya memercayai sumbernya, bukan bahasa yang aman.
- [ ] Saya menandai apa yang tidak dapat dikonfirmasi sebagai "tidak pasti".
- [ ] Saya transparan dalam penggunaan AI dan bertanggung jawab atas hasilnya.