Keuntungan:
- Keupayaan untuk memahami bahawa halusinasi adalah wujud dalam model bahasa dan memilih kaedah pengesahan yang sesuai untuk setiap jenis output.
- Sahkan nilai kritikal dalam dua cara bebas dengan triangulasi dan tidak mengelirukan kelancaran dengan ketepatan
- Keupayaan untuk menggunakan ketelusan, kebolehkesanan, integriti data dan tanggungjawab manusia sebagai asas integriti saintifik
Satu frasa dikembalikan berulang kali sepanjang modul ini: "AI menghasilkan, manusia mengesahkan." Dalam unit ini, kita menukar ayat itu menjadi satu sistem. Matlamatnya adalah untuk mengenali halusinasi (menghasilkan maklumat palsu/rekaan dengan bahasa yang yakin), yang merupakan tingkah laku AI yang paling berbahaya, untuk mewujudkan kaedah pengesahan konkrit bagi setiap jenis output, dan meletakkan semua ini dalam rangka kerja integriti saintifik (kejujuran, ketelusan, kebolehkesanan). Output AI yang tidak disahkan dalam kimia bukan sekadar kesilapan; Ia boleh menjadi percubaan yang meletup, seseorang diracun atau kertas ditarik balik.
Mengapa halusinasi tidak dapat dielakkan?
Model bahasa besar menghasilkan "perkataan kemungkinan besar seterusnya"; Ia bertujuan untuk apa yang mungkin, bukan apa yang benar. Jadi dia boleh mengisi berat molekul, DOI, atau takat didih dengan nilai yang "nampak munasabah" — tanpa menyemak sama ada ia benar. Halusinasi bukanlah kerosakan, tetapi akibat sifat teknologi ini. Penyelesaiannya bukan untuk "cuba membetulkan" model, tetapi untuk membina shell pengesahan di sekeliling setiap output.
Aspek halusinasi yang paling berbahaya ialah bahasanya yang yakin. Berat molekul yang salah ditunjukkan dengan keyakinan yang sama seperti yang betul. Jadi "nampak yakin" tidak pernah bermaksud "betul."
Perhatian: Betapa fasih dan yakin AI bercakap mengenai subjek tidak berkaitan dengan ketepatan maklumat tersebut. Kefasihan meyakinkan; Hanya sumber bebas yang menentukan ketepatan.
Pengesahan mengikut jenis keluaran dalam kimia
Setiap jenis output mempunyai kaedah pengesahan sendiri. Daripada menghafal satu peraturan, gunakan alat yang sesuai untuk output:
Jenis keluaran
Kaedah pengesahan
kenderaan
Berat molekul, formula
Kira semula daripada formula
RDKit / secara manual
SENYUMAN/struktur
Menghuraikan + mengkanonikal
RDKit
Petikan/DOI
Selesaikan dalam pangkalan data
doi.org, Crossref
Pemalar fizikal (kn, pKa)
Pangkalan data rujukan
PubChem, buku panduan
pengiraan berangka
Tulis+jalankan kod
Ular sawa
tindak balas/keadaan
Pengesahan literatur
Reaxys, artikel
tuntutan keselamatan
SDS/GHS
SDS rasmi
Tugasan spektrum
Pelbagai teknikal + manusia
Spektrum eksperimen
Jadual ini sebenarnya adalah ringkasan modul ini: setiap unit adalah satu baris.
Triangulasi: tiga laluan bebas
Teknik pengesahan yang paling berkuasa ialah "triangulasi": sampai pada kesimpulan yang sama dalam tiga cara bebas. Contohnya, untuk berat molekul: (1) apa yang dikatakan oleh YZ, (2) pengiraan RDKit, (3) pengiraan dengan tangan daripada formula. Jika ketiga-tiganya bertindih, kepercayaan adalah tinggi; Jika ada yang sesat, hentikan dan siasat. Jangan sekali-kali bergantung pada satu sumber dalam kimia; Cari sekurang-kurangnya dua laluan bebas.
Langkah demi langkah: aliran kerja pengesahan
- Kelaskan output: Adakah ia nombor, struktur, atribusi, penegasan keselamatan?
- Pilih alat yang sesuai: Dapatkan laluan pengesahan yang sesuai untuk jenis output daripada jadual di atas.
- Kira/cari secara bebas: Jalankan kenderaan secara bebas daripada AI; bandingkan hasilnya.
- Jika terdapat penyelewengan, hentikan: Jika nilai tidak sepadan, jangan teruskan tanpa menyiasat mana yang betul.
- Tinggalkan tanda anda: Catat perkara yang anda sahkan dan bagaimana (integriti saintifik).
- Nyatakan ketidakpastian: Tandai sesuatu yang tidak boleh disahkan sebagai "belum disahkan", jangan sembunyikannya.
Empat templat yang boleh disalin
1) Pengesahan kendiri:
Anda baru sahaja memberikan output berikut: [OUTPUT]. Tugas: Senaraikan setiap penegasan berangka/fakta output ini pada baris yang berasingan. Untuk setiap penegasan: "bagaimana untuk mengesahkannya secara bebas?" kaedah tulis (alat/pangkalan data yang mana). JANGAN TUNTUTAN bahawa dakwaan itu adalah benar; hanya memberi jalan untuk mengesahkannya.
2) Kawalan triangulasi:
Saya ingin menyemak berat molekul berikut dalam tiga cara: [SENYUM].Tugas: 1) Terbitkan formula molekul.2) Tunjukkan pengiraan berat molekul atom mengikut atom (sumbangan setiap unsur). Nota: Saya juga akan mengiranya dalam RDKit dan ketiga membandingkannya dengan yang anda berikan. Jika ketiga-tiganya tidak bertindih, beri amaran.
3) Penandaan kekaburan:
Terdapat berbilang tuntutan fakta dalam teks berikut:[TEXT]Tugas: Letakkan label tahap keyakinan di sebelah setiap tuntutan:[DISAHKAN] / [DISAHKAN] / [TIDAK PASTI].Jangan tandai apa-apa [DISAHKAN] jika anda tidak pasti.
4) Pertanyaan silang ketekalan:
Saya akan bertanya soalan yang sama dalam dua cara yang berbeza; Lihat sama ada jawapan anda konsisten. Soalan A: Apakah formula molekul sebatian
Gesaan lemah / Gesaan kuat
lemah:
Tulis semua yang anda ketahui tentang kompaun ini.
AI mencampurkan maklumat yang boleh disahkan dan direka secara sembarangan; Tidak jelas yang mana satu sebenarnya.
kuat:
Berikan maklumat tentang kompaun ini, tetapi labelkan setiap tuntutan sebagai:[DETERMINISTIK - disahkan oleh instrumen] cth. formula molekul,[EKSPERIMEN - petikan diperlukan] cth. takat lebur,[TIDAK PASTI - tidak pasti].Jangan tulis sebarang tuntutan tidak berlabel.
Perbezaan: Kami memaksa AI untuk menandakan ketidakpastiannya sendiri; Kami membuat kerja pengesahan boleh dirancang.
Integriti saintifik: kejujuran dan kebolehkesanan
Pengesahan bukan sekadar langkah teknikal, ia adalah isu etika. Integriti saintifik memerlukan:
- Ketelusan: Jangan sembunyikan bahawa anda sedang menggunakan AI; Nyatakan mengikut dasar penerbitan/laporan anda.
- Kebolehkesanan: Catatkan output yang datang daripada AI dan cara ia disahkan.
- Integriti data: "Mencantikkan" hasil dengan AI, membuang outlier tanpa justifikasi adalah penipuan.
- Tanggungjawab: Anda bertanggungjawab untuk hasil akhir; "AI berkata demikian" bukanlah alasan.
Petua: Terima dari awal bahawa anda tidak boleh menggunakan frasa "AI berkata demikian" dalam laporan atau pembelaan. Penerimaan ini secara automatik membawa tabiat mengesahkan setiap output.
kes mini
Kes 1 — Triangulasi mendapat ralat. Seorang pelajar memeriksa berat molekul tiga cara: YZ berkata 178.2, pengiraan manual memberi 180.16, RDKit memberi 180.16. Dua laluan bebas bertindih dan menghapuskan AI. Pelajaran: dua pengesahan bebas mengalahkan satu output palsu secara senyap.
Kes 2 — Bahasa selamat, maklumat yang salah. AI menulis dengan sangat yakin bahawa tindak balas "berjalan secara spontan pada suhu bilik." Kesusasteraan menunjukkan bahawa ini memerlukan pemanasan dan pemangkin. Pelajar itu mempercayai sumbernya, bukan bahasa yang selamat. Pengajaran: kefasihan bukanlah ketepatan.
Kes 3 — Mendapat ketelusan. Dalam bahagian kaedah kertasnya, seorang penyelidik menyatakan dengan jelas dalam langkah mana dia menggunakan AI (pengeditan teks, penggubalan kod) dan menulis bahawa dia secara bebas mengesahkan semua hasil berangka. Proses pengadil berjalan lancar. Pengajaran: ketelusan membina kepercayaan, penyembunyian menimbulkan risiko.
Kesilapan biasa
- Mempercayai bahasa yang selamat. Nada yakin AI bukanlah petunjuk ketepatan.
- Bergantung pada satu sumber. Menerima keluaran tunggal tanpa triangulasi.
- Tidak memisahkan jenis output. Memikirkan bahawa saya "menyemak" nombor, atribusi dan penegasan keselamatan dengan kaedah yang sama.
- Menyembunyikan ketidakpastian. Melaporkan sesuatu yang tidak dapat disahkan seolah-olah pasti.
- Menyembunyikan penggunaan AI. Kekurangan ketelusan menjejaskan integriti saintifik.
- Mewakilkan tanggungjawab. Alasan "AI berkata demikian" adalah tidak sah; Tanggungjawab terletak pada orang itu.
Secara ringkasnya
- Halusinasi adalah wujud dalam model bahasa; Penyelesaiannya adalah untuk membina shell pengesahan di sekeliling setiap output.
- Setiap jenis output mempunyai kaedah pengesahan sendiri; kelaskan output dan gunakan alat yang sesuai.
- Triangulasi (dua laluan bebas) adalah kawalan terkuat; Jangan percaya satu sumber pun.
- Bahasa kefasihan dan yakin tidak berkaitan dengan ketepatan.
- Integriti saintifik memerlukan ketelusan, kebolehkesanan, integriti data dan tanggungjawab manusia.
Tugasan permohonan
Sengaja menghasilkan pelbagai output dalam sesi AI: berat molekul, rujukan, pemalar fizikal, tuntutan keselamatan, pengiraan berangka. Sahkan setiap satu secara bebas dengan kaedah yang betul (lihat jadual). Cuba menangkap sekurang-kurangnya satu halusinasi. Kemudian sediakan "matriks pengesahan": baris output, lajur (nilai AI / nilai bebas / adakah ia bertindih / bagaimana saya mengesahkannya). Bagaimanakah anda melaporkan sesi ini dari segi integriti saintifik?
senarai semak
- [ ] Saya faham mengapa halusinasi tidak dapat dielakkan.
- [ ] Saya mengklasifikasikan setiap keluaran mengikut jenisnya dan mengesahkannya dengan kaedah yang sesuai.
- [ ] Saya melakukan triangulasi (dua laluan bebas) pada nilai kritikal.
- [ ] Saya percaya sumbernya, bukan bahasa selamat.
- [ ] Saya menandakan apa yang tidak boleh disahkan sebagai "tidak pasti".
- [ ] Saya telus dalam penggunaan AI dan mempertanggungjawabkan diri saya untuk hasilnya.