Keuntungan:
- Keupayaan untuk membuat penyelidikan boleh dikesan dengan merekodkan keputusan metodologi, gesaan dan maklumat model
- Keupayaan untuk memisahkan data mentah daripada data yang diproses dan mendokumenkan semua langkah penukaran
- Mampu mengisytiharkan secara telus peranan kecerdasan buatan dalam bahagian kaedah dan menggunakan ujian 'bolehkah ia boleh dihasilkan semula'
Ciri sains yang paling asas ialah penemuan tidak berdasarkan perkataan seseorang, tetapi pada proses yang boleh disahkan oleh orang lain. Kebolehulangan ialah keupayaan penyelidik lain, mengambil data dan kaedah kajian, untuk mencapai hasil yang sama dengan mengikuti langkah yang sama. Konsep yang sama ialah ketelusan: penyelidik mendokumenkan dengan jelas apa yang dia lakukan dan sebab dia membuat keputusan yang mana. Pada zaman AI, kedua-dua konsep ini telah menjadi lebih mudah dan lebih kritikal. Mudah, kerana AI membantu proses dokumen; kritikal, kerana jika anda tidak meninggalkan sebarang kesan keputusan AI, tiada sesiapa — malah anda — boleh menghasilkan semula kerja anda. Dalam unit ini anda akan belajar cara membuat penyelidikan anda boleh dihasilkan semula dan telus.
Inti masalahnya ialah: Apabila anda bekerja dengan AI, anda membuat banyak keputusan kecil — yang menggesa anda gunakan, model yang mana, tetapan mana, output yang anda terima dan yang anda tolak. Jika keputusan ini tidak didokumenkan, anda mungkin mendapat output yang berbeza apabila anda menjalankan gesaan yang sama pada hari yang berbeza (model bahasa tidak memberikan respons yang sama setiap kali). Apabila pengulas atau rakan sekerja bertanya "bagaimana anda sampai pada analisis tema ini", "AI berkata demikian" bukanlah jawapan saintifik. Ketelusan adalah tepat mengenai membuka "kotak hitam" ini dan menjadikan proses itu boleh dikesan.
Langkah demi langkah: mewujudkan penyelidikan yang boleh dikesan
1. Simpan diari keputusan. Tulis setiap keputusan metodologi yang penting—mengapa sampel ini, mengapa kod ini, sebab anda menerima cadangan AI ini—dalam jurnal bertarikh. AI membantu mengatur log ini.
2. Simpan gesaan dan maklumat model. Simpan rekod setiap gesaan yang anda gunakan, model AI yang anda gunakan, dan pada tarikh berapa. Ini ialah "senarai bahan" untuk kerja anda.
3. Asingkan data mentah daripada data yang diproses. Pastikan data asal tidak berubah; lakukan semua penukaran (pembersihan, pengekodan) secara berasingan dengan langkah yang didokumenkan. Jadi semua orang boleh menonton dari awal.
4. Tulis dengan jelas peranan AI. Dalam bahagian kaedah, nyatakan dengan jujur tentang tugasan dan cara anda menggunakan AI. Kebanyakan jurnal dan institusi kini memerlukan ini.
5. Kongsi data dan kod jika boleh. Apabila etika dan privasi membenarkan, berkongsi data tanpa nama dan kod analitis dalam repositori terbuka adalah kemuncak ketelusan.
Petua: Ujian mudah: "Bolehkah saya melakukan penyelidikan ini semula dalam masa 6 bulan?" Jika anda belum mendokumenkan gesaan, keputusan dan langkah anda, kemungkinan besar jawapannya ialah "tidak." Jadikan ia boleh dihasilkan untuk diri sendiri; Kemudian ia berlaku untuk orang lain juga.
tiga kes mini
Kes 1 — Analisis tanpa jejak runtuh. Seorang penyelidik melakukan analisis tema dengan AI tetapi tidak merekodkan gesaan yang digunakannya. Apabila pengadil bertanya "bagaimana anda tiba di tema-tema ini?" dia tidak dapat menunjukkan prosesnya; Dia terpaksa mengulang analisis sekali lagi, kali ini menyimpan diari. Dia kehilangan dua minggu.
Kes 2 — Log keputusan menamatkan perbincangan. Percanggahan pendapat timbul dalam pasukan yang bertanya "mengapa kami menggabungkan kod ini?" Tetapi log keputusan mengandungi tarikh dan justifikasi bagi setiap keputusan penggabungan. Hujah telah diselesaikan dalam beberapa minit apabila AI meringkaskan log dan memaparkannya secara kronologi.
Kes 3 — Pendedahan telus membina kepercayaan. Dalam satu artikel, pengarang secara eksplisit menulis bahawa kami menggunakan AI "untuk penyuntingan transkrip dan cadangan kod awal, dengan dua penyelidik mengesahkan semua kod secara manual." Penyemak mendapati ketelusan ini positif; Ia didapati lebih dipercayai daripada menggunakan AI berjubah.
Empat templat yang boleh disalin
1) Templat log keputusan:
Buat jadual log keputusan metodologi. Lajur: tarikh, keputusan, rasional, alternatif, peranan AI (jika ada), yang meluluskannya. Masukkan nota keputusan saya di bawah ke dalam jadual ini dan tandakan sebarang rasional yang hilang sebagai "mesti dilengkapkan". Nota: [di sini]
2) Draf pernyataan penggunaan AI:
Draf perenggan yang menerangkan dengan telus penggunaan AI saya untuk dimasukkan ke dalam bahagian kaedah. Saya menggunakannya dalam tugasan ini: [senarai]. Saya TIDAK menggunakannya dalam tugasan berikut: [senarai]. Saya mengesahkan semua output secara manual. Model dan tarikh: [x]. Gunakan bahasa akademik yang jujur, bersahaja.
3) Pemeriksaan kebolehulangan:
Saya menerangkan proses penyelidikan saya: [ringkasan]. Bolehkah penyelidik lain menghasilkan semula ini? Senaraikan langkah yang tidak didokumenkan, tidak jelas atau tidak dapat dikesan: data yang manakah, transformasi yang mana, gesaan yang mana, keputusan yang mana yang tiada? Beritahu saya apa yang perlu direkodkan untuk setiap ruang.
4) Peta asal data:
Senaraikan semua langkah transformasi daripada data mentah kepada penemuan akhir saya sebagai aliran: data mentah → pembersihan → pengekodan → analisis → penemuan. Tunjukkan apa yang telah dilakukan pada setiap langkah, dengan alat apa dan dengan keputusan apa. Tandakan langkah yang tidak dapat dikesan. Proses: [di sini]
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Tulis kaedah analisis ini dalam satu perenggan.
AI menghasilkan perenggan kaedah generik tanpa mendokumentasikan proses; Bagaimana keputusan itu dibuat dan di mana AI digunakan masih tidak jelas. Ini tidak boleh dibuat.
Gesaan kuat:
Tulis penerangan yang boleh dihasilkan untuk bahagian kaedah. Gunakan maklumat berikut: sumber data [x], sampel [y], langkah analisis [z], model AI yang saya gunakan dan tarikhnya [t], peranan sebenar AI [r], proses pengesahan manusia [d]. Tulis dengan cukup konkrit supaya orang lain boleh mengikuti langkah-langkah ini dan mengeluarkannya semula. Tanya saya untuk sebarang maklumat yang saya tinggalkan.
Perbezaannya: pendekatan kedua menjadikan proses itu konkrit, boleh dikesan dan benar-benar boleh dihasilkan semula.
Lapisan ketelusan
lapisan
Apa yang didokumenkan
Mengapa ia penting?
diari keputusan
Keputusan metodologi + rasional
mempertahankan badan kehakiman
Pendaftaran segera
Digunakan segera, model, tarikh
Menjadikan AI mudah dikendalikan
Asal data
Penukaran mentah → diproses
membuka langkah
kenyataan AI
Peranan dan had AI
kejujuran
perkongsian
Data + kod tanpa nama
Ketelusan muktamad
Kesilapan biasa
- Tidak menyimpan gesaan. Jika anda tidak menyimpan arahan yang anda gunakan, anda tidak boleh menunjukkan prosesnya.
- Ia bermaksud "AI berkata demikian." Justifikasi saintifik adalah proses dan pertimbangan, bukan perkataan model.
- Menimpa data mentah. Simpan yang asal; Buat penukaran berasingan dan didokumenkan.
- Menyembunyikan penggunaan AI. Kenyataan yang telus membina kepercayaan; Menyembunyikan menyebabkan kehilangan reputasi.
- Membiarkannya tidak dapat dihasilkan walaupun untuk diri sendiri. Pekerjaan yang anda tidak boleh lakukan lagi selepas 6 bulan bukanlah sains.
Secara ringkasnya
Kebolehulangan dan ketelusan mengubah kajian daripada perkataan seseorang kepada sains yang boleh diuji oleh sesiapa sahaja. Ini lebih kritikal apabila bekerja dengan AI, kerana jika keputusan model tidak diikuti, proses itu menjadi kotak hitam. Simpan log keputusan, rekod gesaan dan maklumat model, asingkan data mentah daripada yang diproses, isytiharkan secara jujur peranan AI dan kongsi data dan kod apabila etika membenarkan. Kajian yang melepasi ujian "Bolehkah saya menghasilkan semula diri saya selepas 6 bulan" juga boleh dipercayai untuk orang lain.
Tugasan permohonan
Untuk analisis kecil yang anda lakukan atau rancang, rekodkan sekurang-kurangnya 5 keputusan metodologi dengan justifikasi dengan "templat jurnal keputusan". Simpan gesaan yang anda gunakan, model dan tarikh dalam fail yang berasingan. Kemudian gunakan templat "audit kebolehulangan" untuk meminta AI mencari jurang yang tidak didokumenkan dalam proses anda dan menutup setiap jurang. Akhir sekali, tulis garis besar "penyataan penggunaan AI" dan perenggan telus untuk diletakkan di bahagian kaedah.
senarai semak
- [ ] Saya menulis sebab bagi setiap keputusan metodologi penting dalam jurnal.
- [ ] Saya merekodkan gesaan yang saya gunakan, model dan tarikh.
- [ ] Saya mengekalkan data mentah tidak berubah dan mendokumentasikan transformasi.
- [ ] Saya mengisytiharkan peranan AI secara jujur dalam bahagian kaedah.
- [ ] Saya menggunakan ujian "Bolehkah saya membiak selepas 6 bulan".