Keuntungan:
- Kemampuan untuk membuat penelitian dapat ditelusuri dengan mencatat keputusan metodologis, petunjuk, dan informasi model
- Kemampuan untuk memisahkan data mentah dari data yang diproses dan mendokumentasikan semua langkah konversi
- Mampu mendeklarasikan secara transparan peran kecerdasan buatan di bagian metode dan menerapkan tes 'dapatkah direproduksi'
Ciri paling mendasar dari ilmu pengetahuan adalah bahwa suatu temuan tidak didasarkan pada perkataan seseorang, tetapi pada suatu proses yang dapat diverifikasi oleh orang lain. Reproduksibilitas adalah kemampuan peneliti lain, yang mengambil data dan metode penelitian, untuk mencapai hasil yang sama dengan mengikuti langkah-langkah yang sama. Konsep serupa adalah transparansi: peneliti dengan jelas mendokumentasikan apa yang dia lakukan dan mengapa dia mengambil keputusan tersebut. Di era AI, kedua konsep ini menjadi lebih mudah dan penting. Mudah, karena AI membantu proses pendokumentasian; penting, karena jika Anda tidak meninggalkan jejak keputusan AI, tidak seorang pun — bahkan Anda sendiri — yang dapat mereproduksi karya Anda. Dalam unit ini Anda akan belajar bagaimana membuat penelitian Anda dapat direproduksi dan transparan.
Inti masalahnya adalah ini: Saat Anda bekerja dengan AI, Anda membuat banyak keputusan kecil — perintah mana yang Anda gunakan, model mana, pengaturan apa, keluaran mana yang Anda terima dan mana yang Anda tolak. Jika keputusan ini tidak didokumentasikan, Anda mungkin mendapatkan keluaran berbeda saat menjalankan perintah yang sama di hari berbeda (model bahasa tidak memberikan respons yang sama persis setiap saat). Ketika pengulas atau kolega bertanya “bagaimana Anda sampai pada analisis tema ini”, “AI berkata demikian” bukanlah jawaban ilmiah. Transparansi justru berarti membuka “kotak hitam” ini dan membuat prosesnya dapat dilacak.
Langkah demi langkah: membangun penelitian yang dapat ditelusuri
1. Buatlah catatan harian keputusan. Tuliskan setiap keputusan metodologis yang penting—mengapa sampel ini, mengapa kode ini, mengapa Anda menerima proposal AI ini—dalam jurnal bertanggal. AI membantu mengatur log ini.
2. Simpan petunjuk dan informasi model. Catat setiap perintah yang Anda gunakan, model AI mana yang Anda gunakan, dan pada tanggal berapa. Ini adalah “daftar bahan” untuk pekerjaan Anda.
3. Pisahkan data mentah dari data olahan. Jaga agar data asli tidak berubah; lakukan semua konversi (pembersihan, pengkodean) secara terpisah dengan langkah-langkah yang terdokumentasi. Jadi semua orang bisa menonton dari awal.
4. Tuliskan dengan jelas peran AI. Di bagian metode, nyatakan dengan jujur tugas apa dan bagaimana Anda menggunakan AI. Sebagian besar jurnal dan institusi sekarang memerlukan hal ini.
5. Bagikan data dan kode jika memungkinkan. Jika etika dan privasi memungkinkan, berbagi data anonim dan kode analitik di repositori terbuka adalah puncak transparansi.
Tip: Tes sederhana: "Dapatkah saya melakukan penelitian ini lagi dalam 6 bulan?" Jika Anda belum mendokumentasikan petunjuk, keputusan, dan langkah Anda, kemungkinan besar jawabannya adalah "tidak". Jadikan itu bisa diproduksi sendiri; Kemudian hal itu terjadi pada orang lain juga.
tiga kasus mini
Kasus 1 — Analisis tanpa jejak gagal. Seorang peneliti melakukan analisis tema dengan AI tetapi tidak mencatat perintah mana yang dia gunakan. Ketika wasit bertanya "bagaimana Anda sampai pada tema-tema ini?" dia tidak bisa menunjukkan prosesnya; Dia harus mengulangi analisisnya lagi, kali ini membuat catatan harian. Dia kehilangan dua minggu.
Kasus 2 — Catatan keputusan mengakhiri diskusi. Ketidaksepakatan muncul dalam tim yang menanyakan “mengapa kami menggabungkan kode-kode ini?” Namun catatan keputusan memuat tanggal dan alasan setiap keputusan merger. Argumen tersebut diselesaikan dalam beberapa menit ketika AI merangkum log dan menampilkannya secara kronologis.
Kasus 3 — Pengungkapan transparan membangun kepercayaan. Dalam salah satu artikel, penulis secara eksplisit menulis bahwa kami menggunakan AI “untuk pengeditan transkrip dan saran kode awal, dengan dua peneliti memverifikasi semua kode secara manual.” Para pengulas berpendapat bahwa transparansi ini positif; Hal ini ditemukan jauh lebih dapat diandalkan dibandingkan menggunakan AI terselubung.
Empat templat yang dapat disalin
1) Templat log keputusan:
Buat tabel log keputusan metodologis. Kolom: tanggal, keputusan, alasan, alternatif, peran AI (jika ada), siapa yang menyetujuinya. Masukkan catatan keputusan saya di bawah ke dalam tabel ini dan tandai alasan yang hilang sebagai "harus diselesaikan". Catatan: [di sini]
2) Draf pernyataan penggunaan AI:
Draf paragraf yang secara transparan menjelaskan penggunaan AI saya untuk dimasukkan ke dalam bagian metode. Saya menggunakannya dalam tugas-tugas ini: [daftar]. Saya TIDAK menggunakannya dalam tugas-tugas berikut: [daftar]. Saya memverifikasi semua keluaran secara manual. Model dan tanggal: [x]. Gunakan bahasa akademis yang jujur, bersahaja.
3) Inspeksi reproduksibilitas:
Saya menjelaskan proses penelitian saya: [ringkasan]. Bisakah peneliti lain mereproduksi ini? Buat daftar langkah-langkah yang tidak terdokumentasi, tidak jelas, atau tidak dapat dilacak: data yang mana, transformasi yang mana, permintaan yang mana, keputusan mana yang hilang? Beri tahu saya apa yang harus dicatat untuk setiap ruang.
4) Peta asal data:
Cantumkan semua langkah transformasi dari data mentah hingga temuan akhir saya sebagai alur: data mentah → pembersihan → pengkodean → analisis → temuan. Tunjukkan apa yang dilakukan pada setiap langkah, dengan alat apa dan dengan keputusan apa. Tandai langkah yang tidak dapat dilacak. Proses: [di sini]
Perintah lemah / Perintah kuat
Perintah yang lemah:
Tuliskan metode analisis ini dalam satu paragraf.
AI menghasilkan paragraf metode umum tanpa mendokumentasikan prosesnya; Bagaimana keputusan tersebut diambil dan di mana AI digunakan masih belum jelas. Ini tidak dapat diproduksi.
Perintah yang kuat:
Tulis deskripsi yang dapat diproduksi untuk bagian metode. Gunakan informasi berikut: sumber data [x], sampel [y], langkah analisis [z], model AI yang saya gunakan dan tanggalnya [t], peran pasti AI [r], proses verifikasi manusia [d]. Tulislah dengan cukup konkrit sehingga orang lain dapat mengikuti langkah-langkah ini dan mereproduksinya. Tanyakan kepada saya informasi apa pun yang saya tinggalkan.
Perbedaannya: pendekatan kedua membuat proses menjadi konkrit, dapat ditelusuri, dan benar-benar dapat direproduksi.
Lapisan transparansi
lapisan
Apa yang didokumentasikan
Mengapa ini penting?
buku harian keputusan
Keputusan metodologis + alasan
membela peradilan
Pendaftaran segera
Prompt digunakan, model, tanggal
Membuat AI mudah diatur
Asal data
Konversi mentah → diproses
membuka langkah
pernyataan AI
Peran dan batasan AI
kejujuran
berbagi
Data + kode anonim
Transparansi tertinggi
Kesalahan umum
- Tidak menyimpan perintah. Jika Anda tidak menyimpan instruksi yang Anda gunakan, Anda tidak dapat mendemonstrasikan prosesnya.
- Artinya "AI berkata begitu." Pembenaran ilmiah adalah proses dan penilaian, bukan kata-kata yang dijadikan model.
- Menimpa data mentah. Simpan yang asli; Lakukan konversi secara terpisah dan terdokumentasikan.
- Menyembunyikan penggunaan AI. Pernyataan transparan membangun kepercayaan; Menyembunyikan menyebabkan hilangnya reputasi.
- Membiarkannya tidak dapat diproduksi bahkan untuk diri Anda sendiri. Pekerjaan yang tidak dapat Anda lakukan lagi setelah 6 bulan bukanlah sains.
Singkatnya
Reproduksibilitas dan transparansi mengubah studi yang hanya berdasarkan perkataan seseorang menjadi ilmu yang dapat diuji oleh siapa pun. Hal ini bahkan lebih penting lagi ketika bekerja dengan AI, karena jika keputusan model tidak dipatuhi, prosesnya akan menjadi kotak hitam. Simpan catatan keputusan, catat perintah dan modelkan informasi, pisahkan data mentah dari yang diproses, nyatakan peran AI dengan jujur, dan bagikan data dan kode jika etika mengizinkan. Sebuah studi yang lulus tes "Dapatkah saya mereproduksi diri saya sendiri setelah 6 bulan" juga dapat diandalkan oleh orang lain.
Tugas aplikasi
Untuk analisis kecil yang Anda lakukan atau rencanakan, catat setidaknya 5 keputusan metodologis beserta justifikasinya dengan "templat jurnal keputusan". Simpan petunjuk yang Anda gunakan, modelkan, dan tanggal dalam file terpisah. Kemudian gunakan templat “audit reproduksibilitas” agar AI menemukan celah yang tidak terdokumentasi dalam proses Anda dan menutup setiap celah. Terakhir, tulis garis besar "pernyataan penggunaan AI" dan paragraf transparan untuk ditempatkan di bagian metode.
daftar periksa
- [ ] Saya menulis alasan untuk setiap keputusan metodologis yang penting di jurnal.
- [ ] Saya mencatat petunjuk yang saya gunakan, model dan tanggalnya.
- [ ] Saya menyimpan data mentah tidak berubah dan mendokumentasikan transformasinya.
- [ ] Saya menyatakan peran AI dengan jujur di bagian metode.
- [ ] Saya menerapkan tes "Dapatkah saya mereproduksi setelah 6 bulan".