Keuntungan:
- Pahami bahwa peretasan p, HARKing, pelaporan selektif, dan jalur percabangan menghasilkan temuan palsu dan lihat bagaimana kecerdasan buatan dapat mempercepat jebakan ini
- Kemampuan untuk membangun pertahanan seperti prapendaftaran, rencana analisis, disiplin perbandingan ganda, dan analisis sensitivitas dengan dukungan kecerdasan buatan
- Mampu menginternalisasikan desain permintaan yang jujur yang akan memungkinkan kecerdasan buatan untuk menolak permintaan jenis 'menemukan hasil yang berarti' dan bahwa tanggung jawab akhir ada di tangan peneliti.
Pada unit sebelumnya kita telah melihat apa yang dimaksud dengan nilai p dan apa yang bukan. Dalam unit ini kita akan membahas topik yang lebih gelap, yaitu jebakan sistematis yang mengancam integritas statistik. Kebanyakan dari hal ini bukanlah kecurangan yang disengaja; Ini adalah mekanisme berbahaya yang bahkan tanpa disadari oleh para peneliti yang mempunyai niat baik. Dan kecerdasan buatan (AI) membuat kendala ini lebih mudah dan cepat, karena memungkinkan puluhan analisis dijalankan dalam hitungan detik. Tujuan dari unit ini adalah untuk membangun disiplin yang akan mengubah AI dari "mesin pencari hasil yang bermakna" menjadi asisten yang jujur.
Jebakan dasar
p-hacking (p-value hunter): Mencoba menganalisis lagi dengan cara yang berbeda hingga diperoleh hasil yang signifikan (p<0,05). Menambah dan menghapus variabel, memilih subsampel, mengubah definisi outlier, mencoba transformasi yang berbeda, menggunakan variabel hasil yang berbeda, menghentikan pengumpulan data ketika sudah menjadi bermakna... Setiap upaya memberikan "peluang" baru; Jika Anda berusaha cukup keras, salah satunya akan menjadi bermakna, meski sebenarnya tidak ada pengaruhnya. Hasilnya: temuan palsu yang dipublikasikan namun tidak dapat direproduksi.
HARKing (Berhipotesis Setelah Hasil Diketahui): Membuat hipotesis setelah melihat hasilnya dan menyajikannya seperti “Saya memperkirakannya seperti ini dari awal”. Anda melihat data dan menemukan hubungan yang paling mencolok, lalu menulis makalah seolah-olah makalah tersebut dirancang untuk menguji hipotesis tersebut. Hal ini menyesatkan pembaca dengan membuat penemuan tersebut tampak seperti konfirmasi.
Pelaporan selektif (pilih-pilih): Hanya melaporkan yang "baik" dari lusinan analisis dan secara diam-diam mengubur sisanya. Hal ini juga dikenal sebagai "masalah laci file": hasil yang tidak berarti tetap berada di dalam laci, sehingga literatur menjadi bias secara sistematis.
Taman jalan bercabang: istilah Andrew Gelman. Bahkan tanpa satu pun peretasan p yang disengaja, peneliti membuat banyak pilihan yang masuk akal berdasarkan data (variabel mana, ambang batas mana, subgrup mana, transformasi mana). Derajat kebebasan investigasi ini begitu banyak sehingga Anda bisa dengan efektif memilih satu yang bermakna dari sekian banyak analisis—bahkan tanpa niat buruk apa pun. Hasilnya lagi-lagi adalah meningkatnya angka positif palsu.
Perhatian: Sebagian besar jebakan ini bukanlah tipuan yang disengaja. Jumlah langkah-langkah yang tampaknya tidak berbahaya seperti "Saya baru saja mencoba beberapa model lagi", "lebih bersih ketika saya menghilangkan outlier", "efeknya lebih jelas pada subkelompok ini" dapat menghasilkan temuan palsu. Kejujuran itu soal metode, bukan niat.
Mengapa AI memperbesar jebakan ini?
Mencoba 3 model dengan tangan membutuhkan waktu; YZ menghasilkan 50 varian model, 10 konversi berbeda, 8 subgrup dalam hitungan menit. Kekuatan ini akan menjadi bencana tanpa rencana yang jujur: permintaan seperti “temukan hubungan yang bermakna dalam data ini” atau “bangun model yang mendukung hipotesis ini” mengubah AI secara langsung menjadi mesin peretasan p. AI juga ingin membantu; cenderung menemukan hasil yang "bermakna" yang akan memuaskan Anda. Itu sebabnya desain cepat Anda adalah garis pertahanan pertama kejujuran.
Pertahanan: jalannya bisnis yang adil
1. Prapendaftaran: Ini berarti mencatat hipotesis, variabel, model, dan pengujian Anda secara tertulis (mungkin pada platform yang diberi stempel waktu) sebelum melakukan analisis. Jadi, penemuan dipisahkan dari konfirmasi; apa pun yang Anda ubah setelahnya ditandai sebagai "penjelajah".
2. Rencana analisis: Sekalipun Anda tidak dapat mencatat sebelumnya, tulislah rencana analisis sebelum mendalami data: hipotesis utama, variabel hasil utama, model utama. Tetapkan perbedaan antara “analisis utama” dan “analisis tambahan/eksplorasi” sejak awal dan pertahankan dalam laporan.
3. Laporkan semuanya: Jangan sembunyikan model yang sudah Anda coba. Di bagian “analisis sensitivitas” (pemeriksaan ketahanan), tunjukkan bagaimana spesifikasi yang berbeda mengubah hasil. Temuan ini kuat hanya jika didukung oleh banyak pilihan yang masuk akal.
4. Disiplin perbandingan berganda: Jika Anda telah mengerjakan terlalu banyak tes, perbaikilah (unit 6). Jawab pertanyaan "Berapa banyak tes yang telah saya lakukan?" Sejujurnya.
5. Analisis sensitivitas: Ulangi temuan utama Anda dengan sampel berbeda, rangkaian kontrol berbeda, dan transformasi berbeda. Jika hasilnya berubah, jangan disembunyikan, laporkan.
Bagan perbandingan: jujur vs. jebakan
Aplikasi
bentuk perangkap
Setara dengan jujur
Pemilihan model
Mencoba sampai masuk akal (p-hacking)
Model induk yang telah direncanakan sebelumnya
hipotesis
Pas setelah kejadian (HARKing)
Direkam sebelumnya, sebelum data
Pelaporan
Jangan hanya menampilkan yang cantik saja
Semua spesifikasi + sensitivitas
subgrup
Memilih yang paling mencolok
Telah ditentukan sebelumnya, dapat diperbaiki
pengumpulan data
Berhentilah jika itu masuk akal
sampel yang telah ditentukan
Empat perintah yang dapat disalin
1. Kerangka klaim yang jujur:
Peran Anda: asisten statistik yang jujur. Tujuan saya BUKAN untuk menemukan hasil yang berarti, tetapi untuk menemukan hasil yang tepat. ATURAN: - JANGAN beri saya saran jenis "coba model sampai masuk akal", - beri tahu saya jika Anda menyarankan beberapa spesifikasi, semuanya perlu dilaporkan, - peringatkan saya tentang langkah apa pun yang dapat menyebabkan peretasan p. Bantu saya memperjelas model utama saya terlebih dahulu, pisahkan penemuan dari konfirmasi.
2. Draf rencana analisis:
Bantu saya menyusun rencana analisis awal untuk suatu penelitian: hipotesis utama, variabel hasil utama, spesifikasi model utama, subkelompok yang telah ditentukan sebelumnya, strategi perbandingan berganda. Letakkan analisis "eksplorasi" dan "konfirmatori" dalam judul terpisah. Ingatkan saya untuk mengisi ini TANPA MELIHAT datanya.
3. Analisis sensitivitas:
Temuan utama saya adalah menulis kode analisis sensitivitas (R) untuk Tujuan saya adalah MELIHAT seberapa solid hasilnya, BUKAN memilih yang terbaik; menunjukkan semua hasil.
4. Pemantauan diri:
Saya akan menjelaskan proses analisis saya; Beri saya daftar periksa untuk p-hacking / HARKing / pelaporan selektif dan tandai langkah saya yang mana yang berisiko. Tanyakan kembali kepada saya berapa banyak model/pengujian yang telah saya coba dan model mana yang ingin saya laporkan.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Variabel manakah yang menunjukkan hubungan signifikan dalam data ini, temukan model terbaik.
Perintah ini adalah instruksi peretasan p langsung: AI mencoba lusinan kombinasi dan menyajikan kombinasi yang "paling masuk akal". Hasilnya hampir pasti merupakan temuan palsu yang tidak dapat ditiru.
Perintah yang kuat:
Peran Anda: asisten yang jujur. Model UTAMA yang saya tentukan sebelumnya adalah: kontrol Y ~ X +. Tulis kode yang memprediksi model ini. JANGAN mencari model lain yang "lebih bermakna". Sarankan juga analisis sensitivitas sehingga saya dapat melihat kekokohan hasilnya, tetapi ketahuilah bahwa saya akan melaporkan SEMUA hasil, bukan memilih yang terbaik. Jangan izinkan saya menganggap temuan eksplorasi apa pun sebagai 'dikonfirmasi'.
Perbedaan: kemauan yang kuat memperbaiki model utama, melarang pencarian, dan mengharuskan semua hasil dilaporkan.
tiga kasus mini
Kasus 1 — Perburuan subkelompok. Seorang peneliti tidak menemukan pengaruh pada keseluruhan sampel; Dia bertanya kepada AI "di subgrup mana yang signifikan?" YZ memindai kombinasi usia, jenis kelamin dan wilayah dan menemukan "p = 0,03 pada wanita perkotaan berusia 35-44". Artikel ini didasarkan pada subkelompok ini. Replikasinya tidak membuahkan hasil: hal ini merupakan hasil kebetulan dari puluhan subkelompok. Pelajaran: subkelompok yang dipilih setelah data HARKing, bukan konfirmasi.
Kasus 2 — Perburuan konversi. Hubungan yang ternyata tidak ada artinya dalam bentuk tingkat siswa; mencobanya dalam bentuk log, akar kuadrat, kuadrat dan lag; Dia menemukan p=0,048 dalam bentuk log-log dan hanya melaporkannya. Untungnya, salah satu dari 5 bentuk yang dicoba melewati ambang batas. Cara yang benar adalah: memilih terlebih dahulu formulir dengan teori dan menampilkan hasil semua formulir di tabel sensitivitas. Pelajaran: pelaporan yang selektif menghasilkan signifikansi yang salah.
Kasus 3 - Cara kerja pembingkaian yang jujur. Satu tim telah didaftarkan sebelumnya sebelum analisis: hipotesis primer tunggal, model utama tunggal, dua subkelompok yang telah ditentukan sebelumnya, koreksi Bonferroni. Dampak utamanya tidak signifikan, namun tim melaporkannya dengan jujur; Individu yang melakukan eksplorasi menandai satu temuan sebagai "perlu diuji di masa depan". Penelitian ini dapat direproduksi dan dapat diandalkan. Pelajaran: perencanaan yang jujur membuat hasil yang “gagal” sekalipun menjadi berharga.
Kesalahan umum
- Memberitahu AI untuk "menemukan hasil yang berarti". Ini benar-benar peretasan p; Tempatkan AI dalam kerangka yang jujur, minta akurasi, bukan hasil.
- Menyajikan penemuan sebagai konfirmasi (HARKing). Adalah menyesatkan untuk menulis hipotesis yang dibuat setelah data sebagai "Saya memperkirakannya dari awal"; Beri label pada temuan eksplorasi.
- Hanya melaporkan hasil yang baik. Tampilkan semua spesifikasi yang diuji; Menyembunyikan analisis sentimen berarti membahayakan integritas.
- Penyaringan subkelompok/konversi. Memilih lusinan subkelompok atau transformasi yang paling signifikan menghasilkan temuan palsu; mengidentifikasi dan memperbaikinya terlebih dahulu.
- Lupa berapa banyak tes yang telah Anda lakukan. Pantau jumlah total upaya; Tidak ada nilai p yang dapat diinterpretasikan secara jujur tanpa mengetahui angka tersebut.
Tip: Sebelum menuliskan temuan, tanyakan pada diri Anda: "Berapa banyak cara yang telah saya coba secara diam-diam hingga saya menemukan hasil ini, dan apakah saya melaporkan semuanya?" Jika beberapa esai tetap berada di laci, laporan Anda terlihat lebih kuat dari yang sebenarnya.
Singkatnya
p-hacking, HARKing, pelaporan selektif, dan taman jalur bercabang; Banyak jebakan yang terjadi secara tidak disengaja namun menghasilkan temuan palsu dan tidak dapat direproduksi. AI mempercepat kendala ini karena dapat mencoba lusinan analisis secara instan; Permintaan jenis “temukan hasil yang bermakna” mengubah AI menjadi mesin peretasan p. Pertahanan; memisahkan penemuan dari konfirmasi dengan prapendaftaran dan rencana analisis, melaporkan semua spesifikasi dan analisis sensitivitas, mengoreksi beberapa perbandingan, dan menempatkan AI dalam kerangka kerja jujur yang menuntut "hasil yang benar". Tanggung jawab akhir selalu berada di tangan peneliti.
Tugas aplikasi
Pilih pertanyaan penelitian dan tulis rencana analisis singkat sebelum melihat data: hipotesis primer, model utama, variabel hasil utama, subkelompok yang telah ditentukan sebelumnya, strategi perbandingan berganda. Kemudian estimasikan model utamanya. Kemudian lakukan analisis sensitivitas (kontrol berbeda, outlier disertakan/tidak termasuk, bentuk fungsi berbeda) dan tampilkan semua hasilnya dalam satu tabel. Dalam satu paragraf, evaluasi langkah mana yang menimbulkan risiko peretasan p dan bagaimana kerangka jujur Anda membatasinya.
daftar periksa
- [ ] Saya menulis rencana analisis/model induk sebelum menyelami datanya.
- [ ] Saya memberi label analisis eksplorasi dan konfirmasi secara terpisah; Aku tidak sedang HARKing.
- [ ] Saya telah melaporkan semua spesifikasi yang telah saya coba; Saya tidak hanya memilih yang cantik.
- [ ] Saya mendefinisikan subkelompok dan transformasi sebelumnya, saya tidak memindainya setelah data.
- [ ] Saya mencatat berapa banyak tes yang telah saya jalankan dan menerapkan koreksi yang diperlukan.
- [ ] Saya menggunakan AI dalam konteks “menemukan kebenaran” dan bukan “menemukan kebenaran itu bermakna”; Saya mengambil tanggung jawab.