Keuntungan:
- Kemampuan untuk menentukan dengan benar hipotesis nol, nilai p, interval kepercayaan, dan kekuatan statistik serta menggunakan kecerdasan buatan dalam pemilihan dan interpretasi tes.
- Kemampuan untuk membedakan apa yang merupakan nilai p dan apa yang bukan (bukan ukuran efek, bukan probabilitas akurasi) dan memahami mengapa koreksi perbandingan berganda diperlukan
- Kemampuan untuk mengenali komentar yang dibuat oleh kecerdasan buatan yang mengacaukan kebermaknaan dengan materialitas dan melaporkannya dengan ukuran dampak dan ketidakpastian
Alat statistik yang paling banyak digunakan dan paling disalahpahami adalah pengujian hipotesis. Ide dasarnya sederhana: kita mempunyai klaim (misalnya “rata-rata kedua kelompok ini berbeda”) dan kebalikannya, hipotesis nol (H0 — “sebenarnya tidak ada perbedaan”). Tes ini mengukur seberapa cocok data dengan hipotesis nol. Dalam unit ini kita akan melihat bagaimana kecerdasan buatan (AI) membuat seleksi dan interpretasi tes menjadi lebih mudah, namun mengapa kendala seputar nilai p begitu umum dan berbahaya. Mari kita mulai dari awal: AI mengetahui sintaks pengujian mana yang harus ditulis; namun tugas Anda adalah menafsirkan apakah asumsi pengujian tersebut terpenuhi dan apa arti sebenarnya dari hasil tersebut.
Apa sebenarnya nilai p itu?
Nilai p adalah probabilitas bahwa hasil yang Anda amati, atau hasil yang lebih ekstrem, akan terjadi secara kebetulan ketika hipotesis nol benar (yaitu, sebenarnya tidak ada pengaruh). Nilai p yang kecil (0,05 adalah ambang batas tradisional) berarti "akan mengejutkan melihat data seperti itu jika memang tidak ada pengaruhnya"; Hal ini dianggap sebagai bukti yang menentang hipotesis nol.
Sekarang mari kita perjelas apa yang bukan nilai p - yang sering membingungkan AI:
- Nilai p bukanlah probabilitas hipotesis nol benar. p=0,03 tidak berarti "ada 3% kemungkinan tidak ada efek".
- Nilai p tidak menunjukkan besarnya efek. Efek yang sangat kecil dapat menghasilkan nilai p yang kecil dalam sampel yang besar.
- Nilai p tidak membuktikan bahwa temuan tersebut signifikan atau nyata. “Signifikan” adalah istilah statistik, “signifikan” adalah penilaian.
- p>0,05 bukan berarti "tidak berpengaruh"; Artinya, "kami tidak dapat menunjukkan pengaruhnya dengan data ini". Tidak adanya bukti bukanlah bukti ketidakhadiran.
Perhatian: Kesalahan interpretasi AI yang paling umum adalah menampilkan kata “signifikan” sebagai “dampak signifikan/kuat/besar”. Signifikansi statistik dan signifikansi praktis adalah dua hal yang berbeda; Selalu laporkan keduanya secara terpisah.
Interval kepercayaan dan ukuran efek: informasi yang lebih kaya
Daripada menggunakan nilai p tunggal, interval kepercayaan jauh lebih informatif: interval kepercayaan memberikan kisaran nilai yang masuk akal untuk perkiraan Anda. Kalimat "Efek 1.200, interval kepercayaan 95% [300, 2.100]" menunjukkan arah, besaran, dan ketidakpastian; "p<0,05" hanya mengatakan "jauh dari nol". Praktik statistik modern tidak hanya menggunakan nilai p; merekomendasikan pelaporan dengan trio ukuran efek + interval kepercayaan + nilai p.
Kekuatan statistik dan sampel
Kekuatan statistik adalah probabilitas mendeteksi suatu efek yang benar-benar ada (1 dikurangi probabilitas kesalahan tipe II, yaitu "tidak ada efek sebenarnya"). Penelitian yang kurang berdaya rentan terhadap dua risiko: (1) penelitian tersebut tidak memberikan dampak yang sebenarnya (negatif palsu); (2) beberapa hasil yang ternyata signifikan membawa besaran yang berlebihan—yang disebut sebagai kutukan pemenang karena hanya prediksi yang berlebihan yang dapat melampaui ambang batas. Oleh karena itu, praktik yang baik adalah menghitung daya/sampel sebelum dianalisis. AI menghasilkan kode untuk akun ini; Anda menentukan ukuran efek target dengan teori.
Masalah perbandingan ganda
Saat melakukan tes, ambang batas 0,05 berarti "5% risiko positif palsu". Namun jika Anda melakukan 20 tes, rata-rata satu tes diharapkan memberikan p<0,05 secara kebetulan, meskipun semuanya sebenarnya tidak efektif. Ini disebut masalah perbandingan berganda. Kemungkinan hasil positif palsu meningkat dengan cepat ketika sejumlah besar variabel, subkelompok, atau variabel hasil diuji. Solusinya adalah dengan memperbaiki ambang batas: Bonferroni (membagi ambang batas dengan jumlah pengujian — ketat), metode Holm atau Benjamini-Hochberg yang mengontrol tingkat penemuan palsu (FDR). Risiko ini menjadi lebih besar di era AI, karena AI dapat menghasilkan lusinan pengujian dalam hitungan detik — ini adalah subjek langsung dari unit berikutnya (p-hacking).
Tabel perbandingan: apa yang dinyatakan oleh nilai p dan apa yang tidak dinyatakan
ekspresi
Apakah itu benar?
Deskripsi
"p=0,02, kemungkinan tidak ada efek adalah 2%"
salah
p bukan probabilitas H0
"p<0,05, efeknya besar"
salah
p tidak menunjukkan ukuran
"p=0,20, tidak berpengaruh"
salah
Tidak bisa tampil bukanlah ketidakhadiran
"p<0,05, ada bukti yang menentang H0"
Benar
Hati-hati dan tepat sasaran
"Efek 1,200 [300;2,100], p=0,01"
terbaik
Ukuran + ketidakpastian + bukti
Empat perintah yang dapat disalin
1. Memilih tes yang tepat:
Peran Anda: asisten pengujian statistik. Saya ingin membandingkan mean dari dua kelompok independen (variabel kontinu). Beri saya: pengujian mana yang sesuai (dengan asumsinya: normalitas, kesetaraan varians), alternatif jika asumsi tidak terpenuhi (misalnya Welch, Mann-Whitney), dan kode R. Saya akan menjalankan hasilnya dan memeriksa asumsinya.
2. Melaporkan nilai p dengan benar:
Laporkan keluaran pengujian di bawah ini, namun PERATURAN: - JANGAN tampilkan nilai p sebagai "probabilitas H0" atau "ukuran efek", - pastikan untuk menyertakan ukuran efek dan interval kepercayaan 95%, - tulis "signifikan" dan "signifikan" secara terpisah, - jika p>0,05, JANGAN ucapkan "tidak ada efek", katakan "kami tidak dapat menampilkan". Keluaran: [tempel]
3. Perhitungan daya/sampel:
Saya merencanakan eksperimen: dua kelompok, ukuran efek yang diharapkan (Cohen's d) ~0,4, daya 0,80, alfa 0,05. Tulis kode R yang menghitung ukuran sampel yang diperlukan (paket pwr) dan jelaskan risiko penelitian berdaya rendah (kutukan pemenang).
4. Koreksi perbandingan berganda:
Saya telah melakukan 15 uji hipotesis terpisah dan saya memiliki nilai p. Tulis kode R yang menerapkan koreksi Bonferroni dan Benjamin-Hochberg (FDR), jelaskan perbedaan antara kedua metode tersebut, dan rangkum dalam satu kalimat mengapa saya tidak boleh mempercayai p<0,05.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Apakah hasil tes ini bermakna? Komentari hasilnya.
Klaim ini menjebak AI dalam biner “bermakna/tidak bermakna”; kemungkinan besar menghasilkan kalimat yang mengacaukan besaran dengan signifikansi, seperti "ya, signifikan, pengaruhnya kuat".
Perintah yang kuat:
Peran Anda: asisten statistik yang penuh perhatian. Interpretasikan hasilnya tetapi: (1) berikan ukuran efek + interval kepercayaan 95% + nilai p secara bersamaan, (2) pisahkan signifikansi dari signifikansi, (3) p>0,05 pada "tidak dapat ditampilkan", (4) tanyakan berapa banyak tes yang saya lakukan; Jika lebih dari satu, sarankan koreksi perbandingan berganda, (5) ingatkan bahwa asumsi pengujian harus diperiksa.
Perbedaan: perintah yang kuat menerapkan pelaporan yang kaya dan melindungi dari jebakan nilai-p.
tiga kasus mini
Kasus 1 - “Signifikansi” yang tidak signifikan dalam sampel besar. Seorang analis menemukan perbedaan rata-rata antara kedua kelompok "sangat signifikan" pada p<0,001 pada data dengan 500.000 observasi. Namun selisihnya hanya 0,3 poin (dari 100) dan bisa dibilang tidak ada artinya. Sampel yang sangat besar bahkan membuat perbedaan kecil menjadi "signifikan". Ketika besaran dampak dilaporkan, temuannya ternyata tidak signifikan. Pelajaran: signifikansi bukanlah besaran; Jika n besar, maka setiap perbedaan adalah signifikan.
Kasus 2 — Ilusi pengujian berganda. Satu tim menguji 22 variabel hasil; Salah satunya menunjukkan p=0,04 dan diumumkan sebagai "kami menemukan efeknya". Dengan koreksi Bonferroni, ambang batasnya turun menjadi 0,05/22 = 0,0023; 0,04 tidak melewati ambang batas ini. Satu-satunya hasil yang "bermakna" adalah kebetulan dari 22 percobaan. Hikmahnya: ketika banyak menguji, diperlukan koreksi.
Kasus 3 — Kekuatan lemah dan kutukan pemenang. Sebuah studi percontohan kecil (n=15 per kelompok) menemukan dampak yang sangat besar (d=0,9) dan signifikan. Sebuah studi replikasi besar mengurangi efeknya menjadi d = 0,2. Sampel yang kecil hanya memungkinkan perkiraan yang berlebihan melewati ambang batas. Pelajaran: Ukuran efek yang signifikan pada daya rendah tidak dapat dipercaya.
Kesalahan umum
- Membingungkan kebermaknaan dengan kepentingan/besarnya. Pengaruhnya tidak besar hanya karena p kecil; Laporkan ukuran efek secara terpisah.
- Salah mengira nilai p sebagai probabilitas H0. p bukanlah "probabilitas tidak ada efek"; secara konseptual berbeda.
- Membaca p>0,05 sebagai "tidak berpengaruh". Kegagalan untuk menunjukkan bukanlah bukti ketidakhadiran; Nyatakan ketidakpastiannya.
- Tidak mengoreksi untuk multi-pengujian. Terlalu banyak tes menghasilkan hasil positif palsu; Terapkan Bonferroni/FDR.
- Mengabaikan kekuatan. Dampak signifikan pada sampel kecil terlalu dibesar-besarkan; Hitung daya sebelum analisis.
Tip: Sebelum menganggap suatu hasil sebagai “signifikan”, ajukan dua pertanyaan: “Apakah pengaruhnya secara praktis signifikan (besarnya)?” dan “Berapa banyak tes yang saya lakukan sebelum saya menemukan hasil ini?” Pertanyaan kedua adalah ujian lakmus kejujuran.
Singkatnya
Pengujian hipotesis dan nilai-p adalah alat yang ampuh namun disalahpahami. Nilai p adalah probabilitas melihat data ketika hipotesis nol benar; Probabilitas H0 bukanlah besarnya pengaruh atau signifikansi temuan. Selalu laporkan signifikansi beserta ukuran dampak dan interval kepercayaan; Jangan membaca p>0,05 sebagai "tidak berpengaruh"; terapkan beberapa koreksi perbandingan jika Anda telah melakukan banyak tes; Waspadai risiko efek berlebihan dari penelitian berkekuatan rendah. AI menghasilkan kode pengujian dan cetak biru; Tanggung jawab Anda adalah membedakan antara kebermaknaan dan materialitas serta memeriksa asumsi.
Tugas aplikasi
Buatlah perbandingan mean antara dua kelompok dalam suatu kumpulan data. Minta AI untuk pengujian dan kode yang sesuai (dengan asumsinya), jalankan dan periksa asumsinya. Laporkan hasilnya dengan tiga komponen: ukuran efek, interval kepercayaan 95%, nilai p. Kemudian pikirkan berapa banyak perbandingan berbeda yang dapat Anda buat pada data yang sama; Jika Anda telah menjalankan beberapa pengujian, terapkan koreksi Bonferroni atau FDR dan laporkan jika hasilnya masih berlaku. Terakhir, tulis penilaian kekuatan kasar untuk analisis Anda.
daftar periksa
- [ ] Saya memilih tes dengan asumsinya dan memeriksa asumsinya.
- [ ] Saya melaporkan hasilnya sebagai ukuran efek + interval kepercayaan + nilai p.
- [ ] Saya memisahkan “penting” dan “penting”; Saya tidak berpikir p adalah probabilitas H0.
- [ ] Saya menulis p>0,05 sebagai "kami tidak dapat menunjukkannya" daripada "tidak ada efek".
- [ ] Saya menerapkan beberapa koreksi perbandingan jika saya menjalankan beberapa tes.
- [ ] Saya mengevaluasi kekuatan pengambilan sampel; Saya berhati-hati tentang ukuran efek pada daya rendah.