Unit 7 / 12

Reka Bentuk Penyelidikan dan Sokongan Analisis Data

Keuntungan:

  • Keupayaan untuk menggunakan kecerdasan buatan sebagai rakan kongsi pemikiran dalam merangka soalan penyelidikan, hipotesis, pemilihan skala dan rancangan analisis
  • Keupayaan untuk mengaudit sokongan untuk analisis kuantitatif (tafsiran kod/output) dan analisis kualitatif (draf pengekodan tematik) dengan ketepatan statistik dan metodologi
  • Keupayaan untuk membangunkan refleks perlindungan dalam penggunaan kecerdasan buatan terhadap pemburuan nilai-p, statistik rekaan dan pemprosesan data yang tidak beretika

Psikologi adalah sains yang mengkaji secara sistematik tingkah laku manusia, dan asas sains ini adalah penyelidikan. Sama ada anda menulis tesis, mengukur keberkesanan program di institusi, atau menyediakan artikel; Penyelidikan yang baik memerlukan reka bentuk yang kukuh, analisis yang tepat dan tafsiran yang jujur. Kecerdasan buatan (AI) boleh menjadi rakan kongsi pemikiran pada setiap peringkat penyelidikan: mempertajam soalan penyelidikan, membangkitkan skala yang mungkin, merangka kod analisis, menerangkan output statistik dalam bahasa biasa, melukis cadangan awal tema dalam data kualitatif anda. Tetapi AI juga berhalusinasi dalam statistik, mencadangkan ralat metodologi, dan yang paling berbahaya, secara tidak sengaja boleh membuka pintu kepada amalan tidak beretika (seperti memburu nilai-p). Dalam unit ini anda akan belajar menggunakan AI sebagai pembantu yang berkuasa tetapi diselia dalam penyelidikan.

Di manakah AI membantu dalam penyelidikan?

Fasa reka bentuk: Menjelaskan persoalan kajian, mempertajam pernyataan hipotesis, mempertimbangkan kemungkinan pembolehubah dan pengacau (faktor ketiga yang mempengaruhi keputusan tetapi tidak diperiksa), mengingatkan reka bentuk yang sesuai. AI ialah rakan kongsi sumbang saran di sini; awak tentukan.

Analisis kuantitatif: Menjelaskan apabila kaedah analisis (seperti ujian-t, ANOVA, regresi) sesuai, merangka kod analisis (cth. R atau Python), mentafsir output statistik. AI menulis kod, tetapi anda bertanggungjawab untuk ketepatan hasil yang dihasilkan oleh kod dan kesesuaian kaedah.

Analisis kualitatif: Cadangan kod awal dalam transkrip temu bual, tajuk tema yang mungkin, draf buku kod. AI memberikan titik permulaan; Pengkaji menambah kedalaman tafsiran.

Awas: AI bukan ahli statistik. Ia mungkin mencadangkan ujian yang salah, meninggalkan andaian, menghasilkan pekali palsu atau nilai p. Sahkan setiap keputusan metodologi dan setiap nombor secara bebas (dengan pengetahuan anda sendiri, sumber statistik atau pakar).

Garis merah beretika: p-penggodaman dan pemprosesan data

Salah satu perangkap etika penyelidikan yang paling berbahaya ialah p-penggodaman: berulang kali mengubah analisis, menambah/mengalih keluar pembolehubah, atau memangkas data sehingga hasil yang bermakna muncul. Tanya AI "apa yang boleh saya lakukan untuk menjadikan keputusan saya bermakna?" Bertanya " adalah untuk jatuh ke dalam perangkap ini tanpa disedari. Untuk jenis soalan ini, AI boleh memberikan cadangan seperti "ekstrak pembolehubah ini, lihat subkumpulan ini"; Cadangan ini "berfungsi" secara statistik, tetapi adalah penipuan dari segi saintifik.

Begitu juga, AI mungkin mencadangkan "melengkapkan" data yang tidak wujud atau memadamkan outlier tanpa alasan. Data dianalisis sebagaimana adanya; Perubahan hanya boleh dibuat dengan peraturan yang telah ditetapkan, telus dan wajar.

Petua: Tulis pelan analisis anda (ujian mana yang akan anda lakukan, dengan pembolehubah mana, untuk hipotesis yang mana) sebelum anda melihat data. Gunakan AI untuk menjelaskan rancangan itu, bukan untuk "mencantikkan" hasilnya. Pelan pra-tulis adalah perlindungan paling kuat terhadap p-penggodaman.

Langkah demi langkah: Aliran penyelidikan selamat dikuasakan oleh AI

  1. Jelaskan soalan dan hipotesis. Biarkan AI menyelidik masalah untuk mempertajamnya, tetapi anda membuat keputusan.
  2. Tulis rancangan analisis anda terlebih dahulu. Ujian mana, andaian mana, hipotesis mana. Biarkan AI mengawasi rancangan itu.
  3. Draf kod, sahkan output. Biarkan AI menulis kod; Anda menjalankannya, semak hasilnya secara bebas.
  4. Semak andaian. Uji sendiri andaian yang dilangkau AI, seperti kenormalan dan kehomogenan varians.
  5. Pertimbangkan kod kualitatif sebagai draf. Pertimbangkan tema permulaan AI; Baca dan sahkan data sendiri.
  6. Laporkan secara jujur. Tulis hasil yang tidak bermakna juga; Elakkan penggodam p dan pelaporan terpilih.

tiga kes mini

Kes 1 — perangkap penggodaman p. Apabila hipotesis utama penyelidik ternyata tidak penting (p=0.21), dia bertanya kepada AI "cara-cara untuk menjadikan keputusan itu bermakna." AI mencadangkan pelbagai analisis subkumpulan dan pengekstrakan berubah-ubah; Apabila penyelidik mencuba ini, dia mendapat p = 0.04. Tetapi keputusan ini adalah palsu: Jika anda mencuba 10 analisis berbeza, salah satu daripadanya akan menjadi penting secara kebetulan. Cara yang betul: melaporkan analisis yang telah ditetapkan, menulis hasil yang tidak bermakna secara jujur.

Kes 2 — Kod dan ulasan output. Seorang pelajar siswazah ingin menguji perbezaan antara dua kumpulan dalam data daripada 120 peserta, tetapi tidak biasa dengan perisian statistik. Ia mencetak draf kod analisis ke AI, menjalankannya, dan mempunyai AI menafsirkan output. Kemudian dia menyemak andaian ujian-t daripada sumber statistik dan secara bebas mengesahkan hasilnya. AI memendekkan keluk pembelajaran, tetapi keputusan muktamad terpulang kepada pelajar.

Kes 3 — Pengekodan kualitatif. Seorang penyelidik menyuapkan 18 transkrip temu bual tanpa nama kepada AI dan meminta cadangan kod awal. AI menghasilkan sekitar 30 kod dan 5 cadangan tema. Pengkaji menganggap ini sebagai permulaan dan membaca semua transkrip sendiri; Ia menambah tema yang AI terlepas, memisahkan dua yang digabungkan dengan salah. Ia juga menyemak kebolehpercayaan dengan pengekod kedua. AI meningkat, tetapi tafsiran keluar dari manusia.

Gesaan dan templat yang boleh disalin

Bantu saya menajamkan soalan kajian. Draf soalan saya: [soalan]. Tanya/cadangkan perkara berikut: pembolehubah tidak bersandar, kemungkinan pengacau, reka bentuk penyelidikan yang sesuai. Keputusan adalah milik saya; Hanya terangkan pilihan dan risiko, jangan paksa hasilnya.

Lihat pelan analisis saya: [pelan]. Menilai: adakah ujian yang saya pilih sesuai dengan hipotesis, apakah andaian yang perlu saya semak, adakah saiz sampel kelihatan mencukupi, adakah terdapat sebarang risiko metodologi yang saya terlepas pandang? Berikan cadangan untuk mengukuhkan rancangan, bukan untuk mengubah hasilnya.

Tafsirkan output statistik berikut dalam bahasa biasa: apakah hasil yang dimaksudkan, apakah andaian yang perlu disemak, di manakah risiko tafsiran berlebihan? Nyatakan sebarang keputusan yang tidak penting dengan jujur. Output: [output]

Di bawah ialah transkrip temu bual tanpa nama. Pada peringkat pertama, kod POSSIBLE dan CADANGAN tema dijana untuk pengekodan tematik. Ingat bahawa ini adalah draf awal dan saya akan membaca dan mengesahkan data; Jangan sampaikan ia sebagai hasil muktamad. Transkrip: [transkrip tanpa nama]

Gesaan lemah / Gesaan kuat

Gesaan yang lemah: "Hasilnya tidak ketara dalam data, bagaimanakah saya boleh menjadikan nilai-p penting?"

Gesaan ini memanggil AI untuk mencadangkan p-hacking; Walaupun output "berfungsi" secara statistik, ia adalah penipuan saintifik.

Gesaan kuat: "Pelan analisis yang saya takrifkan sebelum ini ialah [pelan]. Hasilnya tidak ketara (p=0.21). Bagaimanakah saya harus melaporkan perkara ini secara jujur, apakah kemungkinan implikasi hasil tidak signifikan itu, dan apakah yang akan saya cadangkan untuk kajian masa depan?"

Gesaan ini mengarahkan AI kepada sains yang jujur; Dia tidak memutarbelitkan hasilnya, dia belajar daripadanya.

Kesilapan biasa

  • Jemputan untuk p-hacking. Bertanya "Jadikan hasilnya bermakna"; Ini adalah penipuan saintifik.
  • Menggunakan kaedah tanpa mengesahkannya. Menggunakan ujian yang dicadangkan AI tanpa menyemak andaiannya.
  • Menerima statistik yang dibuat-buat. Tidak mengesahkan pekali/p-nilai yang diberikan oleh AI dengan analisis anda sendiri.
  • Tersilap kod kualitatif untuk analisis akhir. Melaporkan tema AI tanpa membaca data.
  • Menyembunyikan hasil yang tidak bermakna. Pelaporan terpilih dengan melaporkan hanya perkara yang bermakna.

Secara ringkasnya

AI ialah rakan kongsi pemikiran yang berkuasa dalam penyelidikan dalam mengasah soalan, pengauditan pelan analisis, penggubalan kod, tafsiran output dan permulaan pengekodan kualitatif. Tetapi dia membuat kesilapan dalam statistik dan halusinasi; Perkara yang paling berbahaya ialah ia secara tidak sedar boleh membuka pintu kepada kaedah yang tidak beretika seperti p-hacking. Tulis pelan analisis anda lebih awal, sahkan setiap kaedah dan nombor secara bebas, semak andaian, layan kod kualitatif sebagai draf dan baca sendiri data dan laporkan hasil yang tidak bermakna secara jujur. AI mempercepatkan; Integriti saintifik datang daripada anda.

Tugasan permohonan

Sediakan senario penyelidikan kecil (cth. membandingkan dua kumpulan pada skala). Mula-mula, tulis rancangan analisis anda dalam satu perenggan. Kemudian minta AI mengaudit rancangan ini dan tanya jika terdapat sebarang andaian atau risiko yang anda terlepas. Juga, minta AI mentafsir keluaran khayalan kecil dan semak sendiri sama ada tafsirannya terlalu tegas. Tulis ayat pelaporan yang jujur ​​tanpa terlibat dalam penggodaman P.

senarai semak

  • [ ] Saya menulis rancangan analisis saya sebelum melihat data.
  • [ ] Saya telah menyemak secara bebas andaian kaedah yang dicadangkan oleh AI.
  • [ ] Saya mengesahkan setiap statistik yang diberikan oleh AI dengan analisis saya sendiri.
  • [ ] Saya menganggap kod kualitatif sebagai draf awal dan membaca data itu sendiri.
  • [ ] Saya juga melaporkan keputusan yang tidak penting secara jujur.
  • [ ] Saya mengelak penggodam p dan pelaporan terpilih.