Keuntungan:
- Keupayaan untuk menghasilkan statistik deskriptif dan carta pengedaran/perhubungan dengan sokongan kecerdasan buatan dan memilih jenis carta yang betul mengikut data dan soalan
- Keupayaan untuk mengenali pilihan yang mengelirukan (paksi putus-putus, skala tidak sesuai, pelicinan berlebihan) dalam imej yang dihasilkan oleh kecerdasan buatan dan menggunakan prinsip visualisasi yang jujur
- Dapat membezakan bahawa analisis penerokaan adalah untuk menjana hipotesis dan perangkap membuat penemuan dan pengesahan dengan data yang sama (yang membuka pintu kepada p-penggodaman).
Selepas membersihkan data, tugas pertama penyelidik empirikal adalah untuk mengetahuinya. Peringkat ini dipanggil analisis data penerokaan (EDA - Analisis Data Penerokaan): ia adalah proses memeriksa data dengan graf dan statistik ringkasan dan melihat struktur, corak dan kejutannya. Matlamatnya bukan untuk menguji hipotesis lagi, tetapi untuk membiasakan diri dengan data, menjana soalan dan meletakkan asas untuk model yang akan anda bina pada masa hadapan. Dalam unit ini, kita akan melihat bagaimana kecerdasan buatan (AI) mempercepatkan EDA dan visualisasi, tetapi mengapa grafik yang dihasilkannya mesti diaudit dengan teliti.
Mari kita buat dua perbezaan asas. Pertama, statistik deskriptif (nombor yang meringkaskan data seperti min, median, sisihan piawai, kuartil) dan visualisasi (menunjukkan maklumat yang sama secara grafik) saling melengkapi; Bersama-sama mereka menerangkan data. Kedua, dan paling kritikal: penemuan dan pengesahan mesti dibezakan. Analisis penerokaan adalah untuk menjana hipotesis; Meneroka hipotesis dengan data yang sama dan mengatakan "Saya telah mengujinya dan mendapati ia penting" membuka pintu kepada p-penggodaman, yang akan kita lihat dalam unit seterusnya. Ia adalah percuma untuk melihat data dan melihat corak; Tetapi mengisytiharkan corak itu sebagai "penemuan terbukti" dalam data yang sama adalah mengelirukan.
Analisis penerokaan langkah demi langkah
1. Pandangan univariate. Periksa setiap pembolehubah secara individu: adakah taburannya simetri atau condong; berapa banyak bukit yang ada; Di manakah yang terpencil? Untuk pembolehubah berangka, histogram (plot menunjukkan kekerapan dengan membahagikan nilai ke dalam julat) dan boxplot (boxplot — carta menunjukkan nilai median, kuartil dan ekstrem); Untuk pembolehubah kategori, gunakan jadual kekerapan dan carta bar.
2. Pandangan bivariate. Lihat hubungan antara dua pembolehubah: plot serakan untuk dua pembolehubah berangka (menunjukkan setiap pemerhatian sebagai titik pada satah x-y), plot kotak berkumpulan untuk kategori berangka, tab silang untuk dua kategori. Sebelum melihat pekali korelasi, pastikan anda melihat plot serakan: korelasi yang sama boleh menunjukkan corak yang sangat berbeza (kuartet Anscombe yang terkenal menunjukkan perkara ini; empat set data mempunyai statistik yang hampir sama, tetapi apabila diplot, mereka ternyata berbeza sama sekali).
3. Pilih jenis carta yang betul. Jenis carta bergantung pada soalan dan jenis data anda. Histogram untuk pengedaran; berselerak untuk hubungan; carta garis untuk perubahan dari semasa ke semasa; carta bar untuk perbandingan kategori; (dengan berhati-hati) bar disusun untuk nisbah bahagian kepada keseluruhan. AI cepat menjana kod untuk anda, tetapi keputusan "graf mana untuk soalan mana" adalah milik anda.
4. Perhatikan corak, jangan isytiharkan hasil. Rakam sebarang corak menarik yang anda lihat sebagai "nota penemuan", tetapi jangan anggap ia sebagai penemuan yang disahkan. Pengesahan dilakukan dalam langkah berasingan, sebaik-baiknya dengan data berasingan atau jadual yang telah ditetapkan.
Prinsip visualisasi yang jujur
Grafik meyakinkan; Oleh itu, kuasa mengelirukannya juga tinggi. AI boleh membuat pilihan yang estetik tetapi kadangkala mengelirukan. Semak dasar ini:
- Dalam carta bar, paksi-y mesti bermula pada sifar. Paksi putus-putus menunjukkan perbezaan kecil sama besar.
- Skala harus konsisten. Jika dua carta sedang dibandingkan, gunakan julat paksi yang sama.
- Melicin yang berlebihan boleh menyembunyikan corak sebenar. Garis arah aliran kelihatan bagus, tetapi jika ia "melicinkan" data terlalu banyak, ia boleh mengelirukan.
- Warna dan hiasan 3D memesongkan perhatian, bukan data. Pilih kesederhanaan.
- Data dan saiz sampel yang hilang harus kelihatan. "n=12" dan "n=12,000" tidak sepatutnya kelihatan sama.
Perhatian: Hanya kerana grafik yang dihasilkan oleh AI cantik, ia tidak benar. Kesilapan yang paling biasa dia lakukan ialah tidak memulakan paksi dari sifar dalam carta bar dan membesar-besarkan perbezaan antara kedua-dua kumpulan. Sentiasa periksa paksi.
Carta perbandingan: soalan → carta
Tanya
carta yang betul
Kesilapan biasa
Bagaimanakah pembolehubah ini diedarkan?
Plot histogram/kotak
gunakan carta pai
Adakah dua pembolehubah berangka berkaitan?
Petak berselerak
Hanya melihat bilangan korelasi
Bagaimanakah ia berubah dari semasa ke semasa?
carta garisan
Memberitahu arah aliran dengan carta palang
Apakah perbezaan antara kumpulan?
Kotak/bar berkumpulan (dari awal)
Batang paksi terpotong
Nisbah sebahagian kepada keseluruhan?
Bar bertindan (dengan berhati-hati)
Carta pai berbilang keping
Empat gesaan yang boleh disalin
1. Kod penemuan automatik:
Peranan anda: pembantu EDA. Saya tidak berkongsi data, saya mahu kod R (ggplot2). Terdapat pembolehubah berangka (pendapatan, umur, perbelanjaan) dan kategori (wilayah, pendidikan) dalam kerangka data 'data'. Tugas: tulis kod yang menghasilkan histogram untuk setiap angka, carta bar untuk setiap kategori, dan plot taburan untuk pendapatan~umur. Dalam carta bar, biarkan paksi-y bermula dari SIFAR. Tambah baris ulasan.
2. Kajian korelasi (korelasi + visual bersama):
Tulis kod yang kedua-duanya mengira korelasi Pearson untuk pendapatan dan perbelanjaan serta plotkan plot berselerak + aliran linear. Tambahkan baris ulasan yang mengingatkan saya untuk memeriksa carta sebelum MEMPERCAYAI kiraan korelasi (amaran Anscombe). Jangan terlalu licin garis trend.
3. Audit integriti:
Semak kod ggplot berikut untuk visualisasi jujur:[kod]. Semak dan betulkan perkara berikut: adakah paksi-y bermula dari sifar, adakah skalanya konsisten, adakah saiz sampel boleh dilihat, adakah terdapat pelicinan yang berlebihan? Terangkan justifikasi bagi setiap pembetulan yang anda buat.
4. Menghasilkan nota penemuan (bukan penemuan):
Berdasarkan graf yang saya hasilkan, senaraikan PEMERHATIAN sebagai 'nota penemuan'; tulis setiap item dalam bahasa 'hipotesis yang akan diuji', bukan 'penemuan konklusif'. Contoh: 'Pendapatan dalam pendidikan tinggi NAMPAK lebih tersebar; hendaklah diuji dengan data yang berasingan.' Elakkan pernyataan sebab dan muktamad.
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Buat graf yang bagus daripada hasil dan beritahu saya maksudnya.
Gesaan ini mengundang output yang mengelirukan: "cantik" memfokuskan pada estetika, manakala "maksudnya" mendorong AI untuk melompat daripada penemuan kepada kesimpulan muktamad. Komen-komen bersebab, keterlaluan menyusul.
Gesaan kuat:
Peranan anda: pembantu EDA yang jujur.Tugas: (1) pilih jenis carta yang sesuai dengan soalan saya dan tulis justifikasi,(2) mulakan paksi dari sifar dalam carta bar,(3) tafsirkan output dalam bahasa NOTA DISCOVERY: tiada tuntutan muktamad/kausal mencadangkan hipotesis dalam bahasa "mesti diuji",(4) memberi amaran kepada saya jika 30 sampel adalah kecil). (Saya akan memberi amaran kepada saya<30 dalam persekitaran saya).
Perbezaan: kehendak kuat membenarkan jenis carta, mengenakan peraturan kejujuran dan tidak mengelirukan penemuan dengan pengesahan.
tiga kes mini
Kes 1 — Pembesaran paksi diskret. Seorang penganalisis menunjukkan skor kepuasan dua cabang (7.8 dan 8.0; daripada 10) dalam carta palang. Apabila memulakan paksi YZ dari 7.5, cawangan kedua muncul hampir dua kali lebih tinggi daripada yang pertama; sedangkan perbezaannya hanya 2.5%. Pengurusan akan memberi ganjaran kepada cawangan di bawah tanggapan yang salah. Apabila saya memulakan paksi dari awal perbezaannya hampir tidak kelihatan. Pengajaran: pilihan paksi sahaja mengubah persepsi.
Kes 2 — Mempercayai korelasi dan melangkau carta. Seorang penyelidik melihat r = 0.81 antara dua pembolehubah dan menulis "hubungan linear yang kuat". Apabila perundingnya meminta plot taburan, ia dilihat bahawa hubungan itu sebenarnya disebabkan oleh satu pemerhatian yang melampau, dan apabila titik itu dialih keluar, korelasi itu menurun kepada 0.12. Pengajaran: kiraan korelasi bukan pengganti graf; selalu tengok yang berselerak.
Kes 3 — Mengelirukan penemuan dengan pengesahan. Seorang pelajar melihat semua korelasi berpasangan dalam set data 40-pembolehubah, memilih yang tertinggi (r=0.52) dan menulis, "kami mendapati hubungan yang signifikan antara pendidikan dan simpanan (p=0.004)." Walau bagaimanapun, terdapat beratus-ratus pasangan dalam 40 pembolehubah; memilih yang tertinggi adalah penemuan palsu kerana kebetulan. Pengajaran: corak yang ditemui tidak boleh "diuji dan diisytiharkan penting" dalam data yang sama; Pengesahan berasingan diperlukan.
Kesilapan biasa
- Tidak memulakan paksi dari sifar dalam carta bar. Ia membesar-besarkan perbezaan kecil; Pembohongan visual yang paling biasa. Sentiasa semak.
- Melihat korelasi dan melangkau carta. Korelasi yang sama datang daripada corak yang sangat berbeza; boleh sesuai dengan hubungan yang lebih luar. Pertama, berselerak.
- Mempertimbangkan corak yang terdapat dalam penemuan sebagai "bukti" dalam data yang sama. Ini adalah pintu masuk kepada p-hacking; Pengesahan dilakukan secara berasingan.
- Jenis carta yang salah. Padanan seperti bar untuk arah aliran dan pai untuk pengedaran adalah mengelirukan. Pilih genre berdasarkan soalan.
- Menyembunyikan saiz sampel. n=8 dan n=8,000 tidak sepatutnya kelihatan sama pada graf yang sama; ketidakpastian mesti ditunjukkan.
Petua: Sebelum menerbitkan carta, tanya diri anda: "Adakah cerita akan berubah jika saya menukar paksi?" Jika jawapannya ya, anda mungkin memulakan pivot dari tempat yang tidak jujur.
Secara ringkasnya
Analisis data penerokaan ialah fasa memenuhi data, melihat corak dan menjana hipotesis; Ia bukan pengesahan. AI cepat menjana statistik deskriptif dan kod graf, tetapi anda memilih jenis graf berdasarkan soalan anda dan mengawal prinsip keadilan (paksi sifar, skala konsisten, ketidakpastian yang jelas). Lihat serakan sebelum mempercayai nombor korelasi; Jangan isytiharkan corak yang anda temui dalam penemuan sebagai "bukti" dalam data yang sama. Graf AI yang cantik tidak bermakna graf yang betul.
Tugasan permohonan
Pilih sekurang-kurangnya tiga pembolehubah dalam set data. Minta AI dan jalankan kod yang menghasilkan graf penerokaan (histogram, serakan, kotak) dengan gesaan yang menguatkuasakan peraturan kejujuran. Untuk setiap carta: semak (1) kesesuaian jenis carta dengan soalan, (2) kejujuran paksi, (3) keterlihatan saiz sampel. Tulis sekurang-kurangnya satu “nota penemuan” dalam bahasa hipotesis (“…nampaknya diuji secara berasingan”). Periksa korelasi dengan kedua-dua kiraan dan taburan dan laporkan jika terdapat percanggahan antara keduanya.
senarai semak
- [ ] Saya memilih jenis carta berdasarkan soalan dan jenis data saya.
- [ ] Dalam carta bar, saya memulakan paksi-y daripada sifar; Saya menyemak kejujuran paksi.
- [ ] Saya melihat plot taburan sebelum mempercayai korelasi.
- [ ] Saya mencerminkan saiz sampel dan ketidakpastian pada graf.
- [ ] Saya menulis corak yang saya temui dalam penerokaan sebagai "hipotesis untuk diuji" dan bukannya "bukti".
- [ ] Saya menyatakan bahawa saya tidak akan menggunakan data yang sama untuk pengesahan dan langkah yang berasingan diperlukan.