Keuntungan:
- Kemampuan menghasilkan statistik deskriptif dan bagan distribusi/hubungan dengan dukungan kecerdasan buatan serta memilih jenis bagan yang tepat sesuai dengan data dan pertanyaan
- Kemampuan untuk mengenali pilihan yang menyesatkan (sumbu putus-putus, skala yang tidak sesuai, penghalusan berlebihan) pada gambar yang dihasilkan oleh kecerdasan buatan dan menerapkan prinsip visualisasi yang jujur
- Mampu membedakan bahwa analisis eksploratif untuk menghasilkan hipotesis dan jebakan untuk membuat penemuan dan konfirmasi dengan data yang sama (yang membuka pintu bagi p-hacking).
Setelah membersihkan data, tugas pertama peneliti empiris adalah mengetahuinya. Tahapan ini disebut analisis data eksplorasi (EDA - Exploratory Data Analysis): yaitu proses pemeriksaan data dengan grafik dan ringkasan statistik serta melihat struktur, pola, dan kejutannya. Tujuannya bukan untuk menguji hipotesis, tetapi untuk mengenal data, menghasilkan pertanyaan, dan meletakkan dasar bagi model yang akan Anda bangun di masa depan. Pada unit ini, kita akan melihat bagaimana kecerdasan buatan (AI) mempercepat EDA dan visualisasi, namun mengapa grafik yang dihasilkannya harus diaudit secara cermat.
Pertama-tama mari kita buat dua perbedaan mendasar. Pertama, statistik deskriptif (angka yang merangkum data seperti mean, median, standar deviasi, kuartil) dan visualisasi (menunjukkan informasi yang sama secara grafis) saling melengkapi; Bersama-sama mereka mendeskripsikan data. Kedua, dan yang paling penting: penemuan dan konfirmasi harus dibedakan. Analisis eksplorasi bertujuan untuk menghasilkan hipotesis; Menjelajahi hipotesis dengan data yang sama dan mengatakan "Saya mengujinya dan ternyata signifikan" membuka pintu bagi p-hacking, yang akan kita lihat di unit berikutnya. Bebas melihat data dan melihat polanya; Namun menyatakan pola tersebut sebagai "temuan yang terbukti" pada data yang sama adalah hal yang menyesatkan.
Analisis eksplorasi langkah demi langkah
1. Tampilan univariat. Periksa setiap variabel satu per satu: apakah distribusinya simetris atau miring; berapa banyak bukit yang ada; Dimana outliernya? Untuk variabel numerik, histogram (plot yang menunjukkan frekuensi dengan membagi nilai menjadi rentang) dan boxplot (plot kotak — bagan yang menunjukkan nilai median, kuartil, dan ekstrem); Untuk variabel kategori, gunakan tabel frekuensi dan diagram batang.
2. Tampilan bivariat. Lihat hubungan antara dua variabel: plot sebar untuk dua variabel numerik (menunjukkan setiap observasi sebagai titik pada bidang xy), plot kotak berkelompok untuk kategori numerik, tab silang untuk dua kategorikal. Sebelum melihat koefisien korelasi, pastikan untuk melihat plot sebar: korelasi yang sama dapat menunjukkan pola yang sangat berbeda (kuartet Anscombe yang terkenal menunjukkan hal ini; empat kumpulan data memiliki statistik yang hampir sama, tetapi ketika diplot, hasilnya menjadi sangat berbeda).
3. Pilih jenis grafik yang benar. Tipe bagan bergantung pada pertanyaan dan tipe data Anda. Histogram untuk distribusi; berhamburan demi hubungan; bagan garis untuk perubahan seiring waktu; diagram batang untuk perbandingan kategori; (hati-hati) batang ditumpuk untuk rasio bagian terhadap keseluruhan. AI dengan cepat menghasilkan kode untuk Anda, tetapi keputusan "grafik mana untuk pertanyaan apa" ada di tangan Anda.
4. Perhatikan polanya, jangan nyatakan hasilnya. Catat pola menarik apa pun yang Anda lihat sebagai "catatan penemuan", namun jangan menganggapnya sebagai temuan yang sudah dikonfirmasi. Konfirmasi dilakukan dalam tahap tersendiri, sebaiknya dengan data tersendiri atau jadwal yang telah ditentukan.
Prinsip visualisasi yang jujur
Grafiknya meyakinkan; Oleh karena itu, kekuatan menyesatkannya juga tinggi. AI dapat membuat pilihan yang estetis namun terkadang menyesatkan. Periksa kebijakan berikut:
- Dalam diagram batang, sumbu y harus dimulai dari nol. Sumbu putus-putus menunjukkan perbedaan kecil dan besar.
- Skalanya harus konsisten. Jika dua grafik dibandingkan, gunakan rentang sumbu yang sama.
- Penghalusan yang berlebihan dapat menyembunyikan pola sebenarnya. Garis tren terlihat bagus, namun jika terlalu "memperhalus" data, hal ini dapat menyesatkan.
- Warna dan dekorasi 3D mendistorsi perhatian, bukan data. Pilihlah kesederhanaan.
- Data yang hilang dan ukuran sampel akan terlihat. "n=12" dan "n=12.000" seharusnya tidak terlihat sama.
Perhatian: Hanya karena grafik yang dihasilkan AI indah, itu tidak benar. Kesalahan paling umum yang dilakukannya adalah tidak memulai sumbu dari nol pada diagram batang dan membesar-besarkan perbedaan antara kedua kelompok. Selalu periksa porosnya.
Bagan perbandingan: pertanyaan → bagan
Tanyakan
grafik yang benar
Kesalahan umum
Bagaimana variabel ini didistribusikan?
Histogram/plot kotak
menggunakan diagram lingkaran
Apakah dua variabel numerik berhubungan?
Plot sebar
Hanya melihat jumlah korelasinya
Bagaimana perubahannya seiring berjalannya waktu?
grafik garis
Menceritakan tren dengan diagram batang
Apa perbedaan antar kelompok?
Kotak/batang yang dikelompokkan (dari awal)
Batang sumbu terpotong
Rasio bagian-ke-keseluruhan?
Batang bertumpuk (dengan hati-hati)
Diagram lingkaran multi-irisan
Empat perintah yang dapat disalin
1. Kode penemuan otomatis:
Peran Anda: asisten EDA. Saya tidak membagikan datanya, saya ingin kode R (ggplot2). Ada variabel numerik (pendapatan, usia, pengeluaran) dan kategorikal (wilayah, pendidikan) dalam bingkai data 'data'. Tugas: menulis kode yang menghasilkan histogram untuk setiap angka, diagram batang untuk setiap kategori, dan plot sebar untuk pendapatan~usia. Dalam diagram batang, biarkan sumbu y dimulai dari NOL. Tambahkan baris komentar.
2. Tinjauan korelasi (korelasi + visual bersama):
Tulis kode yang menghitung korelasi Pearson untuk pendapatan dan pengeluaran serta membuat plot sebar + tren linier. Tambahkan baris komentar yang mengingatkan saya untuk memeriksa grafik sebelum MEMPERCAYAI jumlah korelasi (peringatan Anscombe). Jangan terlalu memperhalus garis tren.
3. Audit integritas:
Periksa kode ggplot berikut untuk visualisasi yang jujur:[kode]. Periksa dan perbaiki hal berikut: apakah sumbu y dimulai dari nol, apakah skalanya konsisten, apakah ukuran sampel terlihat, apakah terjadi penghalusan yang berlebihan? Jelaskan pembenaran untuk setiap koreksi yang Anda buat.
4. Menghasilkan catatan penemuan (bukan temuan):
Berdasarkan grafik yang saya hasilkan, cantumkan OBSERVASI sebagai 'catatan penemuan'; tulis setiap item dalam bahasa 'hipotesis yang akan diuji', bukan 'temuan konklusif'. Contoh: 'Pendapatan dari pendidikan tinggi TAMPAKNYA lebih tersebar; harus diuji dengan data terpisah.' Hindari pernyataan yang bersifat sebab-akibat dan pasti.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Buatlah grafik yang bagus dari hasil dan jelaskan maksudnya.
Permintaan ini mengundang keluaran yang menyesatkan: “indah” berfokus pada estetika, sementara “apa artinya” mendorong AI untuk beralih dari penemuan ke kesimpulan yang pasti. Komentar yang bersifat kausal dan berlebihan menyusul.
Perintah yang kuat:
Peran Anda: asisten EDA yang jujur.Tugas: (1) memilih jenis bagan yang sesuai dengan pertanyaan saya dan menulis pembenarannya,(2) memulai sumbu dari nol dalam diagram batang,(3) menafsirkan keluaran dalam bahasa DISCOVERY CATATAN: tidak ada klaim definitif/kausal yang menyarankan hipotesis dalam bahasa "harus diuji",(4) peringatkan saya jika sampelnya kecil (n<30).Saya akan menjalankan bagan di lingkungan saya sendiri dan memverifikasinya.
Perbedaan: kemauan yang kuat membenarkan jenis grafik, menerapkan aturan kejujuran dan tidak mengacaukan penemuan dengan konfirmasi.
tiga kasus mini
Kasus 1 - Pembesaran sumbu diskrit. Seorang analis menunjukkan skor kepuasan dua cabang (7,8 dan 8,0; dari 10) dalam diagram batang. Saat memulai sumbu YZ dari 7,5, cabang kedua tampak hampir dua kali lebih tinggi dari cabang pertama; padahal selisihnya hanya 2,5%. Manajemen akan memberi penghargaan kepada cabang yang mendapat kesan salah. Ketika saya memulai sumbu dari awal, perbedaannya hampir tidak terlihat. Pelajaran: pilihan sumbu saja mengubah persepsi.
Kasus 2 - Mempercayai korelasi dan melewatkan grafik. Seorang peneliti melihat r = 0,81 antara dua variabel dan menulis "hubungan linier yang kuat". Ketika konsultannya menanyakan scatter plot, terlihat bahwa hubungan tersebut sebenarnya disebabkan oleh satu pengamatan ekstrim, dan ketika titik tersebut dihilangkan, korelasinya turun menjadi 0,12. Pelajaran: penghitungan korelasi bukanlah pengganti grafik; selalu lihat pencarnya.
Kasus 3 — Membingungkan penemuan dengan konfirmasi. Seorang siswa melihat semua korelasi berpasangan dalam kumpulan data 40 variabel, memilih yang tertinggi (r=0,52) dan menulis, "kami menemukan hubungan yang signifikan antara pendidikan dan tabungan (p=0,004)." Namun, terdapat ratusan pasangan dalam 40 variabel; memilih yang tertinggi adalah temuan yang salah karena kebetulan. Pelajaran: pola yang ditemukan tidak dapat “diuji dan dinyatakan signifikan” pada data yang sama; Konfirmasi terpisah diperlukan.
Kesalahan umum
- Tidak memulai sumbu dari nol pada diagram batang. Ini membesar-besarkan perbedaan kecil; Kebohongan visual yang paling umum. Selalu periksa.
- Melihat korelasinya dan melewatkan grafik. Korelasi yang sama berasal dari pola yang sangat berbeda; bisa cocok dengan hubungan yang aneh. Pertama, hamburan.
- Mengingat pola yang ditemukan dalam penemuan tersebut sebagai “bukti” dalam data yang sama. Ini adalah pintu gerbang menuju peretasan p; Konfirmasi dilakukan secara terpisah.
- Jenis bagan salah. Pencocokan seperti bar untuk tren dan pie untuk distribusi menyesatkan. Pilih genre berdasarkan pertanyaan.
- Menyembunyikan ukuran sampel. n=8 dan n=8.000 seharusnya tidak terlihat sama pada grafik yang sama; ketidakpastian harus ditunjukkan.
Tip: Sebelum menerbitkan bagan, tanyakan pada diri Anda: "Apakah ceritanya akan berubah jika saya mengubah sumbunya?" Jika jawabannya ya, Anda mungkin memulai pivot dari tempat yang tidak jujur.
Singkatnya
Analisis data eksplorasi merupakan fase pertemuan data, melihat pola dan menghasilkan hipotesis; Ini bukan konfirmasi. AI dengan cepat menghasilkan statistik deskriptif dan kode grafik, tetapi Anda memilih jenis grafik berdasarkan pertanyaan Anda dan mengontrol prinsip keadilan (sumbu nol, skala konsisten, ketidakpastian nyata). Lihatlah sebarannya sebelum memercayai angka korelasinya; Jangan nyatakan pola yang Anda temukan dalam penemuan sebagai "bukti" pada data yang sama. Grafik AI yang indah belum tentu grafiknya benar.
Tugas aplikasi
Pilih setidaknya tiga variabel dalam kumpulan data. Minta AI dan jalankan kode yang menghasilkan grafik eksplorasi (histogram, sebar, kotak) dengan prompt yang menegakkan aturan kejujuran. Untuk setiap bagan: periksa (1) kesesuaian jenis bagan dengan pertanyaan, (2) kejujuran sumbu, (3) visibilitas ukuran sampel. Tulis setidaknya satu “catatan penemuan” dalam bahasa hipotesis (“…tampaknya diuji secara terpisah”). Periksa korelasi dengan hitungan dan pencar dan laporkan jika ada perbedaan di antara keduanya.
daftar periksa
- [ ] Saya memilih tipe bagan berdasarkan pertanyaan dan tipe data saya.
- [ ] Dalam diagram batang, saya memulai sumbu y dari nol; Saya memeriksa kejujuran sumbu.
- [ ] Saya melihat diagram sebar sebelum memercayai korelasinya.
- [ ] Saya merefleksikan ukuran sampel dan ketidakpastian pada grafik.
- [ ] Saya menulis pola yang saya temukan dalam eksplorasi sebagai "hipotesis yang harus diuji" dan bukan "bukti".
- [ ] Saya mencatat bahwa saya tidak akan menggunakan data yang sama untuk konfirmasi dan diperlukan langkah terpisah.