Keuntungan:
- Kemampuan untuk mengeksplorasi distribusi, pusat, penyebaran dan anomali variabel dengan grafik yang sesuai (histogram, box plot, scatter plot).
- Kemampuan menafsirkan korelasi dengan benar dan membacanya bersama dengan plot sebar, tanpa membingungkannya dengan kausalitas
- Kemampuan untuk memahami bahwa ringkasan statistik dapat menyesatkan (pelajaran Anscombe) dan mengembangkan hipotesis yang menentukan arah pemodelan.
Sebelum membangun model, perlu diketahui datanya. Sama seperti dokter yang tidak meresepkan obat tanpa memeriksa pasiennya, data scientist juga tidak membuat model tanpa "memeriksa" datanya. Pemeriksaan ini disebut analisis data eksplorasi (disingkat EDA): ini adalah fase menemukan distribusi, hubungan, kejutan dan jebakan data secara visual dan grafis. Tujuan EDA adalah menghasilkan hipotesis, menangkap kesalahan, dan menentukan arah pemodelan. Kecerdasan buatan adalah asisten yang sangat berguna pada tahap ini: ia menyarankan bagan mana yang cocok, menulis kodenya, dan menafsirkan distribusi. Namun seseorang memutuskan, dengan pengetahuan lapangannya, apakah pola yang dilihatnya itu nyata atau hanya kebetulan.
Apa yang dicari EDA?
EDA mencari jawaban atas empat pertanyaan. Distribusi: Bagaimana setiap variabel didistribusikan—apakah simetris, miring, atau berpuncak dua? Tendensi sentral dan penyebarannya: Apa mean, median, deviasi standarnya? Hubungan: Bagaimana variabel-variabel tersebut berhubungan satu sama lain? Anomali: Apakah ada nilai, kesenjangan, pengelompokan yang tidak terduga? Keempat pertanyaan ini menentukan fitur mana yang akan berfungsi dan model mana yang sesuai.
Mari kita definisikan beberapa konsep dasar. Histogram adalah grafik yang membagi nilai suatu variabel numerik menjadi beberapa interval dan menunjukkan berapa banyak pengamatan dalam setiap interval; Ini adalah cara tercepat untuk melihat distribusinya. Skewness adalah pergeseran distribusi ke satu arah; Variabel seperti pendapatan cenderung condong ke kanan (mayoritas rendah, sedikit yang sangat tinggi). Plot kotak memperlihatkan sekilas median, kuartil, dan outlier. Plot sebar menunjukkan hubungan dua variabel numerik dengan kumpulan titik.
Korelasi: ada hubungan tapi hati-hati
Korelasi — ukuran bagaimana dua variabel bergerak bersama; angka antara -1 dan +1 — adalah alat EDA yang paling banyak digunakan dan paling disalahpahami. +1 berarti kenaikan bersama sempurna, -1 berarti hubungan terbalik sempurna, 0 berarti tidak ada hubungan linier. Ada dua jebakan besar. Pertama, aturan terkenal: korelasi bukanlah sebab akibat. Kasus tersedak meningkat seiring dengan penjualan es krim; bukan karena yang satu mengarah ke yang lain, tapi karena musim panas (variabel ketiga yang tersembunyi) memicu keduanya. Kedua, korelasi hanya mengukur hubungan linier; Ini mungkin menunjukkan hubungan yang kuat namun melengkung mendekati 0. Jadi ketika melihat korelasi, pastikan untuk melihat plot sebar juga.
Perhatian: Saat AI memberikan angka korelasi, AI mungkin akan menggunakan bahasa sebab akibat seperti “A bertambah B.” Ini berbahaya. Korelasi hanya menunjukkan pergerakan bersama; Hanya pengalaman, pengetahuan domain, dan inferensi cermat yang dapat menentukan alasannya.
Kuartet Anscombe: mengapa tidak melihat nomornya saja
Ada contoh terkenal dalam statistik: kuartet Anscombe. Empat kumpulan data berbeda mempunyai mean yang hampir sama, varians yang sama, dan korelasi yang sama (0,82); Namun ketika dibuat grafik, keduanya terlihat sangat berbeda — satu garis lurus, satu garis melengkung, satu lagi awan yang ditarik oleh sebuah outlier. Pelajarannya jelas: ringkasan statistik menyesatkan, melihat grafik adalah suatu keharusan. AI dapat memberi Anda rata-rata dan korelasi, tetapi memercayai angka-angka tersebut tanpa melihat grafiknya berarti Anda termasuk dalam perangkap Anscombe.
Tabel di bawah ini merangkum bagan mana yang sesuai dengan pertanyaan mana:
Pertanyaan
grafis yang sesuai
Apa yang ditunjukkan
Distribusi satu variabel
Histogram / KDE
Bentuk, kemiringan, jumlah simpul
Pusat dan outlier
Plot kotak
Median, kuartil, outlier
Hubungan dua angka
grafik sebar
Arah, kekuatan, kelengkungan
Perbandingan kategori
diagram batang
Perbedaan antar kelompok
berubah seiring waktu
grafik garis
Tren, musiman
Hubungan multivariat
Peta panas korelasi
Matriks hubungan umum
Paradoks Simpson: data agregat bisa berbohong
Jebakan licik dalam EDA yang harus diwaspadai adalah paradoks Simpson: suatu pola mungkin menunjukkan satu arah ketika semua data diperiksa bersama-sama, namun berbalik arah ketika data dibagi menjadi subkelompok yang bermakna. Contoh klasik: tingkat penerimaan keseluruhan pelamar perempuan di sebuah universitas tampaknya lebih rendah dibandingkan laki-laki; Namun jika dilihat dari departemen demi departemen, tingkat penerimaan perempuan lebih tinggi dibandingkan laki-laki di sebagian besar departemen. Dari mana? Perempuan melamar ke departemen yang lebih kompetitif (tingkat penerimaan lebih rendah); Nomor gabungan menyimpan variabel tersembunyi ini. Pelajarannya jelas: ketika melihat total atau rata-rata, pastikan untuk memeriksa apakah angka tersebut menceritakan kisah yang sama ketika dipecah menjadi subkelompok yang bermakna (segmen, periode, saluran). Saat AI memberi Anda tarif gabungan, menanyakan “apakah tarif tersebut masih valid saat Anda mengelompokkannya” akan mendapatkan hasil yang paling menyesatkan sejak awal.
tiga kasus mini
Kasus 1 — Dua bukit tersembunyi. Seorang analis menemukan rata-rata usia pelanggan adalah 41 tahun dan melaporkannya sebagai "kelompok paruh baya". Namun histogram menunjukkan dua puncak: kelompok usia 22-28 tahun dan 55-62 tahun. Rata-rata 41 sebenarnya tidak mewakili siapa pun. Pelajaran: plot distribusinya sebelum memercayai mean.
Kasus 2 — Korelasi palsu. Sebuah tim menemukan korelasi sebesar 0,78 antara “belanja iklan” dan “penjualan” dan menggandakan anggarannya. Namun, yang memicu keduanya adalah kampanye musiman; selama periode di luar kampanye, hubungannya turun menjadi 0,10. Iklan tambahan 340 ribu TL tidak menghasilkan keuntungan yang diharapkan. Pelajaran: Mengira korelasi sebagai sebab akibat itu mahal.
Kasus 3 - Garis yang ditarik oleh pelawan tunggal. Analisis real estat menunjukkan hubungan yang kuat antara ukuran luas dan harga (r=0,80). Ketika plot pencar digambar, hampir seluruh hubungan diciptakan oleh satu vila mewah 12 juta TL; Ketika titik tersebut dihilangkan, korelasinya turun menjadi 0,31. Pelajaran: selalu membaca korelasi beserta scatter plotnya.
Empat templat yang dapat disalin
1) Ringkasan EDA otomatis:
Saya punya panda df. Tulis kode yang menghasilkan: (1) df.info() dan df.describe(), (2) histogram untuk setiap kolom numerik, (3) hitungan untuk setiap kolom kategorikal. Jangan berkomentar, cukup buat kode penemuan; Saya menafsirkan polanya.
2) Korelasi + visual (dengan peringatan kausalitas):
Tulis kode yang menggambarkan matriks korelasi dan peta panas untuk kolom numerik. Gambar juga plot sebar dari 3 pasangan berkorelasi tertinggi. Tambahkan baris komentar pada output yang mengingatkan Anda bahwa korelasi tidak menyiratkan hubungan sebab-akibat. Jangan membuat klaim sebab akibat.
3) Diagnosis distribusi:
Untuk kolom “income_tl” : tulis kode yang menghasilkan histogram, box plot, nilai skewness dan perbandingan median/mean. Saya akan tafsirkan apakah distribusinya miring atau tidak; berikan saja kodenya.
4) Perbandingan segmen:
Bandingkan pelanggan berdasarkan "saluran" (web/seluler): tulis kode yang menghasilkan diagram kotak jumlah rata-rata, jumlah median, jumlah pesanan, dan distribusi jumlah untuk setiap saluran. Sarankan pengujian mana yang sesuai untuk signifikansi statistik dari perbedaan antara kedua saluran, namun keputusan ada di tangan saya.
Perintah lemah / Perintah kuat
Perintah yang lemah:
Temukan sesuatu yang menarik dalam data ini.
“Menarik” tidak dapat didefinisikan; AI tidak melihat datanya, jadi AI mengada-ada atau membuat pernyataan umum. Tidak ada arah, tidak ada variabel, tidak ada tujuan.
Perintah yang kuat:
Peran Anda: asisten EDA. kolom df: umur (int), pendapatan_tl (float), kota (kategori), saluran (web/seluler), jumlah (float). Tujuan: untuk mengetahui faktor-faktor yang mempengaruhi “jumlah”. Tugas: (1) plot kode distribusi jumlah, (2) grafik distribusi antara jumlah dan umur serta pendapatan_tl, (3) box plot jumlah dalam rincian saluran. Menetapkan klaim sebab akibat; Cukup buat kode penemuan dan saya akan menafsirkan polanya.
Di sini, tujuan, variabel, dan batasan “mengklaim kausalitas” menjadi jelas.
Kesalahan umum
- Hanya mengandalkan statistik ringkasan. Seperti yang ditunjukkan oleh kuartet Anscombe, mean yang sama menyembunyikan distribusi yang sangat berbeda; lihat grafik.
- Salah mengira korelasi sebagai sebab akibat. Aksi bersama tidak menunjukkan bahwa tindakan yang satu mengarah ke tindakan yang lain; Waspadai variabel tersembunyi.
- Melihat korelasi tanpa scatter plot. Satu outlier atau kelengkungan menyesatkan angka tersebut.
- Meringkas distribusi dua puncak/miring dengan mean. Rata-rata mungkin tidak mewakili siapa pun.
- Melewatkan EDA dan langsung ke modelnya. Data yang tidak dikenali berarti model buta.
Tip: Dengan setiap kumpulan data baru, habiskan 30 menit pertama hanya dengan menggambar grafik: histogram setiap numerik, plot sebar dari pasangan signifikan, diagram batang kategori. 30 menit ini mencegah kesalahan pemodelan di masa mendatang di masa mendatang.
Singkatnya
EDA adalah fase mengenal data sebelum membangun model dan mencari jawaban atas empat pertanyaan: distribusi, penyebaran pusat, hubungan, dan anomali. Ringkasan statistik bisa menyesatkan; melihat grafik adalah suatu keharusan (kuliah Anscombe). Korelasi adalah alat yang ampuh, namun hubungan sebab-akibat bukanlah alat yang tepat dan harus dibaca bersamaan dengan plot sebar. AI adalah akselerator hebat untuk menyarankan grafik dan menulis kode; Namun masyarakat menafsirkan dengan pengetahuan lapangannya apakah pola yang mereka lihat itu nyata atau hanya kebetulan.
Tugas aplikasi
Pilih kumpulan data dan lakukan EDA: ekstrak histogram dari setidaknya tiga variabel numerik, plot sebar dari dua pasang variabel, dan peta panas korelasi. Temukan setidaknya satu “kejutan” (seperti distribusi dengan dua puncak, kandidat korelasi palsu, hubungan yang tertarik oleh outlier tunggal) dan jelaskan dalam satu kalimat. Tulislah tanpa membuat klaim sebab akibat.
daftar periksa
- [ ] Sudahkah saya membuat grafik distribusi setiap variabel numerik?
- [ ] Apakah saya melihat korelasinya dengan diagram sebar?
- [ ] Apakah saya sudah memisahkan kausalitas dan korelasi?
- [ ] Tidakkah saya memperhatikan distribusi yang miring atau dua puncak dan begitu saja memercayai meannya?
- [ ] Sudahkah saya mendapatkan setidaknya satu aspek/hipotesis pemodelan dari temuan EDA saya?