Keuntungan:
- Keupayaan untuk meneroka taburan, pusat, sebaran dan anomali pembolehubah dengan graf yang sesuai (histogram, plot kotak, plot serakan).
- Keupayaan untuk mentafsir korelasi dengan betul dan membacanya bersama-sama dengan plot serakan, tanpa mengelirukannya dengan sebab akibat
- Keupayaan untuk memahami bahawa statistik ringkasan boleh mengelirukan (pelajaran Anscombe) dan membangunkan hipotesis yang menentukan arah pemodelan.
Sebelum membina model, adalah perlu untuk mengetahui data. Sama seperti doktor tidak menetapkan ubat tanpa memeriksa pesakit, saintis data tidak membina model tanpa "memeriksa" data. Peperiksaan ini dipanggil analisis data penerokaan (pendek kata EDA): ia adalah fasa menemui pengedaran, hubungan, kejutan dan perangkap data secara visual dan grafik. Tujuan EDA adalah untuk menjana hipotesis, menangkap ralat, dan menentukan arah pemodelan. Kecerdasan buatan ialah pembantu yang sangat berkuasa pada peringkat ini: ia mencadangkan carta mana yang sesuai, menulis kodnya, mentafsir pengedaran. Tetapi seseorang memutuskan, dengan pengetahuan bidangnya, sama ada corak yang dilihatnya adalah benar atau kebetulan.
Apakah yang dicari oleh EDA?
EDA mencari jawapan kepada empat soalan. Taburan: Bagaimanakah setiap pembolehubah diedarkan—adakah ia simetri, condong atau dua puncak? Kecenderungan pusat dan sebaran: Apakah min, median, sisihan piawai? Hubungan: Bagaimanakah pembolehubah berkaitan antara satu sama lain? Anomali: Adakah terdapat nilai yang tidak dijangka, jurang, kumpulan? Empat soalan ini menentukan ciri yang akan berfungsi dan model yang sesuai.
Mari kita tentukan beberapa konsep asas. Histogram ialah graf yang membahagikan nilai pembolehubah berangka kepada selang dan menunjukkan bilangan cerapan dalam setiap selang; Ia adalah cara terpantas untuk melihat pengedaran. Kecondongan ialah anjakan taburan dalam satu arah; Pembolehubah seperti pendapatan condong ke kanan (majoriti rendah, sedikit sangat tinggi). Plot kotak menunjukkan median, kuartil dan outlier sekilas pandang. Plot serakan menunjukkan hubungan dua pembolehubah berangka dengan awan mata.
Korelasi: ada hubungan tetapi berhati-hati
Korelasi — ukuran bagaimana dua pembolehubah bergerak bersama; nombor antara -1 dan +1 — ialah alat EDA yang paling banyak digunakan dan paling disalahfahamkan. +1 bermaksud peningkatan bersama yang sempurna, -1 bermaksud hubungan songsang yang sempurna, 0 bermaksud tiada hubungan linear. Terdapat dua perangkap besar. Pertama, peraturan yang terkenal: korelasi bukan sebab. Kes tercekik meningkat dengan jualan aiskrim; bukan kerana satu membawa kepada yang lain, tetapi kerana musim panas (pembolehubah ketiga yang tersembunyi) mencetuskan kedua-duanya. Kedua, korelasi hanya mengukur hubungan linear; Ia mungkin menunjukkan hubungan yang kuat tetapi melengkung hampir kepada 0. Jadi apabila melihat korelasi, pastikan anda melihat plot serakan juga.
Awas: Apabila AI memberikan nombor korelasi, ia mungkin tergelincir ke dalam bahasa kausal seperti "A meningkatkan B." Ini bahaya. Korelasi hanya menunjukkan pergerakan bersama; Hanya pengalaman, pengetahuan domain dan inferens yang teliti yang menentukan sebabnya.
Kuartet Anscombe: kenapa tidak lihat sahaja nombornya
Terdapat contoh terkenal dalam statistik: kuartet Anscombe. Empat set data yang berbeza mempunyai min yang hampir sama, varians yang sama, dan korelasi yang sama (0.82); Tetapi apabila digraf, ia kelihatan berbeza sama sekali — satu garis lurus, satu garis melengkung, satu awan yang ditarik oleh satu garis terpencil. Pengajarannya jelas: statistik ringkasan mengelirukan, melihat graf adalah satu kemestian. AI boleh memberi anda purata dan korelasi, tetapi mempercayai nombor tersebut tanpa melihat graf akan jatuh ke dalam perangkap Anscombe.
Jadual di bawah meringkaskan carta mana yang sesuai dengan soalan mana:
soalan
grafik yang sesuai
Apa yang ditunjukkan
Taburan pembolehubah tunggal
Histogram / KDE
Bentuk, kecondongan, bilangan bucu
Pusat dan luar
Plot kotak
Median, kuartil, outlier
Hubungan dua nombor
carta taburan
Arah, kekuatan, kelengkungan
Perbandingan kategori
carta palang
Perbezaan antara kumpulan
berubah mengikut masa
carta garisan
Trend, bermusim
Hubungan pelbagai variasi
Peta haba korelasi
Matriks perhubungan am
Paradoks Simpson: data agregat boleh berbohong
Perangkap licik dalam EDA yang perlu diketahui ialah paradoks Simpson: corak mungkin menunjukkan satu arah apabila semua data diperiksa bersama, tetapi terbalik apabila data dibahagikan kepada subkumpulan yang bermakna. Contoh klasik: kadar penerimaan keseluruhan untuk pemohon wanita di universiti nampaknya lebih rendah daripada lelaki; Tetapi apabila dilihat jabatan demi jabatan, kadar penerimaan wanita lebih tinggi berbanding lelaki di kebanyakan jabatan. dari mana? Wanita memohon untuk jabatan yang lebih kompetitif (kadar penerimaan yang lebih rendah); Nombor gabungan menyimpan pembolehubah tersembunyi ini. Pengajarannya jelas: apabila melihat jumlah atau purata, pastikan anda menyemak sama ada nombor itu menceritakan kisah yang sama apabila dipecahkan kepada subkumpulan yang bermakna (segmen, noktah, saluran). Apabila AI memberi anda kadar gabungan, bertanya "adakah ia masih sah apabila anda membahagikannya" akan mendapat hasil yang paling mengelirukan lebih awal.
tiga kes mini
Kes 1 — Dua bukit tersembunyi. Seorang penganalisis mendapati purata umur pelanggan ialah 41 dan melaporkannya sebagai "orang ramai pertengahan umur." Tetapi histogram menunjukkan dua puncak: kumpulan umur 22-28 dan 55-62. Purata 41 sebenarnya tidak mewakili sesiapa pun. Pengajaran: plot taburan sebelum mempercayai min.
Kes 2 — Korelasi palsu. Satu pasukan menemui korelasi 0.78 antara "perbelanjaan iklan" dan "jualan" dan menggandakan belanjawan. Walau bagaimanapun, apa yang mencetuskan kedua-duanya ialah kempen bermusim; semasa tempoh luar kempen, perhubungan menurun kepada 0.10. 340 ribu TL pengiklanan tambahan tidak menghasilkan pulangan yang diharapkan. Pengajaran: salah mengira korelasi untuk sebab adalah mahal.
Kes 3 — Garisan yang dilukis oleh lawan tunggal. Analisis hartanah menunjukkan hubungan yang kukuh antara rakaman persegi dan harga (r=0.80). Apabila plot taburan dilukis, hampir keseluruhan hubungan telah dicipta oleh satu vila mewah TL 12 juta; Apabila titik itu dikeluarkan, korelasi turun kepada 0.31. Pengajaran: sentiasa baca perkaitan bersama plot serakan.
Empat templat yang boleh disalin
1) Ringkasan EDA automatik:
Saya mempunyai df panda. Tulis kod yang menghasilkan: (1) df.info() dan df.describe(), (2) histogram untuk setiap lajur berangka, (3) kiraan untuk setiap lajur kategori. Jangan komen, hanya jana kod penemuan; Saya mentafsir corak.
2) Korelasi + visual (dengan kaveat sebab musabab):
Tulis kod yang melukis matriks korelasi dan peta haba untuk lajur berangka. Juga lukis plot serakan 3 pasangan berkorelasi tertinggi. Tambahkan baris ulasan pada output yang mengingatkan anda bahawa korelasi tidak membayangkan sebab. Jangan buat dakwaan sebab musabab.
3) Diagnosis pengedaran:
Untuk lajur "income_tl": tulis kod yang menghasilkan histogram, plot kotak, nilai kecondongan dan perbandingan median/min. Saya akan mentafsir sama ada agihan itu serong atau tidak; berikan kod sahaja.
4) Perbandingan segmen:
Bandingkan pelanggan mengikut "saluran" (web/mudah alih): tulis kod yang menghasilkan plot kotak amaun purata, amaun median, bilangan pesanan dan pengedaran amaun untuk setiap saluran. Cadangkan ujian mana yang sesuai untuk kepentingan statistik perbezaan antara kedua-dua saluran, tetapi keputusannya terpulang kepada saya.
Gesaan lemah / Gesaan kuat
Gesaan yang lemah:
Cari sesuatu yang menarik dalam data ini.
"Menarik" tidak ditentukan; AI tidak melihat data, jadi ia sama ada membuat atau membuat kenyataan umum. Tiada hala tuju, tiada pembolehubah, tiada tujuan.
Gesaan kuat:
Peranan anda: pembantu EDA. lajur df: umur (int), pendapatan_tl (terapung), bandar (kategori), saluran (web/mudah alih), jumlah (terapung). Tujuan: untuk mengetahui faktor yang mempengaruhi "jumlah". Tugas: (1) memplot kod pengagihan amaun, (2) graf pengagihan antara amaun dan umur serta pendapatan_tl, (3) plot kotak amaun dalam pecahan saluran. Mewujudkan tuntutan sebab akibat; Hanya jana kod penemuan dan saya akan mentafsir corak.
Di sini, tujuan, pembolehubah dan had "mendakwa kausalitas" adalah jelas.
Kesilapan biasa
- Bergantung semata-mata pada statistik ringkasan. Seperti yang ditunjukkan oleh kuartet Anscombe, min yang sama menyembunyikan taburan yang sangat berbeza; lihat carta.
- Tersalah korelasi untuk sebab musabab. Tindakan bersama tidak menunjukkan bahawa satu membawa kepada yang lain; Berhati-hati dengan pembolehubah tersembunyi.
- Melihat korelasi tanpa plot serakan. Satu outlier atau kelengkungan mengelirukan nombor.
- Merumuskan taburan dua puncak/serong dengan min. Rata-rata mungkin tidak mewakili sesiapa.
- Melangkau EDA dan pergi terus ke model. Data tidak dikenali bermaksud model buta.
Petua: Dengan setiap set data baharu, luangkan masa 30 minit pertama hanya dengan melukis graf: histogram setiap angka, plot taburan pasangan bererti, carta bar bagi kategori. 30 minit ini menghalang ralat pemodelan masa hadapan untuk hari-hari yang akan datang.
Secara ringkasnya
EDA ialah fasa untuk mengenali data sebelum membina model dan mencari jawapan kepada empat soalan: pengedaran, penyebaran tengah, perhubungan dan anomali. Statistik ringkasan boleh mengelirukan; melihat graf adalah satu kemestian (kuliah Anscombe). Korelasi ialah alat yang berkuasa, tetapi sebab musabab tidak dan semestinya harus dibaca bersama dengan plot berselerak. AI ialah pemecut yang hebat untuk mencadangkan grafik dan menulis kod; Tetapi orang mentafsir dengan pengetahuan bidang mereka sama ada corak yang mereka lihat itu nyata atau kebetulan.
Tugasan permohonan
Pilih set data dan hanya lakukan EDA: ekstrak histogram sekurang-kurangnya tiga pembolehubah berangka, plot serakan dua pasang pembolehubah dan peta haba korelasi. Cari sekurang-kurangnya satu "kejutan" (seperti taburan dengan dua puncak, calon untuk korelasi palsu, hubungan yang tertarik dengan satu outlier) dan terangkan dalam satu ayat. Tulis tanpa membuat sebarang tuntutan sebab akibat.
senarai semak
- [ ] Adakah saya telah membuat graf taburan setiap pembolehubah berangka?
- [ ] Adakah saya melihat perkaitan dengan plot serakan?
- [ ] Adakah saya telah memisahkan kausaliti dan korelasi?
- [ ] Tidakkah saya perasan taburan condong atau dua puncak dan secara membabi buta mempercayai purata?
- [ ] Adakah saya telah memperoleh sekurang-kurangnya satu aspek pemodelan/hipotesis daripada penemuan EDA saya?