Daromadlar:
- Tegishli grafiklar (gistogramma, quti chizmasi, tarqalish grafigi) bilan o'zgaruvchilarning taqsimlanishi, markazi, tarqalishi va anomaliyalarini o'rganish qobiliyati.
- Korrelyatsiyani to'g'ri talqin qilish va uni sababiy bog'liqlik bilan chalkashtirmasdan, tarqalish sxemasi bilan birga o'qish qobiliyati
- Xulosa statistik ma'lumotlar noto'g'ri bo'lishi mumkinligini tushunish qobiliyati (Anscombe darsi) va modellashtirish yo'nalishini aniqlaydigan farazlarni ishlab chiqish.
Modelni yaratishdan oldin ma'lumotlarni bilish kerak. Shifokor bemorni tekshirmasdan dori-darmonlarni buyurmagani kabi, ma'lumot olimi ham ma'lumotlarni "tekshirish"siz model tuzmaydi. Ushbu tekshiruv tadqiqot ma'lumotlarini tahlil qilish (qisqacha EDA) deb ataladi: bu ma'lumotlarning tarqalishini, munosabatlarini, kutilmagan hodisalarini va tuzoqlarini vizual va grafik tarzda aniqlash bosqichidir. EDA ning maqsadi gipotezalarni yaratish, xatolarni aniqlash va modellashtirish yo'nalishini aniqlashdir. Sun'iy intellekt bu bosqichda juda kuchli yordamchidir: u qaysi diagramma mos kelishini taklif qiladi, uning kodini yozadi, taqsimotni sharhlaydi. Lekin inson o‘zining soha bilimi bilan ko‘rgan naqsh haqiqiymi yoki tasodifmi, degan qarorga keladi.
EDA nimani qidiradi?
EDA to'rtta savolga javob izlaydi. Tarqatish: Har bir o'zgaruvchi qanday taqsimlanadi - u nosimmetrikmi, qiyshiqmi yoki ikki cho'qqisi bormi? Markaziy tendentsiya va tarqalish: o'rtacha, o'rtacha, standart og'ish nima? Aloqalar: o'zgaruvchilar bir-biri bilan qanday bog'liq? Anomaliyalar: kutilmagan qadriyatlar, bo'shliqlar, guruhlar mavjudmi? Ushbu to'rtta savol qaysi xususiyat ishlashini va qaysi modelga mos kelishini aniqlaydi.
Keling, ba'zi asosiy tushunchalarni aniqlaylik. Gistogramma - bu raqamli o'zgaruvchining qiymatlarini intervallarga ajratadigan va har bir oraliqda qancha kuzatuv borligini ko'rsatadigan grafik; Bu taqsimotni ko'rishning eng tezkor usuli. Skewness - taqsimotning bir tomonga siljishi; Daromad kabi o'zgaruvchilar o'ngga qiyshaygan (ko'pchilik past, bir nechtasi juda yuqori). Quti syujeti bir qarashda mediana, kvartillar va chetdagilarni ko'rsatadi. Tarqalish sxemasi ikkita raqamli o'zgaruvchining nuqta buluti bilan bog'liqligini ko'rsatadi.
Korrelyatsiya: munosabatlar bor, lekin ehtiyot bo'ling
Korrelyatsiya - ikki o'zgaruvchining birgalikda harakatlanishining o'lchovi; -1 dan +1 gacha bo'lgan raqam EDA ning eng ko'p ishlatiladigan va eng noto'g'ri tushunilgan vositasidir. +1 mukammal birgalikda o'sish, -1 mukammal teskari munosabat, 0 chiziqli aloqa yo'q degan ma'noni anglatadi. Ikkita katta tuzoq bor. Birinchidan, mashhur qoida: korrelyatsiya sabab emas. Muzqaymoq savdosi bilan bo'g'ilish holatlari ko'payadi; biri boshqasiga olib kelgani uchun emas, balki yoz (yashirin uchinchi o'zgaruvchi) ikkalasini ham ishga tushirganligi uchun. Ikkinchidan, korrelyatsiya faqat chiziqli munosabatlarni o'lchaydi; Bu 0 ga yaqin kuchli, lekin egri chiziqli munosabatni ko'rsatishi mumkin. Shuning uchun korrelyatsiyani ko'rib chiqayotganda, tarqalish grafigiga ham qarang.
Diqqat: AI korrelyatsiya raqamini berganda, u "A B ni oshiradi" kabi sabab-oqibatli tilga tushishi mumkin. Bu xavfli. Korrelyatsiya faqat birgalikda harakatni bildiradi; Buning sababini faqat tajriba, domen bilimi va puxta xulosa aniqlaydi.
Anscombe kvarteti: nega shunchaki raqamga qaramaslik kerak
Statistikada mashhur misol bor: Anscombe kvarteti. To'rt xil ma'lumotlar to'plami deyarli bir xil o'rtacha, bir xil dispersiya va bir xil korrelyatsiyaga ega (0,82); Ammo grafik chizilganda, ular butunlay boshqacha ko'rinadi - bitta to'g'ri chiziq, bitta egri chiziq, bitta chiziqqa tortilgan bulut. Dars aniq: umumlashtirilgan statistik ma'lumotlar noto'g'ri, grafikaga qarash kerak. AI sizga o'rtacha va korrelyatsiyalarni berishi mumkin, ammo grafikni ko'rmasdan bu raqamlarga ishonish Anscombe tuzog'iga tushadi.
Quyidagi jadval qaysi diagramma qaysi savolga mos kelishini umumlashtiradi:
Savol
mos grafik
Nima ko'rsatadi
Bitta o'zgaruvchining taqsimlanishi
Gistogramma / KDE
Shakli, qiyshiqligi, uchlari soni
Markaz va tashqi ko'rsatkichlar
Quti syujeti
Median, kvartillar, chet elliklar
Ikki raqamning munosabati
tarqalish diagrammasi
Yo'nalish, kuch, egrilik
Kategoriyalarni taqqoslash
ustunli diagramma
Guruhlar orasidagi farq
vaqt o'tishi bilan o'zgaradi
chiziqli diagramma
Trend, mavsumiylik
Ko'p o'zgaruvchan munosabat
Korrelyatsiya issiqlik xaritasi
Umumiy munosabatlar matritsasi
Simpson paradoksi: yig'ilgan ma'lumotlar yolg'on gapirishi mumkin
EDAdagi yashirin tuzoq Simpsonning paradoksini bilish kerak: barcha ma'lumotlar birgalikda tekshirilganda naqsh bir yo'nalishni ko'rsatishi mumkin, ammo ma'lumotlar mazmunli kichik guruhlarga bo'linganda teskari bo'lishi mumkin. Klassik misol: universitetga ayol abituriyentlar uchun umumiy qabul darajasi erkaklarnikidan pastroq ko'rinadi; Ammo kafedralar bo'yicha qaralganda, aksariyat bo'limlarda ayollarning qabul darajasi erkaklarnikidan yuqori. Qayerdan? Ayollar raqobatbardosh (pastroq qabul stavkalari) bo'limlariga murojaat qilishdi; Birlashtirilgan raqam ushbu yashirin o'zgaruvchini saqlaydi. Dars aniq: jami yoki o'rtacha ko'rsatkichni ko'rib chiqayotganda, bu raqam mazmunli kichik guruhlarga (segment, davr, kanal) bo'linganida bir xil voqeani aytib berishini tekshirib ko'ring. AI sizga birlashtirilgan stavkani berganda, "siz uni segmentga bo'lganingizda ham amal qiladimi" deb so'rash eng noto'g'ri natijalarni boshidanoq qo'lga kiritadi.
uchta mini holat
1-holat - ikkita yashirin tepalik. Bir tahlilchi mijozning o'rtacha yoshini 41 deb topdi va uni "o'rta yoshdagi olomon" deb xabar qildi. Ammo gistogramma ikkita cho'qqini ko'rsatdi: 22-28 va 55-62 yosh guruhlari. O'rtacha 41 aslida hech kimni ifodalamadi. Dars: o'rtachaga ishonishdan oldin taqsimotni tuzing.
2-holat - soxta korrelyatsiya. Bir jamoa "reklama xarajatlari" va "sotish" o'rtasidagi 0,78 korrelyatsiyani topdi va byudjetni ikki baravar oshirdi. Biroq, ikkalasiga ham mavsumiy kampaniyalar sabab bo'lgan; kampaniyadan tashqari davrda munosabatlar 0,10 ga kamaydi. 340 ming liralik qo'shimcha reklama kutilgan daromadni bermadi. Dars: korrelyatsiyani sababiy bog'lanish uchun xato qilish qimmatga tushadi.
3-holat - yolg'iz qarama-qarshilik chizgan chiziq. Ko'chmas mulk tahlili kvadrat metr va narx o'rtasidagi kuchli bog'liqlikni ko'rsatdi (r = 0,80). Tarqalish syujeti chizilganida, deyarli butun munosabatlar bitta 12 million liralik hashamatli villa tomonidan yaratilgan; Bu nuqta olib tashlanganda, korrelyatsiya 0,31 ga tushdi. Dars: har doim korrelyatsiyani tarqalish sxemasi bilan birga o'qing.
To'rt nusxa ko'chirish shablonlari
1) Avtomatik EDA xulosasi:
Menda pandalar df bor. Quyidagilarni yaratadigan kodni yozing: (1) df.info() va df.describe(), (2) har bir raqamli ustun uchun histogramma, (3) har bir kategorik ustun uchun hisoblash. Sharh bermang, shunchaki kashfiyot kodini yarating; Men naqshlarni izohlayman.
2) Korrelyatsiya + ingl (sabab bo'yicha ogohlantirish bilan):
Raqamli ustunlar uchun korrelyatsiya matritsasi va issiqlik xaritasini chizadigan kodni yozing. Shuningdek, 3 ta eng yuqori korrelyatsiya qilingan juftlikning tarqalish grafigini chizing. Korrelyatsiya sababini anglatmasligini eslatuvchi xulosaga izoh qatorini qo'shing. Sabablarga bog'liq da'volar qilmang.
3) Tarqatish diagnostikasi:
"Income_tl" ustuni uchun: gistogramma, quti chizmasi, qiyshiqlik qiymati va median/o'rtacha taqqoslash hosil qiluvchi kodni yozing. Men taqsimotning egri yoki yo'qligini izohlayman; faqat kodni bering.
4) Segmentlarni taqqoslash:
Mijozlarni "kanal" (veb/mobil) bo'yicha solishtiring: har bir kanal uchun o'rtacha miqdor, o'rtacha miqdor, buyurtmalar soni va miqdor taqsimoti qutisini yaratadigan kodni yozing. Ikki kanal o'rtasidagi farqning statistik ahamiyati uchun qaysi test mos kelishini taklif qiling, ammo qaror menga bog'liq.
Zaif taklif / Kuchli taklif
Zaif taklif:
Ushbu ma'lumotlarda qiziqarli narsalarni toping.
"Qiziqarli" - aniqlanmagan; AI ma'lumotni ko'rmaydi, shuning uchun u ularni tuzadi yoki umumiy bayonotlar beradi. Hech qanday yo'nalish, o'zgaruvchan, maqsad yo'q.
Kuchli so'rov:
Sizning rolingiz: EDA yordamchisi. df ustunlari: yosh (int), daromad_tl (float), shahar (toifa), kanal (veb/mobil), miqdor (float). Maqsad: "miqdor"ga ta'sir qiluvchi omillarni aniqlash. Vazifa: (1) miqdor taqsimotini ko'rsatuvchi kod, (2) miqdor va yosh va daromad_tl o'rtasidagi taqsimlash grafiklari, (3) kanallar bo'linmasidagi summaning qutisi. Sababviy da'voni aniqlash; Faqat kashfiyot kodini yarating va men naqshni sharhlayman.
Bu erda maqsad, o'zgaruvchilar va "da'vo qilish sababi" chegarasi aniq.
Umumiy xatolar
- Faqat umumiy statistikaga tayanish. Anscombe kvarteti ko'rsatganidek, bir xil o'rtacha juda turli xil taqsimotlarni yashiradi; jadvalga qarang.
- Korrelyatsiyani sababiy bog'lanish deb xato qilish. Birgalikda harakat qilish biri boshqasiga olib borishini bildirmaydi; Yashirin o'zgaruvchilardan ehtiyot bo'ling.
- Tarqalish sxemasisiz korrelyatsiyaga qarash. Bitta chet yoki egri chiziqlilik raqamni chalg'itadi.
- Ikki cho'qqili/qiyshiq taqsimotni o'rtacha bilan umumlashtirish. O'rtacha hech kimni ifodalamasligi mumkin.
- EDA ni o'tkazib yuborish va to'g'ridan-to'g'ri modelga o'tish. Noma'lum ma'lumotlar ko'r modelni anglatadi.
Maslahat: Har bir yangi maʼlumotlar toʻplamida dastlabki 30 daqiqani faqat grafiklarni chizishga sarflang: har bir raqamli gistogramma, muhim juftliklarning tarqalish grafigi, toifalar shtrix diagrammasi. Ushbu 30 daqiqa kelgusi kunlarda kelajakdagi modellashtirish xatolarining oldini oladi.
Xulosa
EDA - bu modelni yaratishdan oldin ma'lumotlar bilan tanishish bosqichidir va to'rtta savolga javob izlaydi: tarqatish, markazning tarqalishi, munosabatlar va anomaliyalar. Xulosa statistik ma'lumotlar noto'g'ri bo'lishi mumkin; grafikaga qarash shart (Anscombe ma'ruzasi). Korrelyatsiya kuchli vositadir, lekin sababiy bog'liqlik emas va, albatta, tarqalish sxemasi bilan birgalikda o'qilishi kerak. AI - grafiklarni taklif qilish va kod yozish uchun ajoyib tezlatgich; Ammo odamlar ko'rgan naqsh haqiqiymi yoki tasodifmi, o'zlarining soha bilimlari bilan izohlaydilar.
Ilova vazifasi
Ma'lumotlar to'plamini tanlang va shunchaki EDA qiling: kamida uchta raqamli o'zgaruvchilarning gistogrammasini, ikki juft o'zgaruvchining tarqalish grafigini va korrelyatsiya issiqlik xaritasini oling. Hech bo'lmaganda bitta "syurpriz" toping (masalan, ikkita cho'qqiga ega bo'lgan taqsimot, soxta korrelyatsiya uchun nomzod, bitta o'zgaruvchanlik tomonidan jalb qilingan munosabatlar) va uni bir jumla bilan tushuntiring. Hech qanday sababchi da'volarsiz yozing.
nazorat ro'yxati
- [ ] Har bir sonli oʻzgaruvchining taqsimlanishini grafik qilib koʻrdimmi?
- [ ] Tarqalishi bilan bog'liqlikni ko'rib chiqdimmi?
- [ ] Sabab va korrelyatsiyani alohida tutdimmi?
- [ ] Men egri yoki ikki cho'qqili taqsimotlarni sezmadimmi va o'rtachaga ko'r-ko'rona ishonmadimmi?
- [ ] EDA natijalarimdan kamida bitta modellashtirish jihati/gipotezasini oldimmi?