Daromadlar:
- Sun'iy intellekt yordamida tavsiflovchi statistika va tarqatish/aloqa jadvallarini ishlab chiqish va ma'lumotlar va savolga muvofiq to'g'ri diagramma turini tanlash qobiliyati
- Sun'iy intellekt tomonidan yaratilgan tasvirlarda noto'g'ri tanlovlarni (chiziqli o'q, noto'g'ri masshtab, haddan tashqari tekislash) tanib olish va halol vizualizatsiya tamoyillarini qo'llash qobiliyati
- Izlanish tahlili gipotezalarni yaratish va bir xil ma'lumotlar bilan kashfiyot va tasdiqlash tuzog'ini (bu p-hacking uchun eshikni ochadi) qilish uchun ekanligini ajrata olish.
Ma'lumotlarni tozalagandan so'ng, empirik tadqiqotchining birinchi ishi ular bilan tanishishdir. Ushbu bosqich kashfiyot ma'lumotlarini tahlil qilish (EDA - Exploratory Data Analysis) deb ataladi: bu ma'lumotlarni grafiklar va umumlashtirilgan statistik ma'lumotlar bilan tekshirish va uning tuzilishi, naqshlari va kutilmagan hodisalarini ko'rish jarayonidir. Maqsad hali gipotezani sinab ko'rish emas, balki ma'lumotlar bilan tanishish, savollar yaratish va kelajakda quradigan modelingiz uchun poydevor qo'yishdir. Ushbu bo'limda biz sun'iy intellekt (AI) EDA va vizualizatsiyani qanday tezlashtirishini ko'rib chiqamiz, lekin nima uchun u ishlab chiqaradigan grafikalar diqqat bilan tekshirilishi kerak.
Avval ikkita asosiy farqni ajratib ko'rsatamiz. Birinchidan, tavsiflovchi statistika (o'rtacha, median, standart og'ish, kvartillar kabi ma'lumotlarni umumlashtiruvchi raqamlar) va vizualizatsiya (bir xil ma'lumotni grafik tarzda ko'rsatish) bir-birini to'ldiradi; Ular birgalikda ma'lumotlarni tasvirlaydilar. Ikkinchidan, eng muhimi: kashfiyot va tasdiqlashni ajratib ko'rsatish kerak. Izlanish tahlili gipotezalarni yaratish uchun; Xuddi shu ma'lumotlar bilan gipotezani o'rganish va "Men uni sinab ko'rdim va uni muhim deb topdim" deb aytish p-hacking uchun eshikni ochadi, biz buni keyingi bo'limda ko'ramiz. Ma'lumotlarga qarash va naqshni ko'rish bepul; Ammo bu namunani xuddi shu ma'lumotlarda "tasdiqlangan topilma" deb e'lon qilish noto'g'ri.
Bosqichma-bosqich tadqiqot tahlili
1. Bir o'zgaruvchan ko'rinish. Har bir o'zgaruvchini alohida ko'rib chiqing: uning taqsimoti simmetrikmi yoki qiyshiqmi; qancha tepaliklar bor; Chiqib ketishlar qayerda? Raqamli o'zgaruvchilar uchun gistogramma (qiymatlarni diapazonlarga bo'lish orqali chastotani ko'rsatadigan chizma) va quti grafigi (boxplot - median, kvartil va ekstremal qiymatlarni ko'rsatadigan diagramma); Kategorik o'zgaruvchilar uchun chastota jadvallari va shtrixli diagrammalardan foydalaning.
2. Ikki o‘zgaruvchan ko‘rinish. Ikki oʻzgaruvchi oʻrtasidagi munosabatni koʻring: ikkita raqamli oʻzgaruvchi uchun tarqalish grafigi (har bir kuzatuvni x-y tekisligidagi nuqta sifatida koʻrsatadi), sonli-kategorik uchun guruhlangan quti grafigi, ikkita toifali uchun oʻzaro jadval. Korrelyatsiya koeffitsientini ko'rib chiqishdan oldin, tarqalish grafigini ko'rib chiqing: bir xil korrelyatsiya juda boshqacha naqshlarni ko'rsatishi mumkin (mashhur Anscombe kvarteti buni ko'rsatadi; to'rtta ma'lumotlar to'plami deyarli bir xil statistik ma'lumotlarga ega, ammo chizilganida ular butunlay boshqacha bo'lib chiqadi).
3. To'g'ri diagramma turini tanlang. Grafik turi sizning savolingiz va ma'lumotlar turiga bog'liq. Tarqatish uchun gistogramma; munosabatlar uchun tarqalish; vaqt o'tishi bilan o'zgartirish uchun chiziqli diagramma; toifalarni taqqoslash uchun chiziqli diagramma; (ehtiyotkorlik bilan) qismlarning butunga nisbati uchun stacked bar. AI siz uchun tezda kod ishlab chiqaradi, ammo "qaysi savol uchun qaysi grafik" qarori sizniki.
4. Naqshga e'tibor bering, natijalarni e'lon qilmang. O'zingiz ko'rgan har qanday qiziqarli naqshni "kashfiyot eslatmasi" sifatida yozib oling, lekin buni tasdiqlangan topilma deb hisoblamang. Tasdiqlash alohida bosqichda, tercihen alohida ma'lumotlar yoki oldindan belgilangan jadval bilan amalga oshiriladi.
Halol vizualizatsiya tamoyillari
Grafik ishontiradi; Shuning uchun uning chalg'ituvchi kuchi ham yuqori. AI estetik, lekin ba'zida noto'g'ri tanlovlar qilishi mumkin. Ushbu siyosatlarni tekshiring:
- Chiziqli diagrammalarda y o'qi noldan boshlanishi kerak. Chiziqli o'q kichik farqlarni katta deb ko'rsatadi.
- O'lchov bir xil bo'lishi kerak. Agar ikkita diagramma taqqoslanayotgan bo'lsa, bir xil o'q oralig'idan foydalaning.
- Haddan tashqari silliqlash haqiqiy naqshni yashirishi mumkin. Trend chizig'i chiroyli ko'rinadi, lekin agar u ma'lumotlarni haddan tashqari "tekislashtirsa", bu noto'g'ri bo'lishi mumkin.
- Rang va 3D bezak ma'lumotlarni emas, balki e'tiborni buzadi. Oddiylikni tanlang.
- Yo'qolgan ma'lumotlar va namuna hajmi ko'rinishi kerak. "n = 12" va "n = 12 000" bir xil ko'rinmasligi kerak.
Diqqat: AI tomonidan ishlab chiqarilgan grafikalar chiroyli bo'lgani uchun ular haqiqat emas. U qiladigan eng keng tarqalgan xato - bu chiziqli diagrammada o'qni noldan boshlamaslik va ikki guruh orasidagi farqni oshirib yuborishdir. Har doim o'qni tekshiring.
Taqqoslash jadvali: savol → diagramma
So'rang
to'g'ri diagramma
Umumiy xato
Bu o'zgaruvchi qanday taqsimlanadi?
Gistogramma/quti syujeti
doira diagrammasidan foydalaning
Ikki raqamli o'zgaruvchilar bog'liqmi?
Tarqalish sxemasi
Faqat korrelyatsiyalar soniga qarab
Vaqt o'tishi bilan u qanday o'zgargan?
chiziqli diagramma
Shtrixli diagramma bilan trendni aytib berish
Guruhlar o'rtasidagi farq nima?
Guruhlangan quti/bar (noldan)
Kesilgan eksa novdasi
Qism-butun nisbat?
Yig'ilgan bar (ehtiyotkorlik bilan)
Ko'p bo'lakli doira diagrammasi
To'rtta nusxa ko'chirish taklifi
1. Avtomatik topish kodi:
Sizning rolingiz: EDA yordamchisi. Men ma'lumotlarni baham ko'rmayapman, men R (ggplot2) kodini xohlayman. 'ma'lumotlar' ma'lumotlar.framida raqamli (daromad, yosh, xarajat) va toifali (mintaqa, ta'lim) o'zgaruvchilar mavjud. Vazifa: har bir raqam uchun gistogramma, har bir kategoriya uchun shtrixli diagramma va daromad~yosh uchun tarqalish grafigini yaratadigan kodni yozing. Chiziqli diagrammalarda y o'qi NOLdan boshlansin. Fikrlar qatorini qo'shing.
2. Korrelyatsiyani tekshirish (korrelyatsiya + ingl. birgalikda):
Daromad va xarajatlar uchun Pearson korrelyatsiyasini hisoblaydigan va tarqalish grafigi + chiziqli tendentsiyani tuzadigan kod yozing. Korrelyatsiyalar soniga ISHOVCHI QILIShdan oldin diagrammani tekshirishni eslatuvchi izoh qatorini qo'shing (Anscombe ogohlantirishi). Trend chizig'ini haddan tashqari silliqlashtirmang.
3. Yaxlitlik auditi:
Haqiqiy vizualizatsiya uchun quyidagi ggplot kodini tekshiring: [kod]. Quyidagilarni tekshiring va to'g'rilang: y o'qi noldan boshlanadimi, o'lchov mos keladimi, namuna o'lchami ko'rinadimi, haddan tashqari silliqlash bormi? Siz kiritgan har bir tuzatishning asosini tushuntiring.
4. Topilma yozuvini tayyorlash (topilma emas):
Men ishlab chiqargan grafiklarga asoslanib, Kuzatishlarni “kashfiyot qaydi” sifatida kiriting; har bir elementni “yakuniy xulosa” emas, “sinov qilinadigan faraz” tilida yozing. Misol: 'Oliy ta'limdagi daromadlar ko'proq tarqalganga o'xshaydi; alohida ma'lumotlar bilan sinovdan o'tkazilishi kerak.' Sabab va aniq gaplardan saqlaning.
Zaif taklif / Kuchli taklif
Zaif taklif:
Hosildorlikdan chiroyli grafiklar tuzing va ular nimani anglatishini ayting.
Bu taklif noto'g'ri natijalarni taklif qiladi: "chiroyli" estetikaga e'tibor qaratadi, "bu nimani anglatadi" esa AIni kashfiyotdan aniq xulosaga o'tishga undaydi. Buning ortidan sabab, bo‘rttirilgan izohlar keladi.
Kuchli so'rov:
Sizning rolingiz: halol EDA yordamchisi. Vazifa: (1) mening savolimga mos keladigan diagramma turini tanlang va asoslashni yozing, (2) shtrixli diagrammalarda o'qni noldan boshlang, (3) natijani DISCOVERY NOTE tilida izohlang: hech qanday aniq/kauzal da'vo "sinovdan o'tishi kerak" tilida gipotezani taklif qiladi, agar (4) mening namunam kichik bo'lsa, meni ogohlantiradi. o'z muhiti va uni tekshirish.
Farqi: kuchli iroda diagramma turini oqlaydi, halollik qoidalarini o'rnatadi va kashfiyotni tasdiqlash bilan aralashtirmaydi.
uchta mini holat
1-holat - Diskret o'qning bo'rttirilishi. Tahlilchi ikkita filialning qoniqish ko'rsatkichlarini (7,8 va 8,0; 10 dan) chiziqli diagrammada ko'rsatdi. YZ o'qini 7,5 dan boshlaganda, ikkinchi filial birinchisidan deyarli ikki baravar balandroq paydo bo'ldi; farq esa atigi 2,5% edi. Rahbariyat noto'g'ri taassurot ostida filialni mukofotlamoqchi edi. Men o'qni noldan boshlaganimda, farq deyarli ko'rinmas edi. Dars: o'qni tanlashning o'zi idrokni o'zgartiradi.
2-holat - Korrelyatsiyaga ishonish va diagrammani o'tkazib yuborish. Tadqiqotchi ikkita o'zgaruvchi o'rtasida r = 0,81 ni ko'rdi va "kuchli chiziqli aloqa" deb yozdi. Uning maslahatchisi tarqalish sxemasini so'raganida, munosabatlar aslida bitta ekstremal kuzatuv tufayli ekanligi ko'rindi va bu nuqta olib tashlanganda, korrelyatsiya 0,12 ga tushib ketdi. Dars: korrelyatsiyalar soni grafik o'rnini bosa olmaydi; har doim tarqoqlikka qarang.
3-holat - tasdiqlash bilan kashfiyotni chalkashtirib yuborish. Bir talaba 40 o'zgaruvchili ma'lumotlar to'plamidagi barcha juft korrelyatsiyalarni ko'rib chiqdi, eng yuqorisini tanladi (r = 0,52) va "biz ta'lim va jamg'arma o'rtasida sezilarli bog'liqlik topdik (p = 0,004)" deb yozdi. Biroq, 40 ta o'zgaruvchida yuzlab juftliklar bor edi; eng yuqori tanlash tasodif tufayli noto'g'ri topilma edi. Dars: topilgan naqshni bir xil ma'lumotlarda "sinov va muhim deb e'lon qilish" mumkin emas; Alohida tasdiqlash talab qilinadi.
Umumiy xatolar
- Chiziqli diagrammada o'qni noldan boshlamaslik. Bu kichik farqni oshirib yuboradi; Eng keng tarqalgan vizual yolg'on. Har doim tekshiring.
- Korrelyatsiyaga qarash va diagrammani o'tkazib yuborish. Xuddi shu korrelyatsiya juda boshqacha naqshlardan kelib chiqadi; chegaradosh munosabatlarga mos kelishi mumkin. Birinchidan, tarqalish.
- Kashfiyotda topilgan naqshni xuddi shu ma'lumotlarda "dalil" deb hisoblagan holda. Bu p-hackingga kirish eshigi; Tasdiqlash alohida amalga oshiriladi.
- Noto'g'ri diagramma turi. Trend uchun bar va tarqatish uchun pirog kabi mosliklar noto'g'ri. Savol asosida janrni tanlang.
- Namuna hajmini yashirish. n=8 va n=8000 bir xil grafikda bir xil ko‘rinmasligi kerak; noaniqlik ko'rsatilishi kerak.
Maslahat: Grafikni nashr etishdan oldin o'zingizdan so'rang: "Agar men o'qni o'zgartirsam, hikoya o'zgaradimi?" Agar javob ha bo'lsa, ehtimol siz burilishni noto'g'ri joydan boshlagansiz.
qisqa bayoni; yakunida
Tadqiqot ma'lumotlarini tahlil qilish - bu ma'lumotlar bilan tanishish, naqshlarni ko'rish va gipotezalarni yaratish bosqichi; Bu tasdiqlash emas. AI tezda tavsiflovchi statistika va grafik kodini yaratadi, lekin siz savolingiz asosida grafik turini tanlaysiz va adolat tamoyillarini (nol o'q, izchil shkala, aniq noaniqlik) boshqarasiz. Korrelyatsiya raqamiga ishonishdan oldin tarqoqlikka qarang; Bir xil ma'lumotlarda topilgan naqshni "dalil" deb e'lon qilmang. AIning chiroyli grafigi to'g'ri grafikni anglatmaydi.
Ilova vazifasi
Ma'lumotlar to'plamida kamida uchta o'zgaruvchini tanlang. AIdan halollik qoidalarini tatbiq etuvchi soʻrov bilan kashfiyot grafiklarini (gistogramma, scatter, qutiga) ishlab chiqaruvchi kodni soʻrang va ishga tushiring. Har bir diagramma uchun: (1) diagramma turining savolga muvofiqligini, (2) o'qning halolligini, (3) namuna hajmining ko'rinishini tekshiring. Gipoteza tilida kamida bitta “kashfiyot eslatmasini” yozing (“...alohida tekshirilganga o‘xshaydi”). Ham hisoblash, ham scatter bilan bog'liqlikni ko'rib chiqing va agar ular o'rtasida nomuvofiqlik mavjud bo'lsa, xabar bering.
nazorat ro'yxati
- [ ] Men savolim va maʼlumotlar turiga qarab diagramma turini tanladim.
- [ ] Chiziqli diagrammalarda men y o'qini noldan boshlayman; Men o'qning halolligini tekshirdim.
- [ ] Men korrelyatsiyaga ishonishdan oldin tarqalish grafigiga qaradim.
- [ ] Grafikda namuna hajmi va noaniqlikni aks ettirdim.
- [ ] Men kashfiyotda topgan namunalarimni "dalil" emas, balki "sinov qilinadigan faraz" deb yozdim.
- [ ] Men tasdiqlash uchun bir xil maʼlumotlardan foydalanmasligimni va alohida qadam talab qilinishini taʼkidladim.