Qazanclar:
- Süni intellekt dəstəyi ilə təsviri statistika və paylama/əlaqə diaqramları hazırlamaq və verilənlərə və suala uyğun olaraq düzgün qrafik növünü seçmək bacarığı
- Süni intellekt tərəfindən yaradılan şəkillərdə yanıltıcı seçimləri (xırdalanmış ox, uyğun olmayan miqyas, həddindən artıq hamarlaşdırma) tanımaq və dürüst vizuallaşdırma prinsiplərini tətbiq etmək bacarığı
- Kəşfiyyat analizinin fərziyyələr yaratmaq üçün olduğunu və eyni məlumatlarla kəşf və təsdiqləmə tələsini ayıra bilmək (bu, p-hacking üçün qapını açır).
Məlumatları təmizlədikdən sonra empirik tədqiqatçının ilk işi onunla tanış olmaqdır. Bu mərhələ kəşfiyyat məlumatlarının təhlili (EDA - Exploratory Data Analysis) adlanır: bu, məlumatların qrafiklər və xülasə statistikası ilə araşdırılması və onun strukturunu, nümunələrini və sürprizlərini görmək prosesidir. Məqsəd hələ fərziyyəni yoxlamaq deyil, verilənlərlə tanış olmaq, suallar yaratmaq və gələcəkdə quracağınız modelin əsasını qoymaqdır. Bu bölmədə biz süni intellektin (AI) EDA və vizuallaşdırmanı necə sürətləndirdiyini görəcəyik, lakin onun istehsal etdiyi qrafika niyə diqqətlə yoxlanılmalıdır.
Əvvəlcə iki əsas fərqi edək. Birincisi, təsviri statistika (orta, median, standart kənarlaşma, kvartillər kimi məlumatları ümumiləşdirən rəqəmlər) və vizuallaşdırma (eyni məlumatı qrafik olaraq göstərən) bir-birini tamamlayır; Onlar birlikdə məlumatları təsvir edirlər. İkincisi və ən kritik: kəşf və təsdiqi ayırd etmək lazımdır. Kəşfiyyat analizi fərziyyələr yaratmaq üçündür; Eyni məlumatlarla fərziyyəni araşdırmaq və "Mən onu sınaqdan keçirdim və əhəmiyyətli tapdım" demək, növbəti bölmədə görəcəyimiz p-hacking üçün qapını açır. Məlumatlara baxmaq və nümunəni görmək pulsuzdur; Ancaq bu nümunəni eyni məlumatlarda "sübut edilmiş tapıntı" elan etmək yanlışdır.
Addım-addım kəşfiyyat təhlili
1. Unidəyişən görünüş. Hər bir dəyişəni ayrı-ayrılıqda araşdırın: onun paylanması simmetrik və ya əyridir; nə qədər təpələr var; Kənar olanlar haradadır? Rəqəmsal dəyişənlər üçün histoqram (dəyərləri diapazonlara bölməklə tezliyi göstərən süjet) və qutu qrafası (boxplot — median, kvartil və ekstremal dəyərləri göstərən diaqram); Kateqoriyalı dəyişənlər üçün tezlik cədvəlləri və bar diaqramlarından istifadə edin.
2. İkidəyişənli görünüş. İki dəyişən arasındakı əlaqəyə baxın: iki ədədi dəyişən üçün səpələnmə qrafiki (hər müşahidəni x-y müstəvisində nöqtə kimi göstərir), ədədi-kateqorik üçün qruplaşdırılmış qutu qrafiki, iki kateqoriya üçün çarpaz cədvəl. Korrelyasiya əmsalına baxmazdan əvvəl, səpələnmə qrafikinə baxdığınızdan əmin olun: eyni korrelyasiya çox fərqli nümunələr göstərə bilər (məşhur Anscombe kvarteti bunu nümayiş etdirir; dörd məlumat dəstinin demək olar ki, eyni statistik göstəriciləri var, lakin tərtib edildikdə onlar tamamilə fərqli olur).
3. Düzgün diaqram növünü seçin. Diaqram növü sualınızdan və məlumat növündən asılıdır. Paylanma üçün histoqram; əlaqə üçün səpələnmə; zamanla dəyişiklik üçün xətt diaqramı; kateqoriya müqayisəsi üçün bar diaqramı; hissələrin bütövlükdə nisbəti üçün (diqqətlə) yığılmış bar. AI tez sizin üçün kod yaradır, lakin "hansı sual üçün hansı qrafik" qərarı sizindir.
4. Nümunəni qeyd edin, nəticələri elan etməyin. "Kəşf qeydi" kimi gördüyünüz hər hansı maraqlı nümunəni qeyd edin, lakin bunu təsdiqlənmiş tapıntı hesab etməyin. Təsdiqləmə ayrıca bir addımda, tercihen ayrıca məlumat və ya əvvəlcədən müəyyən edilmiş cədvəllə həyata keçirilir.
Dürüst vizuallaşdırma prinsipləri
Qrafik inandırır; Ona görə də onun çaşdırma gücü də yüksəkdir. Süni intellekt estetik, lakin bəzən yanlış seçimlər edə bilər. Bu siyasətləri yoxlayın:
- Ştrix diaqramlarında y oxu sıfırdan başlamalıdır. Kəsik ox kiçik fərqləri böyük kimi göstərir.
- Şkala uyğun olmalıdır. İki diaqram müqayisə edilirsə, eyni ox diapazonundan istifadə edin.
- Həddindən artıq hamarlama əsl nümunəni gizlədə bilər. Trend xətti gözəl görünür, lakin o, məlumatları çox "hamarlayır"sa, bu, yanıltıcı ola bilər.
- Rəng və 3D dekorasiya məlumatları deyil, diqqəti təhrif edir. Sadəliyi seçin.
- Çatışmayan məlumatlar və nümunə ölçüsü görünməlidir. "n=12" və "n=12,000" eyni görünməməlidir.
Diqqət: Süni intellekt tərəfindən hazırlanmış qrafika gözəl olduğuna görə, onlar doğru deyil. Onun etdiyi ən çox yayılmış səhv bar diaqramında oxu sıfırdan başlamamaq və iki qrup arasındakı fərqi şişirtməkdir. Həmişə oxu yoxlayın.
Müqayisə cədvəli: sual → diaqram
Soruş
düzgün diaqram
Ümumi səhv
Bu dəyişən necə paylanır?
Histoqram/qutu süjeti
pasta diaqramından istifadə edin
İki ədədi dəyişən əlaqəlidirmi?
Dağılma süjeti
Sadəcə korrelyasiya sayına baxırıq
Zamanla necə dəyişdi?
xətt diaqramı
Ştrix diaqramı ilə trendin izah edilməsi
Qruplar arasındakı fərq nədir?
Qruplaşdırılmış qutu/bar (sıfırdan)
Kəsilmiş ox çubuğu
Hissə-bütün nisbəti?
Yığılmış bar (ehtiyatla)
Çox dilimli pasta diaqramı
Dörd kopyalana bilən sorğu
1. Avtomatik aşkarlama kodu:
Rolunuz: EDA köməkçisi. Mən məlumatları paylaşmıram, R (ggplot2) kodunu istəyirəm. 'Data' data.frame-də ədədi (gəlir, yaş, məxaric) və kateqoriyalı (region, təhsil) dəyişənlər var. Tapşırıq: hər bir rəqəm üçün histoqram, hər bir kateqoriya üçün bar diaqramı və gəlir~yaş üçün səpələnmə qrafiki yaradan kodu yazın. Ştrix diaqramlarında y oxunu SIFIR-dan başlamağa icazə verin. Şərh xətti əlavə edin.
2. Korrelyasiya icmalı (korrelyasiya + vizual birlikdə):
Hər ikisi gəlir və xərclər üçün Pearson korrelyasiyasını hesablayan kodu yazın və səpələnmə qrafiki + xətti tendensiyanı tərtib edin. Korrelyasiya sayına Etibar etməzdən əvvəl diaqramı yoxlamağı xatırladan şərh xətti əlavə edin (Anscombe xəbərdarlığı). Trend xəttini həddindən artıq hamarlaşdırmayın.
3. Dürüstlüyün auditi:
Dürüst vizuallaşdırma üçün aşağıdakı ggplot kodunu yoxlayın:[kod]. Aşağıdakıları yoxlayın və düzəldin: y oxu sıfırdan başlayırmı, miqyas uyğundurmu, nümunə ölçüsü görünürmü, həddindən artıq hamarlama varmı? Etdiyiniz hər bir düzəliş üçün əsaslandırmanı izah edin.
4. Tapıntı qeydinin hazırlanması (tapıntı deyil):
Hazırladığım qrafiklərə əsasən, MÜŞAHİDƏLƏRİ “kəşf qeydi” kimi qeyd edin; hər bir bəndi “qənaətbəxş tapıntı” deyil, “sınaq ediləcək fərziyyə” dilində yazın. Misal: 'Ali təhsildə gəlir daha çox yayılır; ayrıca məlumatlarla sınaqdan keçirilməlidir.' Səbəb və qəti ifadələrdən çəkinin.
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Gəlirdən gözəl qrafiklər yaradın və onların nə demək olduğunu mənə deyin.
Bu təklif çaşdırıcı nəticəyə dəvət edir: “gözəl” estetikaya diqqət yetirir, “bu nə deməkdir” isə AI-ni kəşfdən qəti nəticəyə sıçramağa sövq edir. Səbəb, şişirdilmiş şərhlər izləyir.
Güclü göstəriş:
Sizin rolunuz: vicdanlı EDA köməkçisi. Tapşırıq: (1) sualıma uyğun olan diaqram növünü seçin və əsaslandırmanı yazın, (2) şaquli diaqramlarda oxu sıfırdan başlayın, (3) çıxışı DISCOVERY QEYD dilində şərh edin: heç bir qəti/səbəb iddiası "sınaq edilməlidir" dilində fərziyyə təklif edir, (4) nümunə mənim üçün kiçikdirsə, mənə xəbərdarlıq edəcək). öz mühiti və onu yoxlayın.
Fərq: güclü iradə diaqram tipini əsaslandırır, dürüstlük qaydalarını tətbiq edir və kəşfi təsdiqlə qarışdırmır.
üç mini qutu
1-ci hal — Diskret oxun şişirdilməsi. Analitik iki filialın (10-dan 7.8 və 8.0) məmnunluq ballarını bar diaqramında göstərdi. YZ oxunu 7.5-dən başladıqda, ikinci filial birincidən demək olar ki, iki dəfə yüksək göründü; halbuki fərq cəmi 2,5% olub. Rəhbərlik yanlış təəssürat altında bir filialı mükafatlandırmaq üzrə idi. Mən oxu sıfırdan başlayanda fərq demək olar ki, görünməz idi. Dərs: təkcə ox seçimi qavrayışı dəyişir.
2-ci hal - Korrelyasiyaya etibar etmək və diaqramı atlamaq. Tədqiqatçı iki dəyişən arasında r = 0.81 gördü və "güclü xətti əlaqə" yazdı. Məsləhətçisi səpələnmə sxemini soruşduqda, əlaqənin əslində tək bir ifrat müşahidəyə görə olduğu görüldü və bu nöqtə çıxarıldıqda korrelyasiya 0,12-yə düşdü. Dərs: korrelyasiya sayı qrafiki əvəz etmir; həmişə səpələnməyə baxın.
3-cü hal - Təsdiqlə kəşfi qarışdırmaq. Bir tələbə 40-dəyişən məlumat dəstində bütün cüt korrelyasiyalara baxdı, ən yüksək olanı seçdi (r=0,52) və yazdı: “Təhsil və qənaət arasında əhəmiyyətli əlaqə tapdıq (p=0,004). Bununla belə, 40 dəyişəndə yüzlərlə cüt var idi; ən yüksək seçilməsi təsadüf nəticəsində yanlış tapıntı idi. Dərs: aşkar edilmiş nümunə eyni məlumatda "sınaq edilə və əhəmiyyətli elan edilə bilməz"; Ayrı bir təsdiq tələb olunur.
Ümumi səhvlər
- Ştrix diaqramında oxun sıfırdan başlamaması. Kiçik fərqi şişirdir; Ən çox yayılmış vizual yalan. Həmişə yoxlayın.
- Korrelyasiyaya baxmaq və diaqramı atlamaq. Eyni korrelyasiya çox fərqli nümunələrdən gəlir; kənar əlaqəyə uyğunlaşa bilər. Birincisi, səpilmə.
- Kəşfdə tapılan nümunəni eyni məlumatlarda "dəlil" kimi nəzərə alaraq. Bu, p-hacking üçün qapıdır; Təsdiqləmə ayrıca aparılır.
- Səhv diaqram növü. Trend üçün bar və paylama üçün pasta kimi uyğunluqlar yanıltıcıdır. Suala əsasən janr seçin.
- Nümunə ölçüsünü gizlədir. n=8 və n=8,000 eyni qrafikdə eyni görünməməlidir; qeyri-müəyyənlik nümayiş etdirilməlidir.
İpucu: Qrafik dərc etməzdən əvvəl özünüzdən soruşun: "Oxu dəyişsəm hekayə dəyişəcəkmi?" Cavabınız bəlidirsə, yəqin ki, pivotu vicdansız bir yerdən başladınız.
Xülasə
Kəşfiyyat xarakterli məlumatların təhlili məlumatların qarşılanması, nümunələrin görülməsi və fərziyyələrin yaradılması mərhələsidir; Bu təsdiq deyil. Süni intellekt tez bir zamanda təsviri statistika və qrafik kodu yaradır, lakin siz sualınıza əsasən qrafik növünü seçirsiniz və ədalət prinsiplərinə (sıfır ox, ardıcıl miqyas, görünən qeyri-müəyyənlik) nəzarət edirsiniz. Korrelyasiya nömrəsinə etibar etməzdən əvvəl səpələnməyə baxın; Kəşfdə tapdığınız nümunəni eyni məlumatda "dəlil" kimi elan etməyin. Gözəl AI qrafiki düzgün qrafik demək deyil.
Tətbiq tapşırığı
Məlumat dəstində ən azı üç dəyişən seçin. Dürüstlük qaydalarını tətbiq edən bir göstərişlə kəşfiyyat qrafikləri (histoqram, səpələnmə, qutu) yaradan kodu AI-dən soruşun və işlədin. Hər bir diaqram üçün: (1) diaqram növünün suala uyğunluğunu, (2) oxun düzgünlüyünü, (3) nümunə ölçüsünün görünməsini yoxlayın. Hipotez dilində ən azı bir “kəşf qeydi” yazın (“...ayrıca yoxlanılır”). Həm sayma, həm də səpilmə ilə əlaqəni yoxlayın və onlar arasında uyğunsuzluq varsa, hesabat verin.
yoxlama siyahısı
- [ ] Sualım və məlumat növünə əsasən diaqram növünü seçdim.
- [ ] Ştrix diaqramlarında mən y oxunu sıfırdan başlayıram; Oxun dürüstlüyünü yoxladım.
- [ ] Mən korrelyasiyaya etibar etməzdən əvvəl səpələnmə qrafikinə baxdım.
- [ ] Mən nümunənin ölçüsünü və qeyri-müəyyənliyi qrafikdə əks etdirdim.
- [ ] Kəşfiyyat zamanı tapdığım nümunələri "sübut" yox, "sınaq ediləcək fərziyyə" kimi yazdım.
- [ ] Təsdiq üçün eyni məlumatları istifadə etməyəcəyimi və ayrıca addımın tələb olunduğunu qeyd etdim.