Qazanclar:
- Dəyişənlərin paylanmasını, mərkəzini, yayılmasını və anomaliyalarını uyğun qrafiklərlə (histoqram, qutu qrafası, səpələnmə qrafiki) araşdırmaq bacarığı.
- Korrelyasiyanı düzgün şərh etmək və onu səbəb əlaqəsi ilə qarışdırmadan səpələnmə xətti ilə birlikdə oxumaq bacarığı
- Xülasə statistikasının yanıltıcı ola biləcəyini başa düşmək bacarığı (Anscombe dərsi) və modelləşdirmənin istiqamətini müəyyən edən fərziyyələr inkişaf etdirmək.
Model qurmazdan əvvəl məlumatları bilmək lazımdır. Həkim xəstəni müayinə etmədən dərman təyin etmədiyi kimi, data alimi də məlumatları “incələmədən” model qurmaz. Bu imtahan kəşfiyyat məlumatlarının təhlili (qısaca EDA) adlanır: bu, vizual və qrafik olaraq məlumatların paylanması, əlaqələri, sürprizləri və tələlərinin aşkar edilməsi mərhələsidir. EDA-nın məqsədi fərziyyələr yaratmaq, səhvləri tutmaq və modelləşdirmə istiqamətini müəyyən etməkdir. Süni intellekt bu mərhələdə çox güclü köməkçidir: o, hansı diaqramın uyğun olduğunu təklif edir, kodunu yazır, paylanmanı şərh edir. Amma insan gördüyü naxışın gerçək, yoxsa təsadüf olduğuna öz sahə bilgisi ilə qərar verir.
EDA nə axtarır?
EDA dörd suala cavab axtarır. Paylanma: Hər bir dəyişən necə paylanır - simmetrik, əyri və ya iki zirvəlidir? Mərkəzi tendensiya və yayılma: Orta, median, standart sapma nədir? Əlaqələr: Dəyişənlər bir-biri ilə necə əlaqəlidir? Anomaliyalar: Gözlənilməz dəyərlər, boşluqlar, qruplaşmalar varmı? Bu dörd sual hansı funksiyanın işləyəcəyini və hansı modelin uyğun olduğunu müəyyənləşdirir.
Bəzi əsas anlayışları müəyyən edək. Histoqram ədədi dəyişənin dəyərlərini intervallara bölən və hər intervalda neçə müşahidənin olduğunu göstərən bir qrafikdir; Bu paylanmanı görməyin ən sürətli yoludur. Çarpıqlıq paylanmanın bir istiqamətə yerdəyişməsidir; Gəlir kimi dəyişənlər sağa əyilmişdir (əksəriyyət aşağı, bir neçəsi çox yüksək). Qutu sahəsi bir baxışda medianı, kvartilləri və kənar göstəriciləri göstərir. Dağılma qrafiki iki ədədi dəyişənin nöqtə buludları ilə əlaqəsini göstərir.
Münasibət: əlaqə var, amma diqqətli olun
Korrelyasiya — iki dəyişənin birlikdə necə hərəkət etməsinin ölçüsü; -1 ilə +1 arasındakı rəqəm - EDA-nın ən çox istifadə edilən və ən çox səhv başa düşülən alətidir. +1 mükəmməl birgə artım, -1 mükəmməl tərs əlaqə, 0 xətti əlaqənin olmaması deməkdir. İki böyük tələ var. Birincisi, məşhur qayda: korrelyasiya səbəbiyyət deyil. Dondurma satışı ilə boğulma halları artır; biri digərinə apardığı üçün deyil, yay (gizli üçüncü dəyişən) hər ikisini tetiklediyi üçün. İkincisi, korrelyasiya yalnız xətti əlaqəni ölçür; Bu, 0-a yaxın güclü, lakin əyri xətti əlaqəni göstərə bilər. Buna görə də korrelyasiyaya baxarkən, səpələnmə qrafikinə də baxdığınızdan əmin olun.
Diqqət: Süni intellekt korrelyasiya nömrəsi verdikdə, “A B-ni artırır” kimi səbəbli dilə keçə bilər. Bu təhlükəlidir. Korrelyasiya yalnız birlikdə hərəkəti göstərir; Səbəbi yalnız təcrübə, sahə biliyi və diqqətli nəticə müəyyən edir.
Anscombe kvarteti: niyə sadəcə nömrəyə baxmayaq
Statistikada məşhur bir nümunə var: Anscombe kvarteti. Dörd müxtəlif məlumat dəsti demək olar ki, eyni orta, eyni dispersiya və eyni korrelyasiyaya malikdir (0,82); Lakin qrafikə salındıqda, onlar tamamilə fərqli görünürlər - bir düz xətt, biri əyri, biri tək kənar nöqtə tərəfindən çəkilmiş bulud. Dərs aydındır: ümumi statistika yalnışdır, qrafikə baxmaq mütləqdir. Süni intellekt sizə orta göstəricilər və korrelyasiya verə bilər, lakin qrafiki görmədən bu rəqəmlərə etibar etmək Anscombe tələsinə düşür.
Aşağıdakı cədvəl hansı suala uyğun gələn diaqramı ümumiləşdirir:
Sual
uyğun qrafik
Nə göstərir
Tək dəyişənin paylanması
Histoqram / KDE
Forma, əyrilik, təpələrin sayı
Mərkəz və kənar göstəricilər
Qutu süjeti
Median, kvartillər, kənar göstəricilər
İki ədədin əlaqəsi
səpələnmə qrafiki
İstiqamət, güc, əyrilik
Kateqoriyaların müqayisəsi
bar diaqramı
Qruplar arasında fərq
zamanla dəyişmək
xətt diaqramı
Trend, mövsümilik
Çoxvariantlı əlaqə
Korrelyasiya istilik xəritəsi
Ümumi əlaqə matrisi
Simpsonun paradoksu: ümumiləşdirilmiş məlumatlar yalan danışa bilər
EDA-da diqqətli olmaq lazım olan gizli tələ Simpsonun paradoksudur: nümunə bütün məlumatlar birlikdə araşdırıldıqda bir istiqamət göstərə bilər, lakin məlumatlar mənalı alt qruplara bölündükdə əksinə ola bilər. Klassik nümunə: universitetdə qadın abituriyentlər üçün ümumi qəbul nisbəti kişilərə nisbətən daha aşağı görünür; Amma şöbələrə görə baxdıqda əksər şöbələrdə qadınların qəbul nisbəti kişilərdən yüksəkdir. Haradan? Qadınlar daha rəqabətli (daha aşağı qəbul dərəcələri) şöbələrə müraciət etdilər; Birləşdirilmiş nömrə bu gizli dəyişəni saxlayır. Dərs aydındır: ümumi və ya orta qiymətə baxarkən, mənalı alt qruplara (seqment, dövr, kanal) bölündükdə həmin rəqəmin eyni hekayəni izah edib-etmədiyini yoxlamağa əmin olun. Süni intellekt sizə birləşmiş qiymət verdikdə, “bunu seqmentləşdirdiyiniz zaman hələ də etibarlıdırmı” sualı ən yanlış nəticələri erkən tutacaq.
üç mini qutu
Məsələn 1 - İki gizli təpə. Bir analitik müştərinin orta yaşının 41 olduğunu tapdı və bunu "orta yaşlı izdiham" olaraq bildirdi. Lakin histoqram iki zirvə göstərdi: 22-28 və 55-62 yaş qrupları. Orta hesabla 41 bal əslində heç kimi təmsil etmirdi. Dərs: Ortaya etibar etməzdən əvvəl paylanmanın planını qurun.
2-ci hal – Saxta korrelyasiya. Bir komanda "reklam xərcləri" ilə "satışlar" arasında 0,78 nisbət tapdı və büdcəni iki dəfə artırdı. Bununla belə, hər ikisini tətikləyən mövsümi kampaniyalar idi; Kampaniyadan kənar dövrdə əlaqə 0,10-a düşdü. 340 min TL əlavə reklam gözlənilən gəliri vermədi. Dərs: Səbəb əlaqəsini səhv salmaq baha başa gəlir.
3-cü vəziyyət - Tək müxalifin çəkdiyi xətt. Daşınmaz əmlakın təhlili kvadrat görüntü ilə qiymət arasında güclü əlaqə olduğunu göstərdi (r=0,80). Dağılma planı çəkildikdə, demək olar ki, bütün əlaqələr tək 12 milyon TL-lik lüks villa ilə yaradılmışdır; Bu nöqtə çıxarıldıqda, korrelyasiya 0,31-ə düşdü. Dərs: həmişə səpələnmə sahəsi ilə birlikdə korrelyasiyanı oxuyun.
Dörd kopyalana bilən şablon
1) Avtomatik EDA xülasəsi:
Məndə pandalar df var. Aşağıdakıları yaradan kodu yazın: (1) df.info() və df.describe(), (2) hər bir rəqəmsal sütun üçün histoqram, (3) hər kateqoriyalı sütun üçün hesab. Şərh verməyin, sadəcə kəşf kodunu yaradın; Nümunələri şərh edirəm.
2) Korrelyasiya + vizual (səbəb əlaqəsi ilə):
Rəqəmsal sütunlar üçün korrelyasiya matrisini və istilik xəritəsini çəkən kodu yazın. Həmçinin 3 ən yüksək korrelyasiyalı cütün səpələnmə qrafikini çəkin. Nəticəyə korrelyasiya səbəb-nəticəni nəzərdə tutmadığını xatırladan şərh xətti əlavə edin. Səbəbli iddialar irəli sürməyin.
3) Dağıtım diaqnozu:
"income_tl" sütunu üçün: histoqram, qutu qrafası, əyilmə dəyəri və median/orta müqayisəsini yaradan kodu yazın. Bölmənin əyri olub-olmadığını şərh edəcəyəm; sadəcə kodu verin.
4) Seqmentlərin müqayisəsi:
Müştəriləri "kanal" (veb/mobil) üzrə müqayisə edin: hər bir kanal üçün orta məbləğin, median məbləğin, sifarişlərin sayının və məbləğin paylanmasının qutusunu yaradan kodu yazın. İki kanal arasındakı fərqin statistik əhəmiyyəti üçün hansı testin uyğun olduğunu təklif edin, lakin qərar mənə aiddir.
Zəif məlumat / Güclü göstəriş
Zəif çağırış:
Bu məlumatda maraqlı bir şey tapın.
“Maraqlı” qeyri-müəyyəndir; Süni intellekt məlumatları görmür, ona görə də ya onu düzəldir, ya da ümumi bəyanatlar verir. İstiqamət, dəyişən, məqsəd yoxdur.
Güclü göstəriş:
Rolunuz: EDA köməkçisi. df sütunları: yaş (int), gəlir_tl (float), şəhər (kateqoriya), kanal (veb/mobil), məbləğ (float). Məqsəd: “miqdar”a təsir edən amilləri aşkar etmək. Tapşırıq: (1) məbləğin paylanmasının qrafikini tərtib edən kod, (2) məbləğ və yaş və gəlir_tl arasında paylama qrafikləri, (3) kanal bölgüsündə məbləğin qutusu. Səbəb iddiasının müəyyən edilməsi; Sadəcə kəşf kodunu yaradın və mən nümunəni şərh edəcəyəm.
Burada məqsəd, dəyişənlər və “səbəblik iddiası”nın həddi aydındır.
Ümumi səhvlər
- Yalnız ümumi statistikaya əsaslanaraq. Anscombe kvartetinin göstərdiyi kimi, eyni orta çox fərqli paylanmaları gizlədir; diaqrama baxın.
- Səbəb əlaqəsini səhv salmaq. Birgə fəaliyyət birinin digərinə apardığını göstərmir; Gizli dəyişənlərdən çəkinin.
- Səpələnmə sxemi olmadan korrelyasiyaya baxmaq. Tək kənar və ya əyrilik rəqəmi çaşdırır.
- Orta ilə iki zirvəli/əyri paylanmanın ümumiləşdirilməsi. Ortalama heç kimi təmsil etməyə bilər.
- EDA-nı atlayın və birbaşa modelə keçin. Tanınmayan məlumatlar kor model deməkdir.
İpucu: Hər yeni məlumat dəsti ilə ilk 30 dəqiqəni sadəcə qrafiklər çəkməyə sərf edin: hər rəqəmin histoqramı, əhəmiyyətli cütlərin səpələnməsi, kateqoriyaların bar diaqramı. Bu 30 dəqiqə gələcək günlər üçün gələcək modelləşdirmə səhvlərinin qarşısını alır.
Xülasə
EDA bir model qurmazdan əvvəl verilənlərlə tanışlıq mərhələsidir və dörd suala cavab axtarır: paylama, mərkəzdən yayılma, əlaqələr və anomaliyalar. Xülasə statistikası yanıltıcı ola bilər; qrafikə baxmaq mütləqdir (Anscombe mühazirəsi). Korrelyasiya güclü bir vasitədir, lakin səbəb əlaqəsi səpələnmə süjeti ilə birlikdə deyil və mütləq oxunmalıdır. AI qrafika təklif etmək və kod yazmaq üçün əla sürətləndiricidir; Amma insanlar gördükləri nümunənin gerçək və ya təsadüf olduğunu öz sahə bilikləri ilə şərh edirlər.
Tətbiq tapşırığı
Məlumat toplusunu seçin və sadəcə EDA edin: ən azı üç ədədi dəyişənin histoqramını, iki cüt dəyişənin səpələnmə qrafikini və korrelyasiya istilik xəritəsini çıxarın. Ən azı bir “sürpriz” tapın (məsələn, iki zirvəsi olan paylama, saxta korrelyasiya üçün namizəd, tək kənar göstəricinin cəlb etdiyi əlaqə) və bunu bir cümlə ilə izah edin. Heç bir səbəb iddiası irəli sürmədən yazın.
yoxlama siyahısı
- [ ] Mən hər bir ədədi dəyişənin paylanmasının qrafikini çəkmişəmmi?
- [ ] Mən səpələnmə qrafiki ilə korrelyasiyaya baxdımmı?
- [ ] Mən səbəb əlaqəsi və korrelyasiya əlaqəsini ayrı saxlamışammı?
- [ ] Mən əyri və ya iki zirvəli paylanmalara diqqət yetirmədim və kor-koranə orta səviyyəyə etibar etmədimmi?
- [ ] EDA tapıntılarımdan ən azı bir modelləşdirmə aspekti/hipotezası əldə etmişəmmi?