Ieguvumi:
- Spēja izpētīt mainīgo lielumu sadalījumu, centru, izplatību un anomālijas ar atbilstošiem grafikiem (histogramma, lodziņa diagramma, izkliedes diagramma).
- Spēja pareizi interpretēt korelāciju un lasīt to kopā ar izkliedes diagrammu, nejaucot to ar cēloņsakarību
- Spēja saprast, ka apkopotā statistika var būt maldinoša (Anskomba nodarbība) un izstrādāt hipotēzes, kas nosaka modelēšanas virzienu.
Pirms modeļa veidošanas ir jāzina dati. Tāpat kā ārsts neizraksta medikamentus, neizmeklējot pacientu, datu zinātnieks neuzbūvē modeli, "nepārbaudot" datus. Šo pārbaudi sauc par pētniecisko datu analīzi (saīsināti EDA): tā ir fāze, kurā vizuāli un grafiski tiek atklāts datu sadalījums, attiecības, pārsteigumi un slazdi. EDA mērķis ir ģenerēt hipotēzes, uztvert kļūdas un noteikt modelēšanas virzienu. Mākslīgais intelekts šajā posmā ir ļoti spēcīgs palīgs: tas iesaka, kura diagramma ir piemērota, raksta tās kodu, interpretē sadalījumu. Bet cilvēks ar savām zināšanām jomā izlemj, vai viņa redzētais modelis ir īsts vai nejaušība.
Ko EDA meklē?
EDA meklē atbildes uz četriem jautājumiem. Sadalījums: kā tiek sadalīts katrs mainīgais — vai tas ir simetrisks, šķībs vai ar diviem pīķiem? Centrālā tendence un izplatība: kāda ir vidējā, vidējā un standarta novirze? Attiecības: kā mainīgie ir saistīti viens ar otru? Anomālijas: vai ir neparedzētas vērtības, nepilnības, grupējumi? Šie četri jautājumi nosaka, kura funkcija darbosies un kurš modelis ir piemērots.
Definēsim dažus pamatjēdzienus. Histogramma ir grafiks, kas sadala skaitliskā mainīgā vērtības intervālos un parāda, cik novērojumu ir katrā intervālā; Tas ir ātrākais veids, kā redzēt izplatīšanu. Šķībums ir sadalījuma nobīde vienā virzienā; Mainīgie lielumi, piemēram, ienākumi, ir novirzīti pa labi (lielākā daļa zemu, daži ļoti augsti). Lodziņā diagramma vienā mirklī parāda mediānu, kvartiles un novirzes. Izkliedes diagramma parāda divu skaitlisku mainīgo saistību ar punktu mākoni.
Korelācija: pastāv attiecības, bet esiet uzmanīgi
Korelācija — mērs, kā divi mainīgie pārvietojas kopā; skaitlis no -1 līdz +1 ir visbiežāk izmantotais un visvairāk pārprastais EDA rīks. +1 nozīmē perfektu koppieaugumu, -1 nozīmē perfektu apgrieztu attiecību, 0 nozīmē, ka nav lineāras attiecības. Ir divi lieli slazdi. Pirmkārt, slavenais noteikums: korelācija nav cēloņsakarība. Aizrīšanās gadījumi palielinās līdz ar saldējuma pārdošanu; nevis tāpēc, ka viens noved pie otra, bet tāpēc, ka vasara (slēptais trešais mainīgais) iedarbina abus. Otrkārt, korelācija mēra tikai lineāro attiecību; Tas var norādīt uz spēcīgu, bet līklīniju, kas ir tuvu 0. Tāpēc, aplūkojot korelāciju, noteikti apskatiet arī izkliedes diagrammu.
Uzmanību! Ja mākslīgais intelekts sniedz korelācijas skaitli, tas var nonākt cēloņsakarībā, piemēram, “A palielina B”. Tas ir bīstami. Korelācija norāda tikai kustību kopā; Iemeslu nosaka tikai pieredze, zināšanas par jomām un rūpīgi secinājumi.
Anscombe kvartets: kāpēc gan nepaskatīties uz numuru
Statistikā ir slavens piemērs: Anscombe kvartets. Četrām dažādām datu kopām ir gandrīz vienāds vidējais rādītājs, vienāda dispersija un viena un tā pati korelācija (0,82); Taču grafiski tie izskatās pavisam citādi — viena taisna līnija, viena izliekta, otrs mākonis, ko izvelk viena nobīde. Mācība ir skaidra: kopsavilkuma statistika ir maldinoša, jāskatās grafikā. AI var sniegt vidējos rādītājus un korelācijas, taču uzticēšanās šiem skaitļiem, neredzot grafiku, iekrīt Anskomba slazdā.
Tālāk esošajā tabulā ir apkopots, kura diagramma atbilst kādam jautājumam:
Jautājums
piemērota grafika
Kas liecina
Viena mainīgā lieluma sadalījums
Histogramma / KDE
Forma, šķībums, virsotņu skaits
Centrs un ārpuses
Kastes gabals
Mediāna, kvartiles, ārpuses
Divu skaitļu attiecības
izkliedes diagramma
Virziens, spēks, izliekums
Kategoriju salīdzinājums
joslu diagramma
Atšķirība starp grupām
laika gaitā mainīties
līniju diagramma
Tendence, sezonalitāte
Daudzfaktoru attiecības
Korelācijas siltuma karte
Vispārējā attiecību matrica
Simpsona paradokss: apkopotie dati var melot
Slazds EDA, kas jāapzinās, ir Simpsona paradokss: modelis var parādīt vienu virzienu, kad visi dati tiek pārbaudīti kopā, bet otrādi, ja dati ir sadalīti nozīmīgās apakšgrupās. Klasisks piemērs: kopējais sieviešu uzņemšanas līmenis universitātē šķiet zemāks nekā vīriešu; Bet, aplūkojot nodaļas pēc nodaļas, sieviešu pieņemšanas līmenis lielākajā daļā departamentu ir augstāks nekā vīriešu. No kurienes? Sievietes vērsās konkurētspējīgākās (zemāks pieņemšanas līmenis) nodaļās; Apvienotais skaitlis saglabā šo slēpto mainīgo. Mācība ir skaidra: aplūkojot kopējo vai vidējo rādītāju, noteikti pārbaudiet, vai šis skaitlis stāsta to pašu, ja tas ir sadalīts nozīmīgās apakšgrupās (segments, periods, kanāls). Kad mākslīgais intelekts sniedz jums kombinēto likmi, jautājot “vai tas joprojām ir spēkā, kad to segmentējat”, jau agri tiks uztverti maldinošie rezultāti.
trīs mini futrāļi
1. gadījums — divi slēpti kalni. Viens analītiķis atklāja, ka vidējais klientu vecums ir 41 gads, un ziņoja, ka tas ir "pusmūža pūlis". Bet histogrammā bija divi maksimumi: 22-28 un 55-62 vecuma grupas. Vidējais 41 faktiski nepārstāvēja nevienu. Nodarbība: uzzīmējiet sadalījumu, pirms uzticaties vidējam.
2. gadījums — viltus korelācija. Viena komanda atklāja 0,78 korelāciju starp “reklāmas izdevumiem” un “pārdošanu” un dubultoja budžetu. Tomēr abas aktivizēja sezonālās kampaņas; ārpuskampaņas periodā attiecības noslīdēja līdz 0,10. 340 tūkstoši TL papildus reklāma nedeva cerēto atdevi. Nodarbība: sajaukt korelāciju ar cēloņsakarību ir dārgi.
3. gadījums — vientuļā pretrunīgā novilktā līnija. Nekustamā īpašuma analīze parādīja ciešu saikni starp kvadrātmetru platību un cenu (r=0,80). Kad tika uzzīmēts izkliedes sižets, gandrīz visas attiecības radīja viena 12 miljonu TL luksusa villa; Kad šis punkts tika noņemts, korelācija samazinājās līdz 0,31. Nodarbība: vienmēr izlasiet korelāciju kopā ar izkliedes diagrammu.
Četras kopējamas veidnes
1) Automātiskais EDA kopsavilkums:
Man ir pandas df. Uzrakstiet kodu, kas rada: (1) df.info() un df.describe(), (2) histogrammu katrai ciparu kolonnai, (3) skaitu katrai kategoriskajai kolonnai. Nekomentējiet, vienkārši ģenerējiet atklāšanas kodu; Es interpretēju modeļus.
2) Korelācija + vizuālā (ar brīdinājumu par cēloņsakarību):
Uzrakstiet kodu, kas uzzīmē korelācijas matricu un siltuma karti ciparu kolonnām. Uzzīmējiet arī 3 augstāko korelēto pāru izkliedes diagrammu. Pievienojiet izvadei komentāra rindiņu, atgādinot, ka korelācija nenozīmē cēloņsakarību. Neizsakiet cēloņsakarības apgalvojumus.
3) Sadales diagnoze:
Slejā “income_tl” ierakstiet kodu, kas veido histogrammu, lodziņu diagrammu, šķībuma vērtību un mediānas/vidējās salīdzinājumu. Es interpretēšu, vai sadalījums ir šķībs vai nav; vienkārši iedod kodu.
4) Segmentu salīdzinājums:
Salīdziniet klientus pēc "kanāla" (tīmeklī/mobilajā ierīcē): ierakstiet kodu, kas veido katra kanāla vidējās summas, vidējās summas, pasūtījumu skaita un summas sadalījuma lodziņu. Iesakiet, kurš tests ir piemērots atšķirības statistiskajam nozīmīgumam starp diviem kanāliem, bet lēmums ir manā ziņā.
Vāja uzvedne / spēcīga uzvedne
Vāja uzvedne:
Atrodiet kaut ko interesantu šajos datos.
“Interesanti” nav definēts; AI neredz datus, tāpēc tas tos izdomā vai sniedz vispārīgus apgalvojumus. Nav virziena, nav mainīgo lielumu, nav mērķa.
Spēcīga uzvedne:
Jūsu loma: EDA palīgs. df kolonnas: vecums (int), ienākumu_tl (peldošs), pilsēta (kategorija), kanāls (tīmeklis/mobilais), summa (pludināts). Mērķis: atklāt faktorus, kas ietekmē "summu". Uzdevums: (1) kods, kas attēlo summas sadalījumu, (2) sadalījuma diagrammas starp summu un vecumu un ienākumu_tl, (3) summas kastes diagramma kanālu sadalījumā. Cēloņsakarības prasības konstatēšana; Vienkārši ģenerējiet atklāšanas kodu, un es interpretēšu modeli.
Šeit ir skaidrs mērķis, mainīgie lielumi un "apgalvošanas cēloņsakarības" robeža.
Biežas kļūdas
- Paļaujoties tikai uz kopsavilkuma statistiku. Kā liecina Anscombe kvartets, viens un tas pats vidējais slēpj ļoti dažādus sadalījumus; skatīt diagrammu.
- Kļūdaina korelācija ar cēloņsakarību. Sadarbība nenorāda, ka viens noved pie otra; Sargieties no slēptiem mainīgajiem.
- Aplūkojot korelāciju bez izkliedes diagrammas. Atsevišķa novirze vai līknes līnija maldina skaitli.
- Summējot divu pīķu/šķību sadalījumu ar vidējo. Vidējais rādītājs var nepārstāvēt nevienu.
- Izlaižot EDA un dodoties tieši uz modeli. Neatpazīti dati nozīmē aklo modeli.
Padoms. Ar katru jaunu datu kopu pirmās 30 minūtes veltiet tikai diagrammu zīmēšanai: katra skaitļa histogramma, nozīmīgu pāru izkliedes diagramma, kategoriju joslu diagramma. Šīs 30 minūtes turpmākajās dienās novērš modelēšanas kļūdas.
Rezumējot
EDA ir datu iepazīšanas fāze pirms modeļa izveides, un tajā tiek meklētas atbildes uz četriem jautājumiem: izplatīšana, centra izkliede, attiecības un anomālijas. Kopsavilkuma statistika var būt maldinoša; jāskatās grafikā (Anscombe lekcija). Korelācija ir spēcīgs instruments, bet cēloņsakarība nav un noteikti ir jālasa kopā ar izkliedes diagrammu. AI ir lielisks paātrinātājs grafikas ierosināšanai un koda rakstīšanai; Bet cilvēki ar savām zināšanām no lauka interpretē, vai redzamais modelis ir īsts vai sakritība.
Lietojumprogrammas uzdevums
Izvēlieties datu kopu un vienkārši veiciet EDA: izvelciet vismaz trīs skaitlisku mainīgo histogrammu, divu mainīgo pāru izkliedes diagrammu un korelācijas siltuma karti. Atrodiet vismaz vienu “pārsteigumu” (piemēram, sadalījumu ar divām virsotnēm, viltus korelācijas kandidātu, attiecības, ko piesaista viena novirze) un izskaidrojiet to vienā teikumā. Rakstiet, neizvirzot nekādus cēloņsakarības apgalvojumus.
kontrolsaraksts
- [ ] Vai esmu attēlojis katra skaitliskā mainīgā sadalījumu?
- [ ] Vai es skatījos korelācijas ar izkliedes diagrammu?
- [ ] Vai esmu nošķīrusi cēloņsakarību un korelāciju?
- [ ] Vai es nepamanīju šķību vai divu pīķu sadalījumu un akli neuzticējos vidējam?
- [ ] Vai no saviem EDA konstatējumiem esmu atvasinājis vismaz vienu modelēšanas aspektu/hipotēzi?