Qligħ:
- Kapaċità li tesplora d-distribuzzjoni, iċ-ċentru, it-tixrid u l-anomaliji tal-varjabbli bi graffs xierqa (istogramma, box plot, scatter plot).
- Kapaċità li tinterpreta l-korrelazzjoni b'mod korrett u taqrah flimkien mal-dispert plot, mingħajr ma tħawwadha mal-kawżalità
- Kapaċità li tifhem li l-istatistika fil-qosor tista 'tkun qarrieqa (lezzjoni Anscombe) u tiżviluppa ipoteżi li jiddeterminaw id-direzzjoni tal-immudellar.
Qabel ma jinbena mudell, huwa meħtieġ li tkun taf id-dejta. Hekk kif tabib ma jippreskrivix medikazzjoni mingħajr ma jeżamina l-pazjent, xjenzat tad-dejta ma jibnix mudell mingħajr "jeżamina" id-dejta. Dan l-eżami jissejjaħ analiżi tad-dejta esploratorja (EDA fil-qosor): hija l-fażi ta 'skoperta tad-distribuzzjoni, ir-relazzjonijiet, is-sorpriżi u n-nases tad-dejta viżwalment u grafikament. L-iskop tal-EDA huwa li tiġġenera ipoteżi, taqbad żbalji, u tiddetermina d-direzzjoni tal-immudellar. L-intelliġenza artifiċjali hija assistent b'saħħtu ħafna f'dan l-istadju: tissuġġerixxi liema chart hija adattata, tikteb il-kodiċi tagħha, tinterpreta distribuzzjoni. Imma persuna tiddeċiedi, bl-għarfien tal-qasam tagħha, jekk il-mudell li tara huwiex reali jew koinċidenza.
X'tfittex l-EDA?
L-EDA tfittex tweġibiet għal erba' mistoqsijiet. Distribuzzjoni: Kif hija mqassma kull varjabbli—hija simmetrika, distorta, jew b'żewġ qċaċet? Tendenza ċentrali u tixrid: X'inhuma l-medja, medjan, devjazzjoni standard? Relazzjonijiet: Kif huma l-varjabbli relatati ma 'xulxin? Anomaliji: Hemm valuri, lakuni, raggruppamenti mhux mistennija? Dawn l-erba’ mistoqsijiet jiddeterminaw liema karatteristika se taħdem u liema mudell huwa xieraq.
Ejja niddefinixxu xi kunċetti bażiċi. Istogramma hija graff li taqsam il-valuri ta 'varjabbli numeriku f'intervalli u turi kemm hemm osservazzjonijiet f'kull intervall; Huwa l-aktar mod mgħaġġel biex tara d-distribuzzjoni. L-iskewness hija ċ-ċaqliq tad-distribuzzjoni f'direzzjoni waħda; Varjabbli bħad-dħul huma distorti lejn il-lemin (maġġoranza baxxi, ftit għoljin ħafna). Box plot juri l-medjan, il-kwartili u l-outliers f'daqqa t'għajn. Scatter plot juri r-relazzjoni ta' żewġ varjabbli numeriċi ma' sħaba ta' punti.
Korrelazzjoni: hemm relazzjoni imma oqgħod attent
Korrelazzjoni — kejl ta' kif żewġ varjabbli jimxu flimkien; numru bejn -1 u +1 — huwa l-aktar għodda użata u l-aktar mifhuma ħażin tal-EDA. +1 tfisser ko-żieda perfetta, -1 tfisser relazzjoni inversa perfetta, 0 tfisser l-ebda relazzjoni lineari. Hemm żewġ nases kbar. L-ewwel, ir-regola famuża: korrelazzjoni mhix kawżalità. Każijiet ta 'fgar jiżdiedu mal-bejgħ tal-ġelat; mhux għax wieħed iwassal għall-ieħor, imma għax is-sajf (it-tielet varjabbli moħbi) iqanqal it-tnejn. It-tieni, il-korrelazzjoni tkejjel biss ir-relazzjoni lineari; Jista 'jindika relazzjoni qawwija iżda kurvilineari qrib 0. Allura meta tħares lejn il-korrelazzjoni, kun żgur li tħares lejn il-plott tat-tixrid ukoll.
Attenzjoni: Meta l-AI tagħti numru ta' korrelazzjoni, tista' tiżloq f'lingwaġġ kawżali bħal "A żżid B." Dan huwa perikoluż. Il-korrelazzjoni tindika biss moviment flimkien; L-esperjenza, l-għarfien tad-dominju u l-inferenza bir-reqqa biss jistabbilixxu r-raġuni.
Kwartett Anscombe: għaliex ma nħarsux biss lejn in-numru
Hemm eżempju famuż fl-istatistika: il-kwartett Anscombe. Erba' settijiet ta' data differenti għandhom kważi l-istess medja, l-istess varjanza, u l-istess korrelazzjoni (0.82); Iżda meta grafikati, jidhru kompletament differenti - linja dritta waħda, waħda mgħawġa, waħda sħaba miġbuda minn outlier wieħed. Il-lezzjoni hija ċara: l-istatistika fil-qosor hija qarrieqa, li wieħed iħares lejn il-graff huwa meħtieġ. L-AI tista 'ttik medji u korrelazzjonijiet, iżda li tafda dawk in-numri mingħajr ma tara l-grafika qed taqa' fin-nassa Anscombe.
It-tabella hawn taħt tiġbor fil-qosor liema chart taqbel ma' liema mistoqsija:
Mistoqsija
grafika xierqa
Dak li juri
Distribuzzjoni ta' varjabbli wieħed
Istogramma / KDE
Forma, skewness, numru ta 'vertiċi
Ċentru u outliers
Box plot
Medjan, kwartili, outliers
Relazzjoni ta' żewġ numri
tabella tat-tixrid
Direzzjoni, saħħa, kurvatura
Paragun tal-kategorija
bar chart
Differenza bejn il-gruppi
bidla maż-żmien
linja chart
Xejra, staġjonalità
Relazzjoni multivarjata
Mappa tas-sħana ta' korrelazzjoni
Matriċi tar-relazzjoni ġenerali
Il-paradoss ta' Simpson: id-dejta aggregata tista' tinsab
Nassa sneaky fl-EDA biex tkun konxju tagħha hija l-paradoss ta 'Simpson: mudell jista' juri direzzjoni waħda meta d-dejta kollha tiġi eżaminata flimkien, iżda reverse meta d-dejta tinqasam f'sottogruppi sinifikanti. Eżempju klassiku: ir-rata ġenerali ta' aċċettazzjoni għall-applikanti nisa f'università tidher li hija aktar baxxa milli għall-irġiel; Iżda meta wieħed iħares lejn dipartiment b'dipartiment, ir-rata ta 'aċċettazzjoni tan-nisa hija ogħla mill-irġiel fil-biċċa l-kbira tad-dipartimenti. Minn fejn? In-nisa applikaw għal dipartimenti aktar kompetittivi (rati aktar baxxi ta' aċċettazzjoni); In-numru magħqud jaħżen din il-varjabbli moħbija. Il-lezzjoni hija ċara: meta tħares lejn total jew medja, kun żgur li tivverifika jekk dak in-numru jirrakkontax l-istess storja meta maqsum f'sottogruppi sinifikanti (segment, perjodu, kanal). Meta l-AI tagħtik rata magħquda, tistaqsi "għadha valida meta tissegmentaha" se taqbad l-aktar riżultati qarrieqa minn kmieni.
tliet każijiet żgħar
Każ 1 — Żewġ għoljiet moħbija. Analista wieħed sab li l-età medja tal-klijent kienet ta '41 u rrapportaha bħala "folla ta' età medja." Iżda l-istogramma wriet żewġ qċaċet: il-gruppi ta 'età 22-28 u 55-62. Il-medja ta’ 41 fil-fatt ma rrappreżentaw lil ħadd. Lezzjoni: ippjana d-distribuzzjoni qabel ma tafda l-medja.
Każ 2 — Korrelazzjoni falza. Tim wieħed sab korrelazzjoni ta '0.78 bejn "infiq tar-reklami" u "bejgħ" u rdoppja l-baġit. Madankollu, dak li wassal it-tnejn kienu kampanji staġjonali; matul il-perjodu barra mill-kampanja, ir-relazzjoni niżlet għal 0.10. 340 elf TL reklamar addizzjonali ma tawx il-qligħ mistenni. Lezzjoni: li tiżbalja l-korrelazzjoni mal-kawżalità hija għalja.
Każ 3 — Il-linja mfassla mill-kuntrarju waħdieni. Analiżi tal-proprjetà immobbli wriet relazzjoni qawwija bejn il-footage kwadru u l-prezz (r=0.80). Meta tfassal il-plott tat-tixrid, kważi r-relazzjoni kollha nħolqot minn villa lussuża waħda ta '12-il miljun TL; Meta dak il-punt tneħħa, il-korrelazzjoni niżlet għal 0.31. Lezzjoni: dejjem aqra l-korrelazzjoni flimkien mal-dispert plot.
Erba' mudelli li jistgħu jiġu kkupjati
1) Sommarju awtomatiku EDA:
Għandi pandas df. Ikteb kodiċi li jipproduċi: (1) df.info() u df.describe(), (2) istogramma għal kull kolonna numerika, (3) għadd għal kull kolonna kategorika. Tikkummentax, tiġġenera biss il-kodiċi ta 'skoperta; Ninterpreta l-mudelli.
2) Korrelazzjoni + viżwali (bil-twiddiba tal-kawżalità):
Ikteb kodiċi li jiġbed matriċi ta 'korrelazzjoni u mappa tas-sħana għall-kolonni numeriċi. Iġbed ukoll plot tat-tixrid tat-3 pari l-ogħla korrelatati. Żid linja ta' kumment mal-output li tfakkar li l-korrelazzjoni ma timplikax kawżalità. M'għandekx tagħmel pretensjonijiet kawżali.
3) Dijanjosi tad-distribuzzjoni:
Għall-kolonna "income_tl": ikteb il-kodiċi li jipproduċi istogramma, box plot, valur ta' skewness u paragun medjan/medju. Se ninterpreta jekk id-distribuzzjoni hijiex distorta jew le; agħti biss il-kodiċi.
4) Tqabbil tas-segmenti:
Qabbel il-klijenti skond "kanal" (web/mowbajl): ikteb kodiċi li jipproduċi boxplot tal-ammont medju, ammont medjan, numru ta 'ordnijiet, u distribuzzjoni tal-ammont għal kull kanal. Issuġġerixxi liema test huwa xieraq għas-sinifikat statistiku tad-differenza bejn iż-żewġ kanali, iżda d-deċiżjoni hija f'idejni.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Sib xi ħaġa interessanti f'din id-dejta.
"Interessanti" mhix definita; L-AI ma tarax id-dejta, għalhekk jew tagħmilha jew tagħmel dikjarazzjonijiet ġenerali. M'hemm l-ebda direzzjoni, l-ebda varjabbli, l-ebda skop.
Pront qawwi:
Ir-rwol tiegħek: assistent tal-EDA. kolonni df: età (int), income_tl (float), belt (kategorija), kanal (web/mobile), ammont (float). Għan: biex jiskopru l-fatturi li jaffettwaw "l-ammont". Kompitu: (1) kodiċi li jpinġi d-distribuzzjoni tal-ammont, (2) graffs tad-distribuzzjoni bejn l-ammont u l-età u income_tl, (3) box plot tal-ammont fit-tqassim tal-kanal. L-istabbiliment ta' talba kawżali; Iġġenera biss il-kodiċi ta 'skoperta u ninterpreta l-mudell.
Hawnhekk, l-iskop, il-varjabbli u l-limitu ta '"talba għall-kawżalità" huma ċari.
Żbalji komuni
- Jiddependu biss fuq statistika fil-qosor. Kif juri l-kwartett Anscombe, l-istess mezz jaħbi distribuzzjonijiet differenti ħafna; ara t-tabella.
- Korrelazzjoni żbaljata għall-kawżalità. Ko-azzjoni ma tindikax li wieħed iwassal għall-ieħor; Oqgħod attent mill-varjabbli moħbija.
- Ħarsa lejn korrelazzjoni mingħajr scatter plot. A barra waħda jew kurvilinearità tqarraq bin-numru.
- Fil-qosor distribuzzjoni b'żewġ qċaċet/mgħawġa bil-medja. Il-medja tista' ma tirrappreżenta lil ħadd.
- Taqbeż l-EDA u mmur dritt għall-mudell. Data mhux rikonoxxuta tfisser mudell blind.
Tip: Ma 'kull sett ta' dejta ġdid, qatgħu l-ewwel 30 minuta sempliċement tpinġi graffs: istogramma ta 'kull numeriku, sparger plot ta' pari sinifikanti, bar chart ta 'kategoriji. Dawn it-30 minuta jipprevjenu żbalji futuri tal-immudellar għall-jiem li ġejjin.
Fil-qosor
L-EDA hija l-fażi ta’ kif issir taf id-dejta qabel ma tibni mudell u tfittex tweġibiet għal erba’ mistoqsijiet: distribuzzjoni, tixrid taċ-ċentru, relazzjonijiet u anomaliji. Statistika fil-qosor tista' tkun qarrieqa; li wieħed iħares lejn il-graff huwa obbligat (Anscombe lecture). Il-korrelazzjoni hija għodda qawwija, iżda l-kawżalità mhix u definittivament għandha tinqara flimkien ma 'dispert plot. AI huwa aċċeleratur kbir biex jissuġġerixxi grafika u kitba tal-kodiċi; Iżda n-nies jinterpretaw bl-għarfien tal-qasam tagħhom jekk il-mudell li jaraw huwiex reali jew koinċidenza.
Kompitu ta' applikazzjoni
Agħżel sett ta 'dejta u agħmel biss EDA: estratt istogramma ta' mill-inqas tliet varjabbli numeriċi, sparger plot ta 'żewġ pari ta' varjabbli, u mappa tas-sħana ta 'korrelazzjoni. Sib mill-inqas "sorpriża" waħda (bħal distribuzzjoni b'żewġ qċaċet, kandidat għal korrelazzjoni spurja, relazzjoni attirata minn outlier wieħed) u spjegaha f'sentenza waħda. Ikteb mingħajr ma tagħmel xi pretensjonijiet kawżali.
lista ta' kontroll
- [ ] Għamilt graff tad-distribuzzjoni ta' kull varjabbli numeriku?
- [ ] Ħarist lejn il-korrelazzjonijiet ma' l-isparrar?
- [ ] Żammejt il-kawżalità u l-korrelazzjoni separati?
- [ ] Ma ndunajtx distribuzzjonijiet distorti jew b'żewġ peaks u nafda bl-addoċċ il-medja?
- [ ] Idderivajt mill-inqas aspett/ipoteżi waħda tal-immudellar mis-sejbiet tiegħi tal-EDA?