Gnóthachain:
- Cumas iniúchadh a dhéanamh ar dháileadh, lár, scaipeadh agus aimhrialtachtaí na n-athróg le graif chuí (hiseagram, plota bosca, scaipghraf).
- Cumas comhghaol a léirmhíniú i gceart agus é a léamh in éineacht leis an scaipghraf, gan é a mheascadh le cúisíocht
- Cumas a thuiscint gur féidir le staitisticí achoimre a bheith míthreorach (ceacht Anscombe) agus hipitéisí a fhorbairt a chinneann treo na samhaltú.
Sula ndéantar múnla a thógáil, ní mór na sonraí a fhios. Díreach mar nach ndéanann dochtúir cógais a fhorordú gan an t-othar a scrúdú, ní thógann eolaí sonraí múnla gan "scrúdú" a dhéanamh ar na sonraí. Anailís sonraí taiscéalaíoch a thugtar ar an scrúdú seo (EDA go hachomair): is é an chéim a aimsítear dáileadh, gaolta, iontas agus gaistí na sonraí go amhairc agus go grafach. Is é cuspóir EDA hipitéisí a ghiniúint, earráidí a ghabháil, agus treo samhaltaithe a chinneadh. Is cúntóir an-chumhachtach í faisnéis shaorga ag an gcéim seo: molann sé cén chairt atá oiriúnach, scríobhann a cód, léirmhíníonn dáileadh. Ach cinneann duine, lena (h)eolas allamuigh, cé acu an patrún fíor nó comhtharlú é an patrún a fheiceann sé.
Cad atá á lorg ag EDA?
Lorgaíonn EDA freagraí ar cheithre cheist. Dáileadh: Conas a dháiltear gach athróg – an bhfuil sé siméadrach, sceabhach nó dhá bhuaic? Claonadh agus leathadh lárnach: Cad iad an meán, airmheán, diall caighdeánach? Caidrimh: Cén bhaint atá ag na hathróga lena chéile? Aimhrialtachtaí: An bhfuil luachanna, bearnaí, grúpálacha gan choinne? Socraíonn na ceithre cheist seo cén ghné a oibreoidh agus cén samhail a bheidh oiriúnach.
A ligean ar a shainiú roinnt coincheapa bunúsacha. Is graf é histeagram a roinneann luachanna athróige uimhriúla ina eatraimh agus a thaispeánann cé mhéad breathnadóireacht atá i ngach eatramh; Is é an bealach is tapúla chun an dáileadh a fheiceáil. Is éard is skewness ann ná aistriú an dáileacháin i dtreo amháin; Tá athróga mar ioncam sceabhach ar dheis (tromlach íseal, beagán an-ard). Taispeánann plota bosca go sracfhéachaint ar an airmheán, ar cheathairíleanna agus ar asluitigh. Taispeánann léaráid scaipthe an gaol idir dhá athróg uimhriúla le scamall pointí.
Comhghaol: tá caidreamh ann ach bí cúramach
Comhghaol — tomhas ar an gcaoi a ngluaiseann dhá athróg le chéile; uimhir idir -1 agus +1 — is í an uirlis is mó a úsáidtear agus is míthuiscintí de chuid EDA. Ciallaíonn +1 comh-mhéadú foirfe, ciallaíonn -1 gaol inbhéartach foirfe, ciallaíonn 0 gan aon ghaol líneach. Tá dhá ribe mór. Gcéad dul síos, an riail cáiliúil: nach bhfuil comhghaol cúis. Méadaíonn cásanna tachta le díolacháin uachtar reoite; ní toisc go dtagann ceann amháin go dtí an ceann eile, ach toisc go spreagann an samhradh (an tríú athróg folaithe) an dá cheann. Ar an dara dul síos, ní tomhaiseann comhghaol ach gaol líneach; Féadfaidh sé gaol láidir cuarlíneach gar do 0 a léiriú. Mar sin, nuair a bhíonn tú ag féachaint ar chomhghaol, bí cinnte go bhféach tú ar an scaipghraf freisin.
Aire: Nuair a thugann an AI uimhir chomhghaolaithe, féadfaidh sé sleamhnú isteach i dteanga chúise cosúil le “A méaduithe B.” Tá sé seo contúirteach. Ní léiríonn comhghaol ach gluaiseacht le chéile; Ní bhunaíonn ach taithí, eolas fearainn, agus tátal cúramach an chúis.
Ceathairéad Anscombe: cén fáth nach díreach breathnú ar an uimhir
Tá sampla cáiliúil i staitisticí: an ceathairéad Anscombe. Tá beagnach an meán céanna ag ceithre thacar sonraí éagsúla, an t-athraitheas céanna, agus an comhghaol céanna (0.82); Ach nuair a ghrafaítear iad, tá cuma iomlán difriúil orthu - líne dhíreach amháin, ceann cuartha, scamall tarraingthe ag asluiteach amháin. Tá an ceacht soiléir: tá staitisticí achoimre míthreorach, ní mór breathnú ar an ngraf. Is féidir le AI meáin agus comhghaolta a thabhairt duit, ach tá muinín ag na huimhreacha sin gan an graf a fheiceáil ag titim isteach i gaiste Anscombe.
Tugann an tábla thíos achoimre ar an gcairt a oireann don cheist:
Ceist
grafach oiriúnach
Cad a léiríonn
Dáileadh athróige amháin
Histeagram / KDE
Cruth, skewness, líon na rinn
Ionad agus asluitigh
Plota bosca
Airmheán, ceathairíleanna, asluitigh
Gaol dhá uimhir
cairt scaipthe
Treo, neart, cuaire
Comparáid catagóir
barrachairt
Difríocht idir grúpaí
athrú le himeacht ama
chairt líne
Treocht, séasúracht
Caidreamh multivariate
Léarscáil teasa comhghaoil
Maitrís caidrimh ghinearálta
Paradacsa Simpson: is féidir le sonraí comhiomlánaithe bréag
Is gaiste sneaky san EDA é paradacsa Simpson a bheith feasach air: d’fhéadfadh patrún treo amháin a léiriú nuair a scrúdaítear na sonraí go léir le chéile, ach droim ar ais nuair a roinntear na sonraí i bhfoghrúpaí brí. Sampla clasaiceach: is cosúil go bhfuil an ráta glactha foriomlán d’iarratasóirí baineanna ar ollscoil níos ísle ná d’fhir; Ach nuair a bhreathnaítear ar roinn ar roinn, tá ráta glactha na mban níos airde ná na bhfear i bhformhór na ranna. Ón áit? Chuir mná isteach ar ranna níos iomaíche (rátaí glactha níos ísle); Stórálann an uimhir chomhcheangailte an athróg fholaithe seo. Tá an ceacht soiléir: agus tú ag féachaint ar iomlán nó meán, déan cinnte a sheiceáil an insíonn an uimhir sin an scéal céanna nuair a mhiondealaítear í ina bhfoghrúpaí brí (deighleog, tréimhse, cainéal). Nuair a thugann an AI ráta comhcheangailte duit, ag fiafraí “an bhfuil sé fós bailí nuair a dheighiltíonn tú é” gheobhaidh tú na torthaí is mó míthreorach go luath.
trí chás mion
Cás 1 - Dhá chnoc folaithe. Fuair anailísí amháin go raibh meánaois an chustaiméara 41 agus thuairiscigh sé mar "slua meánaosta." Ach léirigh an histeagram dhá bhuaic: na haoisghrúpaí 22-28 agus 55-62. Níor léirigh an meán 41 duine ar bith i ndáiríre. Ceacht: breac an dáileadh sula gcuirtear muinín sa mheán.
Cás 2 - Comhghaol spíonach. Fuair foireann amháin comhghaol 0.78 idir “caiteachas fógraíochta” agus “díolacháin” agus rinne siad an buiséad faoi dhó. Ba iad feachtais shéasúracha an rud a spreag an dá rud, áfach; le linn na tréimhse lasmuigh den fheachtas, thit an caidreamh go 0.10. Níor thug 340 míle TL fógraíocht bhreise an toradh ionchais. Ceacht: tá sé costasach comhghaol cearr le cúisíocht.
Cás 3 — An líne a tharraingíonn an contrarian aonair. Léirigh anailís eastát réadach gaol láidir idir píosaí scannáin cearnacha agus praghas (r=0.80). Nuair a tarraingíodh an plota scaipthe, chruthaigh Villa só singil 12 milliún TL beagnach an caidreamh iomlán; Nuair a baineadh an pointe sin, thit an comhghaol go dtí 0.31. Ceacht: léigh i gcónaí an comhghaol agus an scaipghraf.
Ceithre theimpléad inchóipeála
1) Achoimre Uathoibríoch EDA:
Tá pandaí agam df. Scríobh cód a tháirgeann: (1) df.info() agus df.describe(), (2) histeagram do gach colún uimhriúil, (3) comhaireamh do gach colún catagóiriúil. Ná trácht, ach gin an cód fionnachtana; Léirím na patrúin.
2) Comhghaol + amhairc (le caveat na cúisíochta):
Scríobh cód a tharraingíonn maitrís comhghaoil agus léarscáil teasa do na colúin uimhriúla. Chomh maith leis sin tarraing léaráid scaipthe de na 3 phéire comhghaolmhara is airde. Cuir líne tráchta leis an aschur ag meabhrú duit nach dtugann comhghaol cúisíocht le tuiscint. Ná déan éilimh chúise.
3) Diagnóis dáileacháin:
Don cholún "income_tl": scríobh cód a tháirgeann histeagram, plota bosca, luach sceabhachta agus comparáid airmheánach/meán. léirmhíneoidh mé an bhfuil an dáileadh sceabhach nó nach bhfuil; ach a thabhairt ar an gcód.
4) Comparáid deighleog:
Déan comparáid idir custaiméirí de réir "cainéal" (gréasán/soghluaiste): scríobh cód a tháirgeann boscaphlota den mheánmhéid, den mhéid airmheánach, den líon orduithe, agus den dáileadh méideanna do gach cainéal. Luaigh cén tástáil atá oiriúnach do thábhacht staitistiúil na difríochta idir an dá chainéal, ach is ormsa atá an cinneadh.
Leid lag / Pras láidir
Leid lag:
Faigh rud éigin suimiúil sna sonraí seo.
Tá “suimiúil” neamhshainithe; Ní fheiceann AI na sonraí, mar sin déanann sé suas iad nó déanann sé ráitis ghinearálta. Níl aon treo, gan aon athróg, gan aon chuspóir.
Leid chumhachtach:
Do ról: cúntóir EDA. colúin df: aois (int), ioncam_tl (snámhphointe), cathair (catagóir), cainéal (gréasán/soghluaiste), méid (snámhphointe). Aidhm: na tosca a théann i bhfeidhm ar "méid" a fháil amach. Tasc: (1) cód a bhreacadh dáileadh méid, (2) graif dáileadh idir méid agus aois agus ioncam_tl, (3) plota bosca den mhéid i miondealú cainéal. Éileamh cúisíoch a bhunú; Just a ghiniúint an cód fionnachtana agus beidh mé léirmhíniú ar an patrún.
Anseo, tá an cuspóir, na hathróga agus an teorainn "cúisiúlacht a éileamh" soiléir.
Botúin choitianta
- Ag brath ar staitisticí achoimre amháin. Mar a thaispeánann ceathairéad Anscombe, cuireann an meán céanna dáiltí an-difriúla i bhfolach; féach cairt.
- Comhghaol earráideach le haghaidh cúisíochta. Ní thugann comhghníomhaíocht le fios go dtéann duine amháin chuig an gceann eile; Seachain athróga ceilte.
- Breathnú ar chomhghaol gan plota scaipthe. Cuireann asluiteach nó cuarlíneacht amháin an uimhir amú.
- Ag tabhairt achoimre ar dháileadh dhá bhuaic/sceabhach leis an meán. Ní fhéadfaidh an meán ionadaíocht a dhéanamh ar aon duine.
- Gan bacadh le EDA agus dul díreach chuig an múnla. Ciallaíonn sonraí neamhaitheanta múnla dall.
Leid: Le gach tacar sonraí nua, caith an chéad 30 nóiméad díreach ag tarraingt graif: histeagram de gach uimhriúil, plota scaipthe de phéirí suntasacha, barrachairt na gcatagóirí. Cuireann na 30 nóiméad seo cosc ar earráidí samhaltaithe amach anseo ar feadh laethanta amach anseo.
Go hachomair
Is é an EDA an chéim chun eolas a chur ar na sonraí sula dtógtar samhail agus lorgaíonn sé freagraí ar cheithre cheist: dáileadh, scaipeadh láir, caidrimh agus aimhrialtachtaí. Is féidir le staitisticí achoimre a bheith míthreorach; ní mór féachaint ar an ngraf (léacht Anscombe). Is uirlis chumhachtach é comhghaol, ach níl an chúis le léamh agus is cinnte gur cheart é a léamh i gcomhar le plota scaipthe. Is luasaire iontach é AI chun grafaicí a mholadh agus cód a scríobh; Ach déanann daoine léirmhíniú lena n-eolas allamuigh cibé acu an patrún fíor nó comhtharlú é an patrún a fheiceann siad.
Tasc feidhmchláir
Roghnaigh tacar sonraí agus déan EDA go díreach: bain histeagram de thrí athróg uimhriúla ar a laghad, léaráid scaipthe de dhá phéire athróg, agus léarscáil teasa comhghaoil. Faigh “iontas” amháin ar a laghad (cosúil le dáileadh le dhá bhuaic, iarrthóir le haghaidh comhghaol spraíúil, gaol a mheallann asluiteach amháin) agus mínigh in aon abairt amháin é. Scríobh gan aon éileamh cúiseach a dhéanamh.
seicliosta
- [ ] An bhfuil grafáil déanta agam ar dháileadh gach athróige uimhriúil?
- [ ] Ar bhreathnaigh mé ar na comhghaolta leis an scathphlota?
- [ ] Ar choinnigh mé cúisíocht agus comhghaol ar leith?
- [ ] Nár thug mé faoi deara sceabhach nó dhá-buaic dáiltí agus blindly muinín an meán?
- [ ] An bhfuil gné shamhaltú/hipitéis amháin ar a laghad faighte agam ó thorthaí mo EDA?