Girdeji:
- Degişli grafikler bilen üýtgeýänleriň paýlanyşyny, merkezini, ýaýramagyny we anomaliýalaryny öwrenmek ukyby (gistogramma, guty çyzgysy, dargadyjy sýu plotet).
- Korrelýasiýany dogry düşündirip bilmek we sebäpler bilen bulaşdyrman, dargadyjy sýu plotet bilen bilelikde okamak
- Gysgaça statistikanyň ýalňyş bolup biljekdigine düşünmek (Anscombe sapagy) we modellemegiň ugruny kesgitleýän gipotezalary işläp düzmek.
Model gurmazdan ozal maglumatlary bilmeli. Lukmanyň hassany barlamazdan derman bermeýşi ýaly, maglumatlar alymy hem maglumatlary "barlamazdan" model gurmaýar. Bu synaga gözleg maglumatlary derňewi diýilýär (gysgaça EDA): maglumatlaryň paýlanyşyny, gatnaşyklaryny, garaşylmadyk ýerlerini we duzaklaryny wizual we grafiki taýdan tapmak tapgyry. EDA-nyň maksady gipotezalary döretmek, ýalňyşlyklary tutmak we modellemegiň ugruny kesgitlemek. Emeli intellekt bu döwürde gaty güýçli kömekçi: haýsy diagrammanyň laýykdygyny, koduny ýazýandygyny, paýlanyşyny düşündirýändigini görkezýär. Emma adam, görýän nagşynyň hakyky ýa-da tötänlikdigini öz meýdan bilimleri bilen karar berýär.
EDA näme gözleýär?
EDA dört soraga jogap gözleýär. Bölüşi: Her üýtgeýji nädip paýlanýar - simmetrikmi, skewmi ýa-da iki pikli? Merkezi tendensiýa we ýaýramak: Orta, ortaça gyşarmak näme? Gatnaşyklar: Üýtgeýjiler biri-biri bilen nähili baglanyşykda? Anomaliýalar: Garaşylmadyk gymmatlyklar, boşluklar, toparlar barmy? Bu dört sorag haýsy aýratynlygyň işlejekdigini we haýsy modeliň laýykdygyny kesgitleýär.
Geliň, käbir esasy düşünjeleri kesgitläliň. Gistogramma san üýtgeýjisiniň bahalaryny aralyklara bölýän we her aralykda näçe synlamanyň bardygyny görkezýän grafikdir; Paýlanyşyny görmegiň iň çalt usulydyr. Gödeklik paýlanyşyň bir tarapa üýtgemegi; Girdeji ýaly üýtgeýjiler sag tarapa egilýär (köplük pes, gaty az). Bir guty sýu plotetinde bir seredişde orta, kwartal we çykaryjylar görkezilýär. Pytraňňy sýu plotet, iki sany üýtgeýäniň nokat buludy bilen baglanyşygyny görkezýär.
Korrelýasiýa: gatnaşyk bar, ýöne seresap boluň
Korrelýasiýa - iki üýtgeýjiniň bilelikde hereket etmeginiň ölçegi; -1 bilen +1 aralygyndaky san - EDA-nyň iň köp ulanylýan we iň düşünilmedik guralydyr. +1 kämil birleşmegi aňladýar, -1 kämil ters gatnaşyklary, 0 çyzykly gatnaşygy aňlatmaýar. Iki sany uly duzak bar. Birinjiden, meşhur düzgün: korrelýasiýa sebäp däl. Dondurma satuwy bilen bogulma hadysalary köpelýär; biri beýlekisine eltýänligi üçin däl, tomus (gizlin üçünji üýtgeýän) ikisini hem herekete getirýändigi üçin. Ikinjiden, korrelýasiýa diňe çyzykly gatnaşyklary ölçär; 0-a ýakyn güýçli, ýöne egrilik gatnaşyklaryny görkezip biler. Şonuň üçin korrelýasiýa seredeniňde, dargadyjy meýdana hem göz aýlaň.
Üns beriň: AI korrelýasiýa belgisini bereninde, “A ýokarlanýar” ýaly sebäp diline geçip biler. Bu howply. Korrelýasiýa diňe bilelikde hereketi görkezýär; Munuň sebäbini diňe tejribe, domen bilimi we seresaplylyk bilen kesgitleýär.
Anscombe kwarteti: näme üçin diňe sana seretmeli däl?
Statistikada meşhur mysal bar: Anscombe kwarteti. Dört dürli maglumat toplumynyň manysy birmeňzeş, birmeňzeş görnüşi we birmeňzeş baglanyşygy bar (0.82); Emma çyzylsa, düýbünden başgaça görünýär - biri göni çyzyk, biri egri, biri bir daşarky tarapyndan çekilen bulut. Sapak düşnüklidir: gysgaça statistika ýalňyşdyr, grafige seretmek hökmanydyr. AI size ortaça we baglanyşyk berip biler, ýöne grafigi görmän şol sanlara ynanmak Anscombe duzagyna düşýär.
Aşakdaky tablisada haýsy diagrammanyň haýsy soraga laýyk gelýändigi görkezilýär:
Sorag
laýyk grafika
Näme görkezýär
Bir üýtgeýjiniň paýlanyşy
Gistogramma / KDE
Görnüşi, gödekligi, depeleriň sany
Merkez we çykyş edýänler
Guty sýu ploteti
Orta, dörtlük, çykyş edýänler
Iki sanyň gatnaşygy
dargamak diagrammasy
Ectionol, güýç, egrilik
Kategoriýa deňeşdirmesi
çyzgylar
Toparlaryň arasyndaky tapawut
wagtyň geçmegi bilen üýtgeýär
setir diagrammasy
Tendensiýa, möwsümleýinlik
Köpugurly gatnaşyk
Korrelýasiýa ýylylyk kartasy
Umumy gatnaşyk matrisasy
Simpsonyň gapma-garşylygy: jemlenen maglumatlar ýalan sözläp biler
Bilmek üçin EDA-da gizlin duzak Simpsonyň gapma-garşylygydyr: bir nagyş, ähli maglumatlar bilelikde gözden geçirilende bir ugry görkezip biler, ýöne maglumatlar manyly kiçi toparlara bölünende tersine. Nusgawy mysal: uniwersitetde okaýan aýal-gyzlaryň umumy kabul ediş derejesi erkeklere garanyňda pes bolup görünýär; Emma bölüme seredeniňde, aýallaryň kabul ediş derejesi bölümleriň köpüsinde erkeklerden has ýokary. Nireden? Aýallar has bäsdeşlikli (kabul ediş derejesi pes) bölümlere ýüz tutdular; Birleşdirilen san bu gizlin üýtgeýjini saklaýar. Sapak düşnüklidir: jemi ýa-da ortaça seredeniňde, manyly kiçi toparlara (segment, döwür, kanal) bölünende şol sanyň şol bir hekaýany aýdýandygyna göz ýetiriň. Haçan-da AI size birleşdirilen nyrh berende, “bölseňizem dogrymy?” Diýip soramak, iň ýalňyş netijeleri ir alar.
üç sany kiçi halat
1-nji waka - Iki sany gizlin depe. Bir analitik müşderiniň ortaça ýaşynyň 41-e ýetendigini anyklady we muny "orta ýaşly mähelle" diýip habar berdi. Emma gistogramma iki pikiri görkezdi: 22-28 we 55-62 ýaş toparlary. Ortaça 41 adam aslynda hiç kimi görkezmeýärdi. Sapak: ortaça ynanmazdan ozal paýlamagy meýilleşdiriň.
2-nji hadysa - Galp korrelýasiýa. Bir topar “mahabat çykdajylary” bilen “satuw” arasynda 0.78 arabaglanyşyk tapdy we býudjeti iki esse köpeltdi. Şeýle-de bolsa, ikisine sebäp bolan zat möwsümleýin kampaniýalardy; kampaniýadan daşary döwürde gatnaşyklar 0.10-a çenli azaldy. 340 müň TL goşmaça mahabat garaşylýan girdeji getirmedi. Sapak: sebäpler bilen ýalňyş baglanyşyk gymmat.
3-nji hadysa - oneeke-täk gapma-garşylyk bilen çyzylan çyzyk. Gozgalmaýan emläk derňewi kwadrat görnüşler bilen bahanyň arasynda berk gatnaşygy görkezdi (r = 0.80). Pytraňňy çyzgy düzülende, tutuş gatnaşyk diýen ýaly 12 million TL kaşaň villa tarapyndan döredildi; Bu nokat aýrylanda korrelýasiýa 0,31-e düşdi. Sapak: dargamak meýilnamasy bilen korrelýasiýany hemişe okaň.
Göçürip boljak dört şablon
1) Awtomatiki EDA gysgaça mazmuny:
Panda df bar. Öndürýän kod ýazyň: (1) df.info () we df.describe (), (2) her san sütüni üçin gistogramma, (3) her kategoriýa sütüni üçin san. Düşündiriş bermäň, diňe açyş koduny dörediň; Men nagyşlary düşündirýärin.
2) Korrelýasiýa + wizual (sebäpler bilen):
Korrelýasiýa matrisasyny we san sütünleri üçin ýylylyk kartasyny çyzýan kod ýazyň. Şeýle hem iň ýokary korrelirlenen jübütleriň 3-siniň çyzgysyny çyzyň. Korrelýasiýanyň sebäbini aňlatmaýandygyny ýatladýan çykyşa teswir setirini goşuň. Sebäp talaplaryny etmäň.
3) paýlanyş diagnozy:
"Girdeji_tl" sütüni üçin: gistogramma, guty sýu ploteti, gözüň bahasy we ortaça / ortaça deňeşdirme döredýän kod ýazyň. Paýlanyşyň gümürtikdigini ýa-da ýokdugyny düşündirerin; kody ber
4) Bölümi deňeşdirmek:
Müşderileri "kanal" (web / ykjam) bilen deňeşdiriň: her kanal üçin ortaça mukdar, ortaça mukdar, sargytlaryň sany we paýlanyş gutusyny öndürýän kod ýazyň. Haýsy synagyň iki kanalyň arasyndaky tapawudyň statistik ähmiýetine laýykdygyny teklip ediň, ýöne karar maňa bagly.
Gowşak haýyş / Güýçli haýyş
Gowşak haýyş:
Bu maglumatlarda gyzykly bir zat tapyň.
“Gyzykly” kesgitlenmedik; AI maglumatlary görenok, şonuň üçin ony düzýär ýa-da umumy beýannama berýär. Hiç hili ugur ýok, üýtgeýjiler ýok, maksat ýok.
Güýçli haýyş:
Siziň roluňyz: EDA kömekçisi. df sütünleri: ýaş (int), girdeji_tl (ýüzmek), şäher (kategoriýa), kanal (web / ykjam), mukdar (ýüzmek). Maksady: "mukdaryna" täsir edýän faktorlary ýüze çykarmak. Wezipe: (1) mukdaryň paýlanyşyny meýilleşdirýän kod, (2) mukdar bilen ýaş bilen girdeji_tl arasynda paýlanyş grafikleri, (3) kanalyň bölünişindäki mukdar gutusy. Sebäp talapnamasyny döretmek; Diňe açyş koduny dörediň we men nagşy düşündirerin.
Bu ýerde maksat, üýtgeýjiler we "sebäbini talap etmegiň" çäkleri aýdyňdyr.
Adaty ýalňyşlyklar
- Diňe jemleýji statistikalara bil baglamak. Anscombe kwartetiniň görkezişi ýaly, şol bir many dürli paýlamalary gizleýär; diagramma serediň.
- Sebäpler üçin ýalňyş baglanyşyk. Bilelikdäki hereket, biriniň beýlekisine eltýändigini görkezmeýär; Gizlin üýtgeýänlerden ägä boluň.
- Pytraňňy dildüwşüksiz korrelýasiýa seredýär. Singleeke-täk daşarky ýa-da egrilikli san ýalňyşdyr.
- Ortaça iki sany ýokary derejeli / siňdirilen paýlamany jemlemek. Ortaça hiç kimi görkezip bilmez.
- EDA-dan geçip, göni modele geçmek. Ykrar edilmedik maglumatlar kör modeli aňladýar.
Maslahat: Her täze maglumatlar toplumy bilen ilkinji 30 minudy diňe grafikleri çyzmak bilen geçiriň: her bir sanlaryň gistogrammasy, möhüm jübütleriň ýaýramagy, kategoriýalaryň çyzgysy. Bu 30 minut geljekde modellemek ýalňyşlyklarynyň öňüni alar.
Gysgaça
EDA model gurmazdan ozal maglumatlar bilen tanyşmak tapgyrydyr we dört soraga jogap gözleýär: paýlamak, merkeziň ýaýramagy, gatnaşyklar we anomaliýa. Gysgaça statistika ýalňyş bolup biler; grafige seretmek hökmanydyr (Anscombe leksiýasy). Korrelýasiýa güýçli guraldyr, ýöne sebäpler dargamak meýilnamasy bilen bilelikde hökman okalmaly däldir. AI grafikany we ýazuw koduny teklip etmek üçin ajaýyp tizlendiriji; Emma adamlar görýän nagyşlarynyň hakykydygyny ýa-da tötänlikdigini öz meýdan bilimleri bilen düşündirýärler.
Programma meselesi
Maglumatlar bazasyny saýlaň we diňe EDA-ny ýerine ýetiriň: azyndan üç san üýtgeýjisiniň gistogrammasyny, iki jübüt üýtgeýjiniň ýaýradylan çyzgysyny we korrelýasiýa ýylylyk kartasyny çykaryň. Iň bolmanda bir “geň galdyryjy” tapyň (meselem, iki pik bilen paýlamak, ýalançy korrelýasiýa kandidaty, bir adam tarapyndan çekilen gatnaşyk) we bir sözlemde düşündiriň. Sebäp talap etmezden ýazyň.
gözegçilik sanawy
- [] Her san üýtgeýjisiniň paýlanyşyny gözledimmi?
- [] Pytraňňy bilen baglanyşyklara seretdimmi?
- [] Sebäpleri we korrelýasiýany aýratyn sakladymmy?
- [] Gödek ýa-da iki derejeli paýlamalara üns bermedimmi we ortaça kör ynanýardymmy?
- [] EDA netijelerimden iň bolmanda bir modelleme aspektini / gipotezasyny aldymmy?