Nyereség:
- Képes a változók eloszlásának, középpontjának, terjedésének és anomáliáinak feltárására megfelelő grafikonokkal (hisztogram, dobozdiagram, szórásdiagram).
- Képes a korreláció helyes értelmezésére és a szórásdiagrammal együtt olvasására anélkül, hogy összetévesztené az oksággal
- Képes annak megértésére, hogy az összefoglaló statisztikák félrevezetőek lehetnek (Anscombe-lecke), és olyan hipotéziseket dolgozhat ki, amelyek meghatározzák a modellezés irányát.
A modell felépítése előtt ismerni kell az adatokat. Ahogyan az orvos nem ír fel gyógyszert a beteg vizsgálata nélkül, az adattudós sem épít modellt az adatok "megvizsgálása" nélkül. Ezt a vizsgálatot feltáró adatelemzésnek (exploratory data analysis, röviden EDA) nevezzük: az adatok eloszlásának, összefüggéseinek, meglepetéseinek, csapdáinak vizuális és grafikus feltárásának fázisa. Az EDA célja hipotézisek generálása, hibák feltárása és modellezési irány meghatározása. A mesterséges intelligencia nagyon erős asszisztens ebben a szakaszban: javasolja, melyik diagram alkalmas, megírja a kódját, értelmezi az eloszlást. De az ember saját terepismeretével dönti el, hogy a látott minta valós-e vagy véletlen.
Mit keres az EDA?
Az EDA négy kérdésre keresi a választ. Eloszlás: Hogyan oszlanak meg az egyes változók – szimmetrikusak, ferdeek vagy kétcsúcsosak? Központi tendencia és terjedés: Mi az átlag, medián, szórás? Kapcsolatok: Hogyan kapcsolódnak egymáshoz a változók? Anomáliák: Vannak-e váratlan értékek, hiányosságok, csoportosulások? Ez a négy kérdés határozza meg, hogy melyik funkció fog működni, és melyik modell a megfelelő.
Definiáljunk néhány alapfogalmat. A hisztogram egy grafikon, amely egy numerikus változó értékeit intervallumokra osztja, és megmutatja, hogy hány megfigyelés van az egyes intervallumokban; Ez a leggyorsabb módja az elosztás megtekintésének. A ferdeség az eloszlás egyirányú eltolódása; Az olyan változók, mint a jövedelem, jobbra ferdítenek (többség alacsony, kevés nagyon magas). A dobozdiagram egy pillantással mutatja a mediánt, a kvartiliseket és a kiugró értékeket. A szóródiagram két numerikus változó kapcsolatát mutatja egy pontfelhővel.
Összefüggés: van kapcsolat, de légy óvatos
Korreláció – annak mértéke, hogy két változó hogyan mozog együtt; egy -1 és +1 közötti szám — az EDA leggyakrabban használt és leginkább félreértett eszköze. A +1 tökéletes együttnövekedést jelent, a -1 azt jelenti, hogy tökéletes inverz összefüggés, a 0 azt jelenti, hogy nincs lineáris kapcsolat. Két nagy csapda van. Először is, a híres szabály: a korreláció nem okozati összefüggés. A fulladásos esetek száma a fagylalt értékesítésével nő; nem azért, mert az egyik a másikhoz vezet, hanem mert a nyár (a rejtett harmadik változó) mindkettőt kiváltja. Másodszor, a korreláció csak lineáris kapcsolatot mér; Erős, de görbe vonalú, 0-hoz közeli összefüggést jelezhet. Tehát ha korrelációt nézünk, feltétlenül nézzük meg a szórásdiagramot is.
Vigyázat: Ha az AI korrelációs számot ad meg, az oksági nyelvezetbe csúszhat, mint például: „A növeli B-t”. Ez veszélyes. A korreláció csak együttes mozgást jelez; Csak a tapasztalat, a terület ismerete és a körültekintő következtetés határozza meg az okot.
Anscombe kvartett: miért nem nézzük csak a számot
Van egy híres példa a statisztikában: az Anscombe kvartett. Négy különböző adathalmaz majdnem azonos átlaggal, azonos szórással és azonos korrelációval rendelkezik (0,82); Ám grafikonon teljesen másképp néznek ki – egy egyenes, egy ívelt, egy felhő, amelyet egyetlen kiugró húz. A tanulság egyértelmű: az összefoglaló statisztika félrevezető, a grafikonra nézve kötelező. A mesterséges intelligencia átlagokat és korrelációkat tud adni, de ha ezekben a számokban bízunk anélkül, hogy látnánk a grafikont, az Anscombe csapdájába esik.
Az alábbi táblázat összefoglalja, hogy melyik diagram melyik kérdésre felel meg:
kérdés
megfelelő grafika
Mit mutat
Egyetlen változó eloszlása
Hisztogram / KDE
Alak, ferdeség, csúcsok száma
Középpont és kiugró értékek
Doboz telek
Medián, kvartilisek, kiugró értékek
Két szám kapcsolata
szóródiagram
Irány, erő, görbület
Kategória összehasonlítás
oszlopdiagram
Különbség a csoportok között
idővel változni
vonaldiagram
Trend, szezonalitás
Többváltozós kapcsolat
Korrelációs hőtérkép
Általános kapcsolati mátrix
Simpson paradoxona: az összesített adatok hazudhatnak
Az EDA rejtett csapdája, amellyel tisztában kell lenni, Simpson paradoxona: a minta egy irányt mutathat, ha az összes adatot együtt vizsgáljuk, de fordítva, ha az adatokat értelmes alcsoportokra osztjuk. Klasszikus példa: úgy tűnik, hogy az egyetemeken a női jelentkezők általános felvételi aránya alacsonyabb, mint a férfiaké; De ha osztályonként nézzük, a nők elfogadási aránya a legtöbb osztályon magasabb, mint a férfiaké. Ahonnan? A nők versenyképesebb (alacsonyabb befogadási arányú) osztályokra jelentkeztek; A kombinált szám tárolja ezt a rejtett változót. A tanulság egyértelmű: ha egy összeget vagy átlagot nézünk, feltétlenül ellenőrizze, hogy ez a szám ugyanazt a történetet mondja-e el, ha értelmes alcsoportokra (szegmens, időszak, csatorna) bontja. Amikor a mesterséges intelligencia kombinált arányt ad meg, akkor a kérdés, hogy „érvényes-e még, amikor szegmentálja”, már korán megkapja a legtöbb félrevezető eredményt.
három mini tok
1. eset – Két rejtett domb. Egy elemző szerint az ügyfelek átlagos életkora 41 év, és „középkorú tömegként” számolt be róla. A hisztogram azonban két csúcsot mutatott: a 22-28 és az 55-62 éves korosztályt. Az átlag 41 valójában nem képviselt senkit. Tanulság: ábrázolja az eloszlást, mielőtt megbízna az átlagban.
2. eset – Hamis korreláció. Egy csapat 0,78-as korrelációt talált a „hirdetési kiadások” és az „eladások” között, és megduplázta a költségvetést. Mindkettőt azonban a szezonális kampányok váltották ki; a kampányon kívüli időszakban a kapcsolat 0,10-re csökkent. 340 ezer TL többletreklám nem hozta meg a várt hozamot. Tanulság: a korreláció összetévesztése az okozati összefüggéssel drága.
3. eset – A magányos ellenfél által húzott vonal. Egy ingatlanelemzés erős kapcsolatot mutatott ki a négyzetméter és az ár között (r=0,80). A szórványrajz megrajzolásakor szinte az egész kapcsolatot egyetlen 12 millió TL-es luxusvilla teremtette meg; Amikor ezt a pontot eltávolították, a korreláció 0,31-re csökkent. Tanulság: mindig olvassa el a korrelációt a szóródással együtt.
Négy másolható sablon
1) Automatikus EDA összefoglaló:
Pandáim vannak df. Írjon egy kódot, amely előállítja: (1) df.info() és df.describe(), (2) hisztogramot minden numerikus oszlophoz, (3) számlálást minden kategorikus oszlophoz. Ne kommentáljon, csak generálja a felfedezési kódot; értelmezem a mintákat.
2) Korreláció + vizuális (az okozati összefüggés fenntartásával):
Írjon olyan kódot, amely korrelációs mátrixot és hőtérképet rajzol a numerikus oszlopokhoz. Rajzolja meg a 3 legmagasabb korrelált pár szóródási diagramját is. Adjon hozzá egy megjegyzés sort a kimenethez, emlékeztetve arra, hogy a korreláció nem jelent ok-okozati összefüggést. Ne állítson ok-okozati összefüggéseket.
3) Eloszlási diagnózis:
Az „income_tl” oszlophoz: írjon be olyan kódot, amely hisztogramot, dobozdiagramot, ferdeségi értéket és medián/átlag összehasonlítást eredményez. Értelmezem, hogy az eloszlás torz-e vagy sem; csak adja meg a kódot.
4) Szegmensek összehasonlítása:
Hasonlítsa össze az ügyfeleket "csatorna" (web/mobil) szerint: írjon olyan kódot, amely egy boxplot-ot készít az átlagos összegről, a medián összegről, a rendelések számáról és az összeg eloszlásáról az egyes csatornákra. Javasoljuk, hogy melyik teszt alkalmas a két csatorna közötti különbség statisztikai szignifikanciájára, de a döntés az én döntésem.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Találj valami érdekeset ezekben az adatokban.
Az „érdekes” nem definiált; Az AI nem látja az adatokat, ezért vagy kitalálja, vagy általános megállapításokat tesz. Nincs irány, nincsenek változók, nincs cél.
Erőteljes felszólítás:
Az Ön szerepe: EDA asszisztens. df oszlopok: életkor (int), jövedelem_tl (float), város (kategória), csatorna (web/mobil), összeg (float). Cél: az "összeg"-et befolyásoló tényezők feltárása. Feladat: (1) az összeg eloszlásának kódolása, (2) az összeg és az életkor és a jövedelem_tl közötti eloszlási grafikonok, (3) az összeg dobozos ábrázolása csatorna bontásban. Ok-okozati állítás megállapítása; Csak generálja a felfedezési kódot, és értelmezni fogom a mintát.
Itt egyértelmű a cél, a változók és az „oksági állítás” határa.
Gyakori hibák
- Kizárólag összefoglaló statisztikákra támaszkodva. Ahogy az Anscombe-négyes is mutatja, ugyanaz az átlag nagyon különböző eloszlásokat rejt; lásd a diagramot.
- Az ok-okozati összefüggés összetévesztése. Az együttműködés nem azt jelzi, hogy az egyik a másikhoz vezet; Óvakodjon a rejtett változóktól.
- Szórásdiagram nélkül vizsgálva a korrelációt. Egyetlen kiugró érték vagy görbe vonalvezetés félrevezeti a számot.
- Kétcsúcsos/ferde eloszlás összegzése az átlaggal. Az átlag nem képviselhet senkit.
- Kihagyjuk az EDA-t, és egyenesen a modellhez megyünk. A fel nem ismert adatok vak modellt jelentenek.
Tipp: Minden új adatkészletnél az első 30 percet csak grafikonok rajzolásával töltse: minden egyes szám hisztogramja, jelentős párok szóródása, kategóriák oszlopdiagramja. Ez a 30 perc megakadályozza a jövőbeni modellezési hibákat az elkövetkező napokban.
Összefoglalva
Az EDA az adatok megismerésének fázisa a modell felépítése előtt, és négy kérdésre keresi a választ: eloszlás, központosodás, kapcsolatok és anomáliák. Az összefoglaló statisztikák félrevezetőek lehetnek; a grafikont nézni kötelező (Anscombe előadás). A korreláció hatékony eszköz, de az ok-okozati összefüggést nem, és mindenképpen a szóródási diagrammal együtt kell értelmezni. A mesterséges intelligencia nagyszerű gyorsító grafikák javasolásához és kódíráshoz; De az emberek a terepismeretükkel értelmezik, hogy a látott minta valós-e vagy véletlen.
Pályázati feladat
Válasszon ki egy adatkészletet, és végezze el az EDA-t: készítsen legalább három numerikus változóból álló hisztogramot, két változópárból álló szóródási diagramot és egy korrelációs hőtérképet. Keress legalább egy „meglepetést” (például két csúcsos eloszlást, hamis korrelációra jelöltet, egyetlen kiugró érték által vonzott kapcsolatot), és magyarázd el egy mondatban. Írjon ok-okozati állítások nélkül.
ellenőrző lista
- [ ] Megrajzoltam az egyes numerikus változók eloszlását?
- [ ] Megnéztem az összefüggéseket a szórásdiagrammal?
- [ ] Külön tartottam az ok-okozati összefüggést és a korrelációt?
- [ ] Nem vettem észre a ferde vagy kétcsúcsos eloszlásokat, és vakon bíztam az átlagban?
- [ ] Levezettem-e legalább egy modellezési szempontot/hipotézist az EDA eredményeimből?