Hagnaður:
- Geta til að framleiða lýsandi tölfræði og dreifingar-/tengslatöflur með gervigreindarstuðningi og velja rétta töflugerð í samræmi við gögnin og spurninguna
- Hæfni til að þekkja villandi val (brotinn ás, óviðeigandi mælikvarða, óhófleg sléttun) í myndum sem framleiddar eru með gervigreind og beita heiðarlegum sjónarhornsreglum
- Að geta greint þá könnunargreiningu er til að búa til tilgátur og þá gildru að gera uppgötvun og staðfestingu með sömu gögnum (sem opnar dyrnar fyrir p-hakka).
Eftir að gögnin hafa verið hreinsuð er fyrsta verk reynslufræðingsins að kynnast þeim. Þetta stig er kallað könnunargagnagreining (EDA – Exploratory Data Analysis): það er ferlið við að skoða gögnin með línuritum og yfirlitstölfræði og sjá uppbyggingu þeirra, mynstur og óvæntar uppákomur. Markmiðið er ekki að prófa tilgátu ennþá, heldur að kynnast gögnunum, búa til spurningar og leggja grunninn að líkaninu sem þú munt byggja í framtíðinni. Í þessari einingu munum við sjá hvernig gervigreind (AI) flýtir fyrir EDA og sjónmyndun, en hvers vegna grafíkin sem hún framleiðir verður að vera vandlega endurskoðuð.
Við skulum fyrst gera tvær grundvallargreinar. Í fyrsta lagi bæta lýsandi tölfræði (tölur sem draga saman gögn eins og meðaltal, miðgildi, staðalfrávik, kvartila) og sjónmynd (sem sýna sömu upplýsingar á myndrænan hátt) hvort annað; Saman lýsa þeir gögnunum. Í öðru lagi, og mikilvægast, verður að greina á milli uppgötvunar og staðfestingar. Könnunargreining er til að búa til tilgátur; Að kanna tilgátuna með sömu gögnum og segja "ég prófaði það og fannst það marktækt" opnar dyrnar að p-hakka, sem við munum sjá í næstu einingu. Það er ókeypis að skoða gögnin og sjá mynstur; En að lýsa því yfir að mynstrið sé „sönnuð niðurstaða“ í sömu gögnum er villandi.
Skref fyrir skref könnunargreining
1. Einbreytilegt útsýni. Skoðaðu hverja breytu fyrir sig: er dreifing hennar samhverf eða skekkt; hversu margar hæðir eru þar; Hvar eru frávikin? Fyrir tölulegar breytur, súlurit (plottur sem sýnir tíðni með því að skipta gildum í svið) og boxplot (boxplot - graf sem sýnir miðgildi, fjórðungsgildi og öfgagildi); Fyrir flokkabreytur, notaðu tíðnitöflur og súlurit.
2. Tvíbreytilegt útsýni. Sjá tengsl tveggja breyta: dreifingarrit fyrir tvær tölulegar breytur (sýnir hverja athugun sem punkt á x-y planinu), flokkað kassarit fyrir tölulega-flokka, krosstöflu fyrir tvær flokkaðar. Áður en fylgnistuðullinn er skoðaður, vertu viss um að skoða dreifingarreitið: sama fylgnin getur sýnt mjög mismunandi mynstur (hinn frægi Anscombe kvartett sýnir þetta; fjögur gagnasöfn hafa næstum eins tölfræði, en þegar þau eru teiknuð reynast þau vera gjörólík).
3. Veldu rétta myndritagerð. Tegund töflunnar fer eftir spurningu þinni og gagnagerð. Vefrit til dreifingar; dreifingu fyrir samband; línurit fyrir breytingar með tímanum; súlurit til samanburðar á flokkum; (varlega) staflað stöng fyrir hlutfall hluta af heild. AI býr fljótt til kóða fyrir þig, en ákvörðunin um „hvaða línurit fyrir hvaða spurningu“ er þín.
4. Taktu eftir mynstrinu, ekki lýsa yfir niðurstöðum. Skráðu hvaða áhugaverða mynstur sem þú sérð sem "uppgötvunarmiða" en líttu ekki á það sem staðfesta niðurstöðu. Staðfesting fer fram í sérstöku skrefi, helst með sérstökum gögnum eða fyrirfram ákveðinni áætlun.
Heiðarlegar meginreglur um sjón
Grafíkin sannfærir; Þess vegna er villandi máttur þess einnig mikill. Gervigreind getur tekið fagurfræðilegar en stundum villandi ákvarðanir. Athugaðu þessar reglur:
- Í súluritum verður y-ásinn að byrja á núlli. Strikuðu ásinn sýnir lítinn mun sem stóran.
- Kvarðinn ætti að vera í samræmi. Ef verið er að bera saman tvö töflur skaltu nota sama ássvið.
- Of mikil sléttun getur falið hið sanna mynstur. Trendlína lítur vel út, en ef hún „sléttir“ gögnin of mikið getur hún verið villandi.
- Litur og þrívíddarskreyting skekkir athygli, ekki gögn. Veldu einfaldleika.
- Gögn sem vantar og úrtaksstærð ættu að vera sýnileg. „n=12“ og „n=12.000“ ættu ekki að líta eins út.
Athygli: Bara vegna þess að grafíkin sem AI framleiðir er falleg er hún ekki sönn. Algengustu mistökin sem hann gerir er að byrja ásinn ekki frá núlli í súluritinu og ýkja muninn á þessum tveimur hópum. Athugaðu alltaf ásinn.
Samanburðarrit: spurning → graf
Spurðu
rétt graf
Algeng mistök
Hvernig dreifist þessi breyta?
Histogram/box plot
notaðu kökurit
Eru tvær tölulegar breytur tengdar?
Dreifingarlóð
Bara að skoða fjölda fylgni
Hvernig hefur það breyst í gegnum tíðina?
línurit
Að segja þróun með súluriti
Hver er munurinn á hópum?
Hópaður kassi/bar (frá grunni)
Styttur ás stangir
Hlutahlutfall í heild?
Staflað stöng (með varúð)
Margsneiða kökurit
Fjórar afritanlegar leiðbeiningar
1. Sjálfvirk uppgötvunarkóði:
Þitt hlutverk: EDA aðstoðarmaður. Ég deili ekki gögnunum, ég vil R (ggplot2) kóðann. Það eru tölulegar (tekjur, aldur, útgjöld) og afdráttarlausar (svæði, menntun) breytur í 'gagnarammanum'. Verkefni: skrifa kóða sem framleiðir súlurit fyrir hverja tölu, súlurit fyrir hvern flokk og dreifingarrit fyrir tekju~aldur. Í súluritum, láttu y-ásinn byrja frá NÚLL. Bæta við athugasemdarlínu.
2. Fylgniskoðun (fylgni + sjónræn saman):
Skrifaðu kóða sem bæði reiknar Pearson fylgni fyrir tekjur og eyðslu og teiknar upp dreifingarreit + línulega þróun. Bættu við athugasemdarlínu sem minnir mig á að skoða töfluna áður en ég TREYSTIR fylgnitölunni (Anscombe viðvörun). Ekki ofslétta trendlínuna.
3. Heildarúttekt:
Athugaðu eftirfarandi ggplot kóða fyrir heiðarlega sjón:[kóði]. Athugaðu og leiðréttu eftirfarandi: byrjar y-ásinn á núlli, er kvarðinn í samræmi, er úrtaksstærðin sýnileg, er of mikil sléttun? Útskýrðu rökstuðninginn fyrir hverri leiðréttingu sem þú gerðir.
4. Framleiða uppgötvunarbréf (ekki uppgötvun):
Byggt á línuritunum sem ég bý til, skráðu ATHUGASEMDIR sem „uppgötvunarnótu“; skrifaðu hvert atriði á tungumálinu „tilgáta sem á að prófa“, ekki „afgerandi niðurstaða“. Dæmi: „Tekjur í háskólanámi virðast dreifðari; ætti að prófa með sérstökum gögnum.' Forðastu orsakasamhengi og endanlegar fullyrðingar.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Gerðu falleg línurit úr ávöxtuninni og segðu mér hvað þau þýða.
Þessi hvetja býður upp á villandi úttak: „fallegt“ leggur áherslu á fagurfræði, á meðan „hvað það þýðir“ ýtir gervigreind til að hoppa frá uppgötvun til endanlegrar niðurstöðu. Orsakasamar, ýktar athugasemdir fylgja.
Öflug tilvitnun:
Hlutverk þitt: heiðarlegur EDA aðstoðarmaður. Verkefni: (1) veldu þá tegund grafs sem hentar spurningunni minni og skrifaðu rökstuðninginn,(2) byrjaðu ásinn frá núlli í súluritum,(3) túlkaðu úttakið í UPPLÝSINGATÓK tungumál: engin endanleg/orsök fullyrðing bendir til tilgátu á "verður að prófa" tungumáli,(4) vara mig við ef sýnishornið er lítið í umhverfinu mínu og ég mun keyra sýnishornið í mínu umhverfi. það.
Mismunur: sterkur vilji réttlætir töflugerðina, setur heiðarleikareglur og ruglar ekki saman uppgötvun og staðfestingu.
þrjú smámál
Tilvik 1 - Stöðug ás ýkjur. Sérfræðingur sýndi ánægjustig tveggja greina (7,8 og 8,0; af 10) á súluriti. Þegar byrjað var á YZ ásnum frá 7,5, virtist önnur greinin næstum tvöfalt hærri en sú fyrri; en munurinn var aðeins 2,5%. Stjórnendur voru við það að verðlauna útibú undir röngum myndum. Þegar ég byrjaði ásinn frá grunni var munurinn nánast ósýnilegur. Lærdómur: Ásval eitt og sér breytir skynjun.
Tilvik 2 - Að treysta fylgni og sleppa töflunni. Rannsakandi sá r = 0,81 á milli tveggja breyta og skrifaði "sterkt línulegt samband". Þegar ráðgjafi hans bað um dreifingarmyndina sást að sambandið stafaði í raun af einni öfgaathugun og þegar sá punktur var fjarlægður fór fylgnin niður í 0,12. Lexía: fylgnitalning kemur ekki í stað grafs; horfa alltaf á dreifinguna.
Tilfelli 3 - Ruglingsleg uppgötvun og staðfesting. Einn nemandi skoðaði allar parafylgnir í 40 breytum gagnasetti, valdi þá hæstu (r=0,52) og skrifaði: "við fundum marktækt samband milli menntunar og sparnaðar (p=0,004)." Hins vegar voru mörg hundruð pör í 40 breytum; að velja hæsta var röng niðurstaða vegna tilviljunar. Lexía: ekki er hægt að „prófa og lýsa verulegu“ mynstrinu sem uppgötvaðist í sömu gögnum; Sérstök staðfesting er nauðsynleg.
Algeng mistök
- Ekki byrja ásinn frá núlli í súluritinu. Það ýkir litla muninn; Algengasta sjónræna lygin. Athugaðu alltaf.
- Skoða fylgni og sleppa töflunni. Sama fylgni kemur frá mjög mismunandi mynstrum; getur passað útúr samhengi. Í fyrsta lagi dreifingu.
- Miðað við mynstur sem fannst í uppgötvuninni sem "sönnunargögn" í sömu gögnum. Þetta er gáttin að p-hakka; Staðfesting fer fram sérstaklega.
- Röng myndritsgerð. Samsvörun eins og bar fyrir trend og baka fyrir dreifingu eru villandi. Veldu tegund út frá spurningunni.
- Felur úrtaksstærð. n=8 og n=8.000 ættu ekki að líta eins út á sama línuriti; sýna þarf óvissu.
Ábending: Áður en þú birtir graf skaltu spyrja sjálfan þig: "Myndi sagan breytast ef ég breytti ásnum?" Ef svarið er já, byrjaðir þú sennilega snúninginn frá óheiðarlegum stað.
Í stuttu máli
Rannsóknargagnagreining er áfangi þess að hitta gögnin, sjá mynstur og búa til tilgátur; Það er ekki staðfesting. Gervigreind býr fljótt til lýsandi tölfræði og grafkóða, en þú velur línuritsgerðina út frá spurningu þinni og stjórnar sanngirnisreglunum (núll ás, stöðugur mælikvarði, augljós óvissa). Horfðu á dreifinguna áður en þú treystir fylgnitölunni; Ekki lýsa mynstrinu sem þú fannst í uppgötvuninni sem "sönnunargögn" í sömu gögnum. Fallegt graf af gervigreind þýðir ekki rétt graf.
Umsóknarverkefni
Veldu að minnsta kosti þrjár breytur í gagnasafni. Biddu gervigreindina um og keyrðu kóða sem framleiðir könnunargröf (súlurrit, dreifingu, kassa) með leiðbeiningum sem framfylgir heiðarleikareglum. Fyrir hvert töflu: athugaðu (1) hvort tegund töflunnar sé viðeigandi fyrir spurninguna, (2) heiðarleika ássins, (3) sýnileika úrtaksstærðarinnar. Skrifaðu að minnsta kosti eina „uppgötvunarmið“ á tilgátumáli ("... virðist vera prófuð sérstaklega"). Skoðaðu fylgni við bæði talningu og dreifingu og greindu frá ef það er ósamræmi þar á milli.
gátlisti
- [ ] Ég valdi töflugerðina út frá spurningunni minni og gagnagerðinni.
- [ ] Í súluritum byrja ég y-ásinn frá núlli; Ég athugaði ásinn heiðarleika.
- [ ] Ég horfði á dreifingarmyndina áður en ég treysti fylgninni.
- [ ] Ég endurspeglaði úrtaksstærð og óvissu á línuritinu.
- [ ] Ég skrifaði mynstrin sem ég fann í könnun sem "tilgátu til að prófa" frekar en "sönnunargögn".
- [ ] Ég tók fram að ég myndi ekki nota sömu gögn til staðfestingar og að sérstakt skref væri krafist.