Qligħ:
- Kapaċità li tipproduċi statistika deskrittiva u mapep ta’ distribuzzjoni/relazzjoni b’appoġġ ta’ intelliġenza artifiċjali u tagħżel it-tip ta’ chart it-tajjeb skont id-dejta u l-mistoqsija
- Kapaċità li tirrikonoxxi għażliet qarrieqa (assi mqabbda, skala mhux xierqa, twittija eċċessiva) f’immaġini prodotti minn intelliġenza artifiċjali u tapplika prinċipji ta’ viżwalizzazzjoni onesti
- Li tkun tista 'tiddistingwi dik l-analiżi esploratorja hija għall-ġenerazzjoni ta' ipoteżijiet u n-nassa li ssir skoperta u konferma bl-istess data (li tiftaħ il-bieb għall-p-hacking).
Wara t-tindif tad-dejta, l-ewwel xogħol tar-riċerkatur empiriku huwa li jsir jafha. Dan l-istadju jissejjaħ analiżi tad-dejta esploratorja (EDA - Analiżi tad-Data Esploratorja): huwa l-proċess ta 'eżaminazzjoni tad-dejta bi graffs u statistika fil-qosor u tara l-istruttura, ix-xejriet u s-sorpriżi tagħha. L-għan għadu mhux li tiġi ttestjata ipoteżi, iżda li ssir familjari mad-dejta, tiġġenera mistoqsijiet u tpoġġi s-sisien għall-mudell li se tibni fil-futur. F'din l-unità, se naraw kif l-intelliġenza artifiċjali (AI) taċċellera l-EDA u l-viżwalizzazzjoni, iżda għaliex il-grafika li tipproduċi trid tiġi vverifikata bir-reqqa.
Ejja l-ewwel nagħmlu żewġ distinzjonijiet bażiċi. L-ewwel, statistika deskrittiva (numri li jiġbru fil-qosor data bħall-medja, medjan, devjazzjoni standard, kwartili) u viżwalizzazzjoni (li turi l-istess informazzjoni b'mod grafiku) jikkumplimentaw lil xulxin; Flimkien jiddeskrivu d-dejta. It-tieni, u l-aktar kritiku: l-iskoperta u l-konferma għandhom jiġu distinti. Analiżi esploratorja hija biex tiġġenera ipoteżi; L-esplorazzjoni tal-ipoteżi bl-istess data u tgħid "Ittestjajtha u sibtha sinifikanti" tiftaħ il-bieb għall-p-hacking, li se naraw fl-unità li jmiss. Huwa liberu li tħares lejn id-dejta u tara mudell; Iżda li tiddikjara dak il-mudell bħala "sejba ppruvata" fl-istess data hija qarrieqa.
Analiżi esploratorja pass pass
1. Veduta univarjata. Eżamina kull varjabbli individwalment: id-distribuzzjoni tagħha hija simmetrika jew distorta; kemm hemm għoljiet; Fejn huma l-outliers? Għal varjabbli numeriċi, istogramma (plott li juri l-frekwenza billi taqsam il-valuri f'meded) u boxplot (boxplot — chart li turi valuri medjan, kwartili u estremi); Għal varjabbli kategoriċi, uża tabelli tal-frekwenza u bar charts.
2. Veduta bivarjata. Ara r-relazzjoni bejn żewġ varjabbli: scatter plot għal żewġ varjabbli numeriċi (turi kull osservazzjoni bħala punt fuq il-pjan x-y), box plot raggruppat għal numeriku-kategoriku, crosstab għal żewġ kategoriċi. Qabel ma tħares lejn il-koeffiċjent ta 'korrelazzjoni, kun żgur li tħares lejn l-ispert plot: l-istess korrelazzjoni tista' turi xejriet differenti ħafna (il-kwartett famuż Anscombe juri dan; erba 'settijiet ta' dejta għandhom statistiċi kważi identiċi, iżda meta plottjati jirriżultaw li huma kompletament differenti).
3. Agħżel it-tip ta 'chart korrett. It-tip taċ-ċart jiddependi fuq il-mistoqsija u t-tip tad-dejta tiegħek. Istogramma għad-distribuzzjoni; tifrix għal relazzjoni; line chart għal bidla maż-żmien; bar chart għat-tqabbil tal-kategoriji; (b'attenzjoni) bar f'munzelli għall-proporzjon ta 'partijiet għall-sħiħ. L-AI malajr tiġġenera kodiċi għalik, iżda d-deċiżjoni ta' "liema graff għal liema mistoqsija" hija tiegħek.
4. Innota l-mudell, ma tiddikjara r-riżultati. Irreġistra kwalunkwe mudell interessanti li tara bħala "nota ta 'skoperta", iżda ma tqisx bħala sejba konfermata. Il-konferma ssir fi pass separat, preferibbilment b'dejta separata jew skeda predeterminata.
Prinċipji ta 'viżwalizzazzjoni onesti
Il-grafika tikkonvinċi; Għalhekk, il-qawwa qarrieqa tagħha hija wkoll għolja. L-AI tista' tagħmel għażliet estetiċi iżda kultant qarrieqa. Iċċekkja dawn il-politiki:
- Fil-bar charts, l-assi y għandu jibda minn żero. L-assi dashed juri differenzi żgħar bħala kbar.
- L-iskala għandha tkun konsistenti. Jekk qed jitqabblu żewġ charts, uża l-istess medda tal-assi.
- Lixxa eċċessiva tista 'taħbi l-mudell veru. Linja ta 'tendenza tidher sabiħa, iżda jekk "ittaffi" wisq id-dejta, tista' tkun qarrieqa.
- Il-kulur u d-dekorazzjoni 3D jgħawġu l-attenzjoni, mhux id-dejta. Agħżel is-sempliċità.
- Id-dejta nieqsa u d-daqs tal-kampjun għandhom ikunu viżibbli. "n=12" u "n=12,000" m'għandhomx jidhru l-istess.
Attenzjoni: Sempliċement għax il-grafika prodotta mill-AI hija sabiħa, mhumiex vera. L-iktar żball komuni li jagħmel huwa li ma jibdax l-assi minn żero fil-bar chart u li jesaġera d-differenza bejn iż-żewġ gruppi. Dejjem iċċekkja l-assi.
Tabella ta' paragun: mistoqsija → chart
Staqsi
tabella korretta
Żball komuni
Kif hija mqassma din il-varjabbli?
Istogramma/plott tal-kaxxa
uża pie chart
Żewġ varjabbli numeriċi huma relatati?
Scatter plot
Ħarsa biss lejn in-numru ta 'korrelazzjonijiet
Kif inbidel maż-żmien?
linja chart
Tgħid xejra b'bar chart
X'inhi d-differenza bejn il-gruppi?
Kaxxa/bar raggruppati (mill-bidu)
Virga tal-assi maqtugħa
Proporzjon parti għal kollox?
Bar f'munzelli (b'kawtela)
Pie chart b'ħafna porzjon
Erba' prompts ikkupjabbli
1. Kodiċi ta 'skoperta awtomatika:
Ir-rwol tiegħek: assistent tal-EDA. Ma naqsamx id-dejta, irrid il-kodiċi R (ggplot2). Hemm varjabbli numeriċi (dħul, età, nefqa) u kategoriċi (reġjun, edukazzjoni) fil-qafas tad-data 'data'. Kompitu: ikteb kodiċi li tipproduċi istogramma għal kull numeriku, bar chart għal kull kategorika, u sparger plot għal dħul ~ età. Fil-bar charts, ħalli l-assi y jibda minn ZERO. Żid il-linja tal-kumment.
2. Reviżjoni tal-korrelazzjoni (korrelazzjoni + viżwali flimkien):
Ikteb kodiċi li t-tnejn tikkalkula l-korrelazzjoni ta’ Pearson għad-dħul u l-infiq u tfassal plot ta’ dispersjoni + xejra lineari. Żid linja ta 'kumment li tfakkarni biex neżamina t-tabella qabel NFIDU l-għadd ta' korrelazzjoni (twissija Anscombe). M'għandekx iżżejjed il-linja tat-tendenza.
3. Verifika tal-integrità:
Iċċekkja l-kodiċi ggplot li ġej għal viżwalizzazzjoni onesta:[kodiċi]. Iċċekkja u kkoreġi dan li ġej: l-assi y jibda minn żero, l-iskala hija konsistenti, id-daqs tal-kampjun huwa viżibbli, hemm twittija eċċessiva? Spjega l-ġustifikazzjoni għal kull korrezzjoni li għamilt.
4. Il-produzzjoni ta' nota ta' skoperta (mhux sejba):
Ibbażat fuq il-graffs li nipproduċi, elenka l-OSSERVAZZJONIJIET bħala 'nota ta' skoperta'; ikteb kull oġġett fil-lingwa ta' 'ipoteżi li trid tiġi ttestjata', mhux 'sejba konklużiva'. Eżempju: 'Dħul fl-edukazzjoni ogħla JIDHER aktar mifrux; għandhom jiġu ttestjati b'dejta separata.' Evita dikjarazzjonijiet kawżali u definittivi.
Pront dgħajjef / Pront qawwi
Pront dgħajjef:
Agħmel graffs sbieħ mir-rendiment u għidli xi jfissru.
Dan il-pront jistieden output qarrieqi: "sabiħ" jiffoka fuq l-estetika, filwaqt li "dak li jfisser" timbotta l-AI biex taqbeż minn skoperta għal konklużjoni definittiva. Isegwu kummenti kawżali u esaġerati.
Pront qawwi:
Ir-rwol tiegħek: assistent EDA onest.Kompitu: (1) agħżel it-tip ta 'grafika li taqbel mal-mistoqsija tiegħi u ikteb il-ġustifikazzjoni, (2) ibda l-assi minn żero f'bar charts, (3) interpreta l-output fil-lingwa TA' DISCOVERY NOTE: l-ebda talba definittiva/kawżali ma tissuġġerixxi ipoteżi fil-lingwa "għandha tiġi ttestjata", (4) wissini jekk il-kampjun hux żgħir fl-ambjent tiegħi.
Differenza: rieda qawwija tiġġustifika t-tip ta 'chart, timponi regoli ta' onestà u ma tħawwadx l-iskoperta mal-konferma.
tliet każijiet żgħar
Każ 1 — Eżaġerazzjoni tal-assi diskreta. Analista wera l-punteġġi ta 'sodisfazzjon ta' żewġ fergħat (7.8 u 8.0; minn 10) f'bar chart. Meta beda l-assi YZ minn 7.5, it-tieni fergħa dehret kważi d-doppju tal-ewwel; billi d-differenza kienet biss ta’ 2.5%. Il-maniġment kien wasal biex jippremja fergħa taħt impressjoni ħażina. Meta bdejt l-assi mill-bidu id-differenza kienet kważi inviżibbli. Lezzjoni: l-għażla tal-assi waħedha tbiddel il-perċezzjoni.
Każ 2 — Tafda fil-korrelazzjoni u taqbeż it-tabella. Riċerkatur ra r = 0.81 bejn żewġ varjabbli u kiteb "relazzjoni lineari qawwija". Meta l-konsulent tiegħu talab għat-tferrix, deher li r-relazzjoni kienet fil-fatt dovuta għal osservazzjoni estrema waħda, u meta dak il-punt tneħħa, il-korrelazzjoni niżlet għal 0.12. Lezzjoni: l-għadd ta' korrelazzjoni mhuwiex sostitut għal graff; dejjem tħares lejn it-tifrix.
Każ 3 — Sejba ta' konfużjoni ma' konferma. Student wieħed ħares lejn il-korrelazzjonijiet kollha f'pari f'sett ta' dejta ta' 40 varjabbli, għażel l-ogħla waħda (r=0.52) u kiteb, "sibna relazzjoni sinifikanti bejn l-edukazzjoni u t-tfaddil (p=0.004)." Madankollu, kien hemm mijiet ta 'pari f'40 varjabbli; l-għażla tal-ogħla kienet sejba falza minħabba ċans. Lezzjoni: il-mudell skopert ma jistax jiġi "ttestjat u ddikjarat sinifikanti" fl-istess data; Konferma separata hija meħtieġa.
Żbalji komuni
- Mhux tibda l-assi minn żero fil-bar chart. Tesaġera d-differenza żgħira; L-aktar gidba viżwali komuni. Dejjem iċċekkja.
- Ħarsa lejn il-korrelazzjoni u taqbeż it-tabella. L-istess korrelazzjoni ġejja minn mudelli differenti ħafna; jistgħu joqogħdu ma 'relazzjoni outlier. L-ewwel, it-tifrix.
- Meta wieħed iqis il-mudell misjub fl-iskoperta bħala "evidenza" fl-istess data. Dan huwa l-portal għall-p-hacking; Il-konferma ssir separatament.
- Tip ta' chart ħażin. Logħbiet bħal bar għat-tendenza u pie għad-distribuzzjoni huma qarrieqa. Agħżel ġeneru bbażat fuq il-mistoqsija.
- Ħabi tad-daqs tal-kampjun. n=8 u n=8,000 m'għandhomx jidhru l-istess fuq l-istess graff; trid tintwera l-inċertezza.
Tip: Qabel ma tippubblika chart, staqsi lilek innifsek: "Tinbidel l-istorja jekk inbiddel l-assi?" Jekk it-tweġiba hija iva, probabilment bdejt il-pern minn post diżonest.
Fil-qosor
L-analiżi esploratorja tad-dejta hija l-fażi li tissodisfa d-dejta, li tara mudelli u tiġġenera ipoteżijiet; Mhijiex konferma. L-AI jiġġenera malajr statistika deskrittiva u kodiċi tal-graff, iżda inti tagħżel it-tip ta 'graff ibbażat fuq il-mistoqsija tiegħek u tikkontrolla l-prinċipji ta' ġustizzja (assi żero, skala konsistenti, inċertezza apparenti). Ħares lejn it-tixrid qabel ma tafda n-numru ta 'korrelazzjoni; Tiddikjarax il-mudell li sibt fl-iskoperta bħala "evidenza" fl-istess data. Grafika sabiħa ta 'AI ma tfissirx graff korrett.
Kompitu ta' applikazzjoni
Agħżel mill-inqas tliet varjabbli f'sett tad-dejta. Staqsi lill-AI għal u ħaddem kodiċi li jipproduċi graffs esploratorji (istogramma, dispersjoni, f'kaxxa) bi pront li jinforza r-regoli tal-onestà. Għal kull chart: iċċekkja (1) l-adegwatezza tat-tip taċ-ċart għall-mistoqsija, (2) l-onestà tal-assi, (3) il-viżibilità tad-daqs tal-kampjun. Ikteb mill-inqas “nota ta’ skoperta” waħda fil-lingwa tal-ipoteżi (“…jidher li jiġi ttestjat separatament”). Eżamina korrelazzjoni kemm mal-għadd kif ukoll mal-firxa u rrapporta jekk hemmx diskrepanza bejniethom.
lista ta' kontroll
- [ ] Għażilt it-tip ta' chart ibbażat fuq il-mistoqsija u t-tip tad-dejta tiegħi.
- [ ] Fil-bar charts, nibda l-assi y minn żero; Iċċekkja l-onestà tal-assi.
- [ ] Ħarist lejn l-isparrar qabel ma nafda l-korrelazzjoni.
- [ ] Irrifletti d-daqs tal-kampjun u l-inċertezza fuq il-graff.
- [ ] Jien ktibt il-mudelli li sibt fl-esplorazzjoni bħala "ipoteżi li trid tiġi ttestjata" aktar milli "evidenza".
- [ ] Innutajt li ma kontx nuża l-istess data għall-konferma u li kien meħtieġ pass separat.