Hagnaður:
- Hæfni til að skilgreina núlltilgátu, p-gildi, öryggisbil og tölfræðilegt afl rétt og nota gervigreind við val á prófum og túlkun.
- Geta til að greina hvað er og er ekki p-gildi (ekki áhrifastærð, ekki líkur á nákvæmni) og skilja hvers vegna margfeldis samanburðarleiðrétting er nauðsynleg
- Hæfni til að bera kennsl á athugasemdir frá gervigreind sem rugla saman merkingargildi og efnisleika og tilkynna þær með áhrifastærð og óvissu
Mest notaða og illskiljanlegasta tólið í tölfræði er tilgátuprófun. Grunnhugmyndin er einföld: við höfum fullyrðingu (t.d. „meðaltal þessara tveggja hópa er ólíkt“) og andstæða hennar, núlltilgátu (H0 — „það er í raun enginn munur“). Prófið mælir hversu vel gögnin eru í samræmi við núlltilgátuna. Í þessari einingu munum við sjá hvernig gervigreind (AI) gerir prófval og túlkun auðveldara, en hvers vegna gildrurnar í kringum p-gildið eru svo algengar og hættulegar. Byrjum á byrjuninni: gervigreind veit hvaða prófsetningafræði á að skrifa; en það er þitt hlutverk að túlka hvort forsendur prófsins séu uppfylltar og hvað niðurstaðan þýðir í raun og veru.
Hvað er p-gildið eiginlega?
P-gildið er líkurnar á því að niðurstaðan sem þú sérð, eða öfgakenndari niðurstaða, myndi gerast fyrir tilviljun þegar núlltilgátan er sönn (þ.e.a.s. það er í raun engin áhrif). Lítið p-gildi (0,05 er hefðbundinn þröskuldur) þýðir "það kæmi á óvart að sjá slík gögn ef það hefði í raun engin áhrif"; Þetta er talið sönnun gegn núlltilgátunni.
Nú skulum við skýra hvað p-gildið er ekki - sem gervigreind ruglar oft saman:
- P-gildið er ekki líkurnar á því að núlltilgátan sé sönn. p=0,03 þýðir ekki "það eru 3% líkur á engin áhrif".
- P-gildið segir ekki til um stærð áhrifanna. Mjög lítil áhrif geta gefið örlítið p-gildi í stóru úrtaki.
- P-gildið sannar ekki að niðurstaðan sé marktæk eða raunveruleg. „Mikilvægt“ er tölfræðilegt hugtak, „marktækt“ er dómur.
- p>0,05 þýðir ekki "engin áhrif"; Það þýðir "við gátum ekki sýnt áhrifin með þessum gögnum." Skortur á sönnunargögnum er ekki sönnun um fjarveru.
Varúð: Algengasta túlkunarvillan í gervigreind er að setja orðið „veruleg“ fram sem „veruleg/sterk/mikil áhrif. Tölfræðileg marktekt og hagnýt marktækni eru tveir ólíkir hlutir; Tilkynntu alltaf þetta tvennt sérstaklega.
Öryggisbil og áhrifastærð: ríkari upplýsingar
Í stað eins p-gildis er öryggisbil miklu meira upplýsandi: það gefur sennilegt gildissvið fyrir mat þitt. Setningin „Áhrif 1.200, 95% öryggisbil [300, 2.100]“ sýnir bæði stefnu, stærðargráðu og óvissu; „p<0,05“ segir bara „langt frá núlli“. Nútíma tölfræðiiðkun notar p-gildið ekki eitt og sér; mælir með því að tilkynna með tríóinu af áhrifastærð + öryggisbili + p-gildi.
Tölfræðilegt afl og úrtak
Tölfræðilegt afl er líkurnar á að greina áhrif sem eru í raun til staðar (1 að frádregnum líkum á villu af tegund II, þ.e. "vantar raunveruleg áhrif"). Vanmáttug rannsókn er næm fyrir tveimur áhættum: (1) hún missir af raunverulegum áhrifum (falsk neikvæð); (2) þær fáu niðurstöður sem reynast marktækar bera með sér uppblásna stærðargráðu - hin svokallaða sigurvegarabölvun vegna þess að aðeins uppblásnar spár geta farið yfir þröskuldinn. Þess vegna er gott að reikna afl/sýni fyrir greiningu. AI býr til kóðann fyrir þennan reikning; Þú ákvarðar markáhrifsstærðina með kenningum.
Margfeldi samanburðarvandamál
Þegar þú gerir próf þýðir þröskuldur 0,05 "5% hætta á fölskum jákvæðum". En ef þú gerir 20 próf, að meðaltali má búast við að eitt gefi p<0,05 fyrir tilviljun, jafnvel þegar þau eru öll í raun árangurslaus. Þetta er kallað margfaldur samanburðarvandamál. Líkur á fölskum jákvæðum eykst hratt þegar mikill fjöldi breyta, undirhópa eða útkomubreyta er prófaður. Lausnin er að leiðrétta þröskuldinn: Bonferroni (deilt er þröskuldinum með fjölda prófa - strangt), Holm eða Benjamini-Hochberg aðferðir sem stjórna rangri uppgötvunartíðni (FDR). Þessi áhætta verður enn meiri á aldri gervigreindar, þar sem gervigreind getur framleitt heilmikið af prófum á sekúndum - þetta er beint viðfangsefni næstu einingar (p-hacking).
Samanburðartafla: hvað p-gildið segir og hvað það segir ekki
tjáningu
Er það satt?
Lýsing
"p=0,02, líkur á engin áhrif eru 2%"
rangt
p er ekki líkurnar á H0
"p<0,05, áhrifin eru mikil"
rangt
p gefur ekki til kynna stærð
"p=0,20, engin áhrif"
rangt
Að geta ekki sýnt er ekki fjarvera
"p<0,05, það eru sannanir gegn H0"
Satt
Varkár og á punktinum
"Áhrif 1.200 [300;2.100], p=0.01"
best
Stærð + óvissa + sönnunargögn
Fjórar afritanlegar leiðbeiningar
1. Að velja rétt próf:
Hlutverk þitt: aðstoðarmaður við tölfræðipróf. Ég vil bera saman meðaltal tveggja óháðra hópa (samfelld breyta). Segðu mér: hvaða próf er viðeigandi (með forsendum þess: eðlilegt, dreifnijafnrétti), valkostinn ef forsendan er ekki uppfyllt (t.d. Welch, Mann-Whitney) og R kóðann. Ég mun keyra niðurstöðuna og athuga forsendurnar.
2. Að tilkynna p-gildið rétt:
Tilkynntu prófunarúttakið hér að neðan, en REGLUR:- EKKI setja fram p-gildið sem "líkur á H0" eða "áhrifstærð",- vertu viss um að hafa áhrifastærðina og 95% öryggisbil,- skrifaðu "marktækt" og "marktækt" sérstaklega,- ef p>0,05, EKKI segja "engin áhrif", segðu "við gátum ekki sýnt". Úttak: [líma]
3. Afl/sýnisreikningur:
Ég er að skipuleggja tilraun: tveir hópar, væntanleg áhrifastærð (Cohen's d) ~0,4, máttur 0,80, alfa 0,05. Skrifaðu R kóða sem reiknar út nauðsynlega úrtaksstærð (pwr pakki) og útskýrðu áhættuna af lítilli aflrannsókn (bölvun sigurvegara).
4. Margfeldi samanburðarleiðrétting:
Ég hef gert 15 aðskilin tilgátupróf og ég er með p-gildi. Skrifaðu R kóða sem beitir Bonferroni og Benjamin-Hochberg (FDR) leiðréttingunum, útskýrðu muninn á þessum tveimur aðferðum og dregðu saman í einni setningu hvers vegna ég ætti ekki að treysta berum p<0,05.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Er niðurstaða þessa prófs þýðingarmikil? Athugaðu niðurstöðuna.
Þessi fullyrðing fangar gervigreind í „merkingarfullu/ekki merkingarfullu“ tvíliðanum; sennilega framleiðir setningu sem ruglar saman stærð og þýðingu, eins og "já, það er marktækt, áhrifin eru sterk."
Öflug tilvitnun:
Hlutverk þitt: gaumgæfur tölfræðiaðstoðarmaður. Túlkaðu niðurstöðuna en: (1) gefðu upp áhrifastærð + 95% öryggisbil + p-gildi saman, (2) aðskildu marktekt frá marktekt, (3) p>0,05 í "gæti ekki sýnt", (4) spyrðu hversu mörg próf ég gerði; Ef fleiri en einn, leggðu til margfalda samanburðarleiðréttingu, (5) minntu á að athuga ætti forsendur prófsins.
Mismunur: sterk hvetja framfylgir ríkri skýrslugerð og verndar gegn p-gildi gildrum.
þrjú smámál
Tilfelli 1 — Óveruleg „marktæking“ í stóru úrtaki. Einn sérfræðingur fann meðalmuninn á hópunum tveimur „mjög marktækur“ við p<0,001 í gögnum með 500.000 athugunum. En munurinn var aðeins 0,3 stig (af 100) og var nánast marklaus. Stóra úrtakið gerði jafnvel pínulitla muninn „verulegan“. Þegar greint var frá stærð áhrifa reyndist niðurstaðan óveruleg. Lexía: mikilvægi er ekki stærð; Ef n er stór er hver munur marktækur.
Tilfelli 2 - Blekking fyrir margþætt próf. Eitt teymi prófaði 22 útkomubreytur; Einn þeirra sýndi p=0,04 og var tilkynntur sem „við fundum áhrifin“. Með Bonferroni leiðréttingu lækkaði þröskuldurinn í 0,05/22 = 0,0023; 0,04 náði ekki þessum þröskuldi. Eina „merkingarbæra“ niðurstaðan hefði verið tilviljun af 22 tilraunum. Lexía: þegar mikið er prófað er leiðrétting nauðsynleg.
Tilfelli 3 - Underpower og bölvun sigurvegarans. Lítil forrannsókn (n=15 á hóp) fann áhrifin mjög mikil (d=0,9) og marktæk. Stór afritunarrannsókn minnkaði áhrifin niður í d = 0,2. Litla úrtakið hafði aðeins leyft ofmati að fara yfir þröskuldinn. Lexía: Ekki er hægt að treysta umtalsverðum áhrifastærðum við lágt afl.
Algeng mistök
- Að rugla saman merkingargildi og mikilvægi/stærð. Áhrifin eru ekki mikil bara vegna þess að p er lítið; Tilkynntu stærð áhrifa sérstaklega.
- Að misskilja p-gildið fyrir líkurnar á H0. p er ekki "líkur á engin áhrif"; er huglægt öðruvísi.
- Að lesa p>0,05 sem "engin áhrif". Að sýna ekki er ekki sönnun um fjarveru; Segðu frá óvissunni.
- Ekki leiðrétt fyrir fjölpróf. Of mörg próf gefa rangar jákvæðar niðurstöður; Notaðu Bonferroni/FDR.
- Hunsa vald. Marktæk áhrif í litla úrtakinu eru ýkt; Reiknaðu kraft fyrir greiningu.
Ábending: Áður en niðurstaða er afskrifuð sem „veruleg“ skaltu spyrja tveggja spurninga: „Er áhrifin nánast marktæk (stærð)?“ og "Hversu mörg próf tók ég áður en ég fann þessa niðurstöðu?" Önnur spurningin er lakmuspróf heiðarleikans.
Í stuttu máli
Tilgátuprófun og p-gildi eru öflug en misskilin verkfæri. p-gildið er líkurnar á að sjá gögnin þegar núlltilgátan er sönn; Líkurnar á H0 eru ekki umfang áhrifanna eða mikilvægi niðurstöðunnar. Tilkynntu alltaf mikilvægi ásamt áhrifastærð og öryggisbili; Ekki lesa p>0,05 sem "engin áhrif"; beita margfaldri samanburðarleiðréttingu ef þú hefur gert mörg próf; Vertu meðvitaður um hættuna á ýktum áhrifum frá rannsóknum með litla krafta. AI framleiðir prófunarkóða og teikningu; Það er á þína ábyrgð að greina á milli merkingargildis og efnisleika og athuga forsendur.
Umsóknarverkefni
Gerðu samanburð á meðaltölum á milli tveggja hópa í gagnasafni. Biddu gervigreindina um viðeigandi próf (með forsendum þess) og kóða, keyrðu það og athugaðu forsendurnar. Tilkynntu niðurstöðuna með þremur þáttum: áhrifastærð, 95% öryggisbil, p-gildi. Hugsaðu síðan um hversu marga mismunandi samanburð þú getur gert á sömu gögnunum; Ef þú hefur keyrt mörg próf skaltu nota Bonferroni eða FDR leiðréttingu og tilkynna hvort niðurstaðan haldist enn. Að lokum skaltu skrifa gróft aflmat fyrir greiningu þína.
gátlisti
- [ ] Ég valdi prófið með forsendum þess og athugaði forsendurnar.
- [ ] Ég tilkynnti niðurstöðuna sem áhrifastærð + öryggisbil + p-gildi.
- [ ] Ég hélt „mikilvægum“ og „mikilvægum“ aðskildum; Ég hélt að p væri ekki líkurnar á H0.
- [ ] Ég skrifaði p>0,05 sem "við gátum ekki sýnt það" frekar en "engin áhrif".
- [ ] Ég beitti margfaldri samanburðarleiðréttingu ef ég keyrði mörg próf.
- [ ] Ég mat sýnatökukraftinn; Ég var á varðbergi gagnvart áhrifastærðinni við lágt afl.