Aonad 6 / 11

Tástáil Hipitéise agus p-luach: Tábhacht, Cumhacht, agus Ilchomparáidí

Gnóthachain:

  • Cumas an hipitéis nialasach, p-luach, eatramh muiníne agus cumhacht staitistiúil a shainiú i gceart agus intleacht shaorga a úsáid i roghnú agus i léirmhíniú trialacha.
  • Cumas idirdhealú a dhéanamh idir cad is luach p agus cad nach luach p (ní méid na héifeachta, ní dóchúlacht cruinnis) agus tuiscint a fháil ar an bhfáth go bhfuil gá le ceartúchán iolrachchomparáide
  • Cumas tuairimí a dhéanann hintleachta saorga a aithint a mhearbhallaíonn brí agus ábharthacht agus iad a thuairisciú le héifeacht, méid agus neamhchinnteacht

Is í an uirlis staitisticí is mó a úsáidtear agus is míthuiscintí ná tástáil hipitéise. Tá an bunsmaoineamh simplí: tá éileamh againn (m.sh. “tá meán an dá ghrúpa seo difriúil”) agus a mhalairt, hipitéis nialasach (H0 — “níl aon difríocht i ndáiríre”). Tomhaiseann an tástáil cé chomh maith agus a aontaíonn na sonraí leis an hipitéis nialasach. San aonad seo feicfimid conas atá intleacht shaorga (AI) ag déanamh roghnú agus léirmhíniú tástála níos éasca, ach cén fáth a bhfuil na gaistí thart ar an p-luach chomh coitianta agus contúirteach. Cuirimis tús leis ón tús: tá a fhios ag AI cén chomhréir tástála atá le scríobh; ach is é do phost a léirmhíniú an bhfuil toimhde na tástála sásta agus cad is brí leis an toradh i ndáiríre.

Cad é an p-luach i ndáiríre?

Is é an p-luach an dóchúlacht go dtarlódh an toradh a bhreathnaíonn tú, nó toradh níos foircní, de sheans nuair a bhíonn an hipitéis nialasach fíor (i.e. níl aon éifeacht ann i ndáiríre). Ciallaíonn p-luach beag (is é 0.05 an tairseach traidisiúnta) "bheadh ​​sé ionadh sonraí den sórt sin a fheiceáil mura mbeadh aon éifeacht i ndáiríre"; Meastar gur fianaise é seo i gcoinne na hipitéise nialasach.

Anois soiléireoimis cad é nach bhfuil sa luach p - rud a mhearbhall AI go minic:

  • Ní hé an p-luach an dóchúlacht go bhfuil an hipitéis nialasach fíor. Ní chiallaíonn p=0.03 "dóchúlacht 3% nach mbeidh aon éifeacht".
  • Ní léiríonn an p-luach méid na héifeachta. D'fhéadfadh éifeacht an-bheag p-luach beag a thabhairt i sampla mór.
  • Ní chruthaíonn an p-luach go bhfuil an toradh suntasach nó fíor. Is téarma staitistiúil é “suntasach”, is breithiúnas é “suntasach”.
  • ní chiallaíonn p>0.05 "gan éifeacht"; Ciallaíonn sé "níorbh fhéidir linn an éifeacht a thaispeáint leis na sonraí seo." Ní fianaise neamhláithreachta é easpa fianaise.
Aire: Is í an earráid léirmhínithe AI ​​is coitianta ná an focal “suntasach” a chur i láthair mar “tionchar suntasach/láidir/mór.” Dhá rud dhifriúla iad tábhacht staitistiúil agus tábhacht phraiticiúil; Tuairiscigh an dá cheann ar leithligh i gcónaí.

Eatramh muiníne agus méid éifeacht: faisnéis níos saibhre

In ionad p-luach amháin, bíonn eatramh muiníne i bhfad níos faisnéiseach: tugann sé an raon luachanna sochreidte do do mheastachán. Léiríonn an abairt "Éifeacht 1,200, eatramh muiníne 95% [300, 2,100]" treo, méid, agus neamhchinnteacht araon; deir "p<0.05" go díreach "i bhfad ó nialas". Úsáideann cleachtas staidrimh nua-aimseartha an p-luach ní amháin; molann tuairisc a thabhairt leis an triúr de mhéid na héifeachta + eatramh muiníne + p-luach.

Cumhacht staidrimh agus sampla

Is éard atá i gcumhacht staidrimh ná an dóchúlacht go n-aimseofar éifeacht atá ann go hiarbhír (1 lúide an dóchúlacht go ndéanfaí earráid de chineál II, i.e. "an fíoréifeacht a bheith in easnamh"). Tá dhá riosca i gceist le staidéar tearcchumhachtach: (1) cailleann sé fíoréifeachtaí (diúltach bréagach); (2) iompraíonn na cúpla torthaí a d’fhéadfadh a bheith suntasach méideanna teannta—curse an bhuaiteora mar a thugtar air toisc nach féidir ach tuar teannta an tairseach a thrasnú. Mar sin, is dea-chleachtas é cumhacht/sampla a ríomh roimh anailís. Gineann AI an cód don chuntas seo; Cinneann tú méid na héifeachta sprice le teoiric.

Fadhb comparáide iolrach

Nuair a dhéantar tástáil, ciallaíonn tairseach 0.05 "riosca 5% de rudaí dearfacha bréagacha". Ach má dhéanann tú 20 tástáil, bheifí ag súil go dtabharfadh duine amháin p<0.05 de sheans, fiú nuair a bhíonn gach ceann acu neamhéifeachtach. Tugtar an fhadhb ilchomparáide air seo. Méadaíonn an dóchúlacht go mbeidh rudaí dearfacha bréagacha ann go tapa nuair a dhéantar tástáil ar líon mór athróg, foghrúpaí nó athróga toraidh. Is é an réiteach ná an tairseach a cheartú: modhanna Bonferroni (an tairseach a roinnt ar líon na dtástálacha - dian), Holm nó Benjamini-Hochberg a rialaíonn an ráta fionnachtana bréagach (FDR). Éiríonn an riosca seo níos airde fós in aois AI, mar is féidir le AI an iliomad tástálacha a tháirgeadh i soicindí - is é seo ábhar díreach an chéad aonaid eile (p-hacking).

Tábla Comparáide: cad a deir an p-luach agus cad nach ndeir sé

léiriú

An bhfuil sé fíor?

Cur síos

"p=0.02, is é 2% an dóchúlacht nach mbeidh aon éifeacht ann"

mícheart

Ní hionann p an dóchúlacht H0

"p<0.05, tá an éifeacht mór"

mícheart

ní léiríonn p méid

"p=0.20, gan éifeacht"

mícheart

Ní neamhláithreacht é gan a bheith in ann a thaispeáint

"p<0.05, tá fianaise ann i gcoinne H0"

Fíor

Aireach agus ar phointe

"Éifeacht 1.200 [300; 2.100], p=0.01"

fearr

Méid + éiginnteacht + fianaise

Ceithre leid inchóipeála

1. An tástáil cheart a roghnú:

Do ról: cúntóir tástála staidrimh. Ba mhaith liom comparáid a dhéanamh idir meán dhá ghrúpa neamhspleácha (athróg leanúnach). Tabhair dom: cén tástáil is cuí (lena toimhdí: normáltacht, comhionannas athraithis), an rogha eile mura gcomhlíontar an toimhde (m.sh. Welch, Mann-Whitney), agus an cód R. Rithfidh mé an toradh agus seiceálfaidh mé na boinn tuisceana.

2. An p-luach a thuairisciú i gceart:

Tuairiscigh an t-aschur tástála thíos, ach RIALACHA:- NÁ cuir an p-luach i láthair mar "dóchúlacht H0" nó "méid na héifeachta", - bí cinnte méid na héifeachta agus an t-eatramh muiníne 95% a chur san áireamh, - scríobh "suntasach" agus "suntasach" ar leithligh, - má p> 0.05, NÁ abair "gan éifeacht", abair "níorbh fhéidir linn a thaispeáint". Aschur: [greamaigh]

3. Cumhacht / ríomh samplach:

Tá turgnamh á phleanáil agam: dhá ghrúpa, méid na héifeachta ionchais (d Cohen) ~0.4, cumhacht 0.80, alfa 0.05. Scríobh cód R a ríomhann an méid sampla riachtanach (pacáiste pwr) agus mínigh na rioscaí a bhaineann le staidéar ísealchumhachta (mallacht an bhuaiteora).

4. Ceartú comparáide iolrach:

Tá 15 thástáil hipitéise ar leith déanta agam agus tá p-luachanna agam. Scríobh cód R a chuireann ceartúcháin Bonferroni agus Benjamin-Hochberg (FDR) i bhfeidhm, mínigh an difríocht idir an dá mhodh, agus déan achoimre in abairt amháin ar an bhfáth nár cheart dom muinín a bheith agam as an p<0.05 lom.

Leid lag / Pras láidir

Leid lag:

An bhfuil ciall le toradh na tástála seo? Déan trácht ar an toradh.

Tá an t-éileamh seo gafa ag AI sa dhénártha “ciallmhar/neamhbhríocha”; is dócha go dtáirgeann abairt a mhearbhallaíonn méid agus tábhacht, mar shampla "tá, tá sé suntasach, tá an éifeacht láidir."

Leid chumhachtach:

Do ról: cúntóir staidrimh aireach. Léirmhínigh an toradh ach: (1) tabhair méid na héifeachta + eatramh muiníne 95% + p-luach le chéile, (2) suntas ar leith ón tábhacht, (3) p>0.05 in "Níorbh fhéidir a thaispeáint", (4) fiafraigh cé mhéad tástáil a rinne mé; Má tá níos mó ná ceann amháin acu, mol ceartúchán iolrachchomparáide, (5) meabhraigh gur cheart boinn tuisceana na tástála a sheiceáil.

Difríocht: forfheidhmíonn leid láidir tuairisciú saibhir agus cosnaíonn sé i gcoinne gaistí p-luacha.

trí chás mion

Cás 1 — “Suntasacht” neamhshuntasach i sampla mór. D'aimsigh anailísí amháin go raibh an meándifríocht idir an dá ghrúpa "an-suntasach" ag p<0.001 i sonraí le 500,000 breathnóireacht. Ach ní raibh an difríocht ach 0.3 pointe (as 100) agus bhí sé beagnach gan brí. Rinne an sampla ollmhór fiú an difríocht beag bídeach "suntasach". Nuair a tuairiscíodh méid na héifeachta, fuarthas go raibh an toradh neamhshuntasach. Ceacht: ní méid é an tábhacht; Má tá n mór, tá gach difríocht suntasach.

Cás 2 - Illusion tástála. Thástáil foireann amháin 22 athróg toraidh; Thaispeáin ceann acu p=0.04 agus fógraíodh é mar “fuaireamar an éifeacht”. Le ceartú Bonferroni, laghdaigh an tairseach go 0.05/22 = 0.0023; Níor sháraigh 0.04 an tairseach seo. Is trí sheans as 22 triail a bheadh ​​an t-aon toradh “bríochmhar”. Ceacht: nuair a dhéantar tástáil go leor, tá gá le ceartú.

Cás 3 - Neamhchumhacht agus mallacht an bhuaiteora. Fuair ​​​​staidéar píolótach beag (n=15 an grúpa) go raibh éifeacht an-mhór (d=0.9) agus suntasach. Laghdaigh staidéar mór macasamhlú an éifeacht go d = 0.2. Níor cheadaigh an sampla beag ach rómheastachán an tairseach a thrasnú. Ceacht: Ní féidir muinín a chur ar mhéideanna suntasacha tionchair ag ísealchumhachta.

Botúin choitianta

  • Mearbhall idir brí agus tábhacht/méid. Níl an éifeacht mór toisc go bhfuil p beag; Tuairiscigh méid na héifeachta ar leithligh.
  • An p-luach a chur amú don dóchúlacht H0. ní "dóchúlacht aon éifeacht" é p; difriúil ó thaobh coincheapa de.
  • Léamh p>0.05 mar "gan éifeacht". Ní fianaise neamhláithreachta é mainneachtain a thaispeáint; Luaigh an éiginnteacht.
  • Gan a cheartú le haghaidh il-thástáil. Táirgeann an iomarca tástálacha dearfacha bréagacha; Cuir Bonferroni/FDR i bhfeidhm.
  • Neamhaird a thabhairt ar chumhacht. Tá an éifeacht shuntasach sa sampla beag áibhéil; Ríomh an chumhacht roimh anailís.
Leid: Sula ndíscríobhtar toradh mar “suntasach,” cuir dhá cheist: “An bhfuil an éifeacht suntasach go praiticiúil (méid)?” agus “Cé mhéad tástáil a rinne mé sula bhfuair mé an toradh seo?” Is í an dara ceist an tástáil litmis macántachta.

Go hachomair

Is uirlisí cumhachtacha iad tástáil hipitéise agus p-luach ach ní thuigtear iad. Is é an p-luach an dóchúlacht go bhfeicfidh tú na sonraí nuair a bhíonn an hipitéis nialasach fíor; Ní hionann an dóchúlacht H0 agus méid na héifeachta ná tábhacht an fhionnachtana. Déan suntas a thuairisciú i gcónaí chomh maith le méid an tionchair agus an t-eatramh muiníne; Ná léigh p>0.05 mar "gan éifeacht"; ceartúchán iolrachchomparáide a chur i bhfeidhm má tá go leor tástálacha déanta agat; Bí feasach ar an mbaol go mbeidh éifeachtaí áibhéalacha ó staidéir ísealchumhachta. Táirgeann AI cód tástála agus treoirphlean; Is ortsa atá an fhreagracht idirdhealú a dhéanamh idir brí agus ábharthacht agus boinn tuisceana a sheiceáil.

Tasc feidhmchláir

Déan comparáid idir acmhainní idir dhá ghrúpa i dtacar sonraí. Iarr ar an AI don tástáil chuí (lena boinn tuisceana) agus cód, rith é agus seiceáil na boinn tuisceana. Tuairiscigh an toradh le trí chomhpháirt: méid na héifeachta, eatramh muiníne 95%, p-luach. Ansin smaoinigh ar cé mhéad comparáidí éagsúla is féidir leat a dhéanamh ar na sonraí céanna; Má tá tástálacha iolracha á rith agat, cuir ceartú Bonferroni nó FDR i bhfeidhm agus tuairiscigh an bhfuil an toradh fós. Ar deireadh, scríobh measúnú cumhachta garbh le haghaidh d'anailíse.

seicliosta

  • [ ] Roghnaigh mé an tástáil lena toimhdí agus sheiceáil mé na boinn tuisceana.
  • [ ] Thuairiscigh mé an toradh mar mhéid na héifeachta + eatramh muiníne + p-luach.
  • [ ] Choinnigh mé “suntasach” agus “tábhachtach” ar leithligh; Níor shíl mé gurbh é p an dóchúlacht go raibh H0 ann.
  • [ ] Scríobh mé p>0.05 mar "ní fhéadfaimis é a thaispeáint" seachas "gan éifeacht".
  • [ ] Chuir mé ceartúchán comparáide iolracha i bhfeidhm má rith mé tástálacha iolracha.
  • [ ] Rinne mé measúnú ar an gcumhacht samplála; Bhí mé aireach faoi mhéid na héifeachta ag ísealchumhacht.