Пайдалар:
- Нөл гипотезаны, p-баалыгын, ишеним аралыгын жана статистикалык күчтү туура аныктоо жана тестти тандоодо жана интерпретациялоодо жасалма интеллектти колдоно билүү.
- р-баалыгы эмне экенин жана эмне эмес экенин ажырата билүү (эффект өлчөмү эмес, тактык ыктымалдыгы эмес) жана эмне үчүн бир нече жолу салыштыруу коррекциялоо зарыл экенин түшүнүү
- Маанилүүлүк менен маанилүүлүк менен чаташтырган жасалма интеллект тарабынан жасалган комментарийлерди таануу жана аларды эффекттин өлчөмү жана белгисиздик менен кабарлоо мүмкүнчүлүгү
Статистиканын эң көп колдонулган жана эң туура эмес түшүнүлгөн куралы – гипотезаны текшерүү. Негизги идея жөнөкөй: бизде доомат бар (мисалы, "бул эки топтун орточо мааниси ар кандай") жана ага карама-каршы, нөлдүк гипотеза (H0 - "иш жүзүндө эч кандай айырма жок"). Сыноо маалыматтар нөлдүк гипотеза менен канчалык туура келерин өлчөйт. Бул бөлүмдө биз жасалма интеллект (AI) тестти тандоону жана интерпретациялоону кантип жеңилдетип жатканын, бирок эмне үчүн p-баасынын тегерегиндеги тузактар мынчалык кеңири таралган жана коркунучтуу экенин көрөбүз. Башынан баштайлы: AI кайсы тест синтаксисин жазууну билет; бирок тесттин божомолу канааттандырылганбы жана натыйжа чындап эмнени билдирерин чечмелөө сиздин милдетиңиз.
Чындыгында p-маани деген эмне?
p-мааниси - бул нөлдүк гипотеза туура болгондо (б.а., иш жүзүндө эч кандай эффект жок) сиз байкаган натыйжанын кокустан пайда болуу ыктымалдыгы. Кичинекей p-мааниси (0,05 салттуу босого) "эгер чындап эле эффект болбосо, мындай маалыматтарды көрүү таң калыштуу болмок" дегенди билдирет; Бул нөл гипотезага каршы далил болуп эсептелет.
Эми AI көбүнчө чаташтырган p-мааниси эмне экенин тактап көрөлү:
- p-мааниси нөлдүк гипотезанын чын болушунун ыктымалдыгы эмес. p=0,03 "эффекттин 3% ыктымалдыгы бар" дегенди билдирбейт.
- p-мааниси эффекттин өлчөмүн көрсөтпөйт. Өтө кичинекей эффект чоң үлгүдөгү кичинекей р-бааны бериши мүмкүн.
- p-мааниси табылга олуттуу же реалдуу экенин далилдебейт. "Маанилүү" - статистикалык термин, "маанилүү" - өкүм.
- p>0,05 "эффект жок" дегенди билдирбейт; Бул "биз бул маалыматтар менен эффект көрсөтө алган жокпуз" дегенди билдирет. Далилдердин жоктугу жоктуктун далили эмес.
Эскертүү: AI чечмелөөдө эң кеңири таралган ката бул "маанилүү" деген сөздү "маанилүү/күчтүү/негизги таасир" катары көрсөтүү. Статистикалык маани жана практикалык маани эки башка нерсе; Ар дайым экөөнү өзүнчө кабарлаңыз.
Ишеним аралыгы жана эффект өлчөмү: көбүрөөк маалымат
Жалгыз р-баанын ордуна, ишеним аралыгы алда канча маалыматтуу болот: ал сиздин баалооңузга ылайыктуу маанилердин диапазонун берет. "Effect 1,200, 95% confidence interval [300, 2,100]" сүйлөмү багытты да, чоңдукту да, белгисиздикти да көрсөтөт; "p<0.05" жөн гана "нөлдөн алыс" дейт. Заманбап статистикалык практика р-бааны жалгыз эмес колдонот; эффект өлчөмү + ишеним аралыгы + p-маани үчилтиги менен отчет берүүнү сунуштайт.
Статистикалык күч жана үлгү
Статистикалык күч - бул иш жүзүндө бар эффектти аныктоо ыктымалдыгы (1 минус II типтеги ката ыктымалдыгы, б.а. "чыныгы эффектти өткөрүп жиберүү"). Толук эмес изилдөө эки коркунучка дуушар болот: (1) ал чыныгы эффекттерди өткөрүп жиберет (жалган терс); (2) олуттуу болуп чыккан бир нече жыйынтыктар жогорулатылган чоңдуктарды алып келет — жеңүүчүнүн каргышы деп аталган, анткени жогорулатылган божомолдор гана босогодон өтө алат. Ошондуктан, анализден мурун кубаттуулукту/үлгүнү эсептөө жакшы практика болуп саналат. AI бул эсептин кодун түзөт; Сиз теория менен максаттуу эффект өлчөмүн аныктайсыз.
Көптөгөн салыштыруу маселеси
Сыноо жүргүзүүдө 0,05 босого "5% жалган позитив коркунучун" билдирет. Бирок, эгерде сиз 20 тест жасасаңыз, орто эсеп менен бирөөсү кокустан p<0,05 берет деп күтүлөт, атүгүл алардын баары иш жүзүндө натыйжасыз болсо да. Бул көп салыштыруу маселеси деп аталат. Көп сандагы өзгөрмөлөр, подгруппалар же жыйынтык өзгөрмөлөр текшерилгенде, жалган позитивдердин ыктымалдыгы тез өсөт. Чечим босогону оңдоо болуп саналат: Bonferroni (тесттердин санына босогону бөлүү — катуу), Холм же Бенжамини-Хочберг методдору, алар жалган ачылыш ылдамдыгын (FDR) көзөмөлдөйт. Бул коркунуч AI жашында ого бетер күчөйт, анткени AI секунданын ичинде ондогон тесттерди жасай алат — бул кийинки бөлүмдүн түз предмети (p-hacking).
Салыштыруу таблицасы: p-мааниси эмне дейт жана эмнени айтпайт
билдирүү
Бул чынбы?
Description
"p=0,02, эч кандай эффект болбошу ыктымалдыгы 2%"
туура эмес
p H0 ыктымалдыгы эмес
"p<0,05, таасири чоң"
туура эмес
p өлчөмүн көрсөтпөйт
"p=0,20, эффект жок"
туура эмес
Көрсөтө албагандык жоктук эмес
"p<0.05, H0 каршы далилдер бар"
Туура
Этият жана так
"Effect 1.200 [300;2.100], p=0.01"
мыкты
Өлчөм + белгисиздик + далил
Төрт көчүрүүгө болот
1. Туура тестти тандоо:
Сиздин ролуңуз: статистикалык тестирлөө боюнча жардамчы. Мен эки көз карандысыз топтун орточо маанисин салыштыргым келет (үзгүлтүксүз өзгөрмө). Мага бериңиз: кайсы тест ылайыктуу (анын болжолдоолору менен: нормалдуулук, дисперсия теңдиги), эгер божомол аткарылбаса альтернатива (мисалы, Уэлч, Манн-Уитни) жана R коду. Мен натыйжаны иштетип, божомолдорду текшерем.
2. p-баасын туура билдирүү:
Төмөндө сыноо натыйжасын билдириңиз, бирок ЭРЕЖЕЛЕР:- p-маанисин "H0 ыктымалдыгы" же "эффект өлчөмү" катары көрсөтпөңүз, - эффекттин өлчөмүн жана 95% ишеним аралыгын кошуңуз,- "олуттуу" жана "маанилүү" деп өзүнчө жазыңыз,- p>0,05 болсо, "эффект жок" ДЕБЕҢИЗ, "көрсөтө алган жокпуз". Чыгуу: [жабыштыруу]
3. Күч/үлгү эсептөө:
Мен экспериментти пландаштырып жатам: эки топ, күтүлгөн эффект өлчөмү (Коэндин d) ~0,4, кубаттуулугу 0,80, альфа 0,05. Керектүү үлгү өлчөмүн эсептеген R кодун жазыңыз (pwr пакети) жана аз кубаттуу изилдөөнүн тобокелдиктерин түшүндүрүңүз (жеңүүчүнүн каргышы).
4. Бир нече салыштыруу оңдоо:
Мен 15 өзүнчө гипотеза тестин жасадым жана менде p-баалуулуктары бар. Bonferroni жана Benjamin-Hochberg (FDR) түзөтүүлөрүн колдонгон R кодун жазыңыз, эки ыкманын ортосундагы айырманы түшүндүрүңүз жана эмне үчүн мен жылаңач p<0,05ке ишенбешим керек экенин бир сүйлөм менен кыскача баяндаңыз.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Бул тесттин жыйынтыгы маанилүүбү? Жыйынтыгында комментарий бериңиз.
Бул доомат AIди "маанилүү/маанилүү эмес" бинардык тутумга түшүрөт; кыязы, чоңдук менен маанини чаташтырган сүйлөмдү чыгарат, мисалы, "ооба, маанилүү, таасири күчтүү".
Күчтүү билдирүү:
Сиздин ролуңуз: кунт коюп статистикалык жардамчы. Натыйжаны чечмелеңиз, бирок: (1) эффекттин өлчөмүн + 95% ишеним аралыгын + p-маанисин чогуу бериңиз, (2) маанилүүлүктөн бөлөк, (3) p>0,05 "көрсөтө алган жок", (4) канча тест жасаганымды сураңыз; Эгерде бир нече болсо, бир нече салыштыруу түзөтүүнү сунуштаңыз, (5) тесттин божомолдору текшерилиши керек экенин эскертиңиз.
Айырмасы: күчтүү тездик бай отчеттуулукту камсыз кылат жана p-баалуу тузактардан коргойт.
үч мини учурлар
1-жагдай - Чоң үлгүдөгү маанилүү эмес "маанилүүлүк". Бир аналитик эки топтун ортосундагы орточо айырманы 500 000 байкоосу менен p<0.001де "өтө маанилүү" деп тапты. Бирок айырма 0,3 баллды гана түзгөн (100 баллдан) жана иш жүзүндө эч кандай мааниси жок болчу. Эбегейсиз чоң үлгү кичинекей айырманы "маанилүү" кылды. Эффекттин көлөмү билдирилгенде, натыйжа анчалык деле маанилүү эмес деп табылган. Сабак: маани чоңдук эмес; Эгерде n чоң болсо, ар бир айырма маанилүү.
2-жагдай - Бир нече сыноо иллюзиясы. Бир команда 22 жыйынтык өзгөрмөсүн сынап көрдү; Алардын бири p=0,04 көрсөттү жана "эффекти таптык" деп жарыяланды. Bonferroni түзөтүү менен, босого 0,05 / 22 = 0,0023 чейин кыскарган; 0,04 бул босогодон өтө алган жок. Бир гана "маанилүү" жыйынтык 22 сыноодон кокустан чыккан. Сабак: көп сынаганда, оңдоо керек.
3-жагдай — Күчсүздүк жана жеңүүчүнүн каргышы. Кичинекей пилоттук изилдөө (ар бир топко n = 15) абдан чоң (d = 0,9) жана маанилүү эффектти тапты. Чоң репликацияны изилдөө эффектти d = 0,2ге чейин азайтты. Кичинекей үлгү чектен ашканга гана жол берген. Сабак: Төмөнкү кубаттуулукта олуттуу эффект өлчөмдөрүнө ишенүүгө болбойт.
Жалпы каталар
- Маанилүүлүк менен чоңдукту чаташтыруу. р кичинекей болгондуктан эффект чоң эмес; Эффект өлчөмүн өзүнчө кабарлаңыз.
- Н0 ыктымалдыгы үчүн p-маанисин жаңылыштыруу. p "эффекттин жок болуу ыктымалдыгы" эмес; концептуалдык жактан башкача.
- Окуу p>0,05 "эффект жок" деп. Көрсөтпөй коюу жоктун далили эмес; Белгисиздикти билдир.
- Көптөгөн тестирлөө үчүн оңдоолор жок. Өтө көп тесттер жалган оң натыйжаларды берет; Bonferroni/FDR колдонуу.
- Бийликке көңүл бурбоо. кичинекей үлгүдөгү олуттуу таасир апыртылган; Талдоодон мурун кубаттуулукту эсептеңиз.
Кеңеш: Натыйжаны "маанилүү" деп жазуудан мурун, эки суроо бериңиз: "Таасир иш жүзүндө маанилүүбү (магнитуда)?" жана "Бул жыйынтыкты тапканга чейин канча тесттен өттүм?" Экинчи суроо - чынчылдыктын лакмус тести.
Кыскача айтканда
Гипотеза тестирлөө жана p-баалуу күчтүү, бирок туура эмес инструменттер. p-мааниси - нөлдүк гипотеза туура болгондо маалыматтарды көрүү ыктымалдыгы; Н0 ыктымалдыгы эффекттин чоңдугу же табылганын мааниси эмес. Ар дайым эффекттин өлчөмү жана ишеним аралыгы менен бирге маанилүүлүгүн билдириңиз; p>0,05ти "эффект жок" деп окубаңыз; көп сыноолорду жасаган болсоңуз, бир нече салыштыруу коррекциясын колдонуңуз; Төмөнкү кубаттуулуктагы изилдөөлөрдөн апыртылган эффекттердин коркунучунан кабардар болуңуз. AI сыноо кодун жана планын чыгарат; Маанилүүлүк менен олуттуулукту айырмалоо жана божомолдорду текшерүү сиздин милдетиңиз.
Колдонмо тапшырмасы
Берилиштер топтомундагы эки топтун ортосундагы каражаттарды салыштырыңыз. AIдан тиешелүү тестти (болжолдору менен) жана кодду сураңыз, аны иштетиңиз жана божомолдорду текшериңиз. Натыйжаны үч компонент менен билдириңиз: эффект өлчөмү, 95% ишеним аралыгы, p-маани. Анан бир эле маалымат боюнча канча түрдүү салыштырууларды жасай аласың деп ойлонуп көр; Эгер сиз бир нече сыноолорду өткөргөн болсоңуз, Bonferroni же FDR оңдоосун колдонуңуз жана натыйжа дагы эле сакталып калса, кабарлаңыз. Акыр-аягы, анализиңиз үчүн болжолдуу күчкө баа жазыңыз.
текшерүү тизмеси
- [ ] Мен анын божомолдору менен тестти тандап, божомолдорду текшердим.
- [ ] Мен натыйжаны эффект өлчөмү + ишеним аралыгы + p-маани деп билдирдим.
- [ ] Мен “маанилүү” жана “маанилүү” дегенди бөлөкчө кармадым; Мен p H0 ыктымалдыгы деп ойлогон эмесмин.
- [ ] Мен p>0,05 деп жаздым "эффект жок" дегендин ордуна "көрсөтө албадык" деп.
- [ ] Мен бир нече сыноолорду өткөрсөм, бир нече салыштыруу коррекциясын колдондум.
- [ ] Мен үлгү алуу күчүн бааладым; Мен аз кубаттуулукта эффект өлчөмүнө этият болдум.