Добивки:
- Способност за правилно дефинирање на нултата хипотеза, p-вредност, интервал на доверба и статистичка моќ и користење на вештачка интелигенција при изборот и интерпретацијата на тестовите.
- Способност да се разликува што е и што не е p-вредност (не е големината на ефектот, не е веројатноста за точност) и разбирање зошто е неопходна повеќекратна корекција на споредба
- Способност да се препознаат коментарите направени од вештачката интелигенција кои ја мешаат значајноста со материјалноста и ги известуваат со големина на ефектот и несигурност
Најкористена и најпогрешно разбрана алатка за статистика е тестирање на хипотези. Основната идеја е едноставна: имаме тврдење (на пр. „средната вредност на овие две групи е различна“) и нејзината спротивност, нулта хипотеза (H0 - „всушност нема разлика“). Тестот мери колку податоците се согласуваат со нултата хипотеза. Во оваа единица ќе видиме како вештачката интелигенција (ВИ) го олеснува изборот и интерпретацијата на тестовите, но зошто замките околу p-вредноста се толку чести и опасни. Да почнеме од почеток: вештачката интелигенција знае која тест синтакса да ја напише; но ваша работа е да протолкувате дали претпоставката за тестот е задоволена и што навистина значи резултатот.
Што всушност е p-вредноста?
P-вредноста е веројатноста дека исходот што го набљудувате, или поекстремен исход, би се случил случајно кога нултата хипотеза е вистинита (т.е., всушност нема ефект). Мала p-вредност (0,05 е традиционалниот праг) значи „би било изненадувачки да се видат такви податоци доколку навистина немало ефект“; Ова се смета за доказ против нултата хипотеза.
Сега да разјасниме што не е p-вредноста - што вештачката интелигенција често ја збунува:
- P-вредноста не е веројатноста дека нултата хипотеза е вистинита. p=0,03 не значи „постои 3% веројатност да нема ефект“.
- P-вредноста не ја означува големината на ефектот. Многу мал ефект може да даде мала p-вредност во голем примерок.
- P-вредноста не докажува дека наодот е значаен или реален. „Значајно“ е статистички термин, „значајно“ е суд.
- p>0,05 не значи „нема ефект“; Тоа значи дека „не можевме да го покажеме ефектот со овие податоци“. Отсуството на докази не е доказ за отсуство.
Внимание: Најчеста грешка во толкувањето на вештачката интелигенција е претставувањето на зборот „значајно“ како „значајно/силно/големо влијание“. Статистичката значајност и практичното значење се две различни работи; Секогаш пријавувајте ги двете одделно.
Интервал на доверба и големина на ефект: побогати информации
Наместо единечна p-вредност, интервалот на доверливост е многу поинформативен: тој го дава веродостојниот опсег на вредности за вашата проценка. Реченицата „Ефект 1.200, 95% интервал на доверба [300, 2.100]“ ги покажува и насоката, големината и неизвесноста; „p<0,05“ само вели „далеку од нула“. Современата статистичка практика ја користи p-вредноста не сама; препорачува известување со триото големина на ефект + интервал на доверба + p-вредност.
Статистичка моќ и примерок
Статистичката моќ е веројатноста за откривање ефект што навистина постои (1 минус веројатноста за грешка од типот II, т.е. „пропуштање на вистинскиот ефект“). Студијата со недоволна моќ е подложна на два ризици: (1) ги пропушта вистинските ефекти (лажно негативни); (2) неколкуте резултати кои навистина се значајни носат надуени величини - таканареченото проклетство на победникот бидејќи само надуените предвидувања можат да го надминат прагот. Затоа, добра практика е да се пресмета моќноста/примерокот пред анализата. AI го генерира кодот за оваа сметка; Големината на целниот ефект ја одредувате со теорија.
Проблем со повеќекратна споредба
Кога правите тест, прагот од 0,05 значи „5% ризик од лажни позитиви“. Но, ако направите 20 тестови, во просек би се очекувало случајно еден да даде p<0,05, дури и кога сите се всушност неефикасни. Ова се нарекува проблем со повеќекратна споредба. Веројатноста за лажни позитиви брзо се зголемува кога се тестираат голем број променливи, подгрупи или променливи на исходот. Решението е да се коригира прагот: Бонферони (поделувајќи го прагот со бројот на тестови — строги), Холм или Бенџамини-Хохберг методи кои ја контролираат стапката на лажно откривање (FDR). Овој ризик станува уште поголем во ерата на вештачката интелигенција, бидејќи вештачката интелигенција може да произведе десетици тестови во секунди - ова е директен предмет на следната единица (p-хакирање).
Споредбена табела: што вели p-вредноста, а што не кажува
изразување
Дали е вистина?
Опис
"p=0.02, веројатноста да нема ефект е 2%"
погрешно
p не е веројатноста за H0
"p<0,05, ефектот е голем"
погрешно
стр не означува големина
"p=0.20, нема ефект"
погрешно
Неможноста да се покаже не е отсуство
„p<0,05, има докази против H0“
Вистина
Внимателен и внимателен
„Ефект 1.200 [300;2.100], p=0.01“
најдобар
Големина + несигурност + докази
Четири потсетници за копирање
1. Избор на вистинскиот тест:
Вашата улога: асистент за статистички тестирања. Сакам да ја споредам средната вредност на две независни групи (континуирана променлива). Дајте ми: кој тест е соодветен (со неговите претпоставки: нормалност, еднаквост на варијансата), алтернативата ако претпоставката не е исполнета (на пр. Велч, Ман-Витни) и Р-шифрата. Ќе го извршам резултатот и ќе ги проверам претпоставките.
2. Правилно известување за p-вредноста:
Пријавете го резултатот од тестот подолу, но ПРАВИЛА: - НЕ прикажувајте ја p-вредноста како „веројатност за H0“ или „големина на ефектот“, - задолжително вклучете ја големината на ефектот и интервалот на доверливост од 95%, - напишете „значајно“ и „значајно“ одделно, - ако p>0,05, НЕ кажувајте „нема ефект“, кажете „не можевме да покажеме“. Излез: [залепи]
3. Пресметка на моќност/примерок:
Планирам експеримент: две групи, очекувана големина на ефектот (г на Коен) ~0,4, моќност 0,80, алфа 0,05. Напишете R код што ја пресметува потребната големина на примерокот (пакет pwr) и објаснете ги ризиците од студија со мала моќност (проклетство на победникот).
4. Повеќекратна споредбена корекција:
Направив 15 одделни тестови за хипотези и имам p-вредности. Напишете R-код што ги применува корекциите на Bonferroni и Benjamin-Hochberg (FDR), објаснете ја разликата помеѓу двата методи и резимирајте во една реченица зошто не треба да верувам на голата p<0,05.
Слаб промпт / Силен промпт
Слаба навестување:
Дали резултатот од овој тест е значаен? Коментар за резултатот.
Ова тврдење ја заробува вештачката интелигенција во бинарното „значајно/незначајно“; најверојатно произведува реченица што ја меша големината со значењето, како на пример „да, значајно е, ефектот е силен“.
Моќен потсетник:
Вашата улога: внимателен статистички асистент. Толкувајте го резултатот, но: (1) дајте ја големината на ефектот + 95% интервал на доверба + p-вредност заедно, (2) одделете го значењето од значајноста, (3) p>0,05 во „не можев да покажам“, (4) прашајте колку тестови направив; Ако повеќе од една, предложете корекција на повеќекратна споредба, (5) потсетете се дека треба да се проверат претпоставките од тестот.
Разлика: силната брза известување спроведува богато известување и штити од замки со p-вредност.
три мини футроли
Случај 1 - Незначително „значење“ во голем примерок. Еден аналитичар ја откри средната разлика помеѓу двете групи „многу значајна“ на p<0,001 во податоците со 500.000 набљудувања. Но, разликата беше само 0,3 поени (од 100) и практично беше бесмислена. Огромниот примерок ја направи и малата разлика „значајна“. Кога беше пријавена големината на ефектот, беше откриено дека наодот е незначителен. Лекција: значењето не е големина; Ако n е големо, секоја разлика е значајна.
Случај 2 - илузија за повеќекратно тестирање. Еден тим тестираше 22 променливи на исходот; Еден од нив покажа p=0,04 и беше објавен како „го најдовме ефектот“. Со корекција на Бонферони, прагот се намали на 0,05/22 = 0,0023; 0,04 не го помина овој праг. Единствениот „значаен“ резултат би бил случајно од 22 обиди. Поука: кога се тестира многу, потребна е корекција.
Случај 3 - Подмоќ и проклетство на победникот. Една мала пилот студија (n=15 по група) покажа дека ефектот е многу голем (d=0,9) и значаен. Голема студија за репликација го намали ефектот на d = 0,2. Малиот примерок дозволи само преценување да го надмине прагот. Поука: Не може да им се верува на значајните големини на ефекти при мала моќност.
Вообичаени грешки
- Збунувачки значајност со важност/големина. Ефектот не е голем само затоа што p е мал; Пријавете ја големината на ефектот одделно.
- Грешка на p-вредноста за веројатноста за H0. стр не е „веројатноста да нема ефект“; е концептуално различен.
- Читање на p>0,05 како „без ефект“. Неприкажувањето не е доказ за отсуство; Наведете ја неизвесноста.
- Не се коригира за мулти-тестирање. Премногу тестови даваат лажни позитиви; Примени Bonferroni/FDR.
- Игнорирање на моќта. Значајниот ефект во малиот примерок е претеран; Пресметајте ја моќноста пред анализата.
Совет: Пред да отпишете резултат како „значаен“, поставете две прашања: „Дали ефектот е практично значаен (големина)? и „Колку тестови направив пред да го најдам овој резултат? Второто прашање е лакмусов тест за искреност.
Сумирано
Тестирањето на хипотезата и p-вредноста се моќни, но погрешно разбрани алатки. P-вредноста е веројатноста да се видат податоците кога нултата хипотеза е вистинита; Веројатноста за H0 не е големината на ефектот или значењето на наодот. Секогаш пријавувајте го значењето заедно со големината на ефектот и интервалот на доверба; Не читајте p>0,05 како „без ефект“; примени корекција на повеќекратна споредба ако сте направиле многу тестови; Бидете свесни за ризикот од претерани ефекти од студиите со ниска моќност. AI произведува тест код и план; Ваша одговорност е да правите разлика помеѓу значајноста и материјалноста и да ги проверите претпоставките.
Задача за апликација
Направете споредба на средствата помеѓу две групи во збир на податоци. Прашајте ја вештачката интелигенција за соодветниот тест (со неговите претпоставки) и кодот, стартувајте го и проверете ги претпоставките. Пријавете го резултатот со три компоненти: големина на ефектот, 95% интервал на доверба, p-вредност. Потоа размислете колку различни споредби можете да направите за истите податоци; Ако сте извршиле повеќе тестови, нанесете корекција на Bonferroni или FDR и пријавете дали резултатот сè уште важи. Конечно, напишете груба проценка на моќноста за вашата анализа.
листа за проверка
- [ ] Го избрав тестот со неговите претпоставки и ги проверив претпоставките.
- [ ] Го пријавив резултатот како големина на ефект + интервал на доверба + p-вредност.
- [ ] Ги издвоив „значајните“ и „важните“; Не мислев дека p е веројатноста за H0.
- [ ] Напишав p>0,05 како „не можевме да го покажеме“ наместо „нема ефект“.
- [ ] Применив повеќекратна корекција на споредба ако спроведов повеќе тестови.
- [ ] Ја проценив моќта на земање мостри; Бев претпазлив за големината на ефектот при мала моќност.