Печалби:
- Способност за правилно дефиниране на нулевата хипотеза, p-стойност, доверителен интервал и статистическа мощност и използване на изкуствен интелект при избора и интерпретацията на тестове.
- Способност да се разграничи кое е и кое не е p-стойност (не размер на ефекта, не вероятност за точност) и да се разбере защо е необходима корекция на множество сравнения
- Способност за разпознаване на коментари, направени от изкуствен интелект, които объркват значимостта със съществеността и ги докладва с размер на ефекта и несигурност
Най-използваният и най-неразбран инструмент на статистиката е тестването на хипотези. Основната идея е проста: имаме твърдение (напр. „средната стойност на тези две групи е различна“) и неговата противоположност, нулева хипотеза (H0 — „всъщност няма разлика“). Тестът измерва колко добре данните се съгласуват с нулевата хипотеза. В този раздел ще видим как изкуственият интелект (AI) прави избора и тълкуването на тестове по-лесни, но защо клопките около p-стойността са толкова често срещани и опасни. Да започнем отначало: AI знае кой синтаксис на теста да напише; но ваша работа е да интерпретирате дали допускането на теста е изпълнено и какво всъщност означава резултатът.
Какво всъщност е p-стойността?
P-стойността е вероятността резултатът, който наблюдавате, или по-краен резултат, да се случи случайно, когато нулевата хипотеза е вярна (т.е. всъщност няма ефект). Малка p-стойност (0,05 е традиционният праг) означава, че "би било изненадващо да се видят такива данни, ако наистина няма ефект"; Това се счита за доказателство срещу нулевата хипотеза.
Сега нека изясним какво не е p-стойността - която AI често бърка:
- P-стойността не е вероятността нулевата хипотеза да е вярна. p=0,03 не означава "има 3% вероятност да няма ефект".
- P-стойността не показва размера на ефекта. Много малък ефект може да доведе до малка p-стойност в голяма проба.
- P-стойността не доказва, че находката е значима или реална. „Значително“ е статистически термин, „значително“ е преценка.
- p>0,05 не означава "няма ефект"; Това означава, че "не можахме да покажем ефекта с тези данни." Липсата на доказателства не е доказателство за липса.
Внимание: Най-често срещаната грешка при тълкуването на AI е представянето на думата „значително“ като „значително/силно/голямо въздействие“. Статистическата значимост и практическата значимост са две различни неща; Винаги докладвайте двете поотделно.
Доверителен интервал и размер на ефекта: по-богата информация
Вместо една p-стойност, доверителният интервал е много по-информативен: той дава правдоподобния диапазон от стойности за вашата оценка. Изречението „Ефект 1200, 95% доверителен интервал [300, 2100]“ показва както посока, величина, така и несигурност; "p<0,05" просто казва "далеч от нула". Съвременната статистическа практика не използва само p-стойността; препоръчва отчитане с триото от размер на ефекта + доверителен интервал + p-стойност.
Статистическа мощност и извадка
Статистическата мощност е вероятността за откриване на ефект, който действително съществува (1 минус вероятността за грешка от тип II, т.е. „липсване на реалния ефект“). Изследването с недостатъчна мощност е податливо на два риска: (1) то пропуска истинските ефекти (фалшиво отрицателно); (2) малкото резултати, които се оказват значими, носят завишени величини - така нареченото проклятие на победителя, защото само завишени прогнози могат да преминат прага. Поради това е добра практика да се изчисли мощност/проба преди анализ. AI генерира кода за този акаунт; Вие определяте размера на целевия ефект с теория.
Проблем с множество сравнения
Когато правите тест, праг от 0,05 означава "5% риск от фалшиви положителни резултати". Но ако направите 20 теста, средно един ще се очаква случайно да даде p<0,05, дори когато всички те всъщност са неефективни. Това се нарича проблем с множество сравнения. Вероятността от фалшиви положителни резултати се увеличава бързо, когато се тестват голям брой променливи, подгрупи или променливи на резултатите. Решението е да се коригира прагът: Bonferroni (разделяне на прага на броя на тестовете — строги), методи на Holm или Benjamini-Hochberg, които контролират процента на фалшиви открития (FDR). Този риск става още по-голям в ерата на AI, тъй като AI може да произведе десетки тестове за секунди - това е пряката тема на следващата единица (p-hacking).
Сравнителна таблица: какво казва p-стойността и какво не казва
изразяване
вярно ли е
Описание
"p=0,02, вероятността да няма ефект е 2%"
грешно
p не е вероятността за H0
"p<0,05, ефектът е голям"
грешно
p не показва размер
"p=0,20, без ефект"
грешно
Да не можеш да се покажеш не е отсъствие
"p<0,05, има доказателства срещу H0"
вярно
Внимателен и на място
„Ефект 1.200 [300;2.100], p=0.01“
най-доброто
Размер + несигурност + доказателства
Четири подкани за копиране
1. Избор на правилния тест:
Вашата роля: помощник при статистически тестове. Искам да сравня средната стойност на две независими групи (непрекъсната променлива). Дайте ми: кой тест е подходящ (с неговите допускания: нормалност, равенство на дисперсията), алтернативата, ако предположението не е изпълнено (напр. Welch, Mann-Whitney) и R кода. Ще пусна резултата и ще проверя предположенията.
2. Правилно отчитане на p-стойността:
Докладвайте изхода от теста по-долу, но ПРАВИЛА:- НЕ представяйте p-стойността като „вероятност за H0“ или „размер на ефекта“,- не забравяйте да включите размера на ефекта и 95% доверителен интервал,- напишете „значително“ и „значително“ отделно,- ако p>0,05, НЕ казвайте „няма ефект“, кажете „не можахме да покажем“. Изход: [поставяне]
3. Изчисление на мощност/проба:
Планирам експеримент: две групи, очакван размер на ефекта (d на Коен) ~0,4, мощност 0,80, алфа 0,05. Напишете R код, който изчислява необходимия размер на извадката (pwr пакет) и обяснете рисковете от изследване с ниска мощност (проклятието на победителя).
4. Корекция на множество сравнения:
Направих 15 отделни теста на хипотези и имам p-стойности. Напишете R код, който прилага корекциите на Bonferroni и Benjamin-Hochberg (FDR), обяснете разликата между двата метода и обобщете в едно изречение защо не трябва да се доверявам на голото p<0,05.
Слаба подкана / Силна подкана
Слаба подкана:
Смислен ли е резултатът от този тест? Коментирайте резултата.
Това твърдение хваща AI в двоичния код „смислено/безсмислено“; най-вероятно произвежда изречение, което обърква величината със значението, като например "да, това е значително, ефектът е силен."
Мощна подкана:
Вашата роля: внимателен статистически асистент. Интерпретирайте резултата, но: (1) дайте размера на ефекта + 95% доверителен интервал + p-стойност заедно, (2) отделете значимостта от значимостта, (3) p>0,05 в „не може да се покаже“, (4) попитайте колко теста съм направил; Ако са повече от един, предложете корекция за многократно сравнение, (5) напомнете, че допусканията на теста трябва да бъдат проверени.
Разлика: силната подкана налага богато отчитане и предпазва от капани на p-стойности.
три мини калъфа
Случай 1 — Незначителна „значимост“ в голяма извадка. Един анализатор намери средната разлика между двете групи „силно значима“ при p<0,001 в данни с 500 000 наблюдения. Но разликата беше само 0,3 точки (от 100) и на практика беше безсмислена. Огромната извадка направи дори малката разлика „значима“. Когато се докладва размерът на ефекта, откритието се оказа незначително. Урок: значимостта не е величина; Ако n е голямо, всяка разлика е значима.
Случай 2 — Илюзия за множество тестове. Един екип тества 22 променливи на резултатите; Един от тях показа p=0.04 и беше обявен като „установихме ефекта“. С корекцията на Bonferroni прагът намалява до 0,05/22 = 0,0023; 0,04 не е преминал този праг. Единственият "смислен" резултат би бил случайно от 22 опита. Поука: когато се тества много, е необходима корекция.
Случай 3 — Недостатъчна сила и проклятието на победителя. Малко пилотно проучване (n=15 на група) установи много голям (d=0,9) и значим ефект. Голямо проучване за репликация намали ефекта до d = 0,2. Малката извадка само позволи надценяването да премине прага. Урок: Не може да се вярва на значителни размери на ефекта при ниска мощност.
Често срещани грешки
- Объркване на значимост с важност/величина. Ефектът не е голям само защото p е малко; Докладвайте размера на ефекта отделно.
- Грешка на p-стойността за вероятността за H0. p не е "вероятността за липса на ефект"; е концептуално различен.
- Отчитане на p>0,05 като "няма ефект". Липсата на показване не е доказателство за отсъствие; Посочете несигурността.
- Не се коригира за многократно тестване. Твърде много тестове дават фалшиви положителни резултати; Нанесете Bonferroni/FDR.
- Игнориране на властта. Значителният ефект в малката извадка е преувеличен; Изчислете мощността преди анализ.
Съвет: Преди да отпишете даден резултат като „значителен“, задайте два въпроса: „Ефектът практически значим ли е (степен)?“ и „Колко теста направих, преди да намеря този резултат?“ Вторият въпрос е лакмусът за честност.
В обобщение
Тестването на хипотези и p-стойността са мощни, но неразбрани инструменти. P-стойността е вероятността да се видят данните, когато нулевата хипотеза е вярна; Вероятността за H0 не е величината на ефекта или значимостта на находката. Винаги докладвайте значимостта заедно с размера на ефекта и доверителния интервал; Не четете p>0,05 като "без ефект"; приложете корекция на множество сравнения, ако сте направили много тестове; Имайте предвид риска от преувеличени ефекти от проучвания с ниска мощност. AI произвежда тестов код и план; Ваша отговорност е да правите разлика между значимост и същественост и да проверявате допусканията.
Задача за приложение
Направете сравнение на средните стойности между две групи в набор от данни. Помолете AI за подходящия тест (с неговите допускания) и код, стартирайте го и проверете допусканията. Отчетете резултата с три компонента: размер на ефекта, 95% доверителен интервал, p-стойност. След това помислете колко различни сравнения можете да направите върху едни и същи данни; Ако сте провели множество тестове, приложете корекция на Bonferroni или FDR и докладвайте дали резултатът все още е валиден. Накрая напишете груба оценка на мощността за вашия анализ.
контролен списък
- [ ] Избрах теста с неговите допускания и проверих допусканията.
- [ ] Отчетох резултата като размер на ефекта + доверителен интервал + p-стойност.
- [ ] Разделих „значително“ и „важно“; Не мислех, че p е вероятността за H0.
- [ ] Написах p>0,05 като „не можахме да го покажем“, а не като „няма ефект“.
- [ ] Приложих корекция на множество сравнения, ако проведох няколко теста.
- [ ] Оцених мощността на вземане на проби; Бях предпазлив относно размера на ефекта при ниска мощност.