Добици:
- Способност исправног дефинисања нулте хипотезе, п-вредности, интервала поверења и статистичке моћи и коришћења вештачке интелигенције у избору и интерпретацији теста.
- Способност да се разликује шта јесте, а шта није п-вредност (не величина ефекта, није вероватноћа тачности) и разуме зашто је неопходна корекција вишеструког поређења
- Способност препознавања коментара вештачке интелигенције који мешају смисао са материјалношћу и извештавање о њима са величином ефекта и неизвесношћу
Најчешћи и најчешће погрешно схваћени алат статистике је тестирање хипотеза. Основна идеја је једноставна: имамо тврдњу (нпр. „средња вредност ове две групе је различита“) и њену супротност, нулту хипотезу (Х0 — „заправо нема разлике“). Тест мери колико се подаци слажу са нултом хипотезом. У овој јединици ћемо видети како вештачка интелигенција (АИ) олакшава избор и тумачење теста, али зашто су замке око п-вредности тако честе и опасне. Почнимо од почетка: АИ зна коју синтаксу теста да напише; али ваш је посао да протумачите да ли је претпоставка теста задовољена и шта резултат заиста значи.
Шта је заправо п-вредност?
П-вредност је вероватноћа да ће се исход који посматрате, или екстремнији исход, десити случајно када је нулта хипотеза тачна (тј., заправо нема ефекта). Мала п-вредност (0,05 је традиционални праг) значи „било би изненађујуће видети такве податке да заиста није било ефекта“; Ово се сматра доказом против нулте хипотезе.
Сада да разјаснимо шта п-вредност није - што АИ често збуњује:
- П-вредност није вероватноћа да је нулта хипотеза тачна. п=0,03 не значи "постоји 3% вероватноће да нема ефекта".
- П-вредност не указује на величину ефекта. Веома мали ефекат може дати малу п-вредност у великом узорку.
- П-вредност не доказује да је налаз значајан или стваран. „Значајно“ је статистички термин, „значајно“ је суд.
- п>0,05 не значи "без ефекта"; То значи "не бисмо могли да покажемо ефекат са овим подацима." Одсуство доказа није доказ одсуства.
Опрез: Најчешћа грешка у тумачењу АИ је представљање речи „значајан“ као „значајан/снажан/велики утицај“. Статистички значај и практични значај су две различите ствари; Увек пријавите то двоје одвојено.
Интервал поверења и величина ефекта: богатије информације
Уместо једне п-вредности, интервал поверења је много информативнији: даје вероватан опсег вредности за вашу процену. Реченица „Ефекат 1.200, 95% интервал поверења [300, 2.100]“ показује и правац, величину и несигурност; „п<0,05“ само каже „далеко од нуле“. Модерна статистичка пракса не користи само п-вредност; препоручује извештавање са триом величина ефекта + интервал поверења + п-вредност.
Статистичка снага и узорак
Статистичка моћ је вероватноћа откривања ефекта који стварно постоји (1 минус вероватноћа грешке типа ИИ, тј. „пропуштања стварног ефекта“). Студија са недостатком снаге је подложна двама ризицима: (1) пропушта праве ефекте (лажно негативан); (2) неколико резултата за које се испостави да су значајни носе надуване величине – такозвано проклетство победника јер само надувана предвиђања могу да пређу праг. Због тога је добра пракса израчунати снагу/узорак пре анализе. АИ генерише код за овај налог; Величину циљаног ефекта одређујете теоријом.
Проблем вишеструког поређења
Када се ради тест, праг од 0,05 значи "5% ризика од лажних позитивних резултата". Али ако урадите 20 тестова, у просеку би се очекивало да ће један случајно дати п<0,05, чак и када су сви они заправо неефикасни. Ово се зове проблем вишеструког поређења. Вероватноћа лажно позитивних резултата се брзо повећава када се тестира велики број варијабли, подгрупа или варијабли исхода. Решење је да се исправи праг: Бонферони (дељење прага бројем тестова — строги), Холмове или Бењамини-Хохбергове методе које контролишу стопу лажног откривања (ФДР). Овај ризик постаје још већи у доба вештачке интелигенције, пошто АИ може да произведе десетине тестова у секунди — ово је директна тема следеће јединице (п-хаковање).
Табела поређења: шта п-вредност говори и шта не говори
израз
Да ли је то истина?
Опис
„п=0,02, вероватноћа да нема ефекта је 2%“
погрешно
п није вероватноћа од Х0
„п<0,05, ефекат је велики“
погрешно
п не означава величину
„п=0,20, нема ефекта“
погрешно
Неспособност да се покаже није одсуство
"п<0,05, постоје докази против Х0"
Истина
Опрезно и тачно
„Ефекат 1,200 [300;2,100], п=0,01“
најбоље
Величина + неизвесност + доказ
Четири упита за копирање
1. Одабир правог теста:
Ваша улога: помоћник у статистичком тестирању. Желим да упоредим средњу вредност две независне групе (континуирана променљива). Дајте ми: који је тест одговарајући (са његовим претпоставкама: нормалност, једнакост варијансе), алтернативу ако претпоставка није испуњена (нпр. Велч, Ман-Витни) и Р код. Проверићу резултат и проверићу претпоставке.
2. Правилно пријављивање п-вредности:
Пријавите резултат теста у наставку, али ПРАВИЛА:- НЕМОЈТЕ представљати п-вредност као „вероватноћу Х0“ или „величину ефекта“,- обавезно укључите величину ефекта и 95% интервал поверења,- напишите „значајно“ и „значајно“ одвојено,- ако је п>0,05, НЕМОЈТЕ рећи „без ефекта“, реците „не бисмо могли да покажемо“. Излаз: [налепи]
3. Прорачун снаге/узорка:
Планирам експеримент: две групе, очекивана величина ефекта (Коенов д) ~0,4, снага 0,80, алфа 0,05. Напишите Р код који израчунава потребну величину узорка (пвр пакет) и објасни ризике студије мале снаге (проклетство победника).
4. Корекција вишеструког поређења:
Урадио сам 15 одвојених тестова хипотеза и имам п-вредности. Напишите Р код који примењује исправке Бонферони и Бењамин-Хохберг (ФДР), објасни разлику између ове две методе и сумирај у једној реченици зашто не бих требало да верујем голом п<0,05.
Слаби промпт / Јаки промпт
Слабо обавештење:
Да ли је резултат овог теста смислен? Коментаришите резултат.
Ова тврдња заробљава АИ у бинарном систему „смислено/не-смислено“; највероватније производи реченицу која меша величину са значајем, као што је „да, значајно је, ефекат је јак“.
Снажан упит:
Ваша улога: пажљив статистички асистент. Протумачите резултат, али: (1) дајте величину ефекта + 95% интервал поверења + п-вредност заједно, (2) одвојите значајност од значаја, (3) п>0,05 у „не могу да се покаже“, (4) питајте колико сам тестова урадио; Ако их има више, предложите вишеструку корекцију поређења, (5) подсетите да треба проверити претпоставке теста.
Разлика: снажна промптност намеће богато извештавање и штити од замки п-вредности.
три мини кофера
Случај 1 — Безначајан „значај“ у великом узорку. Један аналитичар је пронашао средњу разлику између две групе „веома значајну“ на п<0,001 у подацима са 500.000 посматрања. Али разлика је била само 0,3 поена (од 100) и била је практично бесмислена. Огроман узорак је чак и малу разлику учинио „значајном“. Када је пријављена величина ефекта, утврђено је да је налаз безначајан. Поука: значај није величина; Ако је н велико, свака разлика је значајна.
Случај 2 — Вишеструка илузија тестирања. Један тим је тестирао 22 варијабле исхода; Један од њих је показао п=0,04 и био је најављен као "пронашли смо ефекат". Са Бонферонијевом корекцијом, праг се смањио на 0,05/22 = 0,0023; 0,04 није прешло овај праг. Једини "смислени" резултат био би случајан од 22 суђења. Поука: када се пуно тестира, неопходна је корекција.
Случај 3 — Ундерповер и проклетство победника. Мала пилот студија (н=15 по групи) открила је ефекат веома велики (д=0,9) и значајан. Велика студија репликације смањила је ефекат на д = 0,2. Мали узорак је само дозволио прецењивање да пређе праг. Поука: Не може се веровати значајним величинама ефеката при малој снази.
Уобичајене грешке
- Бркање смислености са важношћу/величином. Ефекат није велики само зато што је п мало; Засебно пријавите величину ефекта.
- Грешка п-вредности за вероватноћу Х0. п није "вероватноћа да нема ефекта"; је концептуално другачији.
- Читање п>0,05 као "без ефекта". Неприказивање није доказ одсуства; Наведите неизвесност.
- Не исправљам за вишеструко тестирање. Превише тестова даје лажне позитивне резултате; Примените Бонферрони/ФДР.
- Игнорисање моћи. Значајан ефекат у малом узорку је преувеличан; Израчунајте снагу пре анализе.
Савет: Пре него што отпишете резултат као „значајан“, поставите два питања: „Да ли је ефекат практично значајан (величина)?“ и „Колико сам тестова урадио пре него што сам нашао овај резултат?“ Друго питање је лакмус тест поштења.
Укратко
Тестирање хипотеза и п-вредност су моћни, али погрешно схваћени алати. П-вредност је вероватноћа да се виде подаци када је нулта хипотеза тачна; Вероватноћа Х0 није величина ефекта или значај налаза. Увек извештавајте о значају заједно са величином ефекта и интервалом поверења; Немојте читати п>0,05 као "без ефекта"; примените вишеструку корекцију поређења ако сте урадили много тестова; Будите свесни ризика од претераних ефеката студија мале снаге. АИ производи тестни код и план; Ваша је одговорност да правите разлику између смислености и материјалности и да проверите претпоставке.
Задатак апликације
Направите поређење средњих вредности између две групе у скупу података. Затражите од АИ одговарајући тест (са његовим претпоставкама) и код, покрените га и проверите претпоставке. Извештај о резултату са три компоненте: величина ефекта, 95% интервал поверења, п-вредност. Затим размислите о томе колико различитих поређења можете направити на истим подацима; Ако сте извршили више тестова, примените Бонферони или ФДР корекцију и пријавите да ли резултат још увек важи. На крају, напишите грубу процену снаге за своју анализу.
контролна листа
- [ ] Изабрао сам тест са његовим претпоставкама и проверио претпоставке.
- [ ] Резултат сам пријавио као величину ефекта + интервал поверења + п-вредност.
- [ ] Држао сам „значајно“ и „важно“ одвојено; Нисам мислио да је п вероватноћа за Х0.
- [ ] Написао сам п>0,05 као "не можемо то да покажемо" уместо "без ефекта".
- [ ] Применио сам вишеструку корекцију поређења ако сам покренуо више тестова.
- [ ] Проценио сам снагу узорковања; Био сам опрезан у погледу величине ефекта при малој снази.