Добици:
- Способност избора теста који одговара врсти и дистрибуцији података и провере претпоставки (нормалност, варијанса)
- Способност разумевања правог значења п-вредности и извештавања о резултатима са величином ефекта и интервалом поверења
- Заштита од п-хаковања са раздвајањем откривања и верификације, исправком вишеструког поређења и потпуним извештавањем
Експеримент је завршен, подаци су ушли. Сада смо у најкритичнијој и најпогрешнијој фази: исправно анализирамо податке и искрено тумачимо резултате. Биолошки подаци су често бучни, нестабилни и вишеструки. Нетачна селекција теста, имплицитна кршења претпоставки и несвесно п-хаковање (покушавање анализе док не да жељени резултат) су примарни узроци кризе репродуктивности у објављеној биолошкој литератури. АИ вам помаже да одаберете прави тест, проверите претпоставке и напишете код за анализу; али статистички интегритет је ваша одговорност.
У овој јединици ћемо покрити уобичајене статистичке тестове, провере претпоставки и начине да се заштитите од п-хаковања.
Избор правог теста
Избор теста зависи од врсте и дистрибуције података. Вештачка интелигенција ће вам помоћи да направите овај избор, али не би требало да је примењујете слепо:
- Две групе, континуирани подаци, нормална дистрибуција: Независни т-тест.
- Две групе, ненормалне: Манн-Вхитнеи У (непараметарски: не захтева претпоставку о расподели).
- Више од две групе: АНОВА (анализа варијансе) + пост-хоц тест.
- Категорички подаци (броји): Хи-квадрат или Фишеров тачан тест.
- Однос: Корелација (Пеарсон/Спеарман) или регресија.
Савет: Визуелизирајте податке пре него што изаберете тест. Хистограм или дијаграм у кутији одмах показују нормалност и одступања које т-тест захтева. „Прво график, касније тестирајте“ је добра навика.
Провера претпоставки
Сваки тест има скривене претпоставке. Т-тест претпоставља нормалну дистрибуцију и једнакост варијансе; Ако се они прекрше, резултат ће бити погрешан. АИ пише код који проверава ове претпоставке:
Улога: Ви сте асистент биостатистике. Задатак: Написати код који проверава претпоставке т-теста пре него што упореди две групе података: нормалност (Схапиро-Вилк), једнакост варијансе (Левене). Ако је претпоставка прекршена, реците ми на који алтернативни тест да пређем. Дајте Питхон код са коментарима.
Код вас преусмерава на Манн-Вхитнеи ако је нормалност нарушена. Овај ток „прво провери, одлучи касније“ спречава вас да извршите погрешан тест.
п-хаковање и како да се заштитите
п-хаковање је анализирање података на различите начине све до п<0,05: испробавање различитих тестова, селективно одбацивање изузетака, додавање/уклањање група, извештавање о томе шта је "значајно" међу великим бројем варијабли. Ово је главни извор лажних открића. Начини заштите:
- Унапред фиксирајте план анализе (Целина 7).
- Пријавите све тестове, а не само оне који показују значај.
- Поправи вишеструко поређење (ФДР/Бонферрони).
- Наведите величину ефекта и интервал поверења поред п-вредности.
- Одвојено откривање и валидација: Тестирајте оно што пронађете у скупу за откривање на независном скупу.
Корак по корак: искрена анализа
- Визуелизирајте податке (разбацане, ванредне).
- Проверите претпоставке.
- Урадите тест који сте унапред одредили.
- Исправите вишеструко поређење.
- Величина ефекта извештаја + интервал поверења.
- Јасно напишите ограничења.
Шаблони упита који се могу копирати
Визуелизујте пропусност: нацртајте хистограме и дијаграме за сваку групу, означите граничне вредности. Затим интерпретирајте нормалност. Колоне са подацима: [име]. Дајте Питхон код са коментарима.
Желим да упоредим своје две групе. Карактеристике података: [тип, Н, дистрибуција]. Који тест је одговарајући? Проверите претпоставке, извршите тест, пријавите величину ефекта И 95% интервал поверења СА п-вредношћу.
У својој анализи сам тестирао 15 различитих гена. Наведите код који примењује исправку Бонферони и Бењамини-Хохберг и објасни разлику између ове две методе.
Слаби промпт / Јаки промпт
Слабо: "Да ли су ове две групе различите, урадите т-тест."
Снажан: „Имам две групе (контрола н=18, третман н=20), зависна варијабла је активност ензима (континуирано). Прво визуализујте дистрибуцију и тестирајте нормалност са Схапиро-Вилком. Ако је нормално, примените т-тест, ако није, Манн-Вхитнеи. Извештај о резултату са п-вредношћу, величином ефекта (Цохен-бисериал % или ранк-бисериал) или рангом тест који сте изабрали и зашто."
Разлика: Моћна промпт има тип података, бројеве узорака, проверу претпоставки и потпуни захтев за извештавање. Модел следи прави пут уместо да слепо примењује т-тест.
три мини кофера
Случај 1 — Погрешан тест: Ученик је применио т-тест на значајно искривљене (ненормалне) податке и нашао п=0,048. Када је вештачка интелигенција додала проверу нормалности, подаци нису испали нормални; Са Манн-Вхитнеијем, п=0,11. Стварни резултат је био бесмислен. Поука: тестирање без провере претпоставке је погрешно.
Случај 2 — Одбацивање селективног одступања: Истраживач је избрисао две „изузетне“ тачке да би резултат био смислен. Модел је нагласио да одбацивање ванредних вредности треба да буде засновано на унапред дефинисаном правилу (нпр. ИКР метода) и да се пријави; произвољно брисање је п-хаковање. Лекција: унапред поставите правило ванредног стања.
Случај 3 — Опоравак величине ефекта: Једна студија је имала п=0,001, али је величина ефекта (д=0,1) била скоро нула; велики узорак је показао да је незнатна разлика значајна. Када је вештачка интелигенција известила о величини ефекта, откривено је да налаз нема практичну вредност. Поука: Није важно само зато што је п мало.
упоредни графикон
Статус
прави приступ
Треба избегавати
абнормални подаци
Непараметарски тест
Принудни т-тест
мулти тест
Примени исправку
Сирова п<0,05
оутлиер
Унапред дефинисано правило
произвољно брисање
значајан резултат
Величина ефекта + ЦИ
само стр
откриће налаз
Потврдите на независном скупу
Завршите у једном сету
Уобичајене грешке
- Неконтролисано тестирање хипотезе: лажни значај са лажним тестирањем.
- п-хаковање: Покушај анализе док не да жељени резултат.
- Пријављивање само п-вредности: изостављање величине ефекта и интервала поверења.
- Не исправљам за вишеструка поређења: лажно позитивни.
- Узрочно скакање: Закључивање узрочности из корелације.
Опрез: АИ неће „произвести“ резултат који желите, али ће са задовољством написати код за погрешан тест ако буде заведен. Имате статистички интегритет: пријавите сва испитивања, планирајте анализу унапред, никада не пропустите величину ефекта. Радите са биостатичаром за анализе које воде до објављивања.
право значење п-вредности
Најнесхваћенији концепт у биологији је п-вредност. П-вредност није „вероватноћа да је хипотеза тачна“; То је „вероватноћа да видите разлику као велику или екстремнију од онога што видите, када у стварности нема разлике“. Ова суптилна, али критична разлика је кључна да се резултати не претерују. п=0,03 не значи "ефекат је 97% стваран". Када АИ тумачи резултат, проверите да ли правилно користи ову дефиницију; Модел понекад може поновити уобичајену погрешну интерпретацију.
Интервал поверења (ЦИ) је често информативнији од п-вредности јер заједно показује величину и неизвесност ефекта. „Разлика 2,4 пута (95% ЦИ: 1,8-3,1)“ говори много више од „п<0,05“: и смер ефекта, његова величина и колико је прецизно измерен. Истакните ГА у својим извештајима.
Користите тачну дефиницију п-вредности када тумачите мој резултат. Избегавајте нетачне изјаве као што је „вероватноћа да је ефекат истинит“. Уместо тога, објасните практично значење у смислу величине ефекта и интервала поверења од 95%. Резултат: [подаци]
Корелација, узрочност и подаци посматрања
Већина биолошких података је опсервацијски: видите да се нешто мења са нечим другим, али не можете да видите шта узрокује шта. Реченица „експресија гена Кс у корелацији са болешћу“ не указује да Кс изазива болест; Болест може бити у порасту Кс, или трећи фактор може утицати на оба. Узрочност се може утврдити само интервентним експериментисањем (промена Кс и мерење резултата). АИ може несвесно да користи каузални језик („узроци“, „доводи до“) у вашим текстовима; прегледајте сваку закључну реченицу из ове перспективе, изражавајући налазе опсервације на корелационом језику („корелисано“, „заједно варирање“).
Раздвајање упарених и независних података
Разлика која се најчешће занемарује у избору теста јесте да ли су узорци независни или упарени. Ако вршите мерења пре и после исте особе (на пример, крвне вредности истих пацијената пре и после лечења), ова мерења нису независна; Потребан је упарени тест. Коришћење независног т-теста са два узорка овде одбацује информације о подударању у подацима и смањује снагу; Можда чак и преокрене исход. Правило је једноставно: "Да ли ова два мерења потичу из исте биолошке јединице?" Ако је одговор да, користи се упарени тест (упарени т-тест или Вилцокон сигнед ранк тест), ако не, користи се независни тест. Када тражите од вештачке интелигенције тестове, обавезно наведите структуру подударања ваших података; Ако не наведете, модел често претпоставља независност и препоручује погрешан тест.
Имам два сета мерења. Важно: ова мерења су направљена пре/после ИСТИХ појединаца (упарених). Изаберите прави тест који узима у обзир ово подударање (упарени т-тест или Вилцокон), проверите своје претпоставке и известите са величином ефекта. Не претпостављајте независност.
Укратко
Тачна анализа података; избор одговарајућег теста за тип података, провера претпоставки, исправљање вишеструких поређења и извештавање о величини ефекта и интервалу поверења поред п-вредности. Највећа опасност је п-хаковање; Протуотров је план анализе унапред, потпуно извештавање и раздвајање откривања и верификације. Вештачка интелигенција је моћна помоћ у одабиру тестова и провери претпоставки, али статистички интегритет лежи на човеку.
Задатак апликације
Узмите скуп података (своје податке или узорак) са две групе. Прво нека АИ напише код који визуализује податке и тестира нормалност. У зависности од резултата, примените одговарајући тест (т-тест или Манн-Вхитнеи) и наведите величину ефекта и интервал поверења заједно са п-вредношћу. Затим упоредите ефекат вишеструких поређења без корекције и са корекцијом на резултат.
контролна листа
- [ ] Ја сам визуализовао податке пре тестирања.
- [ ] Проверио сам претпоставке теста (нормалност, варијанса).
- [ ] Изабрао сам одговарајући тест, нисам слепо применио т-тест.
- [ ] Исправио сам вишеструко поређење.
- Пријавио сам [ ] п-вредност, као и величину ефекта и интервал поверења.
- [ ] Поправио сам план анализе унапред и избегао сам п-хаковање.