Печалби:
- Способност за изграждане на ясна хипотеза, точни контроли, рандомизиране, ослепяване и предварителен анализ на мощността в експериментален дизайн
- Способност за разграничаване на биологичното повторение от техническото повторение и избягване на грешката на псевдорепликацията
- Възможност за предотвратяване на p-хакване на първо място чрез фиксиране на плана за анализ преди експеримента (предварителен запис)
Най-скъпата грешка в биологията е зле планиран експеримент. Неправилният анализ може да бъде коригиран по-късно; Но данните, събрани с недостатъчен брой повторения, неконтролирани или смесени променливи, не могат да бъдат възстановени от никаква статистика. „Боклук вътре, боклук вън“. Ето защо експериментът трябва да бъде проектиран правилно, преди да започне. Изкуственият интелект е мощен мисловен партньор на този етап на проектиране: той извиква контролни групи, пише кода, който извършва анализ на мощността (изчисляване на броя проби, необходими за улавяне на търсената разлика), поставя под въпрос объркващи променливи. Но окончателното решение за дизайн е ваше с познания за домейна.
В тази част ще обсъдим компонентите на добрия експериментален дизайн и как да използваме изкуствения интелект в този процес.
Компоненти на добър експериментален дизайн
- Ясна хипотеза: Тествано, измеримо твърдение. Като "Това лекарство забавя растежа на клетките."
- Независима и зависима променлива: Какво променяте (доза на лекарството), какво измервате (брой клетки)?
- Контролна група: Група за сравнение, която не е получила интервенция. Без него не можете да разберете причината за разликата.
- Репликация: Биологичната репликация (различни индивиди/култури) е различна от техническата репликация (повтаряне на измерването на същата проба); Истинската сила е в биологичното повторение.
- Рандомизация: Случайно разпределяне на проби в групи и ред на обработка; намалява пристрастията.
- Заслепяване: Лицето, което извършва измерването, не знае коя група коя е; предотвратява субективни пристрастия.
- Анализ на мощността: Предварително изчисляване на колко проби са необходими за улавяне на очаквания ефект с 80% вероятност.
Съвет: Дайте експерименталния дизайн на AI, за да го „критикува“. „Какъв контрол липсва в този план, каква объркваща променлива пропуснах?“ Въпросът разкрива пропуски, които не можете да видите, когато мислите сами.
Анализ на мощността: защо и как
Много малка извадка може да направи дори реална разлика да изглежда "незначителна" (ниска мощност); Извадка, която е твърде голяма, е загуба на ресурси и може да накара незначителните разлики да изглеждат „значителни“. Правилното число се намира чрез анализ на мощността и зависи от: очаквания размер на ефекта, приетите нива на грешка (алфа и бета) и променливостта на данните.
Роля: Вие сте асистент по експериментален дизайн и биостатистика. Задача: Извършете анализ на мощността за експеримент, сравняващ две групи. Напишете код, който изчислява броя на пробите, необходими за група с очакван размер на ефекта на Коен d = 0,8, алфа = 0,05, мощност = 0,80.statsmodels и обяснете предположенията.
Стартирате кода; например ще получите резултат като "26 проби на група". Сравнявате това с бюджета на експеримента си и създавате реалистичен план.
Стъпка по стъпка: проектиране на експеримент
- Напишете хипотезата: Едно изречение, измеримо.
- Дефинирайте променливи: независими, зависими, поддържани постоянни.
- Идентифицирайте контролите: отрицателна контрола, положителна контрола, контрола на превозното средство.
- Избройте смесителите: време, партида, температура, експериментатор — как ще бъдат контролирани?
- Извършете анализ на силата: Изчислете броя на необходимите повторения.
- Планирайте рандомизация и ослепяване.
- Напишете плана за анализ предварително: Определете кой тест ще използвате преди експеримента (предотвратява р-хакването).
Копируеми шаблони за подкана
Критикирайте моя експериментален план. Открийте слабостите по отношение на: контролна група, брой реплики, рандомизация, ослепяване, объркващи фактори. Предложете конкретна корекция за всеки недостатък. План: [текст]
Обяснете с пример разликата между биологичното повторение и техническото повторение. Според моя опит [обяснение] кой колко трябва да бъде и защо?
Искам да коригирам плана си за анализ ПРЕДИ експеримента. Доходност: [дизайн]. Кой статистически тест е подходящ, кои предположения трябва да проверя, ще има ли множество сравнения? Пишете стъпка по стъпка.
Слаба подкана / Силна подкана
Слаб: „Проектирайте експеримент.“
Силен: „Искам да тествам дали Drug
Разлика: В силната подкана хипотезата, променливите, времето за измерване и наличните контроли са ясни; Моделът дава конкретна, подходяща за полето обратна връзка.
три мини калъфа
Случай 1 — Edge ефект: Един екип експериментира в 96-ямкова плака; Резултатите бяха странни. Изкуственият интелект напомни, че краищата на плочата се държат по различен начин поради изпаряване (ефект на ръба) и предложи използването на краищата като контроли и разпределяне на пробите на случаен принцип. Последователността се увеличава при повторение.
Случай 2 — Псевдорепликация: Ученик взе 10 тъканни проби от една мишка и каза „n=10“. Това обаче са 10 технически повторения; биологичното n все още е 1. Когато моделът обясни това разграничение, студентът преработи експеримента с 6 мишки. Урок: статистическото n е биологична единица.
Случай 3 — Недостатъчна мощност: Една група е пуснала 4 проби на група и е пропуснала истински ефект (p=0,09). Анализът на мощността показа, че 4 проби осигуряват само 35% мощност. Ако моделът беше изчислил правилния брой проби предварително, експериментът или щеше да бъде настроен с достатъчна мощност, или изобщо нямаше да започне. Урок: изчислете мощността предварително, не по-късно.
сравнителна диаграма
концепция
Правилно приложение
честа грешка
отново
Пребройте биологичното повторение
помислете за техническо повторение
контрол
Отрицателен+положителен+носител
неконтролиран експеримент
Рандомизиране
Групирайте и подредете произволно
Последователна обработка
мощност
Изчислете преди експеримента
не поглеждай назад
план за анализ
закрепете предварително
Избор на тестове въз основа на данни
Често срещани грешки
- Пропускане на контролната група: Прави причината за разликата неразбираема.
- Псевдо-повторение: Разглеждането на техническото повторение като биологично n води до псевдо-значимост.
- Неизвършване на анализ на мощността: Недостатъчно или разточително вземане на проби.
- Пренебрегване на объркващи фактори: Ефекти като партида, местоположение, време изкривяват резултата.
- Избор на теста за анализ след това: Търсене на теста, който дава желания резултат (p-hacking).
Внимание: AI ви дава статистика и предложения за дизайн, но изисква познания в домейна за биологичното значение на експеримента и какъв контрол всъщност е необходим. Никой анализ не може да спаси зле проектиран експеримент; Изяснете плана преди началото на експеримента, за предпочитане със статистик.
Разглеждане на източници на променливост
Невъзпятият герой на добрия дизайн е да мислите предварително за това откъде идва променливостта на данните. Биологичната променливост (естествена разлика между индивидите) е неизбежна и това, което искате да изучавате; Техническата променливост (грешка на пипетата, отклонение на устройството, дневна разлика) е шум и трябва да бъде намалена. Начинът за разделяне на двете е в дизайна: разпределете техническата променливост с рандомизиране и заслепяване, пробна биологична променливост с достатъчно повторение.
Полезно е да започнете, като AI изброи възможните източници на променливост във вашия експеримент. Например, в експеримент с клетъчна култура: номер на пасаж (колко пъти клетките са били разделени), средна партида, местоположение на инкубатора, време за събиране на реколтата. Познаването на тези източници ви позволява да решите кои да запазите постоянни и кои да рандомизирате.
Избройте всички възможни източници на променливост (биологични и технически) в следния експеримент; Предложете „запази фиксирано“, „случайно“ или „запази и добави към модела като променлива“ за всеки. Експеримент: [описание]
Предварителна регистрация: най-мощният инструмент за почтеност
Най-мощната форма за коригиране на плана за анализ преди експеримента е предварителната регистрация: записване на вашата хипотеза, размер на извадката и план за анализ на място с клеймо за време преди събирането на данни. Това елиминира по-късно съмнението „Опитвах анализ, докато не получих това, което исках“ и значително увеличава достоверността на вашата работа. Изкуственият интелект може да ви помогне да изготвите срочния си лист, да изясните хипотезата и да напишете плана за анализ. По този начин ще създадете най-силния щит срещу p-хакерството, което ще видим в Раздел 8, преди експериментът да започне.
Разлики в дизайна според типа експеримент
Не всеки биологичен експеримент следва същия модел; Дизайнът варира в зависимост от вида на проблема. Експериментът доза-отговор изисква множество дози и модел на кривата; Еднократна доза не е достатъчна. В експеримент с времеви серии, разстоянието и зависимостта на точките на измерване (повторно измерване на същия индивид) определя дизайна. В теренно/екологично изследване произволното вземане на проби и пространствената зависимост (подобие на близките точки) излизат на преден план. Казвате на AI вида на вашия експеримент и питате „кои елементи на дизайна са критични за този тип?“ Питане: позволява ви да хванете пренебрегван компонент рано. Но помнете: моделът припомня общи принципи, той не знае биологичните подробности за вашата система.
В обобщение
Солиден експеримент; Базира се на ясна хипотеза, точни контроли, достатъчно биологични реплики, рандомизиране, заслепяване и предварително изчислена мощност. AI е мощен партньор, който извиква тези компоненти, пише кода за анализ на мощността и критикува вашия план. Но биологичното значение и крайното дизайнерско решение са ваши. Фиксирането на плана за анализ преди експеримента е противоотровата на p-хакерския капан, който ще видим в следващата част.
Задача за приложение
Опишете експеримент, който имате предвид (или пример) в един параграф: хипотеза, променливи, контроли, планирана репликация. Накарахте изкуствения интелект да критикува този план; Избройте липсващите контроли и миксери. След това отпечатайте код за анализ на мощността (с вашите стойности d и alpha) и го накарайте да изчисли необходимия брой проби. Ревизирайте плана си с тази обратна връзка.
контролен списък
- [ ] Написах хипотезата си в едно измеримо изречение.
- [ ] Определих необходимите контролни групи (отрицателни/положителни/носители).
- [ ] Разграничих правилно биологичното и техническото повторение.
- [ ] Направих анализ на мощността преди експеримента.
- [ ] Планирах рандомизиране и ослепяване.
- [ ] Поправих теста за анализ, без да виждам данните.