Прибыль:
- Способность встроить четкую гипотезу, точный контроль, рандомизацию, ослепление и предварительный анализ мощности в экспериментальный план.
- Способность отличать биологическое повторение от технического повторения и избегать ошибки псевдорепликации.
- Возможность предотвратить п-взлом в первую очередь за счет фиксации плана анализа перед экспериментом (предварительная запись)
Самая дорогая ошибка в биологии — это плохо спланированный эксперимент. Неправильный анализ можно исправить позже; Но данные, собранные с недостаточным количеством повторений, неконтролируемыми или смешанными переменными, не могут быть восстановлены никакой статистикой. «Мусор на входе, мусор на выходе». Поэтому эксперимент необходимо правильно спланировать еще до его начала. Искусственный интеллект является мощным мыслительным партнером на этом этапе проектирования: он вызывает контрольные группы, пишет код, который выполняет анализ мощности (вычисляет количество образцов, необходимых для выявления искомой разницы), подвергает сомнению искажающие переменные. Но окончательное дизайнерское решение остается за вами, если вы обладаете знаниями в предметной области.
В этом разделе мы обсудим компоненты хорошего плана эксперимента и способы использования искусственного интеллекта в этом процессе.
Компоненты хорошего экспериментального плана
- Четкая гипотеза: проверяемое и измеримое утверждение. Типа «Этот препарат замедляет рост клеток».
- Независимая и зависимая переменная: что вы меняете (дозу лекарства), что измеряете (количество клеток)?
- Контрольная группа: группа сравнения, не получавшая никакого вмешательства. Без этого вы не сможете узнать причину разницы.
- Репликация: Биологическая репликация (разные люди/культуры) отличается от технической репликации (повторное измерение одного и того же образца); Настоящая сила – в биологическом повторении.
- Рандомизация: случайное распределение образцов по группам и порядку обработки; уменьшает предвзятость.
- Ослепление: человек, проводящий измерение, не знает, какая группа к какой; предотвращает субъективную предвзятость.
- Анализ мощности: заранее рассчитывается, сколько образцов необходимо для получения ожидаемого эффекта с вероятностью 80%.
Совет: дайте экспериментальный проект ИИ, чтобы он «раскритиковал» его. «Какого контроля не хватает в этом плане, какую мешающую переменную я пропустил?» Вопрос раскрывает пробелы, которые вы не можете увидеть, думая в одиночку.
Анализ мощности: зачем и как
На очень маленькой выборке даже реальная разница может показаться «несущественной» (малая мощность); Слишком большая выборка — это пустая трата ресурсов, из-за которой незначительные различия могут выглядеть «значительными». Правильное число определяется с помощью анализа мощности и зависит от: ожидаемого размера эффекта, допустимых коэффициентов ошибок (альфа и бета) и изменчивости данных.
Роль: Вы помощник по планированию эксперимента и биостатистике. Задача: выполнить анализ мощности эксперимента, сравнивающего две группы. Написать код, который вычисляет количество образцов, необходимых для каждой группы с ожидаемым размером эффекта Коэна d = 0,8, альфа = 0,05, мощность = 0,80. statsmodels и объяснить предположения.
Вы запускаете код; например, вы получите результат типа «26 образцов на группу». Вы сравниваете это с бюджетом вашего эксперимента и создаете реалистичный план.
Шаг за шагом: планирование эксперимента
- Напишите гипотезу: Одно предложение, поддающееся измерению.
- Определите переменные: независимые, зависимые, постоянные.
- Определите элементы управления: отрицательный контроль, положительный контроль, контроль транспортного средства.
- Перечислите миксеры: Время, партия, температура, экспериментатор — как ими будут управлять?
- Проведите анализ силы: рассчитайте необходимое количество повторений.
- Запланируйте рандомизацию и ослепление.
- Заранее напишите план анализа: Определите, какой тест вы будете использовать перед экспериментом (предотвращает р-взлом).
Копируемые шаблоны подсказок
Покритикуйте мой экспериментальный план. Найдите слабые места с точки зрения: контрольной группы, количества повторов, рандомизации, ослепления, искажающих факторов. Предложите конкретное исправление каждого недостатка. План: [текст]
Объясните на примере разницу между биологическим повторением и техническим повторением. По моему опыту [объяснение] каких, сколько должно быть и почему?
Я хочу уточнить свой план анализа ДО эксперимента. Выход: [дизайн]. Какой статистический тест подходит, какие предположения следует проверить, будут ли проводиться множественные сравнения? Пишите поэтапно.
Слабая подсказка / Сильная подсказка
Слабое: «Разработайте эксперимент».
Стронг: «Я хочу проверить, действительно ли наркотик
Разница: в строгом подсказке понятны гипотеза, переменные, время измерения и доступные элементы управления; Модель дает конкретную, подходящую для конкретной ситуации обратную связь.
три мини-кейса
Случай 1 — Краевой эффект: одна команда экспериментировала на 96-луночном планшете; Результаты были странными. Искусственный интеллект напомнил, что краевые лунки пластины ведут себя по-разному из-за испарения (краевой эффект) и предложил использовать края в качестве контроля и распределить образцы случайным образом. Последовательность увеличивается при повторении.
Случай 2 — Псевдорепликация: студент взял 10 образцов тканей у одной мыши и сказал «n=10». Однако это 10 технических повторов; биологическое n по-прежнему равно 1. Когда модель объяснила это различие, студент изменил эксперимент с 6 мышами. Урок: статистическое n – это биологическая единица.
Случай 3 — Недостаточная мощность: одна группа провела по 4 образца на группу и не получила истинного эффекта (p=0,09). Анализ мощности показал, что 4 образца обеспечивали только 35% мощности. Если бы модель заранее рассчитала правильное количество образцов, эксперимент либо был бы поставлен с достаточной мощностью, либо не начался бы вообще. Урок: рассчитывайте мощность заранее, а не потом.
сравнительная таблица
концепция
Правильное применение
частая ошибка
снова
Подсчитайте биологические повторы
подумайте о техническом повторении
контроль
Отрицательный+положительный+носитель
неконтролируемый эксперимент
Рандомизация
Группировать и упорядочивать случайным образом
Последовательная обработка
власть
Посчитайте перед экспериментом
не оглядывайся назад
план анализа
прикрепить заранее
Выбор тестов на основе данных
Распространенные ошибки
- Пропуск контрольной группы: делает причину различия неинтерпретируемой.
- Псевдоповторение: рассмотрение технического повторения как биологического n приводит к псевдозначимости.
- Невыполнение анализа мощности: Недостаточный или расточительный отбор проб.
- Игнорирование мешающих факторов: такие эффекты, как партия, местоположение и время, искажают результат.
- Выбор теста анализа впоследствии: Поиск теста, который дает желаемый результат (p-хакинг).
Внимание: ИИ предоставляет вам статистику и предложения по дизайну, но он требует знания биологического смысла эксперимента и того, какой контроль на самом деле необходим. Никакой анализ не спасет плохо спланированный эксперимент; Уточните план до начала эксперимента, желательно со статистиком.
Учет источников изменчивости
Невоспетый герой хорошего дизайна — заранее подумать о том, откуда берется изменчивость данных. Биологическая изменчивость (естественные различия между особями) неизбежна и ее необходимо изучать; Техническая изменчивость (ошибка пипетки, отклонение устройства, разница в днях) является шумом и должна быть уменьшена. Способ разделения этих двух факторов заключается в дизайне: распределить техническую изменчивость с помощью рандомизации и слепого метода, выборочную биологическую изменчивость с достаточным повторением.
Полезно начать с того, что ИИ составит список возможных источников изменчивости в вашем эксперименте. Например, в эксперименте с культурой клеток: номер пассажа (сколько раз клетки делились), партия среды, расположение инкубатора, время сбора. Знание этих источников позволяет вам решить, какие из них оставить постоянными, а какие рандомизировать.
Перечислите все возможные источники изменчивости (биологические и технические) в следующем эксперименте; Предложите «оставить фиксированным», «рандомизировать» или «сохранить и добавить в модель как переменную» для каждого из них. Эксперимент: [описание]
Предварительная регистрация: самый мощный инструмент честности
Самая мощная форма исправления плана анализа перед экспериментом — это предварительная регистрация: запись вашей гипотезы, размера выборки и плана анализа в месте с отметкой времени перед сбором данных. Это устраняет последующие сомнения типа «Я пробовал анализировать, пока не получил то, что хотел» и значительно повышает доверие к вашей работе. ИИ может помочь вам составить список условий, прояснить гипотезу и написать план анализа. Таким образом, вы создадите самую надежную защиту от р-хакерства, которую мы увидим в Главе 8, прежде чем начнется эксперимент.
Различия в дизайне в зависимости от типа эксперимента
Не все биологические эксперименты следуют одной и той же схеме; Дизайн варьируется в зависимости от типа проблемы. Эксперимент «доза-реакция» требует нескольких доз и модели кривой; Одной дозы недостаточно. В эксперименте с временными рядами дизайн определяется расстоянием и зависимостью точек измерения (повторное измерение одного и того же человека). В полевых/экологических исследованиях на первый план выходят случайная выборка и пространственная зависимость (сходство близлежащих точек). Вы сообщаете ИИ тип вашего эксперимента и спрашиваете «какие элементы дизайна критичны для этого типа?» Спросить: позволяет заранее обнаружить пропущенный компонент. Но помните: модель напоминает общие принципы, она не знает биологических деталей вашей системы.
В заключение
Солидный эксперимент; Он основан на четкой гипотезе, точном контроле, достаточных биологических повторах, рандомизации, ослеплении и заранее рассчитанной мощности. ИИ — мощный партнер, который вспоминает эти компоненты, пишет код анализа мощности и критикует ваш план. Но биологический смысл и окончательное дизайнерское решение за вами. Исправление плана анализа перед экспериментом является противоядием от ловушки p-хакинга, которую мы увидим в следующем разделе.
Задача приложения
Опишите эксперимент, который вы имеете в виду (или пример), в одном абзаце: гипотеза, переменные, контроль, запланированное повторение. Вы заставили искусственный интеллект раскритиковать этот план; Перечислите недостающие элементы управления и микшеры. Затем распечатайте код анализа мощности (со значениями d и альфа) и рассчитайте необходимое количество выборок. Пересмотрите свой план с учетом этой обратной связи.
контрольный список
- [ ] Я изложил свою гипотезу в одном измеримом предложении.
- [ ] Я определил необходимые контрольные группы (отрицательный/положительный/носитель).
- [ ] Я правильно различал биологическое и техническое повторение.
- [ ] Перед экспериментом я провел анализ мощности.
- [ ] Я планировал рандомизацию и ослепление.
- [ ] Я исправил тест анализа, не видя данных.