Прибуток:
- Здатність побудувати чітку гіпотезу, точний контроль, рандомізацію, засліплення та попередній аналіз потужності в плані експерименту
- Здатність відрізнити біологічне повторення від технічного та уникнути помилки псевдореплікації
- Можливість запобігти p-hacking в першу чергу шляхом фіксації плану аналізу перед експериментом (попередній запис)
Найдорожча помилка в біології - погано спланований експеримент. Неправильний аналіз можна виправити пізніше; Але дані, зібрані з недостатньою кількістю повторів, неконтрольованими або змішаними змінними, не можуть бути відновлені жодною статистикою. «Сміття входить, сміття виходить». Тому перед початком експерименту необхідно правильно його спланувати. Штучний інтелект є потужним розумовим партнером на цій стадії проектування: він згадує контрольні групи, пише код, який виконує аналіз потужності (обчислює кількість зразків, необхідних для фіксації шуканої різниці), ставить під сумнів змінні, що змішують. Але остаточне рішення щодо дизайну залишається за вами, якщо ви знаєте домен.
У цьому розділі ми обговоримо компоненти хорошого плану експерименту та як використовувати штучний інтелект у цьому процесі.
Компоненти хорошого експериментального плану
- Чітка гіпотеза: твердження, яке можна перевірити та виміряти. Типу «Цей препарат уповільнює ріст клітин».
- Незалежна та залежна змінна: що ви змінюєте (доза препарату), що ви вимірюєте (кількість клітин)?
- Контрольна група: група порівняння, яка не отримувала втручання. Ви не можете дізнатися причину різниці без цього.
- Реплікація: біологічна реплікація (різні особи/культури) відрізняється від технічної реплікації (повторне вимірювання того самого зразка); Справжня сила в біологічному повторенні.
- Рандомізація: випадковий розподіл зразків на групи та порядок обробки; зменшує упередженість.
- Засліплення: особа, яка проводить вимірювання, не знає, до якої групи належить; запобігає суб'єктивним упередженням.
- Аналіз потужності: попереднє обчислення кількості зразків, необхідних для отримання очікуваного ефекту з імовірністю 80%.
Порада: дайте експериментальний дизайн штучному інтелекту, щоб він «розкритикував» його. «Якого контролю не вистачає в цьому плані, яку незрозумілу змінну я пропустив?» Запитання виявляє прогалини, які ви не можете побачити, розмірковуючи наодинці.
Аналіз потужності: чому і як
Дуже маленька вибірка може зробити навіть реальну різницю «незначною» (низька потужність); Надто велика вибірка є марною тратою ресурсів і може призвести до того, що незначні відмінності здадуться «значними». Правильне число визначається за допомогою аналізу потужності та залежить від: очікуваного розміру ефекту, прийнятного рівня помилок (альфа- та бета-версії) та мінливості даних.
Посада: Ви — асистент із планування експерименту та біостатистики. Завдання: Виконайте аналіз потужності для експерименту, порівнюючи дві групи. Напишіть код, який обчислює кількість зразків, необхідних для групи, з очікуваним розміром ефекту Коена d = 0,8, альфа = 0,05, потужність = 0,80.statsmodels і поясніть припущення.
Ви запускаєте код; наприклад, ви отримаєте такий результат, як «26 зразків на групу». Ви порівнюєте це з бюджетом свого експерименту та створюєте реалістичний план.
Крок за кроком: проектування експерименту
- Напишіть гіпотезу: одне речення, вимірне.
- Визначте змінні: незалежні, залежні, постійні.
- Визначте контролі: негативний контроль, позитивний контроль, контроль автомобіля.
- Перелічіть змішувачі: час, порція, температура, експериментатор — як вони будуть контролюватись?
- Виконайте аналіз сили: обчисліть необхідну кількість повторень.
- План рандомізації та засліплення.
- Напишіть план аналізу заздалегідь: визначте, який тест ви будете використовувати перед експериментом (запобігає p-злому).
Шаблони підказок, які можна копіювати
Критикуйте мій експериментальний план. Знайдіть слабкі сторони з точки зору: контрольної групи, кількості реплікатів, рандомізації, засліплення, спотворень. Запропонуйте конкретне виправлення кожного недоліку. План: [текст]
Поясніть на прикладі різницю між біологічним повторенням і технічним повторенням. З мого досвіду [пояснення], якого з них має бути скільки і чому?
Я хочу виправити свій план аналізу ДО експерименту. Вихід : [дизайн]. Який статистичний тест підходить, які припущення слід перевірити, чи буде багаторазове порівняння? Пишіть крок за кроком.
Слабка підказка / Сильна підказка
Слабкий: «Проведіть експеримент».
Стронг: «Я хочу перевірити, чи є наркотик
Відмінність: у сильному запиті гіпотеза, змінні, час вимірювання та доступні засоби керування зрозумілі; Модель дає конкретний зворотний зв’язок, який відповідає умовам експлуатації.
три міні-чохла
Випадок 1 — ефект краю: одна команда експериментувала в 96-лунковому планшеті; Результати виявилися дивними. Штучний інтелект нагадав, що краєві лунки пластини поводяться по-різному через випаровування (edge efect) і запропонував використовувати краї як контрольні та розподіляти зразки випадковим чином. Послідовність збільшується при повторенні.
Випадок 2 — псевдореплікація: студент взяв 10 зразків тканини однієї миші та сказав «n=10». Однак це 10 технічних повторів; біологічне n все ще дорівнює 1. Коли модель пояснила цю різницю, студент перепланував експеримент із 6 мишами. Урок: статистичний n – біологічна одиниця.
Випадок 3. Недостатня потужність: одна група провела 4 зразки на групу та не досягла справжнього ефекту (p=0,09). Аналіз потужності показав, що 4 зразки забезпечили лише 35% потужності. Якби модель заздалегідь розрахувала правильну кількість зразків, експеримент був би налаштований з достатньою потужністю або взагалі не розпочався б. Урок: розраховуйте потужність заздалегідь, а не потім.
порівняльна таблиця
концепція
Правильне застосування
часта помилка
знову
Підрахуйте біологічний повтор
подумайте про технічне повторення
контроль
Негативний+позитивний+носій
неконтрольований експеримент
Рандомізація
Групування та порядок у випадковому порядку
Послідовна обробка
потужність
Розрахуйте перед експериментом
не озирайся назад
план аналізу
прикріпити заздалегідь
Вибір тестів на основі даних
Поширені помилки
- Пропуск контрольної групи: робить причину різниці неможливою для тлумачення.
- Псевдоповторення: розгляд технічного повторення як біологічного n створює псевдозначущість.
- Не виконується аналіз потужності: недостатнє або марнотратне відбір проб.
- Ігнорування спотворюючих факторів: такі ефекти, як партія, місцезнаходження, час спотворюють результат.
- Вибір тесту аналізу згодом: пошук тесту, який дає бажаний результат (p-hacking).
Застереження: штучний інтелект надає вам статистичні дані та пропозиції щодо дизайну, але для цього потрібні знання про біологічне значення експерименту та те, який контроль насправді потрібен. Жоден аналіз не врятує погано розроблений експеримент; Уточніть схему перед початком експерименту, бажано зі статистиком.
Розгляд джерел мінливості
Неоспіваний герой гарного дизайну — заздалегідь думати про те, звідки береться мінливість даних. Біологічна мінливість (природна різниця між індивідами) неминуча і те, що ви хочете вивчити; Технічна мінливість (помилка трубки, відхилення приладу, різниця в днях) є шумом, і її слід зменшити. Спосіб відокремити ці два полягає в дизайні: розподіліть технічну мінливість за допомогою рандомізації та засліплення, вибірку біологічної мінливості з достатнім повторенням.
Корисно почати з того, що AI перерахує можливі джерела мінливості у вашому експерименті. Наприклад, в експерименті з культурою клітин: номер пасажу (скільки разів клітини були поділені), середня партія, розташування інкубатора, час збору врожаю. Знання цих джерел дає змогу вирішити, які з них залишати постійними, а які рандомізувати.
Перелічіть усі можливі джерела мінливості (біологічні та технічні) у наступному експерименті; Запропонуйте «залишити фіксованим», «рандомізувати» або «зберегти та додати до моделі як змінну» для кожного. Експеримент: [опис]
Попередня реєстрація: найпотужніший інструмент доброчесності
Найпотужнішою формою фіксації плану аналізу перед експериментом є попередня реєстрація: запис вашої гіпотези, розміру вибірки та плану аналізу в місці з міткою часу перед збором даних. Це усуває пізніші сумніви: «Я пробував аналіз, поки не отримав те, що хотів», і значно підвищує довіру до вашої роботи. AI може допомогти вам скласти курсову таблицю, уточнити гіпотезу та написати план аналізу. Таким чином ви створите найсильніший захист від p-злому, який ми побачимо в Розділі 8, перед початком експерименту.
Відмінності дизайну залежно від типу експерименту
Не кожен біологічний експеримент слідує тій же моделі; Дизайн залежить від типу проблеми. Експеримент доза-реакція потребує кількох доз і моделі кривої; Одноразової дози недостатньо. В експерименті з часовими рядами відстань і залежність точок вимірювання (повторне вимірювання тієї самої особи) визначає дизайн. У польовому/екологічному дослідженні на перший план виходить випадкова вибірка та просторова залежність (подібність найближчих точок). Ви повідомляєте штучному інтелекту тип свого експерименту та запитуєте, «які елементи дизайну критичні для цього типу?» Запитання: дозволяє вам завчасно виявити пропущений компонент. Але пам’ятайте: модель запам’ятовує загальні принципи, вона не знає біологічних деталей вашої системи.
Підсумовуючи
Надійний експеримент; Він ґрунтується на чіткій гіпотезі, точному контролі, достатній кількості біологічних повторів, рандомізації, засліпленні та попередньо розрахованій потужності. AI є потужним партнером, який згадує ці компоненти, пише код аналізу потужності та критикує ваш план. Але біологічне значення та остаточне дизайнерське рішення за вами. Виправлення плану аналізу перед експериментом – це протиотрута від пастки p-злому, яку ми побачимо в наступному розділі.
Аплікаційне завдання
Опишіть експеримент, який ви маєте на увазі (або приклад) в одному абзаці: гіпотеза, змінні, елементи керування, заплановане повторення. Ви змусили штучний інтелект розкритикувати цей план; Перелічіть відсутні елементи керування та змішувачі. Потім надрукуйте код аналізу потужності (зі значеннями d і alpha) і попросіть його обчислити необхідну кількість зразків. Перегляньте свій план із цим відгуком.
контрольний список
- [ ] Я написав свою гіпотезу одним вимірним реченням.
- [ ] Я визначив необхідні контрольні групи (негативні/позитивні/носійство).
- [ ] Я правильно розрізнив біологічне та технічне повторення.
- [ ] Я провів аналіз потужності перед експериментом.
- [ ] Я планував рандомізацію та засліплення.
- [ ] Я виправив тест аналізу, не переглядаючи дані.