Zyski:
- Umiejętność zbudowania jasnej hipotezy, dokładnych kontroli, randomizacji, zaślepienia i wcześniejszej analizy mocy w projekcie eksperymentu
- Umiejętność odróżnienia powtórzenia biologicznego od powtórzenia technicznego i uniknięcia błędu pseudoreplikacji
- Możliwość zapobiegania p-hackowaniu przede wszystkim poprzez ustalenie planu analizy przed eksperymentem (nagranie wstępne)
Najkosztowniejszym błędem w biologii jest źle zaprojektowany eksperyment. Nieprawidłową analizę można poprawić później; Jednak danych zebranych przy niewystarczającej liczbie powtórzeń, zmiennych niekontrolowanych lub mieszanych nie można odzyskać za pomocą żadnych statystyk. „Śmieci wpadają, śmieci wychodzą”. Dlatego też eksperyment musi zostać odpowiednio zaprojektowany przed jego rozpoczęciem. Sztuczna inteligencja jest potężnym partnerem w myśleniu na tym etapie projektowania: przywołuje grupy kontrolne, pisze kod, który przeprowadza analizę mocy (obliczając liczbę próbek potrzebnych do uchwycenia poszukiwanej różnicy), zadaje pytania zmienne zakłócające. Ale ostateczna decyzja dotycząca projektu należy do Ciebie, w oparciu o wiedzę domenową.
W tym module omówimy elementy dobrego projektu eksperymentu oraz sposoby wykorzystania w tym procesie sztucznej inteligencji.
Elementy dobrego projektu eksperymentalnego
- Jasna hipoteza: testowalne i mierzalne twierdzenie. Na przykład: „Ten lek spowalnia wzrost komórek”.
- Zmienna niezależna i zależna: Co zmieniasz (dawka leku), co mierzysz (liczba komórek)?
- Grupa kontrolna: Grupa porównawcza, która nie otrzymała żadnej interwencji. Bez tego nie można poznać przyczyny różnicy.
- Replikacja: Replikacja biologiczna (różne osoby/kultury) różni się od replikacji technicznej (powtórny pomiar tej samej próbki); Prawdziwa siła tkwi w biologicznym powtórzeniu.
- Randomizacja: Losowe rozdzielanie próbek na grupy i kolejność przetwarzania; zmniejsza stronniczość.
- Oślepienie: Osoba dokonująca pomiaru nie wie, która grupa jest która; zapobiega subiektywnym stronniczości.
- Analiza mocy: Obliczanie z wyprzedzeniem, ile próbek potrzeba, aby uchwycić oczekiwany efekt z prawdopodobieństwem 80%.
Wskazówka: przekaż projekt eksperymentalny sztucznej inteligencji, aby go „skrytykował”. „Jakiej kontroli brakuje w tym planie, jaką zakłócającą zmienną pominąłem?” Pytanie ujawnia luki, których nie można dostrzec, myśląc samotnie.
Analiza mocy: dlaczego i jak
Bardzo mała próbka może sprawić, że nawet rzeczywista różnica będzie wydawać się „nieistotna” (mała moc); Zbyt duża próbka jest marnotrawstwem zasobów i może sprawić, że nieistotne różnice będą wydawać się „znaczące”. Prawidłową liczbę ustala się metodą analizy mocy i zależy ona od: oczekiwanej wielkości efektu, akceptowanych poziomów błędów (alfa i beta) oraz zmienności danych.
Rola: Jesteś asystentem ds. projektowania eksperymentów i biostatystyki. Zadanie: Wykonaj analizę mocy eksperymentu porównującego dwie grupy. Napisz kod obliczający liczbę próbek potrzebnych na grupę przy oczekiwanej wielkości efektu Cohena d = 0,8, alfa = 0,05, moc = 0,80.statsmodels i wyjaśnij założenia.
Uruchamiasz kod; na przykład otrzymasz wynik „26 próbek na grupę”. Porównujesz to z budżetem eksperymentu i tworzysz realistyczny plan.
Krok po kroku: projektowanie eksperymentu
- Zapisz hipotezę: Jedno zdanie, mierzalne.
- Zdefiniuj zmienne: niezależne, zależne, utrzymywane na stałym poziomie.
- Zidentyfikować kontrole: kontrola negatywna, kontrola dodatnia, kontrola nośnika.
- Wymień miksery: czas, wsad, temperatura, eksperymentator – w jaki sposób będą kontrolowane?
- Wykonaj analizę siły: Oblicz liczbę wymaganych powtórzeń.
- Zaplanuj randomizację i zaślepienie.
- Napisz wcześniej plan analizy: Określ, jakiego testu użyjesz przed eksperymentem (zapobiega p-hackowaniu).
Kopiowalne szablony podpowiedzi
Oceń mój plan eksperymentalny. Znajdź słabe strony w kategoriach: grupy kontrolnej, liczby powtórzeń, randomizacji, zaślepienia, czynników zakłócających. Zaproponuj konkretną korektę każdego niedociągnięcia. Plan: [tekst]
Wyjaśnij na przykładach różnicę pomiędzy powtórzeniem biologicznym a powtórzeniem technicznym. Z mojego doświadczenia [wyjaśnienie] których powinno być, ile i dlaczego?
Chcę poprawić mój plan analizy PRZED eksperymentem. Wydajność: [projekt]. Który test statystyczny jest odpowiedni, jakie założenia należy sprawdzić, czy będzie wielokrotnych porównań? Napisz krok po kroku.
Słaba zachęta/silna zachęta
Słabe: „Zaprojektuj eksperyment”.
Strong: „Chcę przetestować, czy Drug
Różnica: w przypadku silnego podpowiedzi hipoteza, zmienne, czas pomiaru i dostępne kontrole są jasne; Model zapewnia konkretną informację zwrotną dostosowaną do pola.
trzy mini etui
Przypadek 1 — Efekt krawędzi: Jeden zespół przeprowadzał eksperyment na płytce 96-dołkowej; Wyniki były dziwne. Sztuczna inteligencja przypomniała, że dołki krawędziowe płytki zachowują się inaczej ze względu na parowanie (efekt krawędziowy) i zasugerowała wykorzystanie krawędzi jako kontroli i losowe rozmieszczenie próbek. Konsekwencja wzrasta w przypadku powtórzeń.
Przypadek 2 — Pseudoreplikacja: Uczeń pobrał 10 próbek tkanek od jednej myszy i powiedział „n=10”. Jest to jednak 10 powtórzeń technicznych; biologiczne n nadal wynosi 1. Kiedy model wyjaśnił to rozróżnienie, student przeprojektował eksperyment z 6 myszami. Lekcja: statystyczne n jest jednostką biologiczną.
Przypadek 3 — Niewystarczająca moc: Jedna grupa przeprowadziła 4 próbki na grupę i nie zauważyła prawdziwego efektu (p=0,09). Analiza mocy wykazała, że 4 próbki zapewniły jedynie 35% mocy. Gdyby model obliczył wcześniej prawidłową liczbę próbek, eksperyment albo zostałby skonfigurowany z wystarczającą mocą, albo w ogóle by się nie rozpoczął. Lekcja: oblicz moc wcześniej, a nie później.
tabela porównawcza
koncepcja
Prawidłowa aplikacja
częsty błąd
ponownie
Policz powtórzenia biologiczne
pomyśl o powtórzeniach technicznych
kontrola
Negatywny+pozytywny+nośnik
niekontrolowany eksperyment
Randomizacja
Grupuj i zamawiaj losowo
Przetwarzanie sekwencyjne
moc
Oblicz przed eksperymentem
nie oglądaj się za siebie
planu analizy
przypiąć wcześniej
Wybór testów na podstawie danych
Typowe błędy
- Pominięcie grupy kontrolnej: sprawia, że przyczyna różnicy staje się niemożliwa do zinterpretowania.
- Pseudopowtórzenie: uznanie powtórzeń technicznych za biologiczne n daje pseudoistotność.
- Niewykonanie analizy mocy: Próbkowanie niewystarczające lub marnotrawne.
- Ignorowanie czynników zakłócających: efekty takie jak partia, lokalizacja i czas zniekształcają wynik.
- Późniejszy wybór testu analitycznego: Wyszukiwanie testu, który daje pożądany wynik (p-hacking).
Uwaga: sztuczna inteligencja zapewnia statystyki i sugestie dotyczące projektu, ale wymaga wiedzy dziedzinowej na temat biologicznego znaczenia eksperymentu i tego, jaka kontrola jest faktycznie potrzebna. Żadna analiza nie uratuje źle zaprojektowanego eksperymentu; Wyjaśnij projekt przed rozpoczęciem eksperymentu, najlepiej ze statystykiem.
Uwzględnianie źródeł zmienności
Niedocenianym bohaterem dobrego projektu jest myślenie z wyprzedzeniem o tym, skąd bierze się zmienność danych. Zmienność biologiczna (naturalna różnica między jednostkami) jest nieunikniona i jest tym, co chcesz badać; Zmienność techniczna (błąd pipety, odchylenie urządzenia, różnica dni) jest szumem i należy ją redukować. Sposobem na oddzielenie tych dwóch elementów jest projektowanie: dystrybucja zmienności technicznej z randomizacją i zaślepianiem, próbkowanie zmienności biologicznej z wystarczającą powtarzalnością.
Warto zacząć od stworzenia listy możliwych źródeł zmienności w eksperymencie przez sztuczną inteligencję. Na przykład w eksperymencie z hodowlą komórkową: liczba pasaży (ile razy podzielono komórki), partia pożywki, lokalizacja inkubatora, czas zbioru. Znajomość tych źródeł pozwala zdecydować, które z nich zachować na stałym poziomie, a które losowo.
Wymień wszystkie możliwe źródła zmienności (biologiczne i techniczne) w poniższym doświadczeniu; Zasugeruj „zachowaj stałe”, „randomizuj” lub „zapisz i dodaj do modelu jako zmienną” dla każdego z nich. Eksperyment: [opis]
Rejestracja wstępna: najpotężniejsze narzędzie uczciwości
Najpotężniejszą formą ustalenia planu analizy przed eksperymentem jest rejestracja wstępna: zapisanie hipotezy, wielkości próby i planu analizy w miejscu oznaczonym znacznikiem czasu przed zebraniem danych. Eliminuje to późniejsze wątpliwości typu „próbowałem analizy, aż dostałem to, czego chciałem” i znacznie zwiększa wiarygodność Twojej pracy. Sztuczna inteligencja może pomóc Ci w przygotowaniu arkusza terminologicznego, wyjaśnieniu hipotez i napisaniu planu analizy. W ten sposób stworzysz najsilniejszą tarczę przed p-hakowaniem, co zobaczymy w części 8, przed rozpoczęciem eksperymentu.
Różnice projektowe w zależności od typu eksperymentu
Nie każdy eksperyment biologiczny przebiega według tego samego schematu; Projekt różni się w zależności od rodzaju problemu. Eksperyment dawka-odpowiedź wymaga wielu dawek i modelu krzywej; Pojedyncza dawka nie wystarczy. W eksperymencie z szeregami czasowymi o projekcie decyduje rozstaw i zależność punktów pomiarowych (ponowny pomiar tej samej osoby). W badaniach terenowych/ekologicznych na pierwszy plan wysuwają się losowe pobieranie próbek i zależność przestrzenna (podobieństwo pobliskich punktów). Poinformujesz sztuczną inteligencję o rodzaju eksperymentu i zapytasz „jakie elementy projektu są krytyczne dla tego typu?” Pytanie: pozwala wcześnie wykryć przeoczony element. Ale pamiętaj: model przypomina ogólne zasady, nie zna biologicznych szczegółów twojego systemu.
Podsumowując
Solidny eksperyment; Opiera się na jasnej hipotezie, dokładnych kontrolach, wystarczającej liczbie replik biologicznych, randomizacji, zaślepieniu i wstępnie obliczonej mocy. Sztuczna inteligencja to potężny partner, który przypomina sobie te komponenty, pisze kod analizy mocy i krytykuje Twój plan. Ale znaczenie biologiczne i ostateczna decyzja projektowa należy do Ciebie. Ustalenie planu analizy przed eksperymentem jest antidotum na pułapkę hakowania p, którą zobaczymy w następnej części.
Zadanie aplikacji
Opisz eksperyment, który masz na myśli (lub przykład) w jednym akapicie: hipoteza, zmienne, kontrole, planowana replikacja. Sztuczna inteligencja skrytykowała ten plan; Wypisz brakujące elementy sterujące i miksery. Następnie wydrukuj kod analizy mocy (z wartościami d i alfa) i poproś go o obliczenie liczby wymaganych próbek. Popraw swój plan, korzystając z tej opinii.
lista kontrolna
- [ ] Swoją hipotezę napisałem w jednym wymiernym zdaniu.
- [ ] Ustaliłem niezbędne grupy kontrolne (ujemna/dodatnia/nośnik).
- [ ] Dobrze rozróżniłem powtórzenie biologiczne i techniczne.
- [ ] Przed eksperymentem przeprowadziłem analizę mocy.
- [ ] Zaplanowałem randomizację i zaślepienie.
- [ ] Poprawiłem test analizy, nie widząc danych.