zisky:
- Schopnosť vytvoriť jasnú hypotézu, presné kontroly, randomizáciu, oslepenie a predbežnú analýzu sily do experimentálneho dizajnu
- Schopnosť rozlíšiť biologické opakovanie od technického a vyhnúť sa chybe pseudoreplikácie
- Schopnosť zabrániť p-hackingu v prvom rade stanovením plánu analýzy pred experimentom (predbežné nahrávanie)
Najdrahšou chybou v biológii je zle navrhnutý experiment. Nesprávna analýza môže byť opravená neskôr; Údaje zozbierané s nedostatočným počtom opakovaní, nekontrolovanými alebo zmiešanými premennými však nemožno získať žiadnou štatistikou. "Odpad dnu, odpad von." Preto musí byť experiment správne navrhnutý ešte pred jeho spustením. Umelá inteligencia je v tejto fáze návrhu silným partnerom na myslenie: vyvoláva kontrolné skupiny, píše kód, ktorý vykonáva analýzu výkonu (výpočet počtu vzoriek potrebných na zachytenie hľadaného rozdielu), spochybňuje mätúce premenné. Ale konečné rozhodnutie o dizajne je na vás so znalosťou domény.
V tejto časti budeme diskutovať o komponentoch dobrého experimentálneho dizajnu a o tom, ako v tomto procese použiť umelú inteligenciu.
Komponenty dobrého experimentálneho dizajnu
- Jasná hypotéza: Testovateľné, merateľné tvrdenie. Ako "Tento liek spomaľuje rast buniek."
- Nezávislá a závislá premenná: Čo meníte (dávka lieku), čo meriate (počet buniek)?
- Kontrolná skupina: Porovnávacia skupina, ktorá nedostala žiadnu intervenciu. Bez toho nemôžete poznať dôvod rozdielu.
- Replikácia: Biologická replikácia (rôzni jedinci/kultúry) sa líši od technickej replikácie (opakované meranie tej istej vzorky); Skutočná sila je v biologickom opakovaní.
- Randomizácia: Náhodná distribúcia vzoriek do skupín a poradie spracovania; znižuje zaujatosť.
- Oslepenie: Osoba vykonávajúca meranie nevie, ktorá skupina je ktorá; zabraňuje subjektívnej zaujatosti.
- Analýza výkonu: Výpočet vopred, koľko vzoriek je potrebných na zachytenie očakávaného účinku s pravdepodobnosťou 80 %.
Tip: Dajte experimentálny dizajn AI, aby ho „kritizovala“. "Aká kontrola v tomto pláne chýba, aká mätúca premenná mi chýba?" Otázka odhaľuje medzery, ktoré nemôžete vidieť, keď myslíte sami.
Analýza sily: prečo a ako
Veľmi malá vzorka môže spôsobiť, že aj skutočný rozdiel sa môže zdať „nevýznamný“ (nízky výkon); Príliš veľká vzorka predstavuje plytvanie zdrojmi a nepodstatné rozdiely sa môžu javiť ako „významné“. Správny počet sa zistí analýzou výkonu a závisí od: očakávanej veľkosti účinku, akceptovanej chybovosti (alfa a beta) a variability údajov.
Úloha: Ste asistentom experimentálneho dizajnu a bioštatistiky. Úloha: Vykonajte analýzu sily pre experiment porovnávajúci dve skupiny. Napíšte kód, ktorý vypočíta počet vzoriek potrebných na skupinu s očakávanou veľkosťou účinku, Cohenovo d = 0,8, alfa = 0,05, výkon = 0,80. modely štatistiky a vysvetlite predpoklady.
Spustíte kód; napríklad dostanete výsledok ako "26 vzoriek na skupinu". Porovnáte to s rozpočtom experimentu a vytvoríte realistický plán.
Krok za krokom: navrhnutie experimentu
- Napíšte hypotézu: Jedna veta, merateľná.
- Definujte premenné: Nezávislé, závislé, udržiavané konštantné.
- Identifikujte kontroly: negatívna kontrola, pozitívna kontrola, kontrola s vehikulom.
- Uveďte mixéry: čas, šarža, teplota, experimentátor – ako budú kontrolované?
- Vykonajte analýzu sily: Vypočítajte počet potrebných opakovaní.
- Plánujte randomizáciu a oslepenie.
- Vopred si napíšte plán analýzy: Pred experimentom určite, ktorý test použijete (zabráni p-hackingu).
Kopírovateľné šablóny výziev
Kritizujte môj experimentálny plán. Nájdite slabé stránky z hľadiska: kontrolnej skupiny, počtu opakovaní, randomizácie, oslepovania, zmätkov. Pre každý nedostatok navrhnite konkrétnu nápravu. Plán: [text]
Vysvetlite na príklade rozdiel medzi biologickým opakovaním a technickým opakovaním. Podľa mojich skúseností [vysvetlenie], ktorý z nich by mal byť koľko a prečo?
Chcem opraviť svoj plán analýzy PRED experimentom. Výťažok: [dizajn]. Ktorý štatistický test je vhodný, ktoré predpoklady by som mal skontrolovať, bude existovať viacero porovnaní? Píšte krok za krokom.
Slabá výzva / Silná výzva
Slabé: „Navrhnite experiment.“
Strong: „Chcem otestovať, či Drug
Rozdiel: V silnej výzve je jasná hypotéza, premenné, čas merania a dostupné kontroly; Model poskytuje konkrétnu spätnú väzbu vhodnú pre danú oblasť.
tri mini prípady
Prípad 1 – Okrajový efekt: Jeden tím experimentoval na 96-jamkovej platni; Výsledky boli zvláštne. Umelá inteligencia pripomenula, že okrajové jamky doštičky sa správajú odlišne v dôsledku vyparovania (efekt okraja) a navrhla používať okraje ako kontroly a náhodne distribuovať vzorky. Pri opakovaní sa zvýšila konzistentnosť.
Prípad 2 – Pseudoreplikácia: Študent odobral 10 vzoriek tkaniva jednej myši a povedal „n=10“. Toto je však 10 technických opakovaní; biologické n je stále 1. Keď model vysvetlil tento rozdiel, študent prepracoval experiment so 6 myšami. Ponaučenie: štatistické n je biologická jednotka.
Prípad 3 – Nedostatočná sila: Jedna skupina vykonala 4 vzorky na skupinu a chýbal jej skutočný účinok (p=0,09). Analýza výkonu ukázala, že 4 vzorky poskytli iba 35 % výkonu. Ak by model vopred vypočítal správny počet vzoriek, experiment by bol buď nastavený s dostatočným výkonom, alebo by sa vôbec nezačal. Lekcia: vypočítajte výkon vopred, nie neskôr.
porovnávacia tabuľka
koncepcie
Správna aplikácia
častá chyba
znova
Počítajte biologické opakovanie
myslite na technické opakovanie
ovládanie
Negatívny+pozitívny+nosič
nekontrolovaný experiment
Randomizácia
Zoskupenie a poradie náhodne
Sekvenčné spracovanie
moc
Vypočítajte pred experimentom
nepozeraj sa späť
plán analýzy
pin vopred
Výber testov na základe údajov
Časté chyby
- Preskočenie kontrolnej skupiny: Spôsobí, že príčina rozdielu nebude interpretovateľná.
- Pseudoopakovanie: Uvažovanie o technickom opakovaní ako o biologickom n vytvára pseudovýznam.
- Nevykonáva sa analýza výkonu: Nedostatočný alebo nehospodárny odber vzoriek.
- Ignorovanie zmätkov: Efekty ako dávka, umiestnenie, čas skresľujú výsledok.
- Následný výber testu analýzy: Hľadanie testu, ktorý dáva požadovaný výsledok (p-hacking).
Upozornenie: AI vám poskytuje štatistiky a návrhy dizajnu, ale vyžaduje doménovú znalosť biologického významu experimentu a aká kontrola je v skutočnosti potrebná. Žiadna analýza nemôže zachrániť zle navrhnutý experiment; Pred začatím experimentu si ujasnite návrh, najlepšie so štatistikom.
Berúc do úvahy zdroje variability
Neospevovaným hrdinom dobrého dizajnu je myslieť dopredu na to, odkiaľ pochádza variabilita údajov. Biologická variabilita (prirodzený rozdiel medzi jednotlivcami) je nevyhnutná a to, čo chcete študovať; Technická variabilita (chyba pipety, odchýlka zariadenia, rozdiel dní) je hluk a mala by sa znížiť. Spôsob, ako oddeliť tieto dve veci, je v návrhu: distribuovať technickú variabilitu s randomizáciou a zaslepením, vzorka biologickej variability s dostatočným opakovaním.
Je užitočné začať tým, že uvediete zoznam AI možných zdrojov variability vo vašom experimente. Napríklad v experimente s bunkovou kultúrou: počet pasáží (koľkokrát boli bunky rozdelené), dávka média, umiestnenie inkubátora, čas zberu. Poznanie týchto zdrojov vám umožňuje rozhodnúť sa, ktoré z nich ponecháte konštantné a ktoré náhodne vyberiete.
Uveďte všetky možné zdroje variability (biologické a technické) v nasledujúcom experimente; Pre každý navrhnite „ponechať fixné“, „randomizovať“ alebo „uložiť a pridať do modelu ako premennú“. Experiment: [popis]
Predregistrácia: najsilnejší nástroj integrity
Najvýkonnejšou formou stanovenia plánu analýzy pred experimentom je predbežná registrácia: zaznamenanie vašej hypotézy, veľkosti vzorky a plánu analýzy na mieste s časovou pečiatkou pred zberom údajov. Eliminuje to neskoršiu pochybnosť „Skúšal som analýzu, kým som nedostal to, čo som chcel“ a výrazne to zvyšuje dôveryhodnosť vašej práce. Umelá inteligencia vám môže pomôcť navrhnúť váš termínový list, objasniť hypotézu a napísať plán analýzy. Týmto spôsobom budete mať vytvorený najsilnejší štít proti p-hackingu, ktorý uvidíme v Unit 8, ešte pred začatím experimentu.
Dizajnové rozdiely podľa typu experimentu
Nie každý biologický experiment prebieha podľa rovnakého vzoru; Dizajn sa líši v závislosti od typu problému. Experiment dávka-odozva vyžaduje viacnásobné dávky a krivkový model; Jedna dávka nestačí. V experimente s časovým radom určuje dizajn rozstup a závislosť meracích bodov (opätovné meranie toho istého jedinca). V terénnej/ekologickej štúdii sa do popredia dostáva náhodný odber vzoriek a priestorová závislosť (podobnosť blízkych bodov). Poviete AI typ vášho experimentu a spýtate sa „aké prvky dizajnu sú pre tento typ rozhodujúce?“ Pýtanie sa: umožňuje včas zachytiť prehliadnutý komponent. Ale pamätajte: model si pamätá všeobecné princípy, nepozná biologické detaily vášho systému.
V súhrne
Solídny experiment; Je založená na jasnej hypotéze, presných kontrolách, dostatočných biologických replikátoch, randomizácii, zaslepení a vopred vypočítanej sile. Umelá inteligencia je výkonným partnerom, ktorý si tieto komponenty odvolá, napíše kód analýzy výkonu a kritizuje váš plán. Ale biologický význam a konečné rozhodnutie o dizajne je na vás. Oprava plánu analýzy pred experimentom je protijed na pascu p-hackingu, ktorú uvidíme v ďalšej časti.
Aplikačná úloha
Opíšte experiment, ktorý máte na mysli (alebo príklad) v jednom odseku: hypotéza, premenné, kontroly, plánovaná replikácia. Nechali ste umelú inteligenciu kritizovať tento plán; Uveďte chýbajúce ovládacie prvky a mixéry. Potom vytlačte kód analýzy výkonu (s vašimi hodnotami d a alfa) a nechajte ho vypočítať požadovaný počet vzoriek. Upravte svoj plán pomocou tejto spätnej väzby.
kontrolný zoznam
- [ ] Svoju hypotézu som napísal jednou merateľnou vetou.
- [ ] Určil som potrebné kontrolné skupiny (negatívny/pozitívny/nosič).
- [ ] Biologické a technické opakovanie som rozlíšil správne.
- [ ] Výkonovú analýzu som urobil pred experimentom.
- [ ] Plánoval som randomizáciu a oslepenie.
- [ ] Opravil som test analýzy bez toho, aby som videl údaje.