Nyereség:
- Egyértelmű hipotézis, pontos kontrollok, véletlenszerű besorolás, vakítás és előzetes teljesítményelemzés kísérleti tervbe építésének képessége
- Képes megkülönböztetni a biológiai ismétlődést a technikai ismétléstől, és elkerülni a pszeudoreplikáció hibáját
- A p-hackelés megakadályozása az elemzési terv kísérlet előtti rögzítésével (előzetes rögzítés)
A biológia legdrágább hibája egy rosszul megtervezett kísérlet. A hibás elemzés később javítható; De az elégtelen ismétlésszámmal, kontrollálatlan vagy kevert változókkal gyűjtött adatokat semmilyen statisztika nem tudja visszanyerni. – Szemet be, szemét ki. Ezért kell a kísérletet helyesen megtervezni, mielőtt elkezdené. A mesterséges intelligencia erőteljes gondolkodási partner ebben a tervezési szakaszban: visszahívja a kontrollcsoportokat, megírja a teljesítményelemzést végző kódot (kiszámolja a keresett különbség rögzítéséhez szükséges minták számát), megkérdőjelezi a zavaró változókat. De a végső tervezési döntés az Öné a domain ismeretekkel.
Ebben az egységben megvitatjuk a jó kísérleti terv összetevőit és a mesterséges intelligencia felhasználását ebben a folyamatban.
Egy jó kísérleti terv alkotóelemei
- Világos hipotézis: tesztelhető, mérhető állítás. Mint "Ez a gyógyszer lelassítja a sejtnövekedést."
- Független és függő változó: Mit változtat (gyógyszeradag), mit mér (sejtszám)?
- Kontrollcsoport: Összehasonlító csoport, amely nem kapott beavatkozást. Enélkül nem tudhatod a különbség okát.
- Replikáció: A biológiai replikáció (különböző egyedek/kultúrák) eltér a technikai replikációtól (ugyanannak a mintának az ismételt mérése); Az igazi erő a biológiai ismétlésben rejlik.
- Randomizálás: A minták véletlenszerű elosztása csoportokba és feldolgozási sorrend; csökkenti az elfogultságot.
- Vakítás: A mérést végző személy nem tudja, melyik csoport melyik; megakadályozza a szubjektív elfogultságot.
- Teljesítményelemzés: Előre kiszámítja, hogy hány mintára van szükség a várható hatás 80%-os valószínűséggel történő rögzítéséhez.
Tipp: Adja át a kísérleti tervet az AI-nak, hogy „kritizálja” azt. „Milyen kontroll hiányzik ebből a tervből, milyen zavaró változót hagytam ki?” A kérdés olyan hiányosságokat tár fel, amelyeket nem láthatunk, ha egyedül gondolkodunk.
Erőelemzés: miért és hogyan
Egy nagyon kis minta még a valódi különbséget is "jelentéktelennek" tűnhet (alacsony teljesítmény); A túl nagy minta erőforrások pazarlását jelenti, és a jelentéktelen különbségeket „jelentősnek” tűnheti. A helyes számot a teljesítményelemzés határozza meg, és az alábbiaktól függ: a várható hatás nagysága, az elfogadott hibaarányok (alfa és béta) és az adatok változékonysága.
Szerep: Ön kísérleti tervezési és biostatisztikai asszisztens.Feladat: Végezzen teljesítményelemzést egy kísérlethez, amelyben két csoportot hasonlít össze. Írjon kódot, amely kiszámítja a csoportonként szükséges minták számát Cohen-féle d = 0,8, alfa = 0,05, teljesítmény = 0,80.statsmodels és magyarázza el a feltételezést.
Ön futtatja a kódot; például olyan eredményt kap, mint "csoportonként 26 minta". Hasonlítsa össze ezt a kísérleti költségvetésével, és készítsen egy reális tervet.
Lépésről lépésre: kísérlet tervezése
- Írja fel a hipotézist: Egy mondat, mérhető.
- Változók meghatározása: Független, függő, állandó.
- Azonosítsa a kontrollokat: negatív kontroll, pozitív kontroll, vivőanyag-kontroll.
- Sorolja fel a keverőket: Idő, adag, hőmérséklet, kísérletező – hogyan fogják szabályozni őket?
- Erősségelemzés elvégzése: Számítsa ki a szükséges ismétlések számát.
- Tervezze meg a véletlenszerűsítést és a vakítást.
- Írja meg előre az elemzési tervet: Határozza meg, melyik tesztet használja a kísérlet előtt (megakadályozza a p-hackelést).
Másolható prompt sablonok
Kritizáld a kísérleti tervemet. Keresse meg a gyenge pontokat a következők tekintetében: kontrollcsoport, ismétlések száma, véletlenszerű besorolás, vakítás, zavaró tényezők. Javasoljon konkrét korrekciót minden hiányosságra. Terv: [szöveg]
Magyarázza el példával a különbséget a biológiai és a technikai ismétlés között! Tapasztalataim szerint [magyarázat] melyiknek hánynak kell lennie és miért?
A kísérlet ELŐTT szeretném javítani az elemzési tervemet. Hozam: [tervezés]. Melyik statisztikai teszt megfelelő, milyen feltevéseket kell ellenőriznem, lesz-e többszörös összehasonlítás? Írj lépésről lépésre.
Gyenge felszólítás / Erős felszólítás
Gyenge: „Kísérlet tervezése.”
Erős: "Ki akarom tesztelni, hogy a kábítószer
Különbség: Az erős promptban a hipotézis, a változók, a mérési idő és a rendelkezésre álló vezérlők egyértelműek; A modell konkrét, a területnek megfelelő visszajelzést ad.
három mini tok
1. eset – Élhatás: Egy csapat kísérletezett egy 96 lyukú lemezen; Az eredmények furcsaak voltak. A mesterséges intelligencia emlékeztetett arra, hogy a lemez szélső üregei a párolgás (élhatás) miatt eltérően viselkednek, és javasolta a szélek kontrollként való használatát és a minták véletlenszerű elosztását. Megnövekedett a következetesség az ismétlésben.
2. eset – Álreplikáció: Egy diák 10 szövetmintát vett egyetlen egérből, és azt mondta, hogy „n=10”. Ez azonban 10 technikai ismétlés; A biológiai n még mindig 1. Amikor a modell elmagyarázta ezt a megkülönböztetést, a tanuló újratervezte a kísérletet 6 egérrel. Tanulság: statisztikai n egy biológiai egység.
3. eset – Elégtelen teljesítmény: Az egyik csoport csoportonként 4 mintát futtatott, és elmaradt a valódi hatás (p=0,09). A teljesítményelemzés azt mutatta, hogy 4 minta csak 35%-os teljesítményt adott. Ha a modell előre kiszámolta volna a megfelelő számú mintát, akkor a kísérletet vagy kellő erővel felállították volna, vagy el sem indult volna. Tanulság: számítsa ki a teljesítményt előre, ne később.
összehasonlító táblázat
koncepció
Helyes alkalmazás
gyakori hiba
újra
Számolja a biológiai ismétlődést
gondolj a technikai ismétlésre
irányítani
Negatív+pozitív+hordozó
ellenőrizetlen kísérlet
Randomizálás
Csoportosíts és rendelj véletlenszerűen
Szekvenciális feldolgozás
hatalom
Számítsa ki a kísérlet előtt
ne nézz hátra
elemzési terv
előre kitűzni
Tesztek kiválasztása adatok alapján
Gyakori hibák
- A kontrollcsoport kihagyása: Értelmezhetetlenné teszi a különbség okát.
- Álismétlés: Ha a technikai ismétlést biológiai n-nek tekintjük, az pszeudo-jelentőséggel bír.
- Nem végez teljesítményelemzést: elégtelen vagy pazarló mintavétel.
- A zavaró tényezők figyelmen kívül hagyása: Az olyan hatások, mint a köteg, hely, idő torzítják az eredményt.
- Az elemzési teszt utólagos kiválasztása: A kívánt eredményt adó teszt keresése (p-hacking).
Vigyázat: A mesterséges intelligencia statisztikákat és tervezési javaslatokat ad, de ehhez területi ismeretekre van szükség a kísérlet biológiai jelentéséről és arról, hogy valójában milyen ellenőrzésre van szükség. Semmilyen elemzés nem mentheti meg a rosszul megtervezett kísérletet; A kísérlet megkezdése előtt tisztázza a tervezést, lehetőleg statisztikussal.
Figyelembe véve a változékonyság forrásait
A jó tervezés nem énekelt hőse az, hogy előre átgondolja, honnan ered az adatok változékonysága. A biológiai változékonyság (az egyedek közötti természetes különbség) elkerülhetetlen, és mit szeretne tanulmányozni; A technikai változékonyság (pipethiba, eszközeltérés, napkülönbség) zaj, és csökkenteni kell. A kettő szétválasztásának módja a tervezésben van: a technikai variabilitás elosztása randomizációval és vakítással, a minta biológiai variabilitása elegendő ismétléssel.
Hasznos kezdeni azzal, hogy a mesterséges intelligencia felsorolja a kísérletben előforduló variabilitás lehetséges forrásait. Például egy sejttenyésztési kísérletben: passzázs száma (hányszor osztották el a sejteket), táptalaj tétel, inkubátor helye, begyűjtési idő. Ezeknek a forrásoknak az ismerete lehetővé teszi, hogy eldöntse, melyiket tartsa állandónak, és melyeket randomizálja.
Sorolja fel a variabilitás összes lehetséges forrását (biológiai és technikai) a következő kísérletben! Javasoljuk mindegyikhez a „tartsa rögzítve”, a „véletlenszerűvé tétel” vagy a „mentés és hozzáadása a modellhez változóként” kifejezést. Kísérlet: [leírás]
Előzetes regisztráció: az integritás leghatékonyabb eszköze
Az elemzési terv kísérlet előtti rögzítésének leghatékonyabb formája az előzetes regisztráció: a hipotézis, a mintanagyság és az elemzési terv rögzítése egy időbélyeggel ellátott helyen az adatgyűjtés előtt. Ez kiküszöböli a későbbi kételyt, hogy „próbáltam az elemzést, amíg meg nem kaptam, amit akartam”, és nagyban növeli munkája hitelességét. A mesterséges intelligencia segíthet a terminus elkészítésében, a hipotézis tisztázásában és az elemzési terv megírásában. Ily módon létrehozhatja a legerősebb pajzsot a p-hackelés ellen, amelyet a 8. részben fogunk látni a kísérlet megkezdése előtt.
Tervezési különbségek a kísérlet típusa szerint
Nem minden biológiai kísérlet követi ugyanazt a mintát; A tervezés a probléma típusától függően változik. A dózis-válasz kísérlethez több dózisra és egy görbe modellre van szükség; Egyetlen adag nem elég. Egy idősoros kísérletben a mérési pontok távolsága és függősége (ugyanazon egyed újramérése) határozza meg a tervezést. Terepi/ökológiai vizsgálatban a véletlenszerű mintavétel és a térbeli függés (a közeli pontok hasonlósága) kerül előtérbe. Elmondja az AI-nak a kísérlet típusát, és megkérdezi, hogy „mely tervezési elemek kritikusak ennél a típusnál?” Asking: lehetővé teszi egy figyelmen kívül hagyott komponens korai elkapását. De ne feledje: a modell emlékeztet az általános elvekre, nem ismeri a rendszer biológiai részleteit.
Összefoglalva
Szilárd kísérlet; Világos hipotézisen, pontos kontrollokon, elegendő biológiai ismétlésen, randomizáción, vakításon és előre kiszámított teljesítményen alapul. A mesterséges intelligencia hatékony partner, aki visszahívja ezeket az összetevőket, megírja a teljesítményelemzési kódot, és bírálja a tervet. De a biológiai jelentés és a végső tervezési döntés a tiéd. Az elemzési terv kísérlet előtti rögzítése a p-hacking csapda ellenszere, amelyet a következő részben láthatunk.
Pályázati feladat
Írjon le egy kísérletet (vagy egy példát) egy bekezdésben: hipotézis, változók, kontrollok, tervezett replikáció. Ön a mesterséges intelligenciával bírálta ezt a tervet; Sorolja fel a hiányzó vezérlőket és keverőket. Ezután nyomtasson egy teljesítményelemző kódot (a d és alfa értékekkel), és számítsa ki a szükséges minták számát. Módosítsa tervét ezzel a visszajelzéssel.
ellenőrző lista
- [ ] A hipotézisemet egy mérhető mondatban írtam le.
- [ ] Meghatároztam a szükséges kontrollcsoportokat (negatív/pozitív/hordozó).
- [ ] Helyesen megkülönböztettem a biológiai és a technikai ismétlést.
- [ ] A teljesítményelemzést a kísérlet előtt elvégeztem.
- [ ] Randomizálást és vakítást terveztem.
- [ ] Az elemzési tesztet úgy javítottam ki, hogy nem láttam az adatokat.