Eenheid 7 / 11

Experimenteel ontwerp: een solide plan opstellen met kunstmatige intelligentie

Winst:

  • Vermogen om een duidelijke hypothese, nauwkeurige controles, randomisatie, blindering en voorafgaande machtsanalyse in een experimenteel ontwerp in te bouwen
  • Vermogen om biologische herhaling te onderscheiden van technische herhaling en de fout van pseudoreplicatie te vermijden
  • Mogelijkheid om p-hacking in de eerste plaats te voorkomen door het analyseplan vóór het experiment vast te stellen (pre-opname)

De duurste fout in de biologie is een slecht ontworpen experiment. Een onjuiste analyse kan later worden gecorrigeerd; Maar gegevens die zijn verzameld met onvoldoende herhalingen en ongecontroleerde of gemengde variabelen kunnen door geen enkele statistiek worden teruggehaald. "Afval erin, afval eruit." Daarom moet het experiment correct worden ontworpen voordat het begint. Kunstmatige intelligentie is een krachtige denkpartner in deze ontwerpfase: het roept controlegroepen terug, schrijft de code die machtsanalyses uitvoert (berekent het aantal monsters dat nodig is om het gezochte verschil vast te leggen) en bevraagt ​​verwarrende variabelen. Maar de uiteindelijke ontwerpbeslissing is aan jou met domeinkennis.

In deze unit bespreken we de componenten van een goed experimenteel ontwerp en hoe we kunstmatige intelligentie in dit proces kunnen gebruiken.

Onderdelen van een goed experimenteel ontwerp

  • Duidelijke hypothese: een toetsbare, meetbare claim. Zoals "Dit medicijn vertraagt ​​de celgroei."
  • Onafhankelijke en afhankelijke variabele: Wat verandert u (medicijndosis), wat meet u (celaantal)?
  • Controlegroep: Vergelijkingsgroep die geen interventie kreeg. Zonder dit kun je de reden voor het verschil niet weten.
  • Replicatie: Biologische replicatie (verschillende individuen/culturen) verschilt van technische replicatie (herhaalde meting van hetzelfde monster); De echte kracht zit in biologische herhaling.
  • Randomisatie: het willekeurig verdelen van monsters in groepen en verwerkingsvolgorde; vermindert vooringenomenheid.
  • Verblindend: degene die de meting doet, weet niet welke groep welke is; voorkomt subjectieve vooringenomenheid.
  • Poweranalyse: vooraf berekenen hoeveel monsters nodig zijn om het verwachte effect met een waarschijnlijkheid van 80% vast te leggen.
Tip: Geef het experimentele ontwerp aan de AI om het te ‘kritiseren’. “Welke controle ontbreekt in dit plan, welke verstorende variabele heb ik gemist?” De vraag brengt gaten aan het licht die je niet kunt zien als je alleen denkt.

Machtsanalyse: waarom en hoe

Een zeer kleine steekproef kan ervoor zorgen dat zelfs een reëel verschil ‘onbeduidend’ lijkt (laag vermogen); Een te grote steekproef is een verspilling van middelen en kan ervoor zorgen dat onbeduidende verschillen ‘significant’ lijken. Het juiste aantal wordt gevonden door poweranalyse en is afhankelijk van: de verwachte effectgrootte, geaccepteerde foutenpercentages (alfa en bèta) en de variabiliteit van de gegevens.

Rol: Je bent een assistent voor experimenteel ontwerp en biostatistiek. Taak: Voer een poweranalyse uit voor een experiment waarbij twee groepen worden vergeleken. Schrijf code die het aantal benodigde monsters per groep berekent met de verwachte effectgrootte Cohen's d = 0,8, alpha = 0,05, power = 0,80.statsmodels en leg de aannames uit.

Je voert de code uit; U krijgt bijvoorbeeld een resultaat als "26 monsters per groep". Je vergelijkt dit met je experimentbudget en maakt een realistisch plan.

Stap voor stap: een experiment ontwerpen

  1. Schrijf de hypothese op: Eén zin, meetbaar.
  2. Definieer variabelen: onafhankelijk, afhankelijk, constant gehouden.
  3. Identificeer controles: negatieve controle, positieve controle, voertuigcontrole.
  4. Maak een lijst van de mixers: tijd, batch, temperatuur, experimentator – hoe worden ze gecontroleerd?
  5. Voer een krachtanalyse uit: Bereken het aantal benodigde herhalingen.
  6. Plan randomisatie en blindering.
  7. Schrijf vooraf het analyseplan: Bepaal vóór het experiment welke test je gaat gebruiken (voorkomt p-hacking).

Kopieerbare promptsjablonen

Bekritiseer mijn experimentele plan. Vind zwakke punten in termen van: controlegroep, aantal replicaties, randomisatie, verblinding, confounders. Stel voor elke tekortkoming een concrete correctie voor. Plan: [tekst]

Leg met voorbeelden het verschil uit tussen biologische herhaling en technische herhaling. In mijn ervaring [uitleg] welke zou er hoeveel moeten zijn en waarom?

Ik wil mijn analyseplan VOOR het experiment vaststellen. Opbrengst: [ontwerp]. Welke statistische test is geschikt, welke aannames moet ik controleren, zullen er meerdere vergelijkingen zijn? Schrijf stap voor stap.

Zwakke prompt/sterke prompt

Zwak: “Ontwerp een experiment.”

Strong: "Ik wil testen of Drug

Verschil: In de sterke prompt zijn de hypothese, variabelen, meettijd en beschikbare controles duidelijk; Het model geeft concrete, praktijkgerichte feedback.

drie minikoffers

Geval 1 – Randeffect: Eén team experimenteerde in een plaat met 96 putjes; De resultaten waren vreemd. Kunstmatige intelligentie herinnerde eraan dat de randputten van de plaat zich anders gedragen als gevolg van verdamping (randeffect) en stelde voor om de randen als controles te gebruiken en de monsters willekeurig te verdelen. De consistentie nam toe bij herhaling.

Geval 2 — Pseudoreplicatie: een student nam 10 weefselmonsters van een enkele muis en zei "n=10." Dit zijn echter 10 technische herhalingen; biologische n is nog steeds 1. Toen het model dit onderscheid verklaarde, herontworpen de student het experiment met 6 muizen. Les: statistische n is een biologische eenheid.

Geval 3 — Onvoldoende vermogen: Eén groep voerde 4 monsters per groep uit en miste een echt effect (p=0,09). Uit vermogensanalyse bleek dat 4 monsters slechts 35% vermogen opleverden. Als het model vooraf het juiste aantal monsters had berekend, was het experiment ofwel met voldoende power opgezet, ofwel helemaal niet gestart. Les: bereken het vermogen vooraf, niet later.

vergelijkingstabel

concept

Correcte toepassing

frequente fout

opnieuw

Tel biologische herhaling

denk aan technische herhaling

controle

Negatief+positief+drager

ongecontroleerd experiment

Randomisatie

Groepeer en bestel willekeurig

Sequentiële verwerking

kracht

Bereken vóór het experiment

kijk niet achterom

analyseplan

vooraf vastpinnen

Testen selecteren op basis van data

Veel voorkomende fouten

  • Het overslaan van de controlegroep: maakt de oorzaak van het verschil oninterpreteerbaar.
  • Pseudo-herhaling: Het beschouwen van technische herhaling als biologische n levert pseudo-significantie op.
  • Geen poweranalyse uitvoeren: Onvoldoende of verspillende bemonstering.
  • Confounders negeren: effecten zoals batch, locatie en tijd vertekenen het resultaat.
  • Achteraf de analysetest kiezen: Zoeken naar de test die het gewenste resultaat geeft (p-hacking).
Let op: AI geeft je statistieken en ontwerpsuggesties, maar vereist domeinkennis van de biologische betekenis van het experiment en welke controle er eigenlijk nodig is. Geen enkele analyse kan een slecht ontworpen experiment redden; Verduidelijk het ontwerp voordat het experiment begint, bij voorkeur met een statisticus.

Rekening houden met bronnen van variabiliteit

De onbezongen held van goed ontwerp is om vooruit te denken over waar de variabiliteit in data vandaan komt. Biologische variabiliteit (natuurlijk verschil tussen individuen) is onvermijdelijk en wat je wilt bestuderen; Technische variabiliteit (pipetfout, apparaatafwijking, dagverschil) is ruis en moet worden verminderd. De manier om deze twee te scheiden ligt in het ontwerp: verdeel de technische variabiliteit met randomisatie en blindering, bemonster de biologische variabiliteit met voldoende herhaling.

Het is handig om te beginnen door de AI mogelijke bronnen van variabiliteit in uw experiment te laten opsommen. In een celkweekexperiment bijvoorbeeld: passagenummer (hoe vaak cellen werden verdeeld), mediumbatch, locatie van de incubator, oogsttijd. Als u deze bronnen kent, kunt u beslissen welke u constant wilt houden en welke u wilt randomiseren.

Noem alle mogelijke bronnen van variabiliteit (biologisch en technisch) in het volgende experiment; Stel voor elk model 'vasthouden', 'randomiseren' of 'opslaan en toevoegen aan het model als variabele' voor. Experiment: [beschrijving]

Pre-registratie: het krachtigste instrument voor integriteit

De krachtigste manier om het analyseplan vast te stellen vóór het experiment is preregistratie: het vastleggen van uw hypothese, steekproefomvang en analyseplan op een locatie met tijdstempel voordat u de gegevens verzamelt. Dit elimineert de latere twijfel van “Ik heb analyse geprobeerd totdat ik kreeg wat ik wilde” en vergroot de geloofwaardigheid van uw werk enorm. AI kan u helpen bij het opstellen van uw term sheet, het verduidelijken van de hypothese en het schrijven van het analyseplan. Op deze manier heb je het sterkste schild tegen p-hacking gecreëerd, wat we in Unit 8 zullen zien, voordat het experiment begint.

Ontwerpverschillen afhankelijk van het experimenttype

Niet elk biologie-experiment volgt hetzelfde patroon; Het ontwerp varieert afhankelijk van het type probleem. Een dosis-responsexperiment vereist meerdere doses en een curvemodel; Een enkele dosis is niet voldoende. In een tijdreeksexperiment bepaalt de afstand en afhankelijkheid van meetpunten (het opnieuw meten van hetzelfde individu) het ontwerp. In een veld-/ecologisch onderzoek komen willekeurige steekproeven en ruimtelijke afhankelijkheid (overeenstemming van nabijgelegen punten) naar voren. Je vertelt de AI het type experiment en vraagt ​​“welke ontwerpelementen zijn cruciaal voor dit type?” Vragen: hiermee kunt u vroegtijdig een over het hoofd gezien onderdeel onderkennen. Maar onthoud: het model herinnert zich algemene principes, het kent de biologische details van uw systeem niet.

Samengevat

Een solide experiment; Het is gebaseerd op een duidelijke hypothese, nauwkeurige controles, voldoende biologische replicaties, randomisatie, verblinding en vooraf berekende macht. AI is een krachtige partner die deze componenten terughaalt, de krachtanalysecode schrijft en uw plan bekritiseert. Maar de biologische betekenis en de uiteindelijke ontwerpbeslissing zijn aan jou. Het vaststellen van het analyseplan vóór het experiment is het tegengif voor de val van p-hacking die we in het volgende hoofdstuk zullen zien.

Applicatie taak

Beschrijf een experiment dat je in gedachten hebt (of een voorbeeld) in één paragraaf: hypothese, variabelen, controles, geplande replicatie. Je liet de kunstmatige intelligentie dit plan bekritiseren; Maak een lijst van ontbrekende bedieningselementen en mixers. Druk vervolgens een poweranalysecode af (met uw d- en alpha-waarden) en laat deze het benodigde aantal monsters berekenen. Herzie uw plan met deze feedback.

controlelijst

  • [ ] Ik schreef mijn hypothese in één meetbare zin.
  • [ ] Ik heb de benodigde controlegroepen bepaald (negatief/positief/drager).
  • [ ] Ik heb biologische en technische herhaling correct onderscheiden.
  • [ ] Ik heb de machtsanalyse vóór het experiment uitgevoerd.
  • [ ] Ik plande randomisatie en blindering.
  • [ ] Ik heb de analysetest gerepareerd zonder de gegevens te zien.