Päästä päähän -projekti: AI-avusteinen biotekniikan työnkulku ja validointi Pythonilla

Voitot:

• Kyky suunnitella seitsemän vaiheen työnkulku kysymyksestä vahvistettuun tulokseen asettamalla vahvistusportti jokaiseen vaiheeseen
• Kyky tarkistaa tekoälyn kirjoittama Python-koodi tunnetuilla testitiedoilla ja erottaa "työkoodin" ja "oikean koodin" välinen ero
• Tee analyysistä toistettava (versio, väliaine, siemen, asiakirja) ja raportoi märkävarmennus, läpinäkyvyys ja asiantuntijan hyväksyntä

Opimme kappaleet edellisellä yhdeksällä jaksolla: sekvenssianalyysi, omiikka, proteiinimallinnus, kokeellinen suunnittelu, laboratoriotiedot, bioprosessointi, kirjallisuus ja etiikka. Tässä viimeisessä osiossa kokoamme palaset yhteen ja rakennamme päästä päähän työnkulun – ketjun tutkimuskysymyksestä validoituun johtopäätökseen, jossa tekoäly auttaa jokaisessa vaiheessa, mutta ihminen tekee jokaisen kriittisen päätöksen ja todentamisen. Käsittelemme myös Pythonin, joka on tämän ketjun selkäranka, ja toistettavuuden kurinalaisuuden – kyvyn toistaa jonkun muun tekemä analyysi samoilla tiedoilla, jotta saadaan sama tulos.

Tavoitteena ei ole tarjota yksittäisiä työkaluja, vaan vastuullisen työnkulun ajattelutavan: tiedät, mihin tekoäly, minne sijoitat vahvistusportin ja miten koko prosessi saadaan jäljitettäviksi.

Miksi Python?

Bioinformatiikan ja laskennallisen biologian lingua franca on Python (ja R). Koska voit automatisoida ja tehdä lähes jokaisen vaiheen toistettavaksi avoimen lähdekoodin kirjastoilla (Biopython sekvenssianalyysiin, pandat tietotaulukoihin, scikit-learn koneoppimiseen, matplotlib visualisointiin). AI on erittäin tehokas Python-koodin kirjoittamisessa; Mutta sen tuottaman koodin hyväksyminen suorittamatta ja sen tarkistaminen on vaarallista – koodi saattaa hiljaa palauttaa väärän tuloksen (yksikkövirhe, väärä sarake, suodatin puuttuu).

Huomio: Vaikka tekoälyn kirjoittama koodi toimisi, se ei ehkä ole oikea. "Se toimi ilman virheitä" ja "se antoi oikean tuloksen" ovat kaksi eri asiaa. Kokeile jokaista koodia pienellä, tunnetulla testitiedolla: onko tulo-tulostus odotusten mukainen? Tämä on ainoa tapa saada kiinni hiljaisista virheistä.

Työnkulun anatomia

Vastuullinen tekoälyn tukema biotekniikan työnkulku noudattaa tätä kehystä:

1. Kysymys ja hypoteesi. Selkeä, testattava kysymys. (AI voi inspiroida; sinä selvennät.)
2. Tiedonkeruu ja tietosuojavalvonta. Mistä tiedot ovat peräisin, henkilökohtaisista tai hyväksytyistä tiedotusvälineistä? (yksikkö 9.)
3. Esikäsittely ja laadunvalvonta. Puhdistus, normalisointi, erän valvonta. (Osikko 2-3.)
4. Analyysi. Tilastot, mallintaminen, ennustaminen. (Vahvistusportti jokaisessa vaiheessa.)
5. Kommentoi. Iskeminen biologiseen mieleen, korrelaatio-syy-yhteys.
6. Märkälaboratoriotarkastus. Kriittinen hypoteesi testataan kokeellisesti. (Osikko 1, 4, 5.)
7. Raportointi ja avoimuus. Toistettava koodi, tekoälylausunto, asiantuntijan hyväksyntä. (Osikko 8-9.)

Jokaisessa vaiheessa on tarkistuspiste – piste, jossa tulos varmistetaan ennen seuraavaan vaiheeseen siirtymistä. AI kiihdyttää yhden askeleen, et voi siirtyä seuraavaan vaiheeseen ohittamatta ovea.

Vinkki: Tallenna työnkulkusi komentosarjana ja muistikirjana; Dokumentoidaan jokaisen vaiheen syöttö, tulos ja päätös. Mahdollisuus vastata kysymykseen "miten sain tämän tuloksen" muutamassa minuutissa kuukausien jälkeen on kullan arvoista sekä tieteen että tilintarkastuksen kannalta.

Uusittavuus: tuloksen vakuutus

Tulos on luotettava vain, jos joku muu voi toistaa sen. Toistettavuuden neljä pilaria ovat: (1) koodi on versionhallinnassa (gitillä), (2) ympäristö on kiinteä (kirjastoversiot on rekisteröity, esim. vaatimukset.txt tai conda-ympäristö), (3) data ja satunnainen siemen on rekisteröity, (4) jokainen vaihe on dokumentoitu. Tekoäly auttaa rakentamaan tätä infrastruktuuria, mutta sinun on valvottava kurinalaisuutta.

kolme minilaukkua

Tapaus 1 — Hiljainen koodivirhe havaittu. Yksi tiimi käytti tekoälyn kirjoittamaa normalisointiskriptiä; Koodi toimi ilman virheitä. Kun he kokeilivat sitä tunnetuilla testitiedoilla, he havaitsivat, että tulos oli siirtynyt kertoimella 1000 - skripti teki virheellisen yksikkömuunnoksen. Pienet testitiedot havaitsivat virheen, joka häiritsisi koko analyysin.

Tapaus 2 — Toistettavuus tallennettu. Lähetyksen jälkeen erotuomari pyysi tuloksen toistoa. Tiimi toisti analyysin sanatarkasti 20 minuutissa, koska heillä oli koodi versioitu Gitissä ja kiinnitetty ympäristö. Kilpaileva ryhmä, joka ei tallentanut ympäristöä, ei kyennyt täyttämään samaa pyyntöä viikkoihin.

Tapaus 3 – Päästä päähän -varmennus. Entsyymiprojektissa työnkulku toimi näin: AI ehdotti hypoteesia kirjallisuudesta (validoitu), proteiinimallissa järjestettiin ehdokasmutaatiot (testattu kokeella), DoE vähensi kokeiden määrää, yksi kolmesta mutaatiosta lisäsi aktiivisuutta 1,9-kertaiseksi. Tekoäly kiihdytti joka askeleella, ihmisen todentama jokaisella ovella; Tulos oli sekä nopea että puolustettava.

Neljä kopioitavaa mallia

1) Työnkulkurungon luominen:

Tehtäväsi: laskennallisen biologian projektikonsultti. Suunnittele päästä päähän -työnkulku vastaamaan seuraavaan kysymykseen: [kysymys]. Jokaisessa vaiheessa (1) mitä tehdä, (2) missä tekoäly auttaa, (3) mikä validointikehyksen tulisi olla, (4) mitä työkalua käytetään. Sisällytä märkälaboratorion validointi ja läpinäkyvyysvaihe.

2) Python-koodi + testipyyntö:

Tehtäväsi: bioinformatiikan kehittäjä. Kirjoita Python-funktio, joka tekee seuraavan työn: [työ]. Kirjasto: [pandas/Biopython]. Lisää MYÖS validointiesimerkki vähän tunnetuilla testitiedoilla: mikä on syöte, mikä on odotettu tulos. Ajan koodin ja tarkistan sen testitiedoilla. Olematon toiminto/parametrisovitus.

3) Uusittavuuden tarkastus:

Haluan tehdä analyysistäni toistettavan. Anna minulle tarkistuslista: versionhallinta, ympäristön kiinnitys (vaatimukset/conda), satunnainen siemen, tietolähteen rekisteröinti, vaihedokumentaatio. Anna jokaiselle esineelle käytännöllinen sovellustapa.

4) Tulosten vahvistus:

Haluan tehdä lopullisen validointitarkistuksen ennen kuin laitan analyysituloksen raporttiin. Anna minulle tarkistuslista näistä kysymyksistä: onko tulos biologisesti uskottava, ovatko tilastot tarkkoja (useita testejä, näyte), onko se vahvistettu riippumattomilla keinoilla, onko se lähteestä riippuvainen, vaaditaanko märkätesti, onko tekoälylausunto tehty?

Heikko kehote / Vahva kehote

Heikko kehote:

Kirjoita minulle Python-koodi, joka analysoi nämä tiedot.

Epämääräinen tehtävä, ei testausta, ei varmennusta; hiljainen virhe altis.

Tehokas kehotus:

Tehtäväsi: bioinformatiikan kehittäjä. CSV:lle (sarakkeet: geeni, kontrolli_keskiarvo, hoitokeskiarvo, parvo): (1) lisää log2-kertainen muutossarake, (2) laske BH-korjattu p-arvo, (3) suodata pois padj<0,05 ja |log2FC|>1. Näytä MYÖS odotettu tulos 5 rivillä näytetietoja, jotta voin varmistaa. Älä käytä väärää sarakkeen nimeä tai olematonta funktiota.

Ero: selkeä tehtävä, selkeät tilastot, validointi testitiedoilla ja valmistuskielto.

Päästä päähän työnkulun vahvistusyhdyskäytävät

askel

AI panos

vahvistusportti

hypoteesi

inspiraatiota, kirjallisuutta

Onko se testattava vai hitsattu?

Data/tietosuoja

tarkistuslista

Tunnistautuminen, hyväksytty ympäristö

esikäsittely

käsikirjoitus

Erä/laadunvalvonta

Analyysi

koodi, malli

Testitiedot, itsenäinen ajoneuvo

Kommentoi

luonnos

Biologinen mieli, korrelaatio-syy-yhteys

märkävarmennus

Kokeilusuunnitelma

Todellinen kokeilutulos

Raportoi

luonnos

Uusittavuus, läpinäkyvyys, asiantuntijan hyväksyntä

Yleisiä virheitä

• Ajattelee, että toimintakoodi on oikea. “Toimi ilman virheitä” ≠ “oikea tulos”; kannattaa kokeilla testitiedoilla.
• Vahvistusporttien ohittaminen. Oven ohittaminen nopeuden vuoksi vaarantaa kaikki seuraavat vaiheet.
• Toistettavuuden huomiotta jättäminen. Ilman ympäristön/version rekisteröintiä tulos ei ole toistettavissa.
• Märkävahvistuksen viivästyminen/oittaminen. Päätöstä ei voida tehdä ennen kuin tietokoneen ennuste on vahvistettu kokeella.
• Unohda avoimuus ja asiantuntijahyväksyntä. Lopullinen allekirjoitus ja tekoälyilmoitus ovat osa työnkulkua.

Yhteenvetona

Vastuullinen biotekniikka ei käytä tekoälyä yksittäisinä työkaluina, vaan osana kokonaisvaltaista työnkulkua, jossa on validointiportteja. Python ja toistettavuus ovat tämän virran selkäranka; AI kirjoittaa koodia, mutta vahvistat sen testitiedoilla, koska toimiva koodi ei ole oikea koodi. Tekoäly kiihtyy jokaisessa vaiheessa, ihminen varmentaa jokaisella ovella; Kriittiset hypoteesit testataan märkälaboratoriossa ja tulokset raportoidaan läpinäkyvästi ja asiantuntijan luvalla. Tämän moduulin ydin on yhdessä lauseessa: Ota tekoälyn nopeus, pidä päätös ja vastuu ihmisessä.

Sovellustehtävä

Suunnittele alusta loppuun työnkulku omalle tutkimuskysymyksellesi. Pyydä tekoälyä laatimaan seitsenvaiheinen suunnitelma "työnkulun luuranko"-mallilla ja lisää oma vahvistusportti jokaiseen vaiheeseen. Tulosta sitten komentosarja "Python-koodi + testipyyntö" -mallilla jollekin analyysivaiheesta, suorita se pienellä testitiedolla ja todista, että tulos on oikea. Valmistele lopuksi "tulosten validointitarkistus" -luettelo ja pidä tämä työnkulku valmiina raportointia varten. Tallenna koko prosessi toistettavassa (koodi + media + asiakirja) muodossa.

tarkistuslista

• [ ] Suunnittelin työnkulun, jossa on seitsemän vaihetta ja vahvistusportti jokaisessa vaiheessa.
• [ ] Vahvistin tekoälyn kirjoittaman koodin tunnetuilla testitiedoilla.
• [ ] Tein analyysin toistettavaksi (versio, ympäristö, siemen, asiakirja).
• [ ] Olen kirjoittanut kriittisen hypoteesin märkälaboratorion validoinnille.
• [ ] Olen sisällyttänyt työnkulkuun tietosuoja- ja bioturvallisuussäädöt.
• [ ] Täydensin raportin läpinäkyvällä tekoälylausunnalla ja asiantuntijan hyväksynnällä.

Moduulin tentti

1. Mikä seuraavista on tarkin tekoälyn paikannus biotekniikassa?

• A) AI on seulonta- ja piirustustyökalu; Vastuu päätöksistä, jotka määrittävät biologisen merkityksen ja turvallisuuden, on ihmisellä ✔
• B) Tekoäly voi laittaa ehdokasmolekyylejä suoraan tuotantoon ilman ihmisen hyväksyntää
• C) Koska tekoäly on aina objektiivisempaa kuin ihminen, biologinen tulkinta tulisi jättää sen varaan.
• D) Tekoälystä on hyötyä vain tekstin tiivistämiseen, sillä ei ole mitään tekemistä laboratoriotietojen kanssa

Kuvaus: Tekoäly; Se on apulainen, joka skannaa suuria ja meluisia tietoja, merkitsee kuvioita ja tuottaa luonnoksia. Pätevä asiantuntija tekee biologisen merkityksen, turvallisuuden ja lopullisen päätöksen; Vahvistamaton tuloste saattaa vaarantaa potilaan, tuotantoerän tai julkaisun. Turvallisuuden kannalta kriittisillä alueilla tekoälytulostus ei korvaa asiantuntijan hyväksyntää.

2. Mikä on "lähdelinkitys"-vaiheen tarkoitus, kun validoidaan AI-tulostetta?

• A) Tehostettujen (hallusinatoristen) johtopäätösten poistaminen yhdistämällä jokainen väite konkreettiseen dataan tai alkuperäiseen lähteeseen ✔
• B) Tulosteen tekeminen sujuvammaksi ja luettavammaksi
• C) Validoinnin ohittaminen, jotta analyysi valmistuu nopeammin
• D) Hyväksytään tekoälyn antamat viittaukset sellaisina kuin ne ovat

Kuvaus: AI on sujuvaa, mutta tuottaa toisinaan hallusinaatioita; voi esittää olemattoman geenin, polun tai viittauksen todellisena. Kunkin väitteen linkittäminen koviin tietoihin tai alkuperäiseen lähteeseen estää tekaistuja johtopäätöksiä pääsemästä raporttiin tai julkaisuun.

3. BLAST- tai sekvenssikohdistustulosta tulkittaessa, mitä vaaditaan "varman" vastaavuuden arvioimiseksi?

• A) Katsomalla vain merkkijonon pituutta
• B) Luotetaan suoraan tekoälyn antamaan tyyppinimeen
• C) Arvioimme kohdistusmittareita, kuten identiteettiprosenttia, kattavuutta ja e-arvoa yhdessä ✔
• D) Vain laskemalla kuinka monta riviä tulos on

Kuvaus: Sarjan tulkinnan vahvistamiseen tarvitaan mittareita, kuten identiteettiprosentti, kattavuus ja e-arvo. Pieni e-arvo osoittaa, että samankaltaisuus ei ole sattumaa. Ilman näitä mittareita tulkintaa "tämä proteiini on se" ei voida vahvistaa, ja se voi olla hallusinaatio.

4. Miksi 'adjusted p-value' (padj) käytetään testattaessa 20 000 geeniä samanaikaisesti RNA-seq differentiaaliekspressioanalyysissä?

• A) Lisää lattianvaihtoa
• B) Väärien positiivisten tulosten hallitseminen useista testauksista ja väärien havaitsemisasteen rajoittaminen ✔
• C) Pienennä näytekokoa
• D) Analyysin nopeuttamiseksi

Selitys: Kun tuhansia geenejä testataan samanaikaisesti, sadat geenit voivat osoittautua "merkittäviksi" jopa sattumalta. Useat testauskorjaukset, kuten Benjamini-Hochberg, rajoittavat väärien löydösten määrää. Raaka p-arvon kanssa luettelo turpoaa harhaanjohtavasti; Padj:n käyttö on välttämätöntä tieteellisen puolustettavuuden kannalta.

5. Mikä on ansa, joka tapahtuu omics-analyysissä, kun kahta hoitoryhmää käsitellään eri päivinä, mikä johtaa teknisen eron sekoittamiseen biologiseen eroon?

• A) Lattianvaihtovirhe
• B) Kodonin optimointi
• C) Erävaikutus ✔
• D) Reunaefekti

Selitys: Erävaikutus on tekninen ero, joka syntyy näytteiden käsittelystä eri päivien, laitteiden tai ihmisten toimesta ja on suurin virhelähde omiikka-analyysissä. Ennen analyysin aloittamista on tarpeen tehdä PCA-kaavio ja tarkistaa, ovatko näytteet ryhmitelty biologisen tilan tai erän mukaan.

6. Mitä pLDDT-pistemäärä tarkoittaa AlphaFoldilla tuotetulle proteiinirakenteen ennusteelle ja miten sitä tulisi käyttää?

• A) Näyttää mallin luottamustason kullekin alueelle; Väitteitä, jotka perustuvat alhaisiin luottamusvyöhykkeisiin, tulee välttää ✔
• B) Se mittaa kuinka nopeasti proteiini taittuu ja voidaan jättää huomiotta
• C) Osoittaa, että proteiinilla on tarkka rakenne, joka on ratkaistu kokeellisesti.
• D) Antaa telakointiaffiniteetin suoraan

Kuvaus: pLDDT on luottamuspiste, joka osoittaa, kuinka varma malli on kunkin aminohapon osalta. Korkeat arvot (>90) ovat yleensä luotettavia; pienemmät arvot (<50) osoittavat usein epäsäännöllisiä tai epäselviä alueita. Väitemekanismit, jotka perustuvat heikosti luotettaviin alueisiin, ovat harhaanjohtavia; kriittiset rakenteet on tarkistettava kokeellisesti.

7. Miten molekyylien telakointipisteitä tulisi tulkita lääke/entsyymisuunnittelussa?

• A) Sitä tulisi pitää absoluuttisena sitoutumisaffiniteetina.
• B) Se varmistaa, että molekyyli ei koskaan sitoudu
• C) Se on suhteellinen työkalu molekyylien järjestämiseen ennen kokeilua; Lopullinen päätös tehdään kokeellisella affiniteettimittauksella ✔
• D) Yksin riittää kliiniseen hyväksyntään

Kommentti: Telakointipisteet ovat suhteellisia eivätkä ennusta todellista sitoutumisaffiniteettia; Väärien positiivisten määrä on korkea. Oikea käyttötapa on sekvensoida tuhansia molekyylejä ennen kokeilua ja korostaa lupaavimmat. Lopullinen päätös tehdään kokeellisella affiniteettimittauksella, kuten SPR tai ITC.

8. Mikä on "yksi muuttuja kerrallaan" (OFAT) -menetelmän suurin puute bioprosessi-insinöörille, joka haluaa optimoida viisi parametria?

• A) Mittaa parametrien välisiä vuorovaikutuksia ✔
• B) Vaatii aina vähän kokeilua
• C) Lisää tilastollista tehoa
• D) Poistaa automaattisesti erävaikutuksen

Selitys: OFAT-menetelmä puuttuu parametrien välisistä vuorovaikutuksista; ehkä korkea lämpötila on hyvä vain alhaisella pH:lla. Kokeiden suunnittelu (DoE) kaappaa vuorovaikutuksia ja vähentää kokeiden määrää tekijämalleilla, jotka vaihtelevat parametreja yhdessä ja tasapainoisesti.

9. Mikä on oikea lähestymistapa, kun optimointimalli suosittelee lämpötilaa, joka tappaa viljelmän laboratoriossa?

• A) Toteuta ehdotus sellaisenaan, koska malli on älykkäämpi
• B) Turvallisuus- ja fysiologisten rajojen asettaminen mallin rajoituksiksi ja jokaisen ehdotuksen tarkistaminen laboratoriotiedolla ✔
• C) Optimoinnin hylkääminen kokonaan
• D) Yritä ohittaa lämpötilaraja

Selitys: Malli ei tunne fysiologisia ja turvallisuusrajoja; matemaattinen optimi voi olla vaarallinen tai mahdoton. Oikea lähestymistapa on asettaa turvallisuus- ja fysiologiset rajat mallin rajoituksiksi ja tarkistaa jokainen ehdotus laboratoriotiedolla. Fyysinen raja ylittää matemaattisen optimin.

10. Mikä on pakollista arvioitaessa automaattisen solulaskennan tai fluoresenssilajittelun tulosta?

• A) Tuloksen hyväksyminen suoraan, koska malli on nopeampi kuin ihminen
• B) Vain kuvien lukumäärän ilmoittaminen
• C) Katsotaan vain kuvaa, jonka signaali on suurin
• D) Tarkista näytteen tulos manuaalisesti ja validoi asianmukaisilla kontrolleilla (mukaan lukien negatiiviset, värjäytymättömät) ✔

Kuvaus: Automaattinen tuloste on tarkistettava manuaalisesti näytteestä ja jokainen mittaus on validoitava asianmukaisilla kontrolleilla (positiivinen, negatiivinen, tyhjä, värjäämätön). Jos esimerkiksi värjäytymättömässä kontrollissa on signaali, tämä voi olla autofluoresenssi; Ilman ohjaimia automaattinen analyysi ei voi erottaa todellista signaalia artefaktista.

11. Mitä tulee tehdä, jos bioprosessin optimointiehdotus lisää tuottoa, mutta poistaa kriittisen laatuattribuutin (CQA) määrittelystä?

• A) Koska tehokkuus on tärkeää, korkean hyötysuhteen vaihtoehto on parempi
• B) Tehokkuus ylläpidetään lieventämällä CQA-rajaa
• C) Päätös jätetään tekoälylle
• D) Laatu on etusijalla tehokkuuden edelle; Suunnittelutilaan sopiva laatuvaihtoehto suositaan ✔

Kuvaus: Bioprosessoinnissa laatu voittaa sadon; CQA-rajat (puhtaus, glykosylaatio, aktiivisuus) on säilytettävä, jotta tuote olisi turvallinen ja tehokas. Jos tehokkuutta maksimoiva kohta heikentää laatua, suositaan suunnittelutilassa jäävää laatuvaihtoehtoa.

12. Mikä on suurin riski, kun kielimallia kehotetaan etsimään 10 artikkelia tästä aiheesta ja tekemään niistä yhteenveto?

• A) Malli toimii hyvin hitaasti
• B) Malli voi luoda realistisia, mutta olemattomia (tehty) viittauksia ilman todellista hakua ✔
• C) Malli löytää aina liian monta artikkelia
• D) Malli palauttaa vain vanhat artikkelit

Selitys: Tavalliset chat-työkalut eivät usein suorita varsinaisia hakuja. luo tilastollisesti "näennäisen todennäköiseltä" vastauksia muistista. Tämä tarkoittaa realistisia mutta väärennettyjä viittauksia (suunniteltu kirjailija, lehti, DOI). Jokainen viite tulee verrata varsinaiseen tietokantaan (PubMed, DOI) ja mahdollisuuksien mukaan tulee käyttää todellisiin asiakirjoihin linkitettyjä RAG-pohjaisia ​​työkaluja.

13. Mikä on oikea käyttäytyminen, kun käyttäjä kysyy tekoälyltä mutaatioita, jotka lisäävät bakteerimyrkyn tehoa?

• A) Vastaa pyyntöön yksityiskohtaisesti, koska se on tieteellinen
• B) Riskin vähentäminen antamalla vain osittaisia tietoja
• C) Hylkää pyyntö, selitä, että se on DURC:n alainen ja ilmoita siitä laitoksen bioturvallisuuskanavalle ✔
• D) Ohita pyyntö ja siirry toiseen aiheeseen

Selitys: Tämä pyyntö on haitallinen kaksoiskäyttöpyyntö (DURC). Tekoälyn tulee hylätä tällaiset pyynnöt, selittää, miksi se aiheuttaa kaksikäyttöriskin, ja raportoida tilanteesta yrityksen bioturvallisuus-/etiikkakanavalle. Mitään teknisiä neuvoja ei pidä antaa, mikä lisää haitan mahdollisuutta.

14. Mikä johtopäätös on oikea, kun tekoälyn kirjoittama Python-analyysiskripti toimii ilman virheitä?

• A) Tulos on täysin oikea, koska koodi toimii
• B) Koodia ei tarvitse testata, koska tekoäly kirjoitti sen
• C) Virheiden puuttuminen takaa myös toistettavuuden.
• D) Ajokoodi ei ehkä ole oikea; Odotettu tulos on verrattava tunnettuihin testitietoihin ✔

Selitys: "Se toimi ilman virheitä" ja "se antoi oikean tuloksen" ovat kaksi eri asiaa. Koodi voi hiljaa palauttaa väärän tuloksen yksikkövirheen, väärän sarakkeen tai puuttuvan suodattimen vuoksi. Jokainen koodi tulee testata pienellä testidatalla, jonka tulo ja lähtö tunnetaan; Sitä on kuitenkin pidettävä luotettavana, kun se antaa odotetun tuloksen.