Projekt kompleksowy: przepływ pracy i weryfikacja bioinżynierii wspomaganej sztuczną inteligencją w języku Python

Zyski:

• Możliwość zaprojektowania siedmioetapowego przepływu pracy od pytania do zweryfikowanego wyniku poprzez umieszczenie bramki weryfikacyjnej na każdym kroku
• Umiejętność weryfikacji kodu Pythona napisanego przez sztuczną inteligencję ze znanymi danymi testowymi i rozróżnienia pomiędzy „kodem działającym” a „kodem poprawnym”
• Spraw, aby analiza była odtwarzalna (wersja, nośnik, materiał siewny, dokument) i sporządzaj raporty z weryfikacją na mokro, przejrzystością i aprobatą ekspertów

Poznaliśmy elementy poprzednich dziewięciu jednostek: analiza sekwencji, omika, modelowanie białek, projektowanie eksperymentów, dane laboratoryjne, bioprzetwarzanie, literatura i etyka. W tej ostatniej części połączymy elementy i zbudujemy kompleksowy przepływ pracy — łańcuch od pytania badawczego do potwierdzonych wniosków, w którym sztuczna inteligencja pomaga na każdym kroku, ale każdą krytyczną decyzję i weryfikację podejmuje człowiek. Omówimy także Pythona, który jest szkieletem tego łańcucha, oraz dyscyplinę odtwarzalności – możliwość powtórzenia analizy przez kogoś innego, z tymi samymi danymi, aby dać ten sam wynik.

Celem nie jest udostępnienie indywidualnych narzędzi, ale odpowiedzialne nastawienie do przepływu pracy: będziesz wiedział, gdzie umieścić sztuczną inteligencję, gdzie umieścić bramkę weryfikacyjną i jak zapewnić identyfikowalność całego procesu.

Dlaczego Python?

Językiem bioinformatyki i biologii obliczeniowej jest Python (i R). Ponieważ możesz zautomatyzować i sprawić, że prawie każdy krok będzie powtarzalny dzięki bibliotekom open source (Biopython do analizy sekwencji, pandy do tabel danych, scikit-learn do uczenia maszynowego, matplotlib do wizualizacji). Sztuczna inteligencja ma ogromną moc w pisaniu kodu w Pythonie; Jednak zaakceptowanie wygenerowanego kodu bez uruchomienia i sprawdzenia go jest niebezpieczne — kod może po cichu zwrócić błędny wynik (błąd jednostki, zła kolumna, pominięty filtr).

Uwaga: Nawet jeśli kod napisany przez sztuczną inteligencję działa, może nie być poprawny. „Zadziałało bez błędów” i „ dało poprawny wynik ” to dwie różne rzeczy. Wypróbuj każdy kod z małymi, znanymi danymi testowymi: czy dane wejściowe i wyjściowe są zgodne z oczekiwaniami? Tylko w ten sposób można wyłapać ciche błędy.

Anatomia przepływu pracy

Odpowiedzialny proces bioinżynierii oparty na sztucznej inteligencji opiera się na następujących ramach:

1. Pytanie i hipoteza. Jasne, sprawdzalne pytanie. (AI może inspirować; ty wyjaśniasz.)
2. Zbieranie danych i kontrola prywatności. Skąd pochodzą dane, z nośników osobistych lub zatwierdzonych? (część 9.)
3. Przetwarzanie wstępne i kontrola jakości. Czyszczenie, normalizacja, kontrola partii. (Część 2-3.)
4. Analiza. Statystyka, modelowanie, prognozowanie. (Brama weryfikacyjna na każdym kroku.)
5. Komentarz. Uderzenie w biologiczny umysł, rozróżnienie korelacja-przyczyna.
6. Weryfikacja laboratorium na mokro. Hipotezę krytyczną sprawdza się eksperymentalnie. (Część 1, 4, 5.)
7. Raportowanie i przejrzystość. Powtarzalny kod, oświadczenie AI, zatwierdzenie eksperta. (Jednostka 8-9.)

Każdy krok ma punkt kontrolny — punkt, w którym weryfikowane są wyniki przed przejściem do następnego kroku. AI przyspiesza jeden krok, nie można przejść do następnego kroku bez minięcia drzwi.

Wskazówka: Zapisz swój przepływ pracy jako skrypt i notatnik; Niech dane wejściowe, wyniki i decyzje na każdym etapie zostaną udokumentowane. Możliwość odpowiedzi na pytanie „jak uzyskałem taki wynik” w ciągu kilku minut po miesiącach jest na wagę złota zarówno dla nauki, jak i audytu.

Powtarzalność: pewność wyniku

Wynik jest wiarygodny tylko wtedy, gdy może go powtórzyć ktoś inny. Cztery filary odtwarzalności to: (1) kod znajduje się pod kontrolą wersji (za pomocą gita), (2) środowisko jest naprawione (rejestrowane są wersje bibliotek, np. wymagania.txt lub środowisko conda), (3) rejestrowane są dane i losowe nasiona, (4) każdy krok jest dokumentowany. Sztuczna inteligencja pomaga budować tę infrastrukturę, ale to od Ciebie zależy egzekwowanie dyscypliny.

trzy mini etui

Przypadek 1 — wykryto błąd cichego kodu. Jeden zespół użył skryptu normalizacyjnego napisanego przez sztuczną inteligencję; Kod działał bez błędów. Kiedy wypróbowali to ze znanymi danymi testowymi, odkryli, że dane wyjściowe przesunęły się 1000 razy — skrypt wykonywał nieprawidłową konwersję jednostek. Małe dane testowe wychwyciły błąd, który zakłócił całą analizę.

Przypadek 2 – Zachowana odtwarzalność. Po transmisji sędzia zażądał powtórki wyniku. Zespół odtworzył analizę dosłownie w 20 minut, ponieważ miał wersję kodu w Git i przypięte środowisko. Konkurencyjna grupa, która nie rejestrowała środowiska, przez tygodnie nie była w stanie spełnić tej samej prośby.

Przypadek 3 – Weryfikacja kompleksowa. W przypadku projektu enzymatycznego przebieg pracy wyglądał następująco: sztuczna inteligencja zaproponowała hipotezę z literatury (zweryfikowaną), model białka uszeregował potencjalne mutacje (testowane eksperymentalnie), DoE zmniejszyło liczbę eksperymentów, jedna z trzech mutacji zwiększyła aktywność 1,9-krotnie. Sztuczna inteligencja przyspieszana na każdym kroku, weryfikacja przez człowieka przy każdych drzwiach; Wynik był zarówno szybki, jak i możliwy do obrony.

Cztery szablony do kopiowania

1) Ustalenie szkieletu przepływu pracy:

Twoja rola: konsultant projektu z zakresu biologii obliczeniowej. Zaprojektuj kompleksowy przepływ pracy, aby odpowiedzieć na następujące pytanie: [pytanie]. Na każdym etapie (1) co robić, (2) gdzie sztuczna inteligencja pomaga, (3) jakie powinny być ramy walidacji, (4) jakiego narzędzia użyć. Uwzględnij etap walidacji laboratorium mokrego i przezroczystości.

2) Kod Pythona + żądanie testowe:

Twoja rola: programista bioinformatyki. Napisz funkcję Pythona, która wykonuje następujące zadanie: [job]. Biblioteka: [pandy/Biopython]. Dodaj także przykład walidacji z mało znanymi danymi testowymi: jakie są dane wejściowe, jaki jest oczekiwany wynik. Uruchomię kod i sprawdzę go za pomocą danych testowych. Nieistniejące dopasowanie funkcji/parametrów.

3) Kontrola odtwarzalności:

Chcę, aby moja analiza była powtarzalna. Podaj mi listę kontrolną: kontrola wersji, przypinanie środowiska (wymagania/conda), losowe ziarno, rejestracja źródła danych, dokumentacja kroków. Podaj praktyczny sposób zastosowania każdego przedmiotu.

4) Kontrola walidacji wyniku:

Chcę przeprowadzić ostateczną weryfikację przed umieszczeniem wyniku analizy w raporcie. Proszę o listę kontrolną zawierającą następujące pytania: czy wynik jest biologicznie wiarygodny, czy statystyki są dokładne (wielokrotne badania, próbka), czy został potwierdzony niezależnymi metodami, czy jest zależny od źródła, czy wymagany jest test na mokro, czy wydano oświadczenie dotyczące sztucznej inteligencji?

Słaba zachęta/silna zachęta

Słaba zachęta:

Napisz mi kod w Pythonie, który analizuje te dane.

Niejasna misja, brak testów, brak weryfikacji; cichy, podatny na błędy.

Potężny monit:

Twoja rola: programista bioinformatyki. Dla pliku CSV (kolumny: gen, średnia_kontrolna, średnia_leczenia, wartość p) z pandami: (1) dodaj kolumnę zmiany log2-krotności, (2) oblicz wartość p skorygowaną przez BH, (3) odfiltruj padj<0,05 i |log2FC|>1. Pokaż także oczekiwany wynik z 5 wierszami przykładowych danych, abym mógł to zweryfikować. Nie używaj błędnej nazwy kolumny lub nieistniejącej funkcji.

Różnica: jasna misja, jasne statystyki, walidacja danymi testowymi i zakaz fabrykacji.

Kompleksowe bramy walidacji przepływu pracy

krok

Wkład AI

bramka weryfikacyjna

hipoteza

inspiracja, literatura

Czy można go przetestować, czy jest spawany?

Dane/prywatność

lista kontrolna

Deidentyfikacja, zatwierdzone środowisko

wstępne przetwarzanie

skrypt

Kontrola partii/QC

Analiza

kod, wzór

Dane testowe, pojazd niezależny

Komentarz

projekt

Umysł biologiczny, korelacja-przyczynowość

weryfikacja na mokro

Plan eksperymentu

Prawdziwy wynik eksperymentu

Raport

projekt

Powtarzalność, przejrzystość, akceptacja ekspertów

Typowe błędy

• Myślenie, że działający kod jest poprawny. „Pracowano bez błędów” ≠ „poprawny wynik”; należy wypróbować na danych testowych.
• Omijanie bramek weryfikacyjnych. Mijanie drzwi ze względu na prędkość naraża na ryzyko wszystkie kolejne kroki.
• Zaniedbanie powtarzalności. Bez rejestracji środowiska/wersji wynik nie jest powtarzalny.
• Opóźnianie/pomijanie weryfikacji na mokro. Nie można podjąć decyzji, dopóki przewidywania komputerowe nie zostaną potwierdzone eksperymentalnie.
• Zapominając o przejrzystości i zgodzie ekspertów. Ostateczny podpis i deklaracja AI stanowią część przepływu pracy.

Podsumowując

Odpowiedzialna bioinżynieria wykorzystuje sztuczną inteligencję nie jako pojedyncze narzędzia, ale jako część kompleksowego przepływu pracy połączonego z bramkami walidacyjnymi. Podstawą tego przepływu jest język Python i powtarzalność; AI pisze kod, ale weryfikujesz go danymi testowymi, ponieważ działający kod nie jest poprawnym kodem. AI przyspiesza na każdym kroku, człowiek weryfikuje przy każdych drzwiach; Krytyczne hipotezy są testowane w mokrym laboratorium, a wyniki przedstawiane są w sposób przejrzysty i za zgodą ekspertów. Istota tego modułu zawarta jest w jednym zdaniu: Wykorzystaj prędkość AI, zachowaj decyzję i odpowiedzialność w człowieku.

Zadanie aplikacji

Zaprojektuj przepływ pracy od początku do końca dla własnego pytania badawczego. Poproś AI o opracowanie siedmioetapowego planu z szablonem „szkieletu przepływu pracy” i dodanie do każdego kroku własnej bramki weryfikacyjnej. Następnie wydrukuj skrypt z szablonem „Kod Pythona + żądanie testu” dla jednego z etapów analizy, uruchom go z małymi danymi testowymi i udowodnij, że dane wyjściowe są prawidłowe. Na koniec przygotuj listę „kontroli walidacji wyników” i przygotuj przepływ pracy do raportowania. Nagraj cały proces w odtwarzalnym formacie (kod + nośnik + dokument).

lista kontrolna

• [ ] Zaprojektowałem przepływ pracy składający się z siedmiu kroków i bramki weryfikacyjnej na każdym kroku.
• [ ] Zweryfikowałem kod napisany przez AI ze znanymi danymi testowymi.
• [ ] Zapewniłem powtarzalność analizy (wersja, środowisko, materiał siewny, dokument).
• [ ] Krytyczną hipotezę przypisałem walidacji w mokrym laboratorium.
• [ ] W przepływ pracy włączyłem mechanizmy kontroli prywatności danych i bezpieczeństwa biologicznego.
• [ ] Uzupełniłem raport przejrzystym oświadczeniem AI i zgodą eksperta.

Egzamin modułowy

1. Które z poniższych jest najdokładniejszym umiejscowieniem sztucznej inteligencji w bioinżynierii?

• A) sztuczna inteligencja jest narzędziem do sprawdzania i opracowywania projektów; Odpowiedzialność za decyzje decydujące o znaczeniu biologicznym i bezpieczeństwie spoczywa na człowieku ✔
• B) Sztuczna inteligencja może wprowadzić potencjalne cząsteczki bezpośrednio do produkcji bez zgody człowieka
• C) Ponieważ sztuczna inteligencja jest zawsze bardziej obiektywna niż człowiek, interpretację biologiczną należy jej pozostawić.
• D) Sztuczna inteligencja przydaje się jedynie do streszczania tekstu, nie ma ona nic wspólnego z danymi laboratoryjnymi

Opis: Sztuczna inteligencja; Jest to asystent, który skanuje obszerne i zaszumione dane, zaznacza wzory i tworzy szkice. Znaczenie biologiczne, bezpieczeństwo i ostateczną decyzję podejmuje kompetentny ekspert; niezweryfikowany wydruk może narazić pacjenta, partię produkcyjną lub publikację na ryzyko. W obszarach krytycznych dla bezpieczeństwa wyniki sztucznej inteligencji nie zastępują zgody eksperta.

2. Jaki jest cel etapu „łączenia źródeł” podczas sprawdzania wyników AI?

• A) Eliminacja sfabrykowanych (halucynacyjnych) wniosków poprzez powiązanie każdego twierdzenia z konkretnymi danymi lub oryginalnym źródłem ✔
• B) Sprawienie, że dane wyjściowe będą bardziej płynne i czytelne
• C) Pomijanie walidacji, aby szybciej zakończyć analizę
• D) Przyjmowanie odniesień dostarczonych przez sztuczną inteligencję takimi, jakie są

Opis: sztuczna inteligencja jest płynna, ale czasami wywołuje halucynacje; może przedstawiać nieistniejący gen, ścieżkę lub odniesienie jako rzeczywisty. Powiązanie każdego twierdzenia z twardymi danymi lub oryginalnym źródłem zapobiega przedostawaniu się sfabrykowanych wniosków do raportu lub publikacji.

3. Co podczas interpretacji wyniku BLAST lub dopasowania sekwencji jest wymagane do oceny „pewnego” dopasowania?

• A) Patrząc tylko na długość sznurka
• B) Bezpośrednie oparcie się na nazwie typu nadanej przez sztuczną inteligencję
• C) Łączna ocena wskaźników dopasowania, takich jak procent identyczności, pokrycie i wartość e ✔
• D) Po prostu liczę, ile linii jest wynikiem

Opis: Do sprawdzenia interpretacji szeregu wymagane są metryki, takie jak procent identyczności, pokrycie i wartość e. Mała wartość e wskazuje, że podobieństwo nie jest przypadkowe. Bez tych wskaźników interpretacja „to jest to białko” nie może zostać zweryfikowana i może być halucynacją.

4. Dlaczego „skorygowana wartość p” (padj) jest używana podczas jednoczesnego badania 20 000 genów w analizie różnicowej ekspresji RNA?

• A) Aby zwiększyć zmianę piętra
• B) Aby kontrolować wyniki fałszywie pozytywne w wyniku wielokrotnych testów i ograniczyć odsetek fałszywych odkryć ✔
• C) Aby zmniejszyć wielkość próbki
• D) Aby przyspieszyć analizę

Wyjaśnienie: Kiedy testuje się tysiące genów w tym samym czasie, nawet przez przypadek setki genów mogą okazać się „istotne”. Wielokrotna korekta testowa, taka jak Benjamini-Hochberg, ogranicza współczynnik fałszywych odkryć. W przypadku surowej wartości p lista staje się mylnie spuchnięta; Używanie padj jest niezbędne dla naukowej obrony.

5. Jaka pułapka pojawia się w analizie omicznej, gdy dwie grupy terapeutyczne są przetwarzane w różnych dniach, co prowadzi do pomylenia różnicy technicznej z różnicą biologiczną?

• A) Błąd zmiany piętra
• B) Optymalizacja kodonów
• C) Efekt wsadowy ✔
• D) Efekt krawędziowy

Wyjaśnienie: Efekt wsadowy to różnica techniczna wynikająca z przetwarzania próbek przez różne dni, urządzenia lub osoby i jest największym źródłem błędów w analizie omicznej. Przed przystąpieniem do analizy należy sporządzić wykres PCA i sprawdzić, czy próbki są pogrupowane według stanu biologicznego lub partii.

6. Co oznacza wynik pLDDT dla przewidywania struktury białka uzyskanego za pomocą AlphaFold i jak należy go stosować?

• A) Pokazuje poziom ufności modelu dla każdego regionu; Należy unikać twierdzeń opartych na strefach niskiego zaufania ✔
• B) Mierzy szybkość zwijania się białka i można ją zignorować
• C) Dowodzi, że białko ma precyzyjną strukturę, która została ustalona eksperymentalnie.
• D) Bezpośrednio zapewnia powinowactwo dokowania

Opis: pLDDT to wynik pewności, który wskazuje, jak pewny jest model dla każdego aminokwasu. Wysokie wartości (>90) są na ogół wiarygodne; niższe wartości (<50) często wskazują obszary nieregularne lub niejasne. Twierdzenie, że mechanizmy oparte na regionach o niskim poziomie zaufania jest mylące; Struktury krytyczne należy zweryfikować eksperymentalnie.

7. Jak należy interpretować wyniki dokowania molekularnego przy projektowaniu leku/enzymu?

• A) Należy to uważać za absolutne powinowactwo wiązania.
• B) Zapewnia, że cząsteczka nigdy się nie zwiąże
• C) Jest to względne narzędzie do porządkowania cząsteczek przed eksperymentem; Ostateczną decyzję podejmuje się na podstawie eksperymentalnego pomiaru powinowactwa ✔
• D) Sam lek wystarczy do uzyskania akceptacji klinicznej

Komentarz: Wyniki dokowania są względne i nie przewidują rzeczywistego powinowactwa wiązania; Odsetek wyników fałszywie dodatnich jest wysoki. Prawidłowe zastosowanie polega na sekwencjonowaniu tysięcy cząsteczek przed eksperymentami i wyróżnianiu najbardziej obiecujących. Ostateczną decyzję podejmuje się na podstawie eksperymentalnego pomiaru powinowactwa, takiego jak SPR lub ITC.

8. Jaka jest główna wada metody „jedna zmienna na raz” (OFAT) dla inżyniera bioprocesu chcącego zoptymalizować pięć parametrów?

• A) Pomija interakcje pomiędzy parametrami ✔
• B) Zawsze wymaga niewielkiej ilości eksperymentów
• C) Zwiększa moc statystyczną
• D) Automatycznie eliminuje efekt wsadowy

Objaśnienie: Metoda OFAT pomija interakcje pomiędzy parametrami; może wysoka temperatura jest dobra tylko przy niskim pH. Projektowanie eksperymentów (DoE) wychwytuje interakcje i zmniejsza liczbę eksperymentów dzięki projektom czynnikowym, które zmieniają parametry łącznie i w sposób zrównoważony.

9. Jakie jest właściwe podejście, gdy model optymalizacyjny zaleca temperaturę, która zabije kulturę w laboratorium?

• A) Wdrażanie sugestii w niezmienionej postaci, ponieważ model jest mądrzejszy
• B) Nadanie modelowi granic bezpieczeństwa i fizjologicznych jako ograniczeń i sprawdzenie każdej sugestii wiedzą laboratoryjną ✔
• C) Całkowite porzucenie optymalizacji
• D) Spróbuj zignorować limit temperatury

Wyjaśnienie: Model nie zna granic fizjologicznych i bezpieczeństwa; Optimum matematyczne może być niebezpieczne lub niemożliwe. Właściwym podejściem jest nadanie modelowi granic bezpieczeństwa i fizjologicznych jako ograniczeń oraz sprawdzenie każdej sugestii w oparciu o wiedzę laboratoryjną. Granica fizyczna przewyższa maksimum matematyczne.

10. Co jest obowiązkowe przy ocenie wyniku automatycznego zliczania komórek lub sortowania fluorescencyjnego?

• A) Bezpośrednia akceptacja wyniku, ponieważ model jest szybszy od człowieka
• B) Podawanie tylko liczby obrazów
• C) Patrzenie tylko na obraz o najwyższym sygnale
• D) Ręcznie sprawdź wynik na próbce i zatwierdź odpowiednimi kontrolami (w tym negatywnymi, niezabarwionymi) ✔

Opis: Wynik automatyczny należy ręcznie zweryfikować na próbce, a każdy pomiar należy potwierdzić odpowiednimi kontrolami (pozytywna, negatywna, ślepa, niezabarwiona). Na przykład, jeśli w niezabarwionej kontroli występuje sygnał, może to być autofluorescencja; Bez kontroli automatyczna analiza nie jest w stanie odróżnić prawdziwego sygnału od artefaktu.

11. Co należy zrobić, jeśli propozycja optymalizacji bioprocesu zwiększa wydajność, ale usuwa krytyczny atrybut jakości (CQA) poza specyfikację?

• A) Ponieważ wydajność jest ważna, preferowana jest opcja o wysokiej wydajności
• B) Wydajność utrzymuje się poprzez złagodzenie limitu CQA
• C) Decyzję należy do sztucznej inteligencji
• D) Jakość jest ważniejsza od wydajności; Preferowana jest opcja jakości mieszcząca się w przestrzeni projektowej ✔

Opis: W bioprzetwarzaniu jakość przewyższa wydajność; Aby produkt był bezpieczny i skuteczny, należy zachować limity CQA (czystość, glikozylacja, aktywność). Jeśli punkt maksymalizujący wydajność pogarsza jakość, preferowana jest opcja jakości pozostająca w przestrzeni projektowej.

12. Jakie jest główne ryzyko, gdy model językowy ma „znaleźć 10 artykułów na ten temat i je podsumować”?

• A) Model działa bardzo wolno
• B) Model może generować realistyczne, ale nieistniejące (sfabrykowane) odniesienia bez przeprowadzania prawdziwego wyszukiwania ✔
• C) Model zawsze znajduje zbyt wiele artykułów
• D) Model zwraca tylko stare artykuły

Wyjaśnienie: Zwykłe narzędzia do czatu często nie przeprowadzają rzeczywistych wyszukiwań; generuje statystycznie „pozornie prawdopodobne” odpowiedzi z pamięci. Oznacza to realistyczne, ale fałszywe odniesienia (zmyślony autor, czasopismo, DOI). Każdą referencję należy zweryfikować z faktyczną bazą danych (PubMed, DOI) i w miarę możliwości zastosować narzędzia oparte na RAG powiązane z rzeczywistymi dokumentami.

13. Jakie jest prawidłowe zachowanie, gdy użytkownik prosi sztuczną inteligencję o mutacje, które zwiększą skuteczność toksyny bakteryjnej?

• A) Odpowiadając szczegółowo na prośbę, ponieważ ma ona charakter naukowy
• B) Ograniczanie ryzyka poprzez podanie jedynie częściowych informacji
• C) Odrzuć wniosek, wyjaśnij, że podlega DURC i zgłoś go do instytucjonalnego kanału bezpieczeństwa biologicznego ✔
• D) Zignoruj prośbę i przejdź do innego tematu

Wyjaśnienie: To żądanie jest żądaniem szkodliwym w ramach podwójnego zastosowania (DURC). Sztuczna inteligencja powinna odrzucić takie wnioski, wyjaśnić, dlaczego stwarza to ryzyko podwójnego zastosowania, i zgłosić sytuację korporacyjnemu kanałowi ds. bezpieczeństwa biologicznego/etyki. Nie należy udzielać żadnych porad technicznych, które zwiększają ryzyko szkód.

14. Jaki wniosek jest słuszny, gdy napisany przez sztuczną inteligencję skrypt analityczny Pythona działa bez błędów?

• A) Wynik jest całkowicie poprawny, ponieważ kod działa
• B) Nie ma potrzeby testowania kodu, ponieważ napisała go sztuczna inteligencja
• C) Brak błędów gwarantuje również powtarzalność.
• D) Uruchomiony kod może być nieprawidłowy; Oczekiwaną wydajność należy zweryfikować w oparciu o znane dane testowe ✔

Wyjaśnienie: „Zadziałało bez błędów” i „ dało poprawny wynik” to dwie różne rzeczy. Kod może po cichu zwrócić błędny wynik z powodu błędu jednostki, niewłaściwej kolumny lub pominiętego filtra. Każdy kod powinien zostać przetestowany za pomocą małych danych testowych, których dane wejściowe i wyjściowe są znane; Należy jednak uznać ją za wiarygodną wtedy, gdy daje oczekiwany rezultat.