Ponovljivost in projekt od konca do konca: združevanje vsega

Dobički:

• Sposobnost zagotavljanja ponovljivosti s štirimi stebri (fiksacija semena, različica podatkov, zamrznitev medijev, spremljanje eksperimenta) in ustvarjanje enakega rezultata pri ponavljanju istega postopka
• Zmožnost kombiniranja vseh postankov modula (metrike, podatki, model, komponente LLM, vrednotenje, pravičnost, varnost, distribucija, spremljanje) v verigi od konca do konca
• Sposobnost preverjanja, ali kritična odločitev ostane pri človeku ob vsakem postanku, in dokumentiranja projekta na revizijski način

Najbolj zahrbtna napaka projekta ML ni zrušitev; "Ne dobim več enakega rezultata." Če danes ne morete reproducirati rezultata modela, ki ste ga dali v proizvodnjo pred tremi meseci, tega modela v resnici ne nadzorujete. V tej zaključni enoti poglabljamo ponovljivost: sposobnost zanesljivega pridobivanja enakega rezultata z enakimi vložki in združevanja celotnega modula v projektno disciplino od konca do konca.

Zakaj je ponovljivost težka

V navadni programski opremi ista koda daje enak rezultat. V ML je veliko več spremenljivk, ki določajo rezultat:

• Naključnost: Mešanje podatkov, inicializacija teže, razdelitev podatkov — vse se zanaša na naključnost.
• Podatki: Ista koda ustvari drugačen model z drugačno različico podatkov.
• Okolje: Različice knjižnice, strojna oprema (CPE/GPE), celo operacijski sistem lahko spremenijo rezultat.
• Skrit primer: neshranjen hiperparameter, korak ročne predprocesiranja, neopažena izbira.

Ponovljivost ni "lepo imeti", ampak znanstveni in inženirski imperativ. Rezultat, ki ga ni mogoče reproducirati, je trditev, ki je ni mogoče dokazati.

Štirje stebri ponovljivosti

1. Popravite naključnost. Nastavite vsa naključna semena na enem mestu: razdelitev podatkov, inicializacija modela, mešanje podatkov. Fiksno seme je osnova jamstva "isti rezultat, ko ponovite isto vožnjo".

2. Različica podatkov. Zapišite, s katero različico podatkov je bil izveden posamezen poskus (različica podatkov v enoti 2). »Najnovejši podatki« so nejasni; "data version v3, hash abc123" je natančen.

3. Zamrznite medij. Pripnite vse odvisnosti na njihove natančne različice (npr. natančne različice, kot je numpy==1.26.4 v requirements.txt, ali slika vsebnika). "Najnovejša verzija" bo nekega dne vse pokvarila.

4. Sledite vsemu (sledenje poskusu). Samodejno shranite za vsak poskus: različico kode (git commit), različico podatkov, vse hiperparametre, meritve in izhodne strukture. Orodja za sledenje eksperimentom, kot so MLflow, Weights & Biases, to počnejo sistematično. Brez registracije ostaja vprašanje "katera nastavitev je bila najboljša" brez odgovora.

Pozor: "Spomnil se bom pozneje" je najdražja zmota. Dva tedna pozneje se ne boste spomnili, katero seme, katere podatke, kateri hiperparameter ste uporabili. Samodejno sledenje odpravlja odvisnost od pomnilnika.

Šibek pristop / Močan pristop

Slab: "Našel sem najboljši model, v zvezku je, mislim, da je bil njegov rezultat 89 %."

Močno: "Zaženi #147 v orodju za sledenje poskusu: git commit a3f9c, podatkovna različica v3 (hash abc123), seme 42, vsi hiperparametri registrirani, test PR-AUC 0,887. Ko znova zaženem isti ukaz, dobim enak rezultat po delih. Model je odvisen od tega zagona v registru."

Razlika: pri močnem pristopu rezultat ne temelji na spominu, temveč na fiksni in nadzorovani verigi. Vsak lahko vsakič ustvari enak rezultat.

Projekt od konca do konca: kombinacija modula

Sedaj pa združimo celoten modul v en potek projekta. Pravi sistem ML gre skozi te postanke in vsak postanek temelji na prejšnjem:

1. Opredelitev problema: Kaj rešujemo, kako meriti uspeh (enota 3: prava metrika, poslovni kontekst). Meritev in prag sta že od začetka jasna.
2. Podatkovni cevovod: zbiranje, validacija, čiščenje, particioniranje brez puščanja, različice (enota 2).
3. Razvoj modela: Usposabljanje, primerjava osnovnih linij, navzkrižno preverjanje, trdo seme (enota 3 + ta enota).
4. Komponente LLM (če je primerno): RAG (enota 4) in/ali sredstva (enota 5); po potrebi fino nastavitev (enota 6).
5. Evalvacija: eval grozd z robnimi in varnostnimi primeri, večplastna eval v LLM sistemih (enota 8).
6. Revizija pravičnosti in etike: analiza podskupin, modelna kartica, razložljivost (enota 10).
7. Varnostna revizija: Hitro vbrizgavanje, zasebnost, dobavna veriga (enota 9).
8. Distribucija: Pakiranje, postopna distribucija, povrnitev, register modelov (enota 7).
9. Monitoring: Troslojni nadzor, alarmi zanašanja (enota 8).
10. Ponovljivost: seme, različica podatkov, mediji in sledenje poskusom v celotni verigi (ta enota).

V tem toku je AI pospeševalnik in generator načrtov na vsakem postanku; vendar izbira meritev, odločitve o podatkih, določanje prednosti pravičnosti, prag uvajanja in odobritev izdaje – kritične odločitve ostanejo v rokah človeka. To je bistvo modula.

Dokumentacija: prihodnost vam bo hvaležna

Dober projekt ML dokumentira samega sebe. Napisati je treba najmanj naslednje: kriterije problema in uspeha, vir in različico podatkov, izbor modelov in utemeljitve, rezultate vrednotenja (vključno s podskupinami), znane omejitve in tveganja, postopek uvajanja in priklica, načrt spremljanja. Ta dokument je najboljši prijatelj osebe (morda ste to vi), ki se vrne k projektu po šestih mesecih.

trije mini kovčki

Primer 1 - Izgubljeni rezultat. Inženir je usposobil odličen model, vendar ni popravil semena in ni shranil podatkovne različice. Ko je zapustil službo, nihče ni mogel ponoviti tega rezultata; model je postal "legenda črne skrinjice" in je bil sčasoma izdelan iz nič. Tedni so bili izgubljeni. Nauk: neponovljiv rezultat je neobstoječ rezultat.

Primer 2 - Kolaps okolja. Ena ekipa ni popravila odvisnosti. Ko je bila knjižnica samodejno posodobljena, so se rezultati modela tiho spremenili in proizvodnja je bila motena. Trajalo je nekaj dni, da smo odkrili težavo. Ko so bile odvisnosti zamrznjene in zaprte z dokončnimi različicami, se težava ni več pojavila. Lekcija: zamrzni okolje.

Primer 3 - Moč spremljanja. Ekipa je samodejno spremljala vsak poskus. Tri mesece pozneje so med regulatorno revizijo odgovorili na vprašanje "s kakšnimi podatki, s kakšnimi nastavitvami, kakšno uspešnost je dosegel v katerih skupinah?" s popolnim posnetkom v nekaj minutah. Pregled je potekal gladko. Nauk: spremljanje je orodje za skladnost, ne le inženirsko.

Kopirane predloge

Opravite preverjanje ponovljivosti za ta projekt ML.– Ali so vsa semena naključnosti popravljena (razdeli, inicializiraj, premešaj)?– Ali so podatki verzionirani?– Ali so odvisnosti zamrznjene na natančne različice?– Ali se sledi vsakemu poskusu (izvedba kode, podatki, hiperparameter, metrika)? Napišite konkretne korake, kako to popraviti za vsak manjkajoči stolpec. Struktura projekta: [opis]

Izdelajte okvir načrta za ta celovit projekt ML. Težava: [opis] Pokrijte naslednje postaje in na vsaki postaji označite, kje je ČLOVEŠKA odločitev: problem/metrika, cevovod, model, (RAG/agent/fina nastavitev?), vrednotenje, pravičnost, varnost, distribucija, spremljanje, ponovljivost. Napišite glavno tveganje in korak preverjanja za vsak postanek.

Izdelajte predlogo tehnične dokumentacije za ta projekt. Oddelki: problem+merila uspeha, podatki (vir+različica), izbori modela+utemeljitev, vrednotenje (vključno s podskupinami), znane omejitve+tveganja, uvedba+povrnitev, načrt spremljanja. Polja, ki jih je treba izpolniti za vsak razdelek, navedite kot vprašanja.

Preverite mojo nastavitev spremljanja eksperimenta: Ali se samodejno shrani ob vsakem zagonu: git commit, podatkovna različica/hash, vsi hiperparametri, vse meritve, okolje (različice knjižnice)? Ali dobim enak rezultat, ko ponovno izvedem isto vožnjo? Nastavitev: [opis]. Navedite napake in popravke.

Tabela stolpcev obnovljivosti

stolpec

Kaj je popravljeno

Primer vozila

naključnost

vsa semena

nastavitev semena

podatki

Podatkovna različica/hash

DVC

okolju

Različice knjižnice

pin zahtev, Docker

Spremljanje

Koda+podatki+nastavitev+metrika

MLflow, W&B

Pogoste napake

• Ne popravljam semena. Rezultata ni mogoče ponoviti.
• Podatkovna različica se ne shranjuje. "S kakšnimi podatki?" ostaja brez odgovora.
• Ne zamrznitev odvisnosti. Posodobitev bo tiho pokvarila vse.
• Prepuščanje poskusov spominu. Dva tedna pozneje se ne spomni ničesar.
• Prepuščanje kritičnih odločitev umetni inteligenci. Meritve, pravičnost in odločitve o distribuciji morajo ostati pri ljudeh.
• Odložitev dokumentacije. Prihodnja ekipa (in vi) plača ceno.

Če povzamem

Ponovljivost je znak resnega inženiringa ML: neponovljiv rezultat je nedokazljiva trditev. Na voljo je s štirimi stolpci — popravi naključnost, podatke o različici, zamrznitev okolja, sledi vsakemu poskusu. Projekt od konca do konca združuje vse postaje tega modula (metrika, podatki, model, komponente LLM, vrednotenje, pravičnost, varnost, distribucija, spremljanje) v medsebojno povezani verigi; Umetna inteligenca je pospeševalnik na vsakem postanku, a kritične odločitve ostajajo v rokah človeka. Dokumentirajte vse — za prihodnje ekipe in revizije. Ta disciplina je okvir, ki podpira vse, kar se naučite skozi modul.

Aplikacijska naloga

Preverite projekt ML glede na štiri stebre ponovljivosti: ali so semena nespremenljiva, ali so podatki verzionirani, ali je okolje zamrznjeno, ali se poskusom sledi? Popravite morebitne manjkajoče stolpce in dokažite, da lahko isti postopek izvedete dvakrat in dobite enak rezultat. Nato izpišite potek projekta od konca do konca (10 postankov) na eni strani in na vsakem postanku označite »kje je človeška odločitev«. Na koncu napišite kratek osnutek tehnične dokumentacije.

kontrolni seznam

• [ ] Vsa semena naključnosti so popravljena.
• [ ] Različica/razpršitev podatkov se zabeleži z vsakim poskusom.
• [ ] Odvisnosti so zamrznjene na trdne različice (pin/vsebnik).
• [ ] Vsak poskus se samodejno spremlja (koda+podatki+nastavitev+metrika).
• [ ] Ko ponovim isto vožnjo, dobim enak rezultat.
• [ ] Preveril in dokumentiral sem, da ključne odločitve v toku od konca do konca sprejemajo ljudje.

Modulni izpit

1. Kateri je kot inženir ML najboljši pristop pri umeščanju umetne inteligence v potek dela?

• A) AI je pospeševalnik v podjetjih z nizkim tveganjem; Kritične odločitve, kot so meritve, podatki in proizvodnja, ostanejo potrjene in prepuščene človeku ✔
• B) Dokler so rezultati AI videti dobri, preverjanje ni potrebno
• C) Prepuščanje odločitve o dajanju modela v proizvodnjo umetni inteligenci prihrani čas.
• D) Umetna inteligenca je uporabna samo za pisanje besedila, nima nič opraviti s podatki in delom z modeli

Opis: umetna inteligenca je močan pospeševalnik za opravila z nizkim tveganjem, ki jih je enostavno preveriti, kot so koda, izvlečki podatkov in dokumenti; Vendar pa odgovornost za odločitve, ki vplivajo na denar, zaupnost in pravno odgovornost, kot je izbira metrike, kateri podatki gredo v usposabljanje in dajanje modela v proizvodnjo, leži na usposobljenem inženirju in ekipi. Vsakega izhoda ne smete uporabljati brez preverjanja.

2. Zakaj je preverjanje veljavnosti sheme postavljeno na začetek podatkovnega cevovoda?

• A) Ker neposredno poveča natančnost modela
• B) Ker je zaradi tega različica podatkov nepotrebna
• C) Ker ujame poškodovane podatke na najzgodnejši in najcenejši točki in prepreči njihovo uhajanje v naslednje korake ✔
• D) Ker odpravlja potrebo po označevanju

Pojasnilo: prej kot so ujeti poškodovani podatki, ceneje jih je popraviti. Preverjanje sheme preprečuje, da bi poškodovani podatki tiho uhajali v usposabljanje ali proizvodnjo, tako da na začetku vrstice zavrne podatke zunaj pričakovane vrste in obsega (npr. 100-kratni premik cene s spremembo enote); Ista napaka, ulovljena v proizvodnji, je večkrat dražja.

3. Kakšen je pravilen pristop pri delitvi podatkov na usposabljanje in testiranje v problemu, ki vključuje čas (časovne vrste)?

• A) Uporaba naključne delitve, ker je vedno najpravičnejša metoda
• B) Uporaba časovnega ločevanja: preprečite uhajanje z usposabljanjem s preteklostjo in testiranjem v prihodnosti ✔
• C) Uporaba vseh podatkov za usposabljanje in testiranje
• D) Vključitev testnih podatkov v parametre skaliranja pred usposabljanjem

Pojasnilo: Naključna delitev na časovne serije daje modelu prednost 'videnja v prihodnost', ki se nikoli ne bo zgodila v proizvodnji, in umetno napihuje meritve (časovno uhajanje). Pravilna je časovna delitev: treniraj s preteklostjo, preizkusi v prihodnosti. To meri dejansko zmogljivost, ki jo ohranja v proizvodnji.

4. Zakaj je natančnost v modelu za odkrivanje goljufij s pozitivno stopnjo razreda 1,5 % zavajajoča?

• A) Ker je natančnost pri neuravnoteženih podatkih vedno nizka
• B) Ker je Natančnost mogoče uporabiti samo pri problemih regresije
• C) Ker izračun natančnosti zahteva veliko procesorske moči
• D) Celo pičli model, ki napoveduje večinski razred, je lahko zelo natančen in tako prikrije pravi uspeh ✔

Pojasnilo: Pri neuravnoteženih podatkih dobi celo osnovni model, ki pravi, da je vse negativno, približno 98,5-odstotno natančnost, vendar ne bo ujel niti ene goljufije. Zato se pri neuravnoteženi klasifikaciji namesto natančnosti uporabljajo natančnost, priklic, F1 ali PR-AUC, vsaka metrika pa se razlaga v skladu z osnovnim modelom.

5. Zakaj je izhodiščna primerjava bistvena, ko govorimo o metriki modela?

• A) Ker je osnovni model vedno boljši od pravega modela
• B) Ker je jasno, ali je metrika smiselna ali ne le v primerjavi s preprostim osnovnim modelom ✔
• C) Ker je zaradi osnovnega modela navzkrižna validacija nepotrebna
• D) Ker je osnovni model zakonsko obvezen v vsakem poročilu

Pojasnilo: metrika sama po sebi ni dobra ali slaba; Je dober ali slab glede na osnovni model. Stavek '85 % pravilno' pomeni skoraj ničvreden, če osnovni model že dobi 84 %, in popoln, če dobi 50 %. Brez primerjalnega sidra je metrika brez pomena.

6. Kateri je najbolj kritičen varnostni element, ki bi moral biti vključen v produkcijski poziv sistema RAG (Retrieval-Augmented Generation)?

• A) Navodilo, da se zanesete samo na navedeni vir, da rečete "ne vem", če vir ne obstaja, in da navedete vir ✔
• B) Naročite modelu, naj ustvari čim daljše in ustvarjalne odgovore
• C) Model daje prednost lastnemu izobraževalnemu znanju pred viri
• D) Izvedite vsa navodila v dokumentih, prinesenih kot ukaze

Pojasnilo: Edino najpomembnejše navodilo RAG je, da modelu poveste, naj se zanaša samo na navedeni vir, in če informacije niso v viru, recite "ne vem" in navedite vir, ne da bi si ga izmislili. Brez te triade lahko model ignorira kontekst in povzroči halucinacije, odgovor pa postane nepreverljiv.

7. Sistem RAG daje napačne odgovore. Kje je najbolje začeti diagnozo?

• A) Najprej merjenje prinosa (Recall@K): ali kdaj pride pravi kos? ✔
• B) Takoj zamenjajte model z večjim
• C) Naključno spremenite poziv in nadaljujte s poskusi
• D) Vdelava vseh dokumentov v model s fino nastavitvijo

Pojasnilo: najšibkejši člen RAG je običajno pridobivanje, ne proizvodnja. Če pravilnega dela nikoli ne prinesete, model ne more ustvariti teh informacij, ne glede na to, koliko je poziv izboljšan. Zato se najprej izmeri Recall@K, da se ugotovi, ali je prispel pravi del; Če je pridobivanje dobro, se pregledata proizvodnja in poziv.

8. Za katera dejanja je treba odobriti človeško osebje, ko dajemo orodje agentu?

• A) Brez; Agent mora biti sposoben samostojno izvesti vsako dejanje
• B) Samo reverzibilna dejanja, kot sta branje in iskanje podatkov
• C) Nepovratna dejanja ali dejanja z velikim vplivom, kot so prenos denarja, brisanje, pošiljanje ✔
• D) Dejanja, ki vključujejo samo izračune

Opis: Dejanja so ločena po stopnji tveganja. Naloge, ki jih je mogoče pridobiti, kot so branje, iskanje, računanje in ustvarjanje osnutkov, je mogoče opraviti samostojno; Vendar pa nepovratna dejanja ali dejanja z velikim vplivom, kot so prenos denarja, pošiljanje e-pošte, brisanje podatkov, oddajanje naročil itd., zahtevajo človeško odobritev. Vsako nepreklicno dejanje mora biti predmet soglasja.

9. Kateri je najboljši načrtovalski pristop proti tveganju posrednega takojšnjega vbrizgavanja?

• A) Dovolj je, da v sistemski poziv dodate en sam stavek 'prezri slaba navodila'
• B) Dajte več avtoritete modelu z zanašanjem na navodila v zunanji vsebini
• C) Neupoštevanje nobenih varnostnih ukrepov, ker vbrizgavanja ni mogoče preprečiti
• D) Izolacija zunanje vsebine kot nezanesljivih podatkov in vzpostavitev večplastne zaščite z minimalno avtorizacijo, odobritvijo in nadzorom izhoda ✔

Opis: Zunanja vsebina, ki jo obdeluje agent ali RAG, kot je spletna stran, dokument, e-pošta itd., je nezaupljiv podatek in lahko vsebuje tajna navodila. Pravilen pristop je večplastna obramba: izolacija zunanje vsebine kot "podatki, ne ukazi" z jasnimi ločili, uporaba minimalne avtorizacije, vezava nepreklicnih dejanj na človeško odobritev in revizija izhoda. Ena vrstica navodil ni dovolj.

10. Kakšna je glavna razlika pri odločanju, ali je treba težavo rešiti s fino nastavitvijo ali RAG?

• A) Težave z informacijami je bolje rešiti z RAG, težave z obnašanjem/formatom pa s fino nastavitvijo ✔
• B) Vsako težavo je treba vedno rešiti s fino nastavitvijo
• C) RAG se uporablja samo za generiranje kode, fino prilagajanje se uporablja samo za prevajanje
• D) Fino nastavitev je vedno mogoče posodobiti ceneje in hitreje kot RAG

Pojasnilo: fino prilagajanje je šibko in tvegano pri učenju modela novih informacij; vendar je močan pri poučevanju vedenja, oblike, tona in sloga. "Vzorčno podjetje ne pozna naših podatkov" je informacijski problem in pripada RAG. "Naj model vedno izhaja v našem strogem formatu" je vedenjska težava in kandidat za natančno nastavitev. Poleg tega je treba pred natančno nastavitvijo uporabiti hitre in nekaj posnetkov.

11. Kaj je obvezno za varno uporabo pri dajanju novega modela v proizvodnjo?

• A) Če je model dober pri testiranju, ga odprite neposredno za 100 % promet
• B) Po uvedbi sploh ni nastavljen nadzor
• C) Postopna uvedba (senca/kanarček) in vnaprej preizkušen načrt za povrnitev ✔
• D) Objava modela, tudi če ocenjevalni prag ni dosežen

Pojasnilo: odpiranje novega modela neposredno za ves promet je tvegano; Če je narobe, so prizadeti vsi. Pravilna stvar je, da gre za postopno distribucijo (senca, kanarček) in ima vsaka distribucija preizkušen načrt za povrnitev. Distribucija ni popolna brez načrta povračila; Možnost vrnitve na prejšnjo različico v nekaj minutah ščiti uporabnika, ko se model v proizvodnji nepričakovano obnaša.

12. Kako lahko model ML "tiho" odpove v proizvodnji in kako to ujeti?

• A) Model se sesuje; to kažejo strežniški dnevniki
• B) z ustvarjanjem napačnih napovedi brez napak; ✔ Zajame operativno, vhodno in izhodno večplastno spremljanje
• C) Model nikoli ne more tiho odpovedati, vedno alarm
• D) Samo spremljanje zakasnitve je dovolj, da ujamete kakršno koli poslabšanje

Pojasnilo: Model lahko odpove preprosto, če proizvede napačne napovedi, ne da bi se zrušil ali dal napake; Glavni razlog za to je zamik podatkov in zamik koncepta. Samo spremljanje operativnih meritev (zakasnitev, stopnja napak) ni dovolj; spremljati je treba tudi porazdelitev vnosa in porazdelitev izhoda/napovedi. Vhodni zamik daje zgodnje opozorilo, če dejanski rezultat zamuja.

13. Katero načelo je bistveno pri uporabi LLM-as-judge za ocenjevanje sistema LLM?

• A) LLM-sodnik je vedno pravilen, človeško preverjanje ni potrebno
• B) Sodnik se mora odločiti le na podlagi dolžine odgovora.
• C) Pri uporabi sodnikov je treba v celoti opustiti kontrole, ki temeljijo na pravilih, in človeško ocenjevanje
• D) Ocene sodnikov je treba umeriti z vzorcem, označenim s človekom, in izmeriti njihovo pristranskost, preden jim lahko zaupamo ✔

Opis: LLM-sodnik je tudi model; Lahko je halucinatorno, pristransko (naklonjeno dolgim, samozavestnim odgovorom) in nedosledno. Zato je treba rezultate sodnikov umeriti s človeškim označenim vzorcem in izmeriti njihovo sistematično pristranskost, preden se sprejme odločitev o proizvodnji. Nepreverjen sodnik daje lažno zaupanje.

14. Zakaj je pri ocenjevanju pristranskosti modela opazovanje splošne natančnosti neustrezno?

• A) Splošna natančnost je zadostna, ker vedno odraža uspešnost najslabše skupine
• B) Sama splošna natančnost je nezadostna, saj lahko prikrije sistematično razliko (skrito diskriminacijo) med podskupinami ✔
• C) Ker je natančnost metrika, ki nima nobene zveze s pristranskostjo
• D) Pristranskost izhaja le iz modela in nima nobene zveze s podatki.

Pojasnilo: Splošna natančnost lahko zakrije sistematične razlike med podskupinami. Na primer, medtem ko je skupna natančnost 88 %, je lahko priklic 91 % v eni skupini in 67 % v drugi skupini; Model to skupino sistematično pogreša. Zato je treba model ovrednotiti na podlagi podskupin (demografija/segment) in z zainteresiranimi stranmi se je treba odločiti, kateri definiciji pravičnosti je treba dati prednost.

15. Katere štiri stvari je treba popraviti skupaj, da je rezultat ML ponovljiv?

• A) Samo ime modela, velikost, cena in datum izdaje
• B) Samo znamka GPU in internetna hitrost
• C) Samo končna ocena točnosti modela; ostalo lahko shranite v spomin
• D) Naključno seme, različica podatkov, okolje (različice odvisnosti) in sledenje eksperimentu ✔

Opis: ponovljivost je dosežena s štirimi stebri: popravljanjem semen naključnosti, različicami podatkov (različica/hash), zamrznitvijo okolja (natančne različice knjižnice/vsebnik) in sledenjem vsakemu poskusu (zaveza kode, podatki, hiperparameter, metrika). Brez te verige ni mogoče reproducirati enakega rezultata; Neponovljiv rezultat je trditev, ki je ni mogoče dokazati.