Dobici:
- Sposobnost osiguravanja ponovljivosti s četiri stupa (fiksacija sjemena, verzija podataka, zamrzavanje medija, praćenje eksperimenta) i proizvesti isti rezultat pri ponavljanju istog ciklusa
- Sposobnost kombiniranja svih stanica modula (metrike, podaci, model, LLM komponente, eval, pravednost, sigurnost, distribucija, praćenje) u lancu od kraja do kraja
- Sposobnost provjere ostaje li kritična odluka kod čovjeka pri svakom zaustavljanju i dokumentiranja projekta na način koji se može revidirati
Najpodmukliji neuspjeh ML projekta nije pad; "Neću ponovno dobiti isti rezultat." Ako danas ne možete reproducirati rezultat modela koji ste stavili u proizvodnju prije tri mjeseca, zapravo ne kontrolirate taj model. U ovoj završnoj jedinici produbljujemo ponovljivost: sposobnost pouzdanog dobivanja istog rezultata s istim inputima i kombiniranja cijelog modula u end-to-end projektnoj disciplini.
Zašto je ponovljivost teška
U običnom softveru, isti kod daje isti izlaz. U ML-u postoji mnogo više varijabli koje određuju ishod:
- Slučajnost: miješanje podataka, inicijalizacija težine, dijeljenje podataka — sve se oslanja na slučajnost.
- Podaci: Isti kod proizvodi drugačiji model s različitom verzijom podataka.
- Okruženje: Verzije biblioteke, hardver (CPU/GPU), čak i operativni sustav mogu promijeniti rezultat.
- Skriveni slučaj: nespremljeni hiperparametar, korak ručne predobrade, nezabilježeni odabir.
Ponovljivost nije "lijepo imati", već znanstveni i inženjerski imperativ. Rezultat koji se ne može reproducirati je tvrdnja koja se ne može dokazati.
Četiri stupa ponovljivosti
1. Popravite slučajnost. Postavite sva slučajna početna mjesta na jedno mjesto: dijeljenje podataka, inicijalizacija modela, miješanje podataka. Fiksno sjeme osnova je jamstva "isti rezultat kada ponovite isti ciklus".
2. Verzija podataka. Zabilježite s kojom je verzijom podataka svaki eksperiment izveden (verzija podataka u jedinici 2). “Najnoviji podaci” su nejasni; "verzija podataka v3, hash abc123" je točan.
3. Zamrznite medij. Prikvačite sve ovisnosti na njihove točne verzije (npr. točne verzije poput numpy==1.26.4 u requirements.txt ili sliku spremnika). "Najnovija verzija" će jednog dana sve pokvariti.
4. Pratite sve (praćenje eksperimenta). Automatski spremajte za svaki eksperiment: verziju koda (git commit), verziju podataka, sve hiperparametre, metriku i izlazne strukture. Alati za praćenje eksperimenta kao što su MLflow, Weights & Biases to čine sustavno. Bez registracije, pitanje "koja je postavka bila najbolja" ostaje neodgovoreno.
Oprez: "Sjetit ću se kasnije" je najskuplja zabluda. Dva tjedna kasnije nećete se sjetiti koje ste sjeme, koje podatke, koji hiperparametar koristili. Automatsko praćenje eliminira oslanjanje na memoriju.
Slab pristup / Jak pristup
Slab: "Pronašao sam najbolji model, nalazi se u bilježnici, mislim da je njegov rezultat bio 89%."
Jako: "Pokreni #147 u alatu za praćenje eksperimenta: git commit a3f9c, verzija podataka v3 (hash abc123), početna vrijednost 42, svi hiperparametri registrirani, test PR-AUC 0,887. Kad ponovno pokrenem istu naredbu, dobivam isti rezultat malo po malo. Model ovisi o ovom pokretanju u registru."
Razlika: u snažnom pristupu rezultat se ne temelji na memoriji, već na fiksnom i nadziranom lancu. Svatko može proizvesti isti rezultat svaki put.
Projekt od kraja do kraja: kombinacija modula
Kombinirajmo sada cijeli modul u jedan tijek projekta. Pravi ML sustav prolazi kroz ova zaustavljanja, a svako zaustavljanje nadovezuje se na prethodno:
- Definicija problema: Što rješavamo, kako mjeriti uspjeh (jedinica 3: prava metrika, poslovni kontekst). Mjerni podaci i prag jasni su od početka.
- Podatkovni cjevovod: prikupljanje, provjera valjanosti, čišćenje, particioniranje bez curenja, verzija (jedinica 2).
- Razvoj modela: obuka, osnovna usporedba, unakrsna provjera valjanosti, tvrdo sjeme (jedinica 3 + ova jedinica).
- Komponente LLM (ako je primjenjivo): RAG (jedinica 4) i/ili agenti (jedinica 5); fino podešavanje ako je potrebno (jedinica 6).
- Evaluacija: eval klaster s rubnim i sigurnosnim slučajevima, višeslojna eval u LLM sustavima (cjelina 8).
- Revizija pravde i etike: Analiza podskupina, kartica modela, objašnjivost (jedinica 10).
- Sigurnosna revizija: Brzo ubrizgavanje, privatnost, opskrbni lanac (jedinica 9).
- Distribucija: Pakiranje, postupna distribucija, povrat, registar modela (cjelina 7).
- Nadzor: Troslojni nadzor, alarmi zanošenja (jedinica 8).
- Ponovljivost: Praćenje sjemena, verzije podataka, medija i eksperimenta kroz cijeli lanac (ova jedinica).
U ovom tijeku, AI je akcelerator i generator nacrta na svakom zaustavljanju; ali odabir metrike, odluke o podacima, određivanje prioriteta pravednosti, prag implementacije i odobrenje izdanja — ključne odluke ostaju na čovjeku. Ovo je suština modula.
Dokumentacija: budućnost će vam biti zahvalna
Dobar ML projekt dokumentira sam sebe. Najmanje treba napisati sljedeće: kriterije problema i uspjeha, izvor i verziju podataka, odabire i obrazloženja modela, rezultate evaluacije (uključujući podskupine), poznata ograničenja i rizike, postupak postavljanja i dohvaćanja, plan praćenja. Ovaj dokument je najbolji prijatelj osobe (možda ste to vi) koja se vraća na projekt nakon šest mjeseci.
tri mini kućišta
Slučaj 1 - Izgubljeni rezultat. Inženjer je istrenirao izvrstan model, ali nije popravio početnu vrijednost i nije spremio podatkovnu verziju. Kad je napustio posao, nitko nije mogao reproducirati taj rezultat; model je postao "legenda crne kutije" i na kraju je izgrađen od nule. Tjedni su izgubljeni. Lekcija: rezultat koji se ne može ponoviti je rezultat koji ne postoji.
Slučaj 2 - Kolaps okoline. Jedan tim nije popravio ovisnosti. Kada se biblioteka automatski ažurirala, rezultati modela tiho su se promijenili i proizvodnja je prekinuta. Trebali su dani da se otkrije problem. Kad su ovisnosti zamrznute i stavljene u spremnik s konačnim verzijama, problem se više nije pojavio. Lekcija: zamrznite okolinu.
Slučaj 3 - Moć praćenja. Tim je automatski pratio svaki eksperiment. Tri mjeseca kasnije, tijekom regulatorne revizije, odgovorili su na pitanje "s kojim podacima, s kojim postavkama, kakvu je izvedbu postigao u kojim grupama?" s punim snimanjem u roku od nekoliko minuta. Pregled je prošao bez problema. Lekcija: praćenje je alat za usklađenost, a ne samo inženjerski.
Predlošci koji se mogu kopirati
Izvršite provjeru ponovljivosti za ovaj ML projekt. - Jesu li svi izvori slučajnosti fiksirani (podijeli, inicijaliziraj, miješaj)? - Jesu li podaci verzionirani? - Jesu li ovisnosti zamrznute na točne verzije? - Prati li se svaki eksperiment (podvrgavanje koda, podaci, hiperparametar, metrika)? Napišite konkretne korake kako to popraviti za svaki stupac koji nedostaje. Struktura projekta: [opis]
Izradite kostur plana za ovaj end-to-end ML projekt. Problem: [opis] Pokrijte sljedeće stanice i označite gdje je LJUDSKA odluka na svakoj stanici: problem/metrika, cjevovod, model, (RAG/agent/fino podešavanje?), procjena, pravednost, sigurnost, distribucija, praćenje, ponovljivost. Napišite glavni rizik i korak provjere za svako zaustavljanje.
Izradite predložak tehničke dokumentacije za ovaj projekt. Odjeljci: problem+kriteriji uspjeha, podaci (izvor+verzija), izbori modela+opravdanje, evaluacija (uključujući podskupine), poznata ograničenja+rizici, implementacija+vraćanje, plan praćenja. Dajte polja koja treba ispuniti za svaki odjeljak kao pitanja.
Provjerite postavku praćenja eksperimenta: Sprema li se automatski pri svakom pokretanju: git commit, verzija/raspršivanje podataka, svi hiperparametri, sva metrika, okruženje (verzije biblioteke)? Dobivam li isti rezultat kada ponovno izvedem isto trčanje? Postavljanje: [opis]. Navedite nedostatke i ispravke.
Tablica stupaca obnovljivosti
stupac
Što je fiksno
Primjer vozila
slučajnost
sve sjemenke
postavljanje sjemena
Podaci
Verzija/hash podataka
DVC
okruženje
Verzije biblioteke
zahtjevi pin, Docker
Praćenje
Kod+podaci+postavka+metrika
MLflow, W&B
Uobičajene greške
- Ne popravljajući sjeme. Rezultat se ne može ponoviti.
- Ne sprema podatkovnu verziju. "S kojim podacima?" ostaje bez odgovora.
- Ne zamrzavanje ovisnosti. Ažuriranje će tiho pokvariti sve.
- Ostavljanje pokusa pamćenju. Dva tjedna kasnije ničega se ne sjeća.
- Prepuštanje kritičnih odluka umjetnoj inteligenciji. Mjerila, pravda i odluke o raspodjeli trebaju ostati s ljudima.
- Odgađanje dokumentacije. Budući tim (i vi) plaćate cijenu.
Ukratko
Ponovljivost je potpis ozbiljnog ML inženjeringa: neponovljivi rezultat je nedokaziva tvrdnja. Dolazi s četiri stupca — popravak slučajnosti, podaci o verziji, zamrzavanje okruženja, praćenje svakog eksperimenta. Projekt od početka do kraja kombinira sve stanice ovog modula (metriku, podatke, model, LLM komponente, procjenu, pravednost, sigurnost, distribuciju, praćenje) u međusobno povezani lanac; Umjetna inteligencija je akcelerator na svakoj stanici, ali ključne odluke ostaju na čovjeku. Dokumentirajte sve — za budući tim i revizije. Ova disciplina je okvir koji podržava sve što naučite tijekom modula.
Zadatak aplikacije
Provjerite ML projekt u odnosu na četiri stupa ponovljivosti: jesu li sjemenke nepromjenjive, jesu li podaci verzionirani, je li okruženje zamrznuto, prate li se eksperimenti? Ispravite sve stupce koji nedostaju i dokažite da možete dva puta pokrenuti isti ciklus i dobiti isti rezultat. Zatim ispišite tok projekta od kraja do kraja (10 stanica) na jednoj stranici i označite "gdje je ljudska odluka" na svakoj stanici. Na kraju napišite kratki nacrt tehničke dokumentacije.
popis za provjeru
- [ ] Sve početne vrijednosti slučajnosti popravljene.
- [ ] Verzija/hash podataka bilježi se sa svakim eksperimentom.
- [ ] Ovisnosti su zamrznute na čvrste verzije (pin/spremnik).
- [ ] Svaki eksperiment se automatski prati (kod+podaci+postavka+metrika).
- [ ] Kad ponovim isto trčanje, dobijem isti rezultat.
- [ ] Provjerio sam i dokumentirao da ključne odluke u toku od kraja do kraja donose ljudi.
Modul ispit
1. Kao inženjeru ML-a, koji je najbolji pristup pri pozicioniranju umjetne inteligencije u tijek rada?
- A) AI je akcelerator u poslovima niskog rizika; Kritične odluke poput metrike, podataka i proizvodnje ostaju potvrđene i prepuštene ljudima ✔
- B) Sve dok rezultati umjetne inteligencije izgledaju dobro, nema potrebe za provjerom
- C) Prepuštanje odluke o stavljanju modela u proizvodnju umjetnoj inteligenciji štedi vrijeme.
- D) Umjetna inteligencija je korisna samo za pisanje teksta, nema veze s podacima i radom na modelu
Opis: AI je moćan akcelerator za niskorizične, lako provjerljive zadatke kao što su kod, sažetci podataka i dokumenti; Međutim, odgovornost za odluke koje utječu na novac, povjerljivost i pravnu odgovornost, kao što je odabir metrike, koji podaci idu u obuku i stavljanje modela u proizvodnju, leži na kvalificiranom inženjeru i timu. Svaki izlaz ne bi se trebao koristiti bez provjere.
2. Zašto se provjera valjanosti sheme postavlja na početak podatkovnog cjevovoda?
- A) Zato što izravno povećava točnost modela
- B) Zato što čini verziju podataka nepotrebnom
- C) Zato što hvata oštećene podatke na najranijoj i najjeftinijoj točki i sprječava njihovo curenje u sljedeće korake ✔
- D) Zato što eliminira potrebu za označavanjem
Objašnjenje: Što se ranije uhvate oštećeni podaci, to je jeftinije popraviti ih. Provjera valjanosti sheme sprječava nečujno curenje oštećenih podataka u obuku ili proizvodnju odbijanjem podataka izvan očekivane vrste i raspona na početku retka (npr. pomicanje cijene 100x s promjenom jedinice); Ista greška uhvaćena u proizvodnji višestruko je skuplja.
3. Koji je ispravan pristup kod podjele podataka na obuku i testiranje u problemu koji uključuje vrijeme (vremenske serije)?
- A) Korištenje nasumičnog dijeljenja jer je to uvijek najpravednija metoda
- B) Korištenje vremenskog razdvajanja: spriječite curenje vježbanjem s prošlošću i testiranjem u budućnosti ✔
- C) Korištenje svih podataka i za obuku i za testiranje
- D) Uključivanje testnih podataka u parametre skaliranja prije treninga
Objašnjenje: Nasumično dijeljenje na vremenske serije daje modelu prednost 'gledanja u budućnost' koja se nikada neće dogoditi u proizvodnji i umjetno povećava metriku (vremensko curenje). Ispravna je vremenska podjela: treniraj s prošlošću, testiraj u budućnosti. Time se mjeri stvarna izvedba koja ga održava u proizvodnji.
4. Zašto točnost dovodi u zabludu u modelu otkrivanja prijevare s pozitivnom stopom klase od 1,5%?
- A) Zato što je točnost uvijek niska na neuravnoteženim podacima
- B) Zato što se Točnost može koristiti samo na problemima regresije
- C) Zato što izračun točnosti zahtijeva puno procesorske snage
- D) Čak i beznačajan model koji predviđa većinsku klasu može biti vrlo točan, prikrivajući tako pravi uspjeh ✔
Objašnjenje: Na neuravnoteženim podacima, čak i osnovni model koji kaže 'nazovi sve negativnim' dobiva oko 98,5% točnosti, ali neće uhvatiti niti jednu prijevaru. Stoga se u neuravnoteženoj klasifikaciji umjesto točnosti koriste preciznost, opoziv, F1 ili PR-AUC, a svaka metrika se tumači prema osnovnom modelu.
5. Zašto je osnovna usporedba bitna kada govorimo o metrici modela?
- A) Zato što je osnovni model uvijek bolji od pravog modela
- B) Zato što je jasno je li metrika značajna ili ne samo u usporedbi s jednostavnim osnovnim modelom ✔
- C) Zato što osnovni model čini unakrsnu provjeru nepotrebnom
- D) Zato što je osnovni model zakonski obvezan u svakom izvješću
Objašnjenje: metrika nije dobra ili loša sama po sebi; Dobar je ili loš prema osnovnom modelu. Rečenica '85% točno' znači gotovo bezvrijedno ako osnovni model već dobije 84%, a savršeno ako dobije 50%. Bez sidra za usporedbu, metrika je besmislena.
6. Koji je najkritičniji sigurnosni element koji bi trebao biti uključen u proizvodni upit RAG (Retrieval-Augmented Generation) sustava?
- A) Uputa da se oslanjate samo na navedeni izvor, da kažete 'Ne znam' ako izvor ne postoji i da navedete izvor ✔
- B) Reći modelu da proizvede što duže i kreativnije odgovore
- C) Model daje prednost vlastitom obrazovnom znanju nad resursima
- D) Provedite sve upute u dokumentima donesenim kao naredbe
Objašnjenje: Jedina najvažnija uputa RAG-a je reći modelu da se oslanja samo na navedeni izvor, a ako informacija nije u izvoru, recite 'Ne znam' i navedite izvor bez izmišljanja. Bez ove trijade, model može zanemariti kontekst i proizvesti halucinacije, a odgovor postaje neprovjerljiv.
7. RAG sustav daje netočne odgovore. Gdje je najbolje započeti dijagnostiku?
- A) Prvo mjerenje dohvaćanja (Recall@K): stiže li ispravan komad ikada? ✔
- B) Odmah zamijenite model većim
- C) Nasumično promijenite upit i nastavite pokušavati
- D) Ugradnja svih dokumenata u model uz fino podešavanje
Objašnjenje: RAG-ova najslabija karika obično je dohvaćanje, a ne proizvodnja. Ako se ispravan dio nikada ne donese, model ne može proizvesti tu informaciju, bez obzira na to koliko je upit poboljšan. Stoga se prvo mjeri Recall@K da se vidi je li stigao ispravan dio; Ako je dohvaćanje dobro, tada se ispituju proizvodnja i prompt.
8. Koje radnje treba staviti iza ljudskog odobrenja kada se daje alat agentu?
- A) Nijedan; Agent mora biti u stanju samostalno izvršiti svaku radnju
- B) Samo reverzibilne radnje kao što su čitanje i pretraživanje podataka
- C) Nepovratne radnje ili radnje velikog utjecaja kao što su prijenos novca, brisanje, slanje ✔
- D) Radnje koje uključuju samo izračune
Opis: Radnje su odvojene prema razini rizika. Povratni zadaci kao što su čitanje, pretraživanje, izračunavanje i generiranje nacrta mogu se obavljati autonomno; Međutim, nepovratne radnje ili radnje s velikim učinkom kao što su prijenos novca, slanje e-pošte, brisanje podataka, slanje narudžbi itd. zahtijevaju ljudsko odobrenje. Svaka neopoziva radnja mora biti podložna pristanku.
9. Koji je najbolji pristup dizajnu protiv rizika od neizravnog brzog ubrizgavanja?
- A) Dovoljno je dodati jednu rečenicu 'zanemari loše upute' na upit sustava
- B) Dajte više autoriteta modelu oslanjajući se na upute u vanjskom sadržaju
- C) Ne poduzima nikakve mjere opreza jer se ubrizgavanje ne može spriječiti
- D) Izoliranje vanjskog sadržaja kao nepouzdanih podataka i uspostavljanje slojevitih obrana s minimalnom autorizacijom, odobrenjem i kontrolom izlaza ✔
Opis: vanjski sadržaj koji obrađuje agent ili RAG, kao što je web stranica, dokument, e-pošta itd., nepouzdani su podaci i mogu sadržavati tajne upute. Ispravan pristup je slojevita obrana: izoliranje vanjskog sadržaja kao 'podataka, a ne naredbi' s jasnim graničnicima, primjenom minimalne autorizacije, vezanjem nepovratnih radnji na ljudsko odobrenje i revizijom izlaza. Jedan redak uputa nije dovoljan.
10. Koja je glavna razlika pri odlučivanju treba li se problem riješiti finim podešavanjem ili RAG-om?
- A) Problemi s informacijama bolje se rješavaju s RAG-om, problemi s ponašanjem/formatom bolje se rješavaju s finim podešavanjem ✔
- B) Svaki problem uvijek treba riješiti finim podešavanjem
- C) RAG se koristi samo za generiranje koda, fino podešavanje se koristi samo za prijevod
- D) Fino podešavanje uvijek se može ažurirati jeftinije i brže od RAG-a
Objašnjenje: Fino podešavanje je slabo i riskantno u podučavanju modela novim informacijama; ali je moćan u podučavanju ponašanja, formata, tona i stila. 'Model tvrtka ne zna naše podatke' informacijski je problem i pripada RAG-u. 'Neka model uvijek izlazi u našem strogom formatu' problem je ponašanja i kandidat za fino podešavanje. Osim toga, prije finog ugađanja treba iskoristiti brzo i nekoliko snimaka.
11. Što je obavezno za sigurnu implementaciju prilikom stavljanja novog modela u proizvodnju?
- A) Ako je model dobar u testiranju, otvorite ga izravno na 100% prometa
- B) Uopće nije postavljen nadzor nakon postavljanja
- C) Postupna implementacija (shadow/canary) i unaprijed testirani plan vraćanja ✔
- D) Objavljivanje modela čak i ako prag evaluacije nije ispunjen
Objašnjenje: Otvaranje novog modela izravno cijelom prometu je riskantno; Ako je krivo, pogođeni su svi. Ispravno je da se radi o postupnoj distribuciji (shadow, canary) i da svaka distribucija ima testirani plan vraćanja. Distribucija nije potpuna bez plana povrata; Mogućnost vraćanja na prethodnu verziju u roku od nekoliko minuta štiti korisnika kada se model ponaša neočekivano u proizvodnji.
12. Kako ML model može 'tiho' zakazati u proizvodnji i koji je način da se to uhvati?
- A) Model se ruši; dnevnici poslužitelja to pokazuju
- B) Izradom pogrešnih predviđanja bez pravljenja pogrešaka; ✔ Hvata radni, ulazni i izlazni slojeviti nadzor
- C) Model nikada ne može zatajiti tiho, uvijek alarm
- D) Samo praćenje latencije dovoljno je da se uhvati bilo kakva degradacija
Objašnjenje: Model može zakazati jednostavno stvaranjem netočnih predviđanja bez rušenja ili davanja pogrešaka; Glavni razlog za to je pomicanje podataka i pomicanje koncepta. Samo praćenje operativnih metrika (latencija, stopa pogreške) nije dovoljno; distribuciju ulaza i distribuciju izlaza/predviđanja također treba pratiti. Ulazni pomak daje rano upozorenje ako stvarni rezultat kasni.
13. Koje je načelo ključno kada se LLM-as-judge koristi za ocjenu LLM sustava?
- A) LLM-referent je uvijek u pravu, ljudska provjera je nepotrebna
- B) Sudac mora donijeti odluku samo na temelju duljine odgovora.
- C) Kontrole temeljene na pravilima i ljudske procjene treba u potpunosti odbaciti kada se koriste suci
- D) Ocjene sudaca trebale bi biti kalibrirane ljudskim uzorkom i njihova pristranost izmjerena prije nego im se može vjerovati ✔
Opis: LLM-refere je također model; Može biti halucinantno, pristrano (favorizira duge, samouvjerene odgovore) i nedosljedno. Stoga se ocjene sudaca moraju kalibrirati pomoću ljudskog označenog uzorka i njihova sustavna pristranost mora se izmjeriti prije donošenja odluke o proizvodnji. Neprovjereni sudac daje lažno povjerenje.
14. Zašto je gledanje na ukupnu točnost neadekvatno kada se procjenjuje pristranost modela?
- A) Ukupna točnost je dovoljna jer uvijek odražava učinak najlošije skupine
- B) Sama ukupna točnost nije dovoljna jer može prikriti sustavnu razliku (skrivenu diskriminaciju) između podskupina ✔
- C) Zato što je točnost metrika koja nema nikakve veze s pristranošću
- D) Pristranost dolazi samo od modela i nema nikakve veze s podacima.
Objašnjenje: Sveukupna točnost može prikriti sustavne razlike između podskupina. Na primjer, dok je ukupna točnost 88%, prisjećanje može biti 91% u jednoj skupini i 67% u drugoj skupini; Model sustavno propušta tu skupinu. Stoga bi se model trebao ocijeniti na temelju podskupina (demografija/segment), a kojoj definiciji pravde treba dati prioritet treba odlučiti s dionicima.
15. Koje četiri stvari moraju biti popravljene zajedno da bi rezultat ML-a bio ponovljiv?
- A) Samo naziv modela, veličina, cijena i datum izdavanja
- B) Samo marka GPU-a i brzina interneta
- C) Samo konačni rezultat točnosti modela; ostalo se može zadržati u memoriji
- D) Nasumično početno mjesto, verzija podataka, okruženje (verzije ovisnosti) i praćenje eksperimenta ✔
Opis: Reproducibilnost se postiže kroz četiri stupa: fiksiranje sjemenki nasumičnosti, podataka o verzijama (verzija/hash), zamrzavanje okruženja (točne verzije/spremnik knjižnice) i praćenje svakog eksperimenta (predavanje koda, podaci, hiperparametar, metrika). Bez ovog lanca nije moguće reproducirati isti rezultat; Neponovljivi rezultat je tvrdnja koja se ne može dokazati.