MLOps fondacija, etika, privatnost i odgovorna analitika — Umjetna inteligencija u nauci o podacima i analitici

Dobici:

Sposobnost razumijevanja MLOps faza (puštanje, implementacija, praćenje, ponovna obuka, vraćanje) i pomicanje modela i planiranje praćene implementacije
Sposobnost primjene principa pravednosti modela, transparentnosti i odgovornosti i razlikovanja statističke tačnosti od etičke prihvatljivosti
Sposobnost zaštite ličnih podataka principima KVKK/GDPR i dodjeljivanje konačne odgovornosti čovjeku u odlukama s velikim utjecajem

Obuka modela i postizanje visokog rezultata nije kraj, već sredina. Prava vrijednost dolazi kada se model pusti u proizvodnju i pouzdano radi, prati se tokom vremena bez kvarenja, a cijeli proces se odvija u etičkim i zakonskim granicama. Ova završna jedinica kombinuje tri teme: MLOps (disciplina puštanja u rad, praćenje i održavanje modela), etiku (pravednost, transparentnost, nezlonamernost) i privatnost (zaštita ličnih podataka). AI proizvodi kod, kontrolne liste i nacrte u ovim oblastima; Ali ljudi odlučuju hoće li se model pokrenuti, na koga će to utjecati i koji podaci se mogu koristiti. Ove odluke nisu tehničke, već odluke o odgovornosti.

MLOps: model živi kao proizvod

MLOps (Machine Learning Operations - praksa pokretanja, praćenja i ažuriranja modela mašinskog učenja u proizvodnji) je prilagođavanje DevOps-a u razvoju softvera nauci o podacima. Osnovna ideja: model nije datoteka koja je jednom obučena i zaboravljena, već živi proizvod koji zahtijeva stalno održavanje. Glavne faze:

1. Versioniranje: Kod (Git), podaci i model su verzionirani zajedno; Zapisuje se koji je model proizveden sa kojim podacima i kodom.

2. Implementacija: Model se aktivira kao API ili batch posao. Obično se prvo daje maloj publici (distribucija nijansi/kanari).

3. Monitoring: Performanse modela i ulazni podaci se stalno prate.

4. Ponovna obuka: Kada performanse padnu, model se ponovo obučava s ažuriranim podacima.

Pomak uzorka: tiho izobličenje

Najveća opasnost u proizvodnji je drift modela (model drift / data drift). Svijet se mijenja; Uslovi na kojima ste trenirali svoj model (ponašanje kupaca, cijene, sezona, zakon) se vremenom mijenjaju i model počinje zastarjeti. Na primjer, model potražnje obučen prije pandemije je potpuno pogrešan tokom pandemije. Pomeranje se javlja u dva oblika: pomeranje podataka (distribucija promena ulaznih podataka) i pomeranje koncepta (odnos između ulaznih i ciljnih promena). Način da ih se uhvati je praćenje: stalno pratite distribuciju ulaza, distribuciju predviđanja i (ako je moguće) performanse u poređenju sa stvarnim rezultatom.

Oprez: model pušten u proizvodnju će se sam pokvariti; Nije pitanje "ako" već "kada". Uvođenje modela bez postavljanja nadzora je poput vožnje automobila bez kontrole motora; Jednog dana samo mirno sjedi i ne primjećuješ.

MLOps element

Svrha

Ako se zanemari

Versioniranje

Znati šta se proizvodi

Neponovljivo, ne može se pratiti

Monitoring

Rano uočiti lapsus

Model se tiho kvari

prekvalifikacija

budite u toku

Predviđanja zastarevaju

Rollback

povratak na loš model

Neispravan model ostaje aktivan

Dokumentacija

transparentnost, promet

Informacije se zaglave u jednoj osobi

Etika: modelske odluke utiču na ljude

Modeli podataka se sve više koriste u odlukama koje utiču na živote ljudi: kredit, zapošljavanje, osiguranje, pravda. Sa ovom moći dolazi i odgovornost. Glavni etički rizici:

Pristrasnost i diskriminacija: model može naučiti i održavati nepravde u istorijskim podacima. Ako je određenoj grupi u prošlosti pridato manje zasluga, model pretpostavlja da je to "pravilo" i automatizira diskriminaciju. Zato je analiza pravednosti – provjera da li model djeluje slično za različite grupe (pol, starost, region) – neophodna.

Transparentnost i objašnjivost: Trebali biste biti u stanju objasniti zašto je model odbio osobu. “Crna kutija je tako rekla” etički je i često pravno neprihvatljiva. Zato su alati za objašnjenje (važnost karakteristika, SHAP vrijednosti) vrijedni.

Odgovornost: Ko je odgovoran ako model donese pogrešnu odluku? Odgovor je uvijek osoba/institucija, a ne model. Ljudski nadzor (human-in-the-loop — čovjek koji odobrava konačnu odluku) trebao bi biti očuvan u odlukama s velikim utjecajem.

Oprez: model može biti statistički "tačan", ali etički neprihvatljiv. Veoma precizan model koji sistematski dovodi u nepovoljniji položaj jednu grupu nije dobar model. Iskrenost nije zamjena za pravdu.

Privatnost: lični podaci su pažljivo zaštićeni

Sirovi materijal nauke o podacima često su lični podaci, a ti podaci su zaštićeni zakonom: KVKK u Turskoj, GDPR u Evropi. Osnovni principi su: ograničenje svrhe (podaci se ne koriste u druge svrhe osim svrhe za koju su prikupljeni), minimizacija podataka (ne prikuplja se/zadržava više podataka nego što je potrebno), anonimizacija (identifikacijski podaci se uklanjaju) i sigurnost (podaci se čuvaju šifrirani, a pristup im je ograničen). Kritično pravilo pri radu s AI alatima: nikada ne lijepite stvarne lične podatke u javni AI alat. Većinu vremena za analizu su dovoljni dijagram i anonimni/sintetički uzorak.

Dodatni naglasak u kontekstu informacione sigurnosti: koristite alate i tehnike nauke o podacima samo na podacima i sistemima za koje imate ovlaštenja, u svrhe odbrane i legitimne analize. Neovlašteni pristup tuđim podacima, ponovna identifikacija pojedinaca (izvlačenje identiteta iz anonimnih podataka) ili neovlašteno profilisanje je i nezakonito i neetično.

tri mini kofera

Slučaj 1 — Kolaps bez praćenja. Kompanija za e-trgovinu objavila je svoj model preporuke i nije postavila praćenje. Nakon 4 mjeseca katalog proizvoda se uvelike promijenio; model je nastavio da preporučuje zastarjele proizvode, a stopa konverzije je tiho pala za 30%. Niko nije primetio mesecima. Pouka: raspoređivanje bez nadzora postaje slijepo.

Slučaj 2 — Skrivena diskriminacija. Model skrininga zapošljavanja naučio je o rodnoj neravnoteži u istorijskim podacima i sistematski potcijenio kandidatkinje. Nije primjećeno jer nije bilo analize pravičnosti; To je otkriveno u reviziji i institucija se suočila sa ozbiljnim reputacijskim/pravnim rizikom. Pouka: grupna kontrola pravičnosti je od suštinskog značaja u modelima sa visokim uticajem.

Slučaj 3 — Kršenje povjerljivosti. Jedan analitičar je učitao datoteku koja sadrži stvarne e-poruke kupaca i historiju kupovina u javni alat za umjetnu inteligenciju i rekao, „sažmi segmente“. Lični podaci su napustili instituciju; KVKK proces je započeo. Ispravan način je bio uklanjanje polja identiteta i dijeljenje samo anonimnih svojstava. Pouka: pravi lični podaci ne ulaze u otvoreni alat.

Četiri šablona za kopiranje

1) Kontrolna lista prije implementacije:

Vaša uloga: MLOps konsultant. Navedite stvari koje moram provjeriti prije nego što stavim model u proizvodnju: verzioniranje, metrika praćenja, plan vraćanja, prag performansi, upozorenje o odlasku podataka, odgovorna osoba. Dodajte objašnjenje od jedne rečenice "zašto je važno" za svaku stavku. Ja ću odlučiti.

2) Dizajn praćenja pomaka modela:

Predložite plan praćenja odstupanja za model klasifikacije u proizvodnji: (1) koje distribucije ulaza treba da pratim, (2) koji alarm za distribuciju predviđanja, (3) kako uporediti performanse kada stigne pravi rezultat, (4) na kojem pragu treba pokrenuti ponovnu obuku. Također navedite skelet koda.

3) Kontrola poštenja:

Napišite kod koji upoređuje performanse mog modela za različite grupe (npr. starosnu grupu, regiju): prisjećanje/preciznost i stopa pozitivne odluke za svaku grupu. Upozorite ako postoji značajna razlika između grupa. Pravljenje kauzalnih/političkih interpretacija; Samo mi pokažite razlike i ja ću razmotriti odluku.

4) Prethodna provjera privatnosti:

Prije davanja podataka AI alatu, provjerite: da li postoje lični/identifikacijski podaci (ime, e-pošta, ID, telefon, adresa, IP) u listi kolona ispod? Ako je tako, navedite koje bi trebalo ukloniti ili anonimizirati. Kolone: [list]. Svrha: dijeliti samo anonimnu shemu.

Slaba prompt / Jaka prompt

Slab upit:

Moj model je spreman, idite uživo.

Implementacija nije jedan korak; Pokretanje uživo bez praćenja, vraćanja, pravednosti i kontrole privatnosti tihi je poziv na katastrofu.

Snažan upit:

Vaša uloga: odgovorni MLOps konsultant. Moj model je obučen, želim potpunu pripremu prije izlaska uživo. Generirajte: (1) kontrolnu listu prije implementacije, (2) plan praćenja odstupanja, (3) grupni kod za provjeru pravednosti, (4) provjeru privatnosti (da li postoje lični podaci). Također predložite kako zaštititi ljudski pristanak u odlukama s velikim utjecajem. Konačne odluke su moje.

Ovdje se distribucija, praćenje, pravičnost i privatnost tretiraju kao jedan odgovoran proces.

Uobičajene greške

Postavljanje modela bez postavljanja nadzora. Model nečujno klizi i izobličuje se; Može potrajati mjesecima da se primijeti.
Zaobilazeći provjeru pravde. Model visoke vjernosti može sistematski staviti grupu u nepovoljniji položaj.
Donošenje neobjašnjive odluke o crnoj kutiji. Odluke sa velikim uticajem moraju biti objašnjive; "Manekenka je tako rekla" nije dovoljno.
Davanje stvarnih ličnih podataka otvorenom AI alatu. Kršenje KVKK/GDPR; Dijagram i anonimni primjer su dovoljni.
Delegiranje odluke na model. Odgovornost uvijek leži na osobi; Održava se ljudski nadzor visokog uticaja.

Savjet: Prije nego što krenete uživo sa svakim modelom, postavite jedno pitanje naglas: „Ako ovaj model sutra tiho pokvari ili nepravedno kazni grupu, kako ću ga primijetiti i vratiti?“ Ako nemate jasan odgovor na ovo pitanje, model još nije spreman za proizvodnju.

Ukratko

Posao modela ne završava se visokim rezultatom, već pouzdanim i odgovornim radom u proizvodnji. MLOps je disciplina pokretanja uživo, praćenja zanošenja, preobuke i vraćanja modela; Postavljanje bez praćenja je tihi kolaps. Etika zahtijeva pravičnost, transparentnost i odgovornost modela; statistička tačnost nije zamjena za etičku prihvatljivost. Privatnost znači zaštitu ličnih podataka principima KVKK/GDPR i držanje stvarnih podataka podalje od otvorenih alata. Sve ove odluke nisu tehničke, već odluke o odgovornosti i uvijek pripadaju čovjeku.

Zadatak aplikacije

Razmislite o tome kao da ćete model koji ste izgradili (ili hipotetički) staviti u proizvodnju i ispuniti četiri liste: (1) kontrolnu listu prije implementacije, (2) metriku kretanja koju ćete pratiti, (3) grupni plan kontrole pravednosti, (4) kontrolu privatnosti. Zatim napišite konkretan odgovor na pitanje "Kako ću primijetiti ako se sutra tiho pokvari i vratiti ga?"

kontrolna lista

[ ] Da li implementiram model s planom praćenja (upozorenje o proklizavanju) i planom vraćanja unatrag?
[ ] Da li sam provjerio jaz u pravednosti/učinku za različite grupe?
[ ] Jesam li održavao "ljud u petlji" u odlukama s velikim utjecajem?
[ ] Jesam li zaštitio lične podatke principima KVKK/GDPR i držao ih podalje od otvorenih alata?
[ ] Jesam li položio konačnu odgovornost na čovjeka, a ne na model?

Modul Exam

1. Naučnik za podatke pita umjetnu inteligenciju: "Koliko je nasumična šuma tačna na ovim podacima?" bez ikakve obuke modela, i direktno stavlja odgovor od "89%" u prezentaciju. Šta je suštinska greška u ovom pristupu?

A) Čekanje na metriku bez davanja podataka i modela umjetnoj inteligenciji; Ignorirajući da je broj koji proizvodi lažan i da se prava metrika može pronaći samo kroz obuku i testiranje ✔
B) Mora koristiti logističku regresiju umjesto nasumične šume
C) Stopa tačnosti mora uvijek biti iznad 90%.
D) Strogo je zabranjeno uključivanje metrike u prezentaciju

Objašnjenje: Umjetna inteligencija ne može proizvesti metriku bez pristupa modelu i podacima; Broj koji on daje je halucinacija (izmišljena). Metrika se dobija sopstvenim proračunom naučnika podataka tek nakon što je model zaista obučen i testiran. Neprovjereni izlaz je poput nepotpisanog izvještaja.

2. Kolona 'razlog za zatvaranje računa' uključena je kada se prikupljaju podaci za prognozu odliva; Ova kolona se popunjava tek nakon što kupac ode. Model daje 97% na test setu, ali ne radi u proizvodnji. Koje je ime i uzrok ovog stanja?

A) Prekomjerno učenje; Model je previše složen
B) curenje podataka; ✔ Korištenje informacija koje neće biti dostupne u vrijeme predviđanja, ali su rezultat cilja, kao karakteristika
C) Nedovoljno učenje; Model je previše jednostavan
D) Pristrasnost odabira; mala veličina uzorka

Objašnjenje: Ovo je klasično curenje podataka: 'razlog zatvaranja' je rezultat cilja i još uvijek je prazan u vrijeme predviđanja. Model radi trik sa ovim budućim znanjem, izgleda sjajno na testnom setu, ali pada u proizvodnji jer je ta kolona prazna. Svakoj koloni treba postaviti pitanje 'da li ga imam u trenutku predviđanja'.

3. Analitičar popunjava vrijednosti koje nedostaju u koloni prihoda srednjom vrijednosti; ali nestali ljudi zapravo pripadaju segmentu sa niskim primanjima koji nikada nije prijavio prihode (sistematski nestali). Zašto ovo popunjavanje nije ispravno?

A) Srednja vrijednost je uvijek veća od medijane, pa je netačna
B) Vrijednosti koje nedostaju nikada ne treba popunjavati, uvijek ih treba brisati
C) Popunjavanje sistematske praznine srednjom vrijednosti iskrivljuje podatke vještačkim predstavljanjem te grupe; Punjenje je obavljeno bez postavljanja pitanja 'zašto je prazan?' ✔
D) Izračunavanje prosjeka stvara problem performansi jer je presporo

Objašnjenje: Uzrok nedostatka određuje rješenje. Kada se sistematski nedostajući (jaz koncentrisan u određenoj grupi) popuni prosjekom, ta grupa postaje vještački 'prosječni prihod' i podaci se iskrivljuju. Prije popunjavanja treba postaviti pitanje 'zašto je prazan'; sistematsko/značajno nedostajuće srednje vrijednosti ne treba popunjavati.

4. Tim pronalazi korelaciju od 0,78 između 'potrošnje na oglase' i 'prodaje' i udvostručuje budžet; Međutim, ono što zapravo pokreće obje su sezonske kampanje. Koji princip u statistici objašnjava ovu grešku?

A) Korelacija nije uzročna veza; Skrivena treća varijabla može utjecati na obje varijable ✔
B) Pošto je korelacija od 0,78 preniska, odnos treba zanemariti
C) Korelacija uvijek dokazuje uzročnost, tim je dobro shvatio
D) Korelacija između oglašavanja i prodaje ne može se matematički izračunati.

Objašnjenje: Korelacija nije uzročna veza. Dvije varijable mogu djelovati zajedno jer skrivena treća varijabla (ovdje sezonske kampanje) utječe na obje. Zaključak da jedno uzrokuje drugo može se utvrditi samo eksperimentom i terenskim znanjem; Sam broj korelacija nije dokaz uzročnosti.

5. Model otkrivanja prevara pokazuje 99,2% tačnosti i tim slavi; Međutim, stopa lažnih transakcija u podacima je samo 0,8%, a opoziv modela je 6%. Šta pokazuje ova tabela?

A) Model je savršen jer je tačnost preko 99%
B) Tačnost dovodi u zabludu sa neuravnoteženim podacima; Model propušta gotovo sve lažne (malo sjećanje), treba pogledati odgovarajuću metriku ✔
C) Nema problema jer je opoziv modela visok
D) Nije bilo potrebe da se pravi model jer je stopa lažiranja bila niska

Objašnjenje: 'Točnost' je varljiva u neuravnoteženim podacima. Kada model skoro svaku transakciju nazove 'čistom', dobija visoku preciznost jer je lažnjaka vrlo malo, ali ne uspijeva uhvatiti lažne, što je njegova glavna svrha (podsjećamo 6%). Stoga, u neuravnoteženim problemima, fokus nije na tačnosti, već na matrici konfuzije i metrikama koje su pogodne za svrhu posla, kao što je prisjećanje/preciznost.

6. U projektu predviđanja potražnje, vremenski zavisni podaci se nasumično dijele na obuku/testiranje. Model daje 93% tačnosti, ali pada u proizvodnji. Kakav bi trebao biti ispravan pristup podjele?

A) Povećanje testnog skupa, npr. dijeljenje 50%/50%
B) Koristeći složeniji model
C) Potpuno uklonite particiju i trenirajte sa svim podacima
D) Hronološko razdvajanje: obuka sa starim periodom i testiranje sa novim periodom, čime se sprečava da model vidi budućnost ✔

Objašnjenje: Ako se vrši nasumična podjela u podacima vremenske serije, model vidi budućnost i predviđa prošlost u obuci; to je curenje i proizvodi uspjeh koji zapravo ne postoji. Ispravan pristup je hronološka podjela: obuka sa starim periodom i testiranje sa novim periodom, imitiranje realnog stanja u proizvodnji (predviđanje iz prošlosti u budućnost).

7. Iz kojih podataka treba izračunati parametre skaliranja (StandardScaler) u inženjeringu karakteristika i kako ih primijeniti?

A) Treba ga izračunati iz svih podataka (obuka + testiranje zajedno) kako bi bilo preciznije
B) Trebalo bi se izračunati posebno za svaki red, iz vlastite vrijednosti tog reda
C) Treba se izračunati samo iz podataka testa
D) Treba ga izračunati samo na osnovu podataka o obuci, a zatim iste parametre treba primijeniti na podatke testa; inače će curiti ✔

Objašnjenje: Parametri svih transformacija (srednja vrijednost, standardna devijacija, itd.) kao što su skaliranje, kodiranje i dopuna trebaju se naučiti samo iz podataka obuke, a zatim isto treba primijeniti na podatke testa. Uzimanje testnih podataka u obzir također uzrokuje da informacije o testu ometaju obuku, odnosno curenje, i čini da model izgleda bolje nego što jeste. Korištenje Pipeline-a to osigurava.

8. Model daje 98% tačnosti na setu za obuku i 72% tačnosti na test setu. Na šta ukazuje ovaj simptom i šta treba učiniti?

A) Nedovoljno učenje; model bi trebao biti složeniji
B) curenje podataka; test set se mora promijeniti
C) Preopterećenje; model treba pojednostaviti, primijeniti regularizaciju i unakrsnu validaciju ✔
D) Normalna situacija; Obrazovni rezultat je ionako uvijek veći, mjere opreza su nepotrebne

Objašnjenje: Vrlo visok rezultat u treningu i značajno nizak rezultat u testiranju je klasičan simptom preopterećenja: model je upamtio šum podataka o treningu, a ne pravi obrazac. Rješenja uključuju pojednostavljenje modela, više podataka, regularizaciju i provjeru stanja unakrsnom validacijom. Oslanjanje samo na obrazovni rezultat krije ovu zamku.

9. U prezentaciji menadžmenta, y-osa trakastog grafikona u kojem se prodaja povećava sa 1.000 na 1.020 počinje na 980 kako bi povećanje izgledalo ogromno. Stvarno povećanje je 2%. Zašto je ovo etičko pitanje?

A) Skraćena y-osa vizuelno preuveličava malu razliku i obmanjuje gledaoca; Radi pravednosti, os u uporednim šipkama treba da počinje od 0 ✔
B) Trakasti grafikoni se nikada ne mogu koristiti za podatke o prodaji
C) Nema problema; Uvijek je dobro učiniti da grafikon izgleda impresivno
D) Y-osa uvijek treba početi od najveće vrijednosti podataka

Objašnjenje: U trakastim grafikonima za uporedne svrhe, y-osa bi općenito trebala početi od 0. Rezanje ose i početak od 980 čini da mala razlika od 2% izgleda vizualno velika i obmanjuje gledatelja. Etička odgovornost stručnjaka za podatke je da nacrta poštene grafikone koji ne precjenjuju ili potcjenjuju podatke.

10. Analitičar pronalazi ukupan promet 3 puta nakon spajanja naloga sa tabelom proizvoda; Broj linija je povećan sa 240 hiljada na 690 hiljada. Šta je trebalo učiniti da se spriječi ova tiha greška?

A) Podijelite ukupni promet sa 3
B) Uvijek koristite odvojene upite umjesto JOIN
C) Potpuno brisanje tabele proizvoda
D) Provjera broja redova nakon spajanja/JOIN i provjera da su spojeni preko ispravnog ključa; Rano hvatanje replikacije ✔

Objašnjenje: Kada postoji više redaka za svaki proizvod (različite boje, na primjer) u tablici proizvoda, JOIN preko pogrešnog ključa će duplicirati svaku narudžbu i povećati ukupne vrijednosti. Kod radi bez grešaka, ali rezultat je pogrešan. Način da se ovo izbjegne je da provjerite broj redova nakon svakog spajanja/JOIN i spojite ispravnim ključem.

11. Model skrininga zapošljavanja uči o rodnoj neravnoteži u istorijskim podacima i sistematski podcjenjuje kandidatkinje, ali je njegova ukupna tačnost visoka. Šta ovo znači?

A) Nema problema jer model ima visoku tačnost
B) Statistička tačnost nije zamjena za etičku prihvatljivost; model je naučio o diskriminaciji u prošlosti, potrebna je grupna provjera pravednosti ✔
C) Daljnje povećanje tačnosti modela rješava problem
D) Pravednost je izvan opsega nauke o podacima

Objašnjenje: Čak i ako je model statistički ispravan, može biti etički neprihvatljiv. Model uči nepravdu u prošlim podacima i automatizira diskriminaciju. Visok integritet nije zamjena za pravdu; U modelima sa visokim uticajem, kontrola pravičnosti, koja mjeri razliku učinka/odluke za različite grupe, je od suštinskog značaja, a krajnja odgovornost leži na čovjeku.

12. Zaposlenik postavlja datoteku koja sadrži stvarne e-poruke kupaca i istoriju kupovina u javni AI alat i kaže 'sažmi segmente'. Zašto je ovo ozbiljna greška i koji je pravi način?

A) Nema problema; AI alati nikada ne pohranjuju podatke
B) Greška je u tome što je datoteka prevelika; trebalo smanjiti
C) Pružanje stvarnih ličnih podataka otvorenom alatu predstavlja kršenje KVKK/GDPR; polja identiteta su trebala biti uklonjena i dijeliti samo anonimnu šemu/svojstvo ✔
D) CSV je trebao biti korišten umjesto samo Excela

Objašnjenje: Kada se stvarni lični podaci (kao što je e-pošta, ime, itd.) daju javno dostupnom alatu veštačke inteligencije, doći će do povrede privatnosti u okviru KVKK / GDPR; podaci napuštaju organizaciju. Većinu vremena za analizu su dovoljni dijagram i anonimni/sintetički uzorak. Ispravan način je uklanjanje polja identiteta i dijeljenje samo anonimnih svojstava.

13. Model preporuke je pušten u proizvodnju, ali praćenje nije uspostavljeno; Kada se katalog proizvoda promijeni nakon 4 mjeseca, model nastavlja da preporučuje stare proizvode i stopa konverzije tiho pada za 30%. Kako se zove ovaj fenomen?

A) Prekomjerno učenje; Model pamti set za obuku
B) Odnošenje modela; Kako se svijet mijenja, model zastarijeva nečujno, neprimjetno jer nadzor nije uspostavljen ✔
C) Pristrasnost odabira; pristrasnost uzorka
D) Kršenje minimizacije podataka

Objašnjenje: Ovo je drift modela (odnos modela/podataka): kada se svijet promijeni (katalog, ponašanje, godišnje doba) uvjeti pod kojima je model obučen se mijenjaju i model se tiho kvari. Model pušten u proizvodnju propada sam od sebe; Pitanje je 'kada'. Primena bez nadzora (praćenje unosa i performansi) onemogućava otkrivanje degradacije.

14. Model koji dobije 88% tačnosti u jednoj obuci/test split-u ima 5-struke rezultate unakrsnog potvrđivanja od 88%, 71%, 83%, 64%, 79%. Šta to ukazuje i zašto je važna unakrsna validacija?

A) Model je stabilan; 88% je stvarna izvedba
B) Unakrsna validacija nije potrebna; Dovoljan je jedan pretinac
C) Velika volatilnost rezultata ukazuje da je model nestabilan; unakrsna validacija bazira performanse na prosjeku i distribuciji više binova, a ne jedne srećne korpe ✔
D) Najbolje je prijaviti najveći rezultat (88%)

Objašnjenje: Jedan odjeljak može biti sretan ili nesretan; 88% je samo rezultat te lake podjele. Unakrsna validacija dijeli podatke više puta, bazirajući performanse na srednjoj vrijednosti (ovdje ~77%) i pokazujući promjenjivost rezultata. Visoka volatilnost ovdje sugerira da je model nestabilan; Oslanjanje na jedan pretinac je pogrešno.