Dobici:
- Sposobnost razumijevanja faza MLOps-a (izdanje, implementacija, praćenje, ponovna obuka, vraćanje na staro) i modeliranja i planiranja praćene implementacije
- Sposobnost primjene načela pravednosti modela, transparentnosti i odgovornosti te razlikovanja statističke točnosti od etičke prihvatljivosti
- Sposobnost zaštite osobnih podataka s načelima KVKK/GDPR i dodjeljivanje konačne odgovornosti čovjeku u odlukama s velikim utjecajem
Obuka modela i postizanje visoke ocjene nije kraj, već sredina. Prava vrijednost dolazi kada se model pusti u proizvodnju i radi pouzdano, prati se tijekom vremena bez pogoršanja, a cijeli proces se provodi unutar etičkih i zakonskih granica. Ova završna jedinica objedinjuje tri teme: MLOps (disciplina pokretanja, praćenja i održavanja modela), etika (poštenost, transparentnost, neškodljivost) i privatnost (zaštita osobnih podataka). AI proizvodi kod, popise za provjeru i nacrte u tim područjima; Ali ljudi odlučuju hoće li model biti aktivan, na koga će to utjecati i koji se podaci mogu koristiti. Ove odluke nisu tehničke, već odluke o odgovornosti.
MLOps: model živi kao proizvod
MLOps (Machine Learning Operations - praksa pokretanja, praćenja i ažuriranja modela strojnog učenja u proizvodnji) je prilagodba DevOpsa u razvoju softvera znanosti o podacima. Osnovna ideja: model nije turpija koja se jednom uvježba i zaboravi, već živi proizvod koji zahtijeva stalno održavanje. Glavne faze:
1. Verzija: Kod (Git), podaci i model zajedno su verzionirani; Bilježi se koji je model proizveden s kojim podacima i kodom.
2. Implementacija: Model se stavlja uživo kao API ili skupni posao. Obično se prvo daje maloj publici (raspodjela u sjeni/kanarincu).
3. Praćenje: Performanse modela i ulazni podaci stalno se prate.
4. Ponovna obuka: kada izvedba padne, model se ponovno obučava s ažuriranim podacima.
Pomak uzorka: tiha distorzija
Najveća opasnost u proizvodnji je model drift (model drift / data drift). Svijet se mijenja; Uvjeti na kojima ste trenirali svoj model (ponašanje kupaca, cijene, sezona, zakonodavstvo) mijenjaju se s vremenom i model počinje zastarjevati. Na primjer, model potražnje uvježban prije pandemije potpuno je pogrešan tijekom pandemije. Odstupanje se javlja u dva oblika: odstupanje podataka (distribucija promjena ulaznih podataka) i odstupanje koncepta (odnos između ulaznih i ciljnih promjena). Način da se to uhvati je praćenje: stalno praćenje distribucije ulaza, distribucije predviđanja i (ako je moguće) izvedbe u usporedbi sa stvarnim rezultatom.
Oprez: Model pušten u proizvodnju će se sam pokvariti; Nije pitanje "ako" nego "kada". Postavljanje modela bez postavljanja nadzora je kao vožnja automobila bez ikakve kontrole njegovog motora; Jednog dana samo mirno sjedi i ne primjećujete.
MLOps element
Svrha
Ako se zanemari
Verzija
Znajući što se proizvodi
Nereproducibilan, ne može se pratiti
Praćenje
Rano vidjevši lapsus
Model se tiho raspada
prekvalifikacija
ostanite u toku
Predviđanja zastarjevaju
Povratak
povratak na loš model
Neispravni model ostaje živ
Dokumentacija
transparentnost, promet
Informacije zapnu u jednoj osobi
Etika: modelske odluke utječu na ljude
Podatkovni modeli se sve više koriste u odlukama koje utječu na živote ljudi: krediti, zapošljavanje, osiguranje, pravda. Uz ovu moć dolazi i odgovornost. Glavni etički rizici:
Pristranost i diskriminacija: Model može naučiti i ovjekovječiti nepravde u povijesnim podacima. Ako je određena skupina u prošlosti dobila manje kredita, model pretpostavlja da je to "pravilo" i automatizira diskriminaciju. Zato je analiza pravednosti — provjera radi li model slično za različite skupine (spol, dob, regija) — ključna.
Transparentnost i objašnjivost: Trebali biste moći objasniti zašto je model odbio osobu. “Crna kutija je tako rekla” je etički, a često i zakonski neprihvatljivo. Zato su alati za objašnjenje (važnost značajke, SHAP vrijednosti) vrijedni.
Odgovornost: Tko je odgovoran ako model donese pogrešnu odluku? Odgovor je uvijek osoba/institucija, a ne model. Ljudski nadzor (human-in-the-loop — čovjek koji odobrava konačnu odluku) trebao bi biti sačuvan u odlukama s velikim učinkom.
Oprez: model može biti statistički "točan", ali etički neprihvatljiv. Vrlo precizan model koji sustavno dovodi u nepovoljniji položaj jednu skupinu nije dobar model. Poštenje nije zamjena za pravdu.
Privatnost: osobni podaci su pažljivo zaštićeni
Sirovina podatkovne znanosti često su osobni podaci, a ti su podaci zaštićeni zakonom: KVKK u Turskoj, GDPR u Europi. Osnovna načela su: ograničenje svrhe (podaci se ne koriste u druge svrhe osim svrhe za koju su prikupljeni), minimizacija podataka (ne prikuplja se/zadržava se više podataka nego što je potrebno), anonimizacija (identifikacijski podaci se uklanjaju) i sigurnost (podaci se čuvaju šifrirani i pristup je ograničen). Kritično pravilo pri radu s AI alatima: nikada ne lijepite stvarne osobne podatke u javni AI alat. U većini slučajeva za analizu su dovoljni dijagram i anonimni/sintetički uzorak.
Dodatni naglasak u kontekstu informacijske sigurnosti: koristite alate i tehnike znanosti o podacima samo na podacima i sustavima za koje imate ovlasti, u obrambene i legitimne svrhe analize. Neovlašteni pristup tuđim podacima, ponovna identifikacija pojedinaca (izvlačenje identiteta iz anonimnih podataka) ili neovlašteno profiliranje je i nezakonito i neetično.
tri mini kućišta
Slučaj 1 — kolaps bez praćenja. Tvrtka za e-trgovinu pokrenula je svoj model preporuke i nije postavila praćenje. Nakon 4 mjeseca katalog proizvoda se uvelike promijenio; model je nastavio preporučivati zastarjele proizvode, a stopa konverzije tiho je pala za 30%. Nitko nije primijetio mjesecima. Lekcija: implementacija bez nadzora je naslijepa.
Slučaj 2 — Skrivena diskriminacija. Model provjere zapošljavanja naučio je o neravnoteži spolova u povijesnim podacima i sustavno podcjenjivao kandidatkinje. Nije se primijetilo jer nije bilo analize pravednosti; To je otkriveno revizijom i institucija se suočila s ozbiljnim reputacijskim/pravnim rizikom. Lekcija: grupna kontrola pravednosti ključna je u modelima visokog utjecaja.
Slučaj 3 — Kršenje povjerljivosti. Jedan je analitičar u javni alat za umjetnu inteligenciju učitao datoteku koja sadrži e-poštu stvarnih kupaca i povijest kupnje i rekao: "sažmite segmente". Osobni podaci su napustili instituciju; KVKK proces je započeo. Ispravan način bio je ukloniti polja identiteta i dijeliti samo anonimna svojstva. Pouka: pravi osobni podaci ne ulaze u otvoreni alat.
Četiri predloška za kopiranje
1) Kontrolni popis prije postavljanja:
Vaša uloga: MLOps konzultant. Navedite stvari koje trebam provjeriti prije stavljanja modela u proizvodnju: verzije, metrike praćenja, plan vraćanja, prag izvedbe, upozorenje o pomicanju podataka, odgovorna osoba. Dodajte objašnjenje u jednoj rečenici "zašto je važno" za svaku stavku. Ja ću odlučiti.
2) Dizajn praćenja promjene modela:
Predložite plan praćenja pomaka za model klasifikacije u proizvodnji: (1) koje distribucije inputa trebam pratiti, (2) koji alarm za distribuciju predviđanja, (3) kako usporediti izvedbu kada stigne stvarni rezultat, (4) na kojem bi se pragu trebala pokrenuti ponovna obuka. Također navedite kostur koda.
3) Kontrola pravednosti:
Napišite kôd koji uspoređuje izvedbu mog modela za različite skupine (npr. dobnu skupinu, regiju): stopa prisjećanja/preciznosti i pozitivne odluke za svaku skupinu. Upozorite ako postoji značajna razlika između grupa. Izrada kauzalnih/političkih interpretacija; Samo mi pokažite razlike i razmislit ću o odluci.
4) Prethodna provjera privatnosti:
Prije davanja podataka AI alatu, provjerite: postoje li osobni/identitetski podaci (ime, e-pošta, ID, telefon, adresa, IP) u popisu stupaca ispod? Ako je tako, navedite koje bi trebalo ukloniti ili anonimizirati. Stupci: [popis]. Svrha: samo dijeljenje anonimne sheme.
Slab upit / Jak upit
Slab upit:
Moj model je spreman, idi uživo.
Implementacija nije jedan korak; Pokretanje uživo bez praćenja, vraćanja, pravednosti i kontrole privatnosti tiha je pozivnica za katastrofu.
Snažan upit:
Vaša uloga: odgovorni MLOps konzultant. Moj model je obučen, želim potpunu pripremu prije pokretanja uživo. Generirajte: (1) popis za provjeru prije postavljanja, (2) plan praćenja drifta, (3) grupni kod provjere pravednosti, (4) provjeru privatnosti (postoje li osobni podaci). Također predložite kako zaštititi ljudski pristanak u odlukama s velikim utjecajem. Konačne odluke su moje.
Ovdje se distribucija, nadzor, poštenje i privatnost tretiraju kao jedan odgovoran proces.
Uobičajene greške
- Implementacija modela bez postavljanja nadzora. Model tiho klizi i iskrivljuje se; Mogu proći mjeseci da se primijeti.
- Zaobilazeći provjeru pravde. Model visoke vjernosti može sustavno dovesti u nepovoljan položaj grupu.
- Donošenje neobjašnjive odluke o crnoj kutiji. Odluke s velikim učinkom moraju biti objašnjive; "Manekenka je tako rekla" nije dovoljno.
- Davanje stvarnih osobnih podataka za otvaranje AI alata. Kršenje KVKK/GDPR; Dovoljni su dijagram i anonimni primjer.
- Delegiranje odluke modelu. Odgovornost uvijek leži na osobi; Održava se ljudski nadzor visokog utjecaja.
Savjet: Prije nego što počnete uživo sa svakim modelom, naglas postavite jedno pitanje: "Ako se ovaj model sutra tiho pokvari ili nepravedno kazni grupu, kako ću ga primijetiti i vratiti?" Ako nemate jasan odgovor na ovo pitanje, model još nije spreman za proizvodnju.
Ukratko
Posao modela ne završava visokom ocjenom, već pouzdanim i odgovornim radom u proizvodnji. MLOps je disciplina pokretanja, praćenja zanošenja, ponovne obuke i vraćanja modela; Postavljanje bez praćenja tiho je kolaps. Etika zahtijeva pravednost, transparentnost i odgovornost modela; statistička točnost nije zamjena za etičku prihvatljivost. Privatnost znači zaštitu osobnih podataka s načelima KVKK/GDPR i čuvanje stvarnih podataka podalje od otvorenih alata. Sve te odluke nisu tehničke već odgovorne i uvijek pripadaju čovjeku.
Zadatak aplikacije
Zamislite to kao da namjeravate staviti model koji ste izgradili (ili hipotetski) u proizvodnju i ispunite četiri popisa: (1) kontrolni popis prije postavljanja, (2) metrika kretanja koju ćete pratiti, (3) plan kontrole pravednosti na temelju grupe, (4) kontrola privatnosti. Zatim napišite konkretan odgovor na pitanje "Kako ću primijetiti ako se sutra tiho pokvari i dobiti ga natrag?"
popis za provjeru
- [ ] Implementiram li model s nadzorom (upozorenje o proklizavanju) i planom vraćanja?
- [ ] Jesam li provjerio razliku u pravednosti/izvedbi za različite skupine?
- [ ] Jesam li zadržao ljudski in-the-loop na odlukama velikog utjecaja?
- [ ] Jesam li osobne podatke zaštitio načelima KVKK/GDPR i držao ih podalje od otvorenih alata?
- [ ] Jesam li krajnju odgovornost stavio na čovjeka, a ne na model?
Modul ispit
1. Znanstvenik za podatke pita umjetnu inteligenciju: "Koliko je točna nasumična šuma na ovim podacima?" bez ikakve obuke modela i izravno stavlja odgovor "89%" u prezentaciju. Koja je temeljna pogreška u ovom pristupu?
- A) Čekanje metrike bez davanja podataka i modela umjetnoj inteligenciji; Ignoriranje da je broj koji proizvodi lažan i da se prava metrika može pronaći samo kroz obuku i testiranje ✔
- B) Mora koristiti logističku regresiju umjesto slučajne šume
- C) Stopa točnosti uvijek mora biti iznad 90%.
- D) Strogo je zabranjeno uključivanje metrike u prezentaciju
Objašnjenje: Umjetna inteligencija ne može proizvesti metriku bez pristupa modelu i podacima; Broj koji navodi je halucinacija (izmišljena). Mjerni podatak se dobiva vlastitim izračunom podatkovnog znanstvenika tek nakon što je model stvarno uvježban i testiran. Nepotvrđeni izlaz je poput nepotpisanog izvješća.
2. Stupac 'razlog zatvaranja računa' uključen je prilikom prikupljanja podataka za predviđanje odljeva; Ovaj stupac se popunjava tek nakon odlaska kupca. Model daje 97% na testnom setu, ali ne radi u proizvodnji. Koji je naziv i uzrok ovog stanja?
- A) Preučenje; Model je previše složen
- B) Curenje podataka; ✔ Korištenje informacija koje neće biti dostupne u trenutku predviđanja, ali su rezultat cilja, kao značajka
- C) Nedovoljno učenje; Model je previše jednostavan
- D) Pristranost odabira; mala veličina uzorka
Objašnjenje: Ovo je klasično curenje podataka: 'razlog zatvaranja' rezultat je cilja i još uvijek je prazan u trenutku predviđanja. Model radi trik s tim budućim znanjem, izgleda sjajno na testnom setu, ali pada u proizvodnji jer je taj stupac prazan. Uz svaki stupac trebalo bi postaviti pitanje 'imam li ga u trenutku predviđanja'.
3. Analitičar popunjava vrijednosti koje nedostaju u stupcu prihoda srednjom vrijednosti; no nestali zapravo pripadaju segmentu s niskim primanjima koji nikada nisu prijavili prihode (sustavni nestali). Zašto je ovo punjenje netočno?
- A) Srednja vrijednost je uvijek veća od medijana, pa je netočna
- B) Vrijednosti koje nedostaju nikad se ne smiju popunjavati, uvijek ih treba brisati
- C) Popunjavanje sustavne praznine srednjom vrijednosti iskrivljuje podatke umjetnim predstavljanjem te skupine; Punjenje je obavljeno bez postavljanja pitanja 'zašto je prazno?' ✔
- D) Izračunavanje prosjeka stvara problem izvedbe jer je presporo
Objašnjenje: Uzrok nedostatka određuje rješenje. Kada se sustavni nedostatak (praznina koncentrirana u određenoj skupini) popuni prosjekom, ta skupina umjetno postaje 'prosječni dohodak', a podaci su iskrivljeni. Prije punjenja treba postaviti pitanje 'zašto je prazan'; sustavna/značajna sredina koja nedostaje ne treba popunjavati.
4. Tim pronalazi korelaciju od 0,78 između 'potrošnje na oglase' i 'prodaje' i udvostručuje proračun; Međutim, ono što zapravo pokreće oboje su sezonske kampanje. Koje načelo u statistici objašnjava ovu pogrešku?
- A) Korelacija nije uzročnost; Skrivena treća varijabla možda utječe na obje varijable ✔
- B) Budući da je korelacija od 0,78 preniska, odnos treba zanemariti
- C) Korelacija uvijek dokazuje uzročnost, tim je dobro shvatio
- D) Korelacija između oglašavanja i prodaje ne može se izračunati matematički.
Objašnjenje: Korelacija nije uzročnost. Dvije varijable mogu djelovati zajedno jer skrivena treća varijabla (ovdje sezonske kampanje) utječe na obje. Zaključak da jedno uzrokuje drugo može se utvrditi samo kroz eksperiment i terensko znanje; Sam broj korelacija nije dokaz uzročnosti.
5. Model za otkrivanje prijevare pokazuje 99,2% točnosti i tim slavi; Međutim, stopa lažnih transakcija u podacima je samo 0,8%, a povlačenje modela je 6%. Što ova tablica pokazuje?
- A) Model je savršen jer je točnost preko 99%
- B) Točnost dovodi u zabludu s neuravnoteženim podacima; Model propušta gotovo sve krivotvorine (nisko sjećanje), treba pogledati odgovarajuću metriku ✔
- C) Nema problema jer je opoziv modela velik
- D) Nije bilo potrebe za izgradnjom modela jer je stopa lažiranja bila niska
Objašnjenje: 'Točnost' dovodi u zabludu u neuravnoteženim podacima. Kada model gotovo svaku transakciju nazove 'čistom', dobiva visoku točnost jer je krivotvorina vrlo malo, ali ne uspijeva uhvatiti lažnjake, što je njegova glavna svrha (sjetimo se 6%). Stoga, u neuravnoteženim problemima, fokus nije na točnosti, već na matrici zabune i metrici prikladnoj za svrhu posla, kao što je prisjećanje/preciznost.
6. U projektu predviđanja potražnje, podaci ovisni o vremenu nasumično se dijele na obuku/testiranje. Model daje 93% točnosti, ali se ruši u proizvodnji. Kakav bi trebao biti ispravan pristup podjeli?
- A) Povećanje ispitnog skupa, npr. cijepanje 50%/50%
- B) Korištenje složenijeg modela
- C) Potpuno uklonite particiju i trenirajte sa svim podacima
- D) Kronološko razdvajanje: vježbanje sa starim razdobljem i testiranje s novim razdobljem, čime se sprječava model da vidi budućnost ✔
Objašnjenje: Ako se vrši nasumično dijeljenje u podacima vremenske serije, model vidi budućnost i predviđa prošlost u obuci; to je curenje i proizvodi uspjeh koji zapravo ne postoji. Ispravan pristup je kronološko razdvajanje: obuka sa starim razdobljem i testiranje s novim razdobljem, oponašanje stvarnog stanja u proizvodnji (predviđanje iz prošlosti u budućnost).
7. Iz kojih podataka treba izračunati parametre skaliranja (StandardScaler) u inženjerstvu značajki i kako ih treba primijeniti?
- A) Treba ga izračunati iz svih podataka (trening + testiranje zajedno) kako bi bio točniji
- B) Treba ga izračunati zasebno za svaki redak, iz vlastite vrijednosti tog retka
- C) Treba se izračunati samo iz podataka ispitivanja
- D) Treba se izračunati samo iz podataka o treningu, zatim se isti parametri trebaju primijeniti na podatke testa; inače će curiti ✔
Objašnjenje: Parametri svih transformacija (srednja vrijednost, standardna devijacija, itd.) kao što su skaliranje, kodiranje i ispunjavanje trebaju se naučiti samo iz podataka o obuci, zatim se isto treba primijeniti na podatke testa. Uzimanje testnih podataka u obzir također uzrokuje da informacije o testu ometaju obuku, to jest curenje, i čini da model izgleda bolje nego što jest. Korištenje cjevovoda to osigurava.
8. Model daje 98% točnosti na setu za vježbanje i 72% točnosti na testnom setu. Na što ukazuje ovaj simptom i što treba učiniti?
- A) Nedovoljno učenje; model treba učiniti složenijim
- B) Curenje podataka; ispitni set se mora promijeniti
- C) Prekomjerno opremanje; model treba pojednostaviti, treba primijeniti regularizaciju i unakrsnu provjeru valjanosti ✔
- D) Normalna situacija; Ocjena obrazovanja je ionako uvijek viša, mjere opreza su nepotrebne
Objašnjenje: Vrlo visok rezultat u obuci i značajno nizak rezultat u testiranju klasičan je simptom prekomjernog opremanja: model je zapamtio šum podataka uvježbavanja, a ne pravi obrazac. Rješenja uključuju pojednostavljenje modela, više podataka, regularizaciju i provjeru stanja s unakrsnom provjerom valjanosti. Oslanjanje isključivo na ocjenu obrazovanja skriva ovu zamku.
9. U upravljačkoj prezentaciji, y-os trakastog grafikona u kojem se prodaja povećava s 1000 na 1020 počinje na 980 kako bi povećanje izgledalo ogromno. Stvarno povećanje je 2%. Zašto je ovo etičko pitanje?
- A) Skraćena y-os vizualno preuveličava malu razliku i dovodi gledatelja u zabludu; Radi pravednosti, os u usporednim trakama trebala bi počinjati od 0 ✔
- B) Stupčasti dijagrami se nikada ne mogu koristiti za podatke o prodaji
- C) Nema problema; Uvijek je dobro da grafikon izgleda impresivno
- D) Y-os treba uvijek polaziti od najveće vrijednosti podataka
Objašnjenje: U trakastim dijagramima za potrebe usporedbe, y-os općenito bi trebala počinjati od 0. Rezanje osi i početak od 980 čini malu razliku od 2% vizualno velikom i dovodi gledatelja u zabludu. Etička odgovornost stručnjaka za podatke je crtanje poštenih grafikona koji ne precjenjuju niti podcjenjuju podatke.
10. Analitičar pronalazi ukupni promet 3 puta nakon spajanja narudžbi s tablicom proizvoda; Broj linija povećan je s 240 tisuća na 690 tisuća. Što je trebalo učiniti da se spriječi ova tiha pogreška?
- A) Podijelite ukupni promet s 3
- B) Uvijek koristite zasebne upite umjesto JOIN
- C) Potpuno brisanje tablice proizvoda
- D) Provjera broja redaka nakon spajanja/JOIN-a i provjera jesu li spojeni putem ispravnog ključa; Rano hvatanje replikacije ✔
Objašnjenje: Kada postoji više redaka za svaki proizvod (različite boje, na primjer) u tablici proizvoda, PRIDRUŽIVANJE preko pogrešnog ključa će duplicirati svaku narudžbu i povećati ukupne iznose. Kod radi bez grešaka, ali rezultat je pogrešan. Način da se to izbjegne je provjera broja redaka nakon svakog spajanja/JOIN i spajanje ispravnim ključem.
11. Model provjere zapošljavanja uči o rodnoj neravnoteži u povijesnim podacima i sustavno podcjenjuje kandidatkinje, ali njegova je ukupna točnost visoka. Što ovo znači?
- A) Nema problema jer model ima visoku točnost
- B) Statistička točnost nije zamjena za etičku prihvatljivost; model je naučio o diskriminaciji u prošlosti, potrebna je grupna provjera pravednosti ✔
- C) Daljnje povećanje točnosti modela rješava problem
- D) Pravednost je izvan dosega znanosti o podacima
Objašnjenje: čak i ako je model statistički točan, može biti etički neprihvatljiv. Model uči nepravdu u prošlim podacima i automatizira diskriminaciju. Visoki integritet nije zamjena za pravdu; U modelima visokog utjecaja, kontrola pravednosti, koja mjeri razliku u izvedbi/odluci za različite skupine, ključna je, a krajnja odgovornost leži na čovjeku.
12. Zaposlenik učitava datoteku koja sadrži e-poštu pravih kupaca i povijest kupnje u javni AI alat i kaže 'sažeti segmente'. Zašto je ovo ozbiljna greška i koji je pravi put?
- A) Nema problema; AI alati nikada ne pohranjuju podatke
- B) Greška je što je datoteka prevelika; trebalo smanjiti
- C) Davanje pravih osobnih podataka otvorenom alatu je kršenje KVKK/GDPR; polja identiteta trebala su biti uklonjena i dijeliti samo anonimnu shemu/svojstvo ✔
- D) Trebalo je koristiti CSV umjesto samo Excela
Objašnjenje: Kada se pravi osobni podaci (kao što su e-mail, ime, itd.) daju javno dostupnom alatu umjetne inteligencije, doći će do povrede privatnosti u okviru KVKK / GDPR; podaci napuštaju organizaciju. U većini slučajeva za analizu su dovoljni dijagram i anonimni/sintetički uzorak. Ispravan način je ukloniti polja identiteta i dijeliti samo anonimna svojstva.
13. Model preporuke stavljen je u proizvodnju, ali praćenje nije uspostavljeno; Kada se katalog proizvoda promijeni nakon 4 mjeseca, model nastavlja preporučivati stare proizvode, a stopa konverzije tiho pada za 30%. Kako se zove ova pojava?
- A) Preučenje; Model pamti set treninga
- B) Pomicanje modela; Kako se svijet mijenja, model zastarijeva tiho, neprimjetno jer nije uspostavljen nadzor ✔
- C) Pristranost odabira; pristranost uzorka
- D) Kršenje minimizacije podataka
Objašnjenje: Ovo je pomicanje modela (pomicanje modela/podataka): kada se svijet promijeni (katalog, ponašanje, godišnje doba) mijenjaju se uvjeti pod kojima je model treniran i model se tiho pokvari. Model pušten u proizvodnju kvari se sam od sebe; Pitanje je 'kada'. Implementacija bez praćenja (praćenje unosa i performansi) onemogućuje otkrivanje degradacije.
14. Model koji dobiva 88% točnosti u jednoj obuci/testiranju ima rezultate 5-struke unakrsne provjere od 88%, 71%, 83%, 64%, 79%. Što to znači i zašto je unakrsna provjera valjanosti važna?
- A) Model je stabilan; 88% je stvarna izvedba
- B) Unakrsna provjera valjanosti je nepotrebna; Dovoljan je jedan pretinac
- C) Velika volatilnost rezultata ukazuje da je model nestabilan; unakrsna provjera temelji izvedbu na prosjeku i raspodjeli više spremnika, a ne jednog sretnog spremnika ✔
- D) Najbolje je prijaviti najviši rezultat (88%)
Objašnjenje: jedan odjeljak može biti sretan ili nesretan; 88% je bio samo rezultat te lake podjele. Unakrsna provjera valjanosti dijeli podatke više puta, temeljeći izvedbu na srednjoj vrijednosti (ovdje ~77%) i pokazujući promjenjivost rezultata. Visoka volatilnost ovdje sugerira da je model nestabilan; Oslanjanje na jedan odjeljak dovodi u zabludu.