zisky:
- Schopnosť porozumieť fázam MLOps (uvoľnenie, nasadenie, monitorovanie, preškolenie, rollback) a modelový posun a plánovanie monitorovaného nasadenia
- Schopnosť aplikovať princípy modelovej spravodlivosti, transparentnosti a zodpovednosti a rozlišovať štatistickú presnosť od etickej prijateľnosti
- Schopnosť chrániť osobné údaje podľa zásad KVKK/GDPR a priradiť konečnú zodpovednosť človeku pri rozhodnutiach s vysokým dopadom
Výcvik modelky a získanie vysokého skóre nie je koniec, ale stred. Skutočná hodnota prichádza, keď je model uvedený do výroby a funguje spoľahlivo, je monitorovaný v priebehu času bez poškodenia a celý proces prebieha v medziach etických a právnych predpisov. Táto záverečná časť spája tri témy: MLOps (disciplína uvádzania do prevádzky, monitorovanie a udržiavanie modelov), etika (spravodlivosť, transparentnosť, neškodivosť) a súkromie (ochrana osobných údajov). AI vytvára kód, kontrolné zoznamy a plány v týchto oblastiach; Ľudia však rozhodujú o tom, či sa model uvedie do prevádzky, kto bude ovplyvnený a aké údaje možno použiť. Tieto rozhodnutia nie sú technické, ale rozhodnutia o zodpovednosti.
MLOps: model žije ako produkt
MLOps (Machine Learning Operations – prax spustenia, monitorovania a aktualizácie modelov strojového učenia vo výrobe) je prispôsobením DevOps vo vývoji softvéru dátovej vede. Základná myšlienka: model nie je pilník, ktorý sa raz natrénuje a zabudne, ale živý produkt, ktorý si vyžaduje neustálu údržbu. Hlavné etapy:
1. Verzia: Kód (Git), dáta a model sú verzované spoločne; Zaznamenáva sa, ktorý model bol vyrobený s akými údajmi a kódom.
2. Nasadenie: Model sa uvedie do prevádzky ako API alebo dávková úloha. Zvyčajne sa dáva najprv malému publiku (distribúcia tieňa/kanárika).
3. Monitoring: Výkonnosť modelu a vstupné dáta sú neustále monitorované.
4. Preškolenie: Keď výkon klesne, model sa preškolí s aktualizovanými údajmi.
Posun vzoru: tiché skreslenie
Najväčšie nebezpečenstvo vo výrobe predstavuje modelový drift (modelový drift / dátový drift). Svet sa mení; Podmienky, na ktorých ste svoj model trénovali (zákaznícke správanie, ceny, sezóna, legislatíva) sa časom menia a model začína zastarávať. Napríklad model dopytu trénovaný pred pandémiou je počas pandémie úplne nesprávny. Drift sa vyskytuje v dvoch formách: dátový drift (distribúcia zmien vstupných dát) a konceptový drift (vzťah medzi vstupnými a cieľovými zmenami). Spôsob, ako ich zachytiť, je monitorovanie: neustále sledovať distribúciu vstupov, distribúciu predpovedí a (ak je to možné) výkon v porovnaní so skutočným výsledkom.
Pozor: Model uvedený do výroby sa sám o sebe znehodnotí; Nie je to otázka „ak“, ale „kedy“. Nasadzovanie modelov bez nastavenia monitorovania je ako riadenie auta bez toho, aby ste kedy ovládali jeho motor; Jedného dňa len ticho sedí a vy si to nevšimnete.
prvok MLOps
Účel
Ak sa zanedbá
Verzia
Vedieť, čo sa vyrába
Nereprodukovateľné, nesledovateľné
Monitorovanie
Vidieť sklz skoro
Model sa ticho rozpadá
preškolenie
zostať v obraze
Predpovede starnú
Vrátenie späť
vrátiť sa k zlému modelu
Chybný model zostáva aktívny
Dokumentácia
transparentnosť, obrat
Informácie uviaznu v jednej osobe
Etika: modelové rozhodnutia ovplyvňujú ľudí
Dátové modely sa čoraz viac využívajú pri rozhodnutiach, ktoré ovplyvňujú životy ľudí: úver, nábor, poistenie, spravodlivosť. S touto mocou prichádza zodpovednosť. Hlavné etické riziká:
Zaujatosť a diskriminácia: Model sa môže učiť a udržiavať nespravodlivosti v historických údajoch. Ak sa určitej skupine v minulosti pripisoval menší kredit, model predpokladá, že ide o „pravidlo“ a automatizuje diskrimináciu. Preto je nevyhnutná analýza spravodlivosti – kontrola, či model funguje podobne pre rôzne skupiny (pohlavie, vek, región).
Transparentnosť a vysvetliteľnosť: Mali by ste byť schopní vysvetliť, prečo model odmietol osobu. „Čierna skrinka to povedala“ je eticky a často právne neprijateľné. Preto sú cenné nástroje vysvetľovania (dôležitosť funkcie, hodnoty SHAP).
Zodpovednosť: Kto je zodpovedný, ak sa model rozhodne nesprávne? Odpoveď je vždy osoba/inštitúcia, nie model. Pri rozhodnutiach s vysokým dosahom by sa mal zachovať ľudský dohľad (človek v slučke – človek schvaľujúci konečné rozhodnutie).
Pozor: Model môže byť štatisticky „správny“, ale eticky neprijateľný. Vysoko presný model, ktorý systematicky znevýhodňuje jednu skupinu, nie je dobrý model. Čestnosť nie je náhradou za spravodlivosť.
Súkromie: osobné údaje sú starostlivo chránené
Surovinou vedy o údajoch sú často osobné údaje a tieto údaje sú chránené zákonom: KVKK v Turecku, GDPR v Európe. Základné princípy sú: obmedzenie účelu (údaje sa nepoužívajú na iné účely, ako je účel, na ktorý boli zhromaždené), minimalizácia údajov (nezbiera sa/neuchováva sa viac údajov, ako je potrebné), anonymizácia (identifikačné informácie sa odstránia) a bezpečnosť (údaje sú šifrované a prístup k nim je obmedzený). Zásadné pravidlo pri práci s nástrojmi AI: nikdy nevkladajte skutočné osobné údaje do verejného nástroja AI. Na analýzu väčšinou postačuje diagram a anonymná/syntetická vzorka.
Ďalší dôraz v kontexte informačnej bezpečnosti: používajte nástroje a techniky vedy o údajoch iba na údaje a systémy, pre ktoré máte oprávnenie, na účely defenzívnej a legitímnej analýzy. Neoprávnený prístup k údajom niekoho iného, opätovná identifikácia jednotlivcov (vyťahovanie identity z anonymných údajov) alebo neoprávnené profilovanie je nezákonné a neetické.
tri mini prípady
Prípad 1 – Nesledovaný kolaps. Spoločnosť elektronického obchodu spustila svoj model odporúčaní a nenastavila sledovanie. Po 4 mesiacoch sa katalóg produktov výrazne zmenil; model naďalej odporúčal zastarané produkty a konverzný pomer potichu klesol o 30 %. Celé mesiace si to nikto nevšimol. Ponaučenie: nasadenie bez monitorovania je slepé.
Prípad 2 – Skrytá diskriminácia. Model skríningu zamestnávania sa dozvedel o rodovej nerovnováhe v historických údajoch a systematicky podceňoval kandidátky. Nebolo to zaznamenané, pretože neexistovala žiadna analýza spravodlivosti; Odhalil to audit a inštitúcia čelila vážnemu reputačnému/právnemu riziku. Poučenie: Pri modeloch s vysokým dopadom je nevyhnutná skupinová kontrola spravodlivosti.
Prípad 3 – Porušenie dôvernosti. Jeden analytik nahral súbor obsahujúci skutočné e-maily zákazníkov a históriu nákupov do verejného nástroja AI a povedal: „Zosumarizujte segmenty“. Osobné údaje opustili inštitúciu; Proces KVKK sa začal. Správnym spôsobom bolo odstrániť polia identity a zdieľať iba anonymné vlastnosti. Ponaučenie: skutočné osobné údaje nevstupujú do otvoreného nástroja.
Štyri kopírovateľné šablóny
1) Kontrolný zoznam pred nasadením:
Vaša úloha: konzultant MLOps. Uveďte veci, ktoré musím skontrolovať pred uvedením modelu do výroby: vytváranie verzií, metriky monitorovania, plán návratu, prah výkonu, upozornenie na posun údajov, zodpovedná osoba. Ku každej položke pridajte jednovetové vysvetlenie „prečo na tom záleží“. ja sa rozhodnem.
2) Návrh sledovania posunu modelu:
Navrhnite plán monitorovania posunu pre klasifikačný model vo výrobe: (1) aké vstupné distribúcie by som mal monitorovať, (2) aký alarm pre distribúciu predpovedí, (3) ako porovnať výkon, keď sa dostaví skutočný výsledok, (4) pri akej prahovej hodnote by sa malo spustiť preškolenie. Poskytnite tiež kostru kódu.
3) Kontrola spravodlivosti:
Napíšte kód, ktorý porovná výkonnosť môjho modelu pre rôzne skupiny (napr. veková skupina, región): zapamätanie/presnosť a miera pozitívnych rozhodnutí pre každú skupinu. Upozornite, ak je medzi skupinami významný rozdiel. Vytváranie kauzálnych/politických interpretácií; Ukážte mi rozdiely a ja zvážim rozhodnutie.
4) Predbežná kontrola súkromia:
Pred poskytnutím údajov nástroju AI skontrolujte: sú v zozname stĺpcov nižšie osobné údaje/údaje o identite (meno, e-mail, ID, telefón, adresa, IP)? Ak áno, uveďte, ktoré by mali byť odstránené alebo anonymizované. Stĺpce: [zoznam]. Účel: zdieľať iba anonymnú schému.
Slabá výzva / Silná výzva
Slabá výzva:
Môj model je pripravený, choďte naživo.
Nasadenie nie je jediný krok; Živé vysielanie bez monitorovania, vrátenia späť, spravodlivosti a kontroly súkromia je tichou pozvánkou na katastrofu.
Výkonná výzva:
Vaša úloha: zodpovedný konzultant MLOps. Môj model bol vycvičený, chcem sa pred spustením naživo pripraviť. Vygenerujte: (1) kontrolný zoznam pred nasadením, (2) plán monitorovania posunu, (3) skupinový kód kontroly férovosti, (4) kontrolu súkromia (existujú osobné údaje). Navrhnite tiež, ako chrániť ľudský súhlas pri rozhodnutiach s vysokým dopadom. Konečné rozhodnutia sú na mne.
Distribúcia, monitorovanie, spravodlivosť a súkromie sa tu považujú za jeden zodpovedný proces.
Časté chyby
- Nasadenie modelu bez nastavenia monitorovania. Model ticho kĺže a deformuje; Môže to trvať mesiace, kým si to všimnete.
- Obchádzanie justičnej kontroly. Vysoko verný model môže skupinu systematicky znevýhodňovať.
- Urobiť nevysvetliteľné rozhodnutie čiernej skrinky. Rozhodnutia s veľkým dosahom musia byť vysvetliteľné; "Modelka to povedala" nestačí.
- Poskytovanie skutočných osobných údajov na otvorenie nástroja AI. Porušenie KVKK/GDPR; Schéma a anonymný príklad sú dostatočné.
- Delegovanie rozhodnutia na modelku. Zodpovednosť je vždy na človeku; Zachováva sa vysoký vplyv ľudského dohľadu.
Tip: Skôr ako začnete s každým modelom žiť, položte nahlas jednu otázku: „Ak sa tento model zajtra potichu pokazí alebo nespravodlivo penalizuje skupinu, ako si ho všimnem a vrátim späť?“ Ak na túto otázku nemáte jasnú odpoveď, model ešte nie je pripravený na výrobu.
V súhrne
Práca modelky sa nekončí vysokým skóre, ale spoľahlivou a zodpovednou prácou vo výrobe. MLOps je disciplína vysielania naživo, monitorovania driftu, preškolenia a vrátenia modelu späť; Nasadenie bez sledovania je tichý kolaps. Etika vyžaduje spravodlivosť, transparentnosť a zodpovednosť modelu; štatistická presnosť nie je náhradou za etickú prijateľnosť. Súkromie znamená ochranu osobných údajov podľa zásad KVKK/GDPR a uchovávanie skutočných údajov mimo otvorených nástrojov. Všetky tieto rozhodnutia nie sú technické, ale rozhodnutia o zodpovednosti a vždy patria človeku.
Aplikačná úloha
Myslite na to, ako keby ste sa chystali zaviesť model, ktorý ste vytvorili (alebo hypotetický) do výroby a vyplniť štyri zoznamy: (1) kontrolný zoznam pred nasadením, (2) metriky posunu, ktoré budete sledovať, (3) plán kontroly spravodlivosti na základe skupiny, (4) kontrola súkromia. Potom napíšte konkrétnu odpoveď na otázku "Ako si všimnem, ak sa to zajtra potichu rozbije a dostanem to späť?"
kontrolný zoznam
- [ ] Nasadzujem model s plánom monitorovania (upozornenie na sklz) a vrátenia?
- [ ] Skontroloval som rozdiel medzi spravodlivosťou/výkonom pre rôzne skupiny?
- [ ] Zachoval som človeka pri rozhodnutiach s vysokým dopadom?
- [ ] Chránil som osobné údaje zásadami KVKK/GDPR a chránil som ich pred otvorenými nástrojmi?
- [ ] Dal som konečnú zodpovednosť na človeka, nie na model?
Modulová skúška
1. Dátový vedec sa pýta umelej inteligencie: "Ako presný je náhodný les na týchto údajoch?" bez trénovania modelu a priamo vloží do prezentácie odpoveď „89 %“. V čom spočíva zásadná chyba tohto prístupu?
- A) Čakanie na metriky bez poskytnutia údajov a modelov umelej inteligencii; Ignorovanie toho, že číslo, ktoré vyprodukuje, je falošné a že skutočnú metriku možno nájsť iba školením a testovaním ✔
- B) Musí použiť logistickú regresiu namiesto náhodného lesa
- C) Miera presnosti musí byť vždy vyššia ako 90 %.
- D) Je prísne zakázané zahrnúť do prezentácie metriky
Vysvetlenie: Umelá inteligencia nemôže vytvoriť metriku bez prístupu k modelu a údajom; Číslo, ktoré uvádza, je halucinácia (vymyslená). Metrika sa získa vlastným výpočtom vedca údajov až po tom, čo bol model skutočne vyškolený a otestovaný. Neoverený výstup je ako nepodpísaná správa.
2. Stĺpec „dôvod zatvorenia účtu“ je zahrnutý pri zbere údajov pre prognózu miznutia; Tento stĺpec sa vyplní až po odchode zákazníka. Model dáva 97% na testovacej súprave, ale vo výrobe nefunguje. Aký je názov a príčina tohto stavu?
- A) Preučenie; Model je príliš zložitý
- B) únik údajov; ✔ Používanie informácií, ktoré nebudú k dispozícii v čase predpovede, ale sú výsledkom cieľa, ako funkcie
- C) Nedostatočné učenie; Model je príliš jednoduchý
- D) skreslenie výberu; malá veľkosť vzorky
Vysvetlenie: Toto je klasický únik údajov: „dôvod ukončenia“ je výsledkom cieľa a v čase predikcie je stále prázdny. Model robí trik s týmito budúcimi znalosťami, vyzerá skvele na testovacej súprave, ale vo výrobe zlyhá, pretože tento stĺpec je prázdny. V každom stĺpci by mala byť položená otázka „mám to v čase predpovede“.
3. Analytik doplní chýbajúce hodnoty v stĺpci príjmov priemerom; ale chýbajúci ľudia v skutočnosti patria do segmentu s nízkymi príjmami, ktorý nikdy nepriznal príjem (systematické chýbanie). Prečo je táto výplň nesprávna?
- A) Priemer je vždy väčší ako medián, takže je nesprávny
- B) Chýbajúce hodnoty nikdy nevypĺňajte, vždy ich vymažte
- C) Vyplnenie systematickej medzery priemerom skresľuje údaje tým, že túto skupinu umelo reprezentuje; Plnenie sa uskutočnilo bez položenia otázky „prečo je prázdny?“ ✔
- D) Výpočet priemeru vytvára problém s výkonom, pretože je príliš pomalý
Vysvetlenie: Príčina nedostatku určuje riešenie. Keď sa systematické chýbajúce (medzera sústredená v určitej skupine) vyplní priemerom, táto skupina sa stane umelo „priemerným príjmom“ a údaje sa skreslia. Pred jeho vyplnením si treba položiť otázku „prečo je prázdny“; systematický/významne chýbajúci priemer by sa nemal dopĺňať.
4. Tím nájde 0,78 koreláciu medzi „výdavkami na reklamu“ a „predajom“ a zdvojnásobí rozpočet; Čo však v skutočnosti spúšťa oboje, sú sezónne kampane. Aký princíp v štatistike vysvetľuje túto chybu?
- A) Korelácia nie je príčinná súvislosť; Skrytá tretia premenná môže ovplyvňovať obe premenné ✔
- B) Keďže korelácia 0,78 je príliš nízka, vzťah by sa mal ignorovať
- C) Korelácia vždy dokazuje kauzalitu, tým to pochopil správne
- D) Koreláciu medzi reklamou a predajom nemožno vypočítať matematicky.
Vysvetlenie: Korelácia nie je príčinná súvislosť. Tieto dve premenné môžu pôsobiť spoločne, pretože skrytá tretia premenná (tu sezónne kampane) ich ovplyvňuje. Záver, že jedno spôsobuje druhé, je možné stanoviť len prostredníctvom experimentu a poznatkov z terénu; Samotný počet korelácií nie je dôkazom kauzality.
5. Model odhaľovania podvodov vykazuje presnosť 99,2 % a tím oslavuje; Miera falošných transakcií v údajoch je však len 0,8 % a spomienka na model je 6 %. Čo ukazuje táto tabuľka?
- A) Model je dokonalý, pretože presnosť je viac ako 99%
- B) Presnosť je zavádzajúca s nevyváženými údajmi; Modelu chýbajú takmer všetky falzifikáty (nízka pripomienka), treba sa pozrieť na príslušnú metriku ✔
- C) Neexistuje žiadny problém, pretože stiahnutie modelu je vysoké
- D) Nebolo potrebné postaviť model, pretože miera falošnosti bola nízka
Vysvetlenie: „Presnosť“ je v nevyvážených údajoch zavádzajúca. Keď model nazýva takmer každú transakciu „čistou“, získa vysokú presnosť, pretože falzifikátov je veľmi málo, no nedokáže falzifikáty zachytiť, čo je jeho hlavný účel (spomínanie 6 %). Preto pri nevyvážených problémoch nie je dôraz kladený na presnosť, ale na maticu zmätku a metriky vhodné pre účel úlohy, ako je napríklad zapamätanie/presnosť.
6. V projekte predpovedania dopytu sú časovo závislé údaje náhodne rozdelené na školenia/testovanie. Model poskytuje presnosť 93 %, ale vo výrobe padá. Aký by mal byť správny prístup k deleniu?
- A) Zväčšenie testovacej zostavy napr. rozdelenie 50%/50%
- B) Použitie zložitejšieho modelu
- C) Úplne odstráňte oddiel a trénujte so všetkými údajmi
- D) Chronologické rozdelenie: trénovanie so starým obdobím a testovanie s novým obdobím, čím sa bráni modelu vidieť budúcnosť ✔
Vysvetlenie: Ak sa v údajoch časových radov vykoná náhodné delenie, model vidí budúcnosť a predpovedá minulosť v tréningu; je to únik a prináša úspech, ktorý v skutočnosti neexistuje. Správny prístup je chronologické členenie: trénovanie so starým obdobím a testovanie s novým obdobím, napodobňovanie reálnej situácie vo výrobe (predpovedanie z minulosti do budúcnosti).
7. Z akých údajov by sa mali parametre škálovania (StandardScaler) vypočítať v inžinierstve funkcií a ako by sa mali použiť?
- A) Mala by sa vypočítať zo všetkých údajov (tréning + testovanie spolu), aby to bolo presnejšie
- B) Mala by sa vypočítať samostatne pre každý riadok z vlastnej hodnoty tohto riadka
- C) Mala by sa vypočítať len z údajov testu
- D) Mal by sa vypočítať iba z tréningových údajov, potom by sa rovnaké parametre mali použiť na testovacie údaje; inak vytečie ✔
Vysvetlenie: Parametre všetkých transformácií (priemer, štandardná odchýlka atď.), ako je škálovanie, kódovanie a výplň, by sa mali naučiť iba z trénovacích údajov, potom by sa to isté malo použiť na testovacie údaje. Zohľadnenie testovacích údajov tiež spôsobuje, že testovacie informácie narúšajú tréning, to znamená úniky, a model vyzerá lepšie, ako je. Použitie Pipeline to zabezpečuje.
8. Model poskytuje 98 % presnosť na tréningovej súprave a 72 % presnosť na testovacej súprave. Čo tento príznak naznačuje a čo treba urobiť?
- A) Nedostatočné učenie; model by mal byť komplexnejší
- B) únik údajov; testovacia sada sa musí zmeniť
- C) Nadmerné vybavenie; model by sa mal zjednodušiť, mala by sa uplatniť regularizácia a krížová validácia ✔
- D) Normálna situácia; Skóre vzdelania je aj tak vždy vyššie, preventívne opatrenia sú zbytočné
Vysvetlenie: Veľmi vysoké skóre v tréningu a výrazne nízke skóre v testovaní je klasickým príznakom nadmerného vybavenia: model si zapamätal skôr šum tréningových dát ako skutočný vzor. Riešenia zahŕňajú zjednodušenie modelu, viac údajov, regularizáciu a overenie stavu pomocou krížovej validácie. Spoliehať sa len na skóre vzdelania skrýva toto úskalie.
9. V prezentácii manažmentu sa os y stĺpcového grafu, v ktorom nárast predaja z 1 000 na 1 020 začína na 980, aby sa nárast zdal obrovský. Skutočný nárast je 2 %. Prečo ide o etický problém?
- A) Skrátená os y vizuálne zveličuje malý rozdiel a zavádza diváka; Kvôli spravodlivosti by os v porovnávacích pruhoch mala začínať od 0 ✔
- B) Stĺpcové grafy nemožno nikdy použiť na údaje o predaji
- C) Nie je problém; Vždy je dobré, aby graf vyzeral pôsobivo
- D) Os Y by mala vždy začínať od najväčšej hodnoty údajov
Vysvetlenie: V stĺpcových grafoch na účely porovnania by os y mala vo všeobecnosti začínať na 0. Zrezanie osi a začínajúce na 980 spôsobí, že malý 2% rozdiel sa zdá byť vizuálne obrovský a zavádza diváka. Etickou zodpovednosťou dátového profesionála je kresliť poctivé grafy, ktoré nepreceňujú ani nepodceňujú údaje.
10. Analytik zistí celkový obrat 3-krát po ZAPOJENÍ zákaziek s tabuľkou produktov; Počet liniek sa zvýšil z 240-tisíc na 690-tisíc. Čo by sa malo urobiť, aby sa zabránilo tejto tichej chybe?
- A) Vydeľte celkový obrat 3
- B) Vždy používajte samostatné dopyty namiesto JOIN
- C) Úplné vymazanie tabuľky produktov
- D) Kontrola počtu riadkov po zlúčení/JOIN a overenie, či sú spojené pomocou správneho kľúča; Včasné zachytenie replikácie ✔
Vysvetlenie: Ak existuje viacero riadkov pre každý produkt (napríklad inej farby) v tabuľke produktov, JOIN pomocou nesprávneho kľúča zduplikuje každú objednávku a zvýši súčty. Kód beží bez chýb, ale výsledok je nesprávny. Spôsob, ako sa tomu vyhnúť, je skontrolovať počet riadkov po každom zlúčení/JOIN a zlúčiť pomocou správneho kľúča.
11. Model skríningu prijímania sa dozvie o rodovej nerovnováhe v historických údajoch a systematicky podhodnocuje kandidátky, ale jeho celková presnosť je vysoká. čo to znamená?
- A) Neexistuje žiadny problém, pretože model má vysokú presnosť
- B) Štatistická presnosť nenahrádza etickú prijateľnosť; model sa dozvedel o diskriminácii v minulosti, vyžaduje sa skupinová kontrola spravodlivosti ✔
- C) Problém rieši ďalšie zvyšovanie presnosti modelu
- D) Spravodlivosť je mimo rozsahu vedy o údajoch
Vysvetlenie: Aj keď je model štatisticky správny, môže byť eticky neprijateľný. Model sa učí nespravodlivosti v minulých údajoch a automatizuje diskrimináciu. Vysoká integrita nie je náhradou za spravodlivosť; V modeloch s vysokým dopadom je nevyhnutná kontrola spravodlivosti, ktorá meria rozdiel medzi výkonom/rozhodnutím pre rôzne skupiny, a konečná zodpovednosť leží na človeku.
12. Zamestnanec nahrá súbor obsahujúci skutočné e-maily zákazníkov a históriu nákupov do verejného nástroja AI a povie „summarize segments“. Prečo je to vážna chyba a aký je správny spôsob?
- A) Nie je problém; Nástroje AI nikdy neukladajú dáta
- B) Chyba je, že súbor je príliš veľký; mala byť znížená
- C) Poskytnutie skutočných osobných údajov otvorenému nástroju je porušením KVKK/GDPR; polia identity by mali byť odstránené a zdieľaná iba anonymná schéma/vlastníctvo ✔
- D) Namiesto Excelu by sa mal použiť CSV
Vysvetlenie: Keď sú verejne dostupnému nástroju umelej inteligencie poskytnuté skutočné osobné údaje (ako je e-mail, meno atď.), dôjde k porušeniu súkromia v rámci KVKK / GDPR; údaje opúšťajú organizáciu. Na analýzu väčšinou postačuje diagram a anonymná/syntetická vzorka. Správny spôsob je odstrániť polia identity a zdieľať iba anonymné vlastnosti.
13. Model odporúčaní je uvedený do výroby, ale nie je zavedené sledovanie; Keď sa katalóg produktov po 4 mesiacoch zmení, model naďalej odporúča staré produkty a miera konverzie ticho klesne o 30 %. Aký je názov tohto fenoménu?
- A) Preučenie; Modelka si zapamätá tréningovú zostavu
- B) drift modelu; Ako sa svet mení, model sa potichu, nepozorovane stáva zastaraným, pretože monitorovanie nie je zavedené ✔
- C) skreslenie výberu; zaujatosť vzorky
- D) Porušenie minimalizácie údajov
Vysvetlenie: Toto je posun modelu (posun modelu/údajov): keď sa svet zmení (katalóg, správanie, ročné obdobie), podmienky, za ktorých bol model trénovaný, sa posunú a model sa ticho rozpadne. Model uvedený do výroby sa sám o sebe kazí; Ide o to, „kedy“. Nasadenie bez monitorovania (sledovanie vstupu a výkonu) znemožňuje detekciu degradácie.
14. Model, ktorý dosahuje 88% presnosť v jednom tréningovom/testovacom rozdelení, má 5-násobné krížové hodnotenie 88%, 71%, 83%, 64%, 79%. Čo to znamená a prečo je krížová validácia dôležitá?
- A) Model je stabilný; 88% je skutočný výkon
- B) Krížová validácia nie je potrebná; Stačí jedna priehradka
- C) Veľká volatilita skóre naznačuje, že model je nestabilný; krížová validácia zakladá výkon na priemere a distribúcii viacerých košov, ani jedného šťastného koša ✔
- D) Najlepšie je nahlásiť najvyššie skóre (88 %)
Vysvetlenie: Jedna priehradka môže byť šťastná alebo nešťastná; 88 % bolo len výsledkom toho ľahkého delenia. Krížová validácia rozdeľuje údaje viackrát, pričom výkon je založený na priemere (tu ~77 %) a ukazuje volatilitu skóre. Vysoká volatilita tu naznačuje, že model je nestabilný; Spoliehať sa na jednu priehradku je zavádzajúce.