Nyereség:
- Képes megérteni az MLOps fázisait (kiadás, üzembe helyezés, megfigyelés, átképzés, visszagörgetés) és modellezni a sodródást, és megtervezni a felügyelt telepítést
- Képes a modell igazságossága, átláthatósága és elszámoltathatósága elveinek alkalmazására, valamint a statisztikai pontosság és az etikai elfogadhatóság megkülönböztetésére
- Képes személyes adatokat védeni a KVKK/GDPR elvekkel, és a végső felelősséget az emberre ruházni a nagy hatású döntések során
A modell képzése és a magas pontszám nem a vége, hanem a közepe. Az igazi érték akkor jön létre, ha a modellt gyártásba állítják, és megbízhatóan működik, az idő múlásával, minőségromlás nélkül figyelik, és a teljes folyamatot etikai és jogi keretek között hajtják végre. Ez a záró egység három témát egyesít: MLOps (az éles indítás fegyelme, a modellek monitorozása és karbantartása), az etika (méltányosság, átláthatóság, rosszindulatúság) és a magánélet (személyes adatok védelme). Az AI kódot, ellenőrző listákat és tervrajzokat készít ezeken a területeken; De az emberek döntik el, hogy egy modell életbe lép-e, kit érint majd, és milyen adatokat lehet felhasználni. Ezek a döntések nem technikai, hanem felelősségi döntések.
MLOps: a modell úgy él, mint egy termék
Az MLOps (Machine Learning Operations – gépi tanulási modellek futtatásának, figyelésének és frissítésének gyakorlata a termelésben) a DevOps adaptációja a szoftverfejlesztésben az adattudományhoz. Az alapötlet: a modell nem egy fájl, amit egyszer betanítanak és elfelejtenek, hanem egy élő termék, amely állandó karbantartást igényel. Főbb szakaszok:
1. Verziózás: A kód (Git), az adatok és a modell együtt van verziózva; Rögzítésre kerül, hogy melyik modell milyen adatokkal és kóddal készült.
2. Üzembe helyezés: A modell API-ként vagy kötegelt feladatként kerül életbe. Általában kis közönségnek adják először (árnyékos/kanári elosztás).
3. Monitoring: A modell és a bemeneti adatok teljesítményét folyamatosan figyeljük.
4. Átképzés: Amikor a teljesítmény csökken, a modell újraképzésre kerül a frissített adatokkal.
Mintaeltolás: néma torzítás
A gyártásban a legnagyobb veszélyt a modellsodródás (modell drift / data drift) jelenti. A világ változik; Azok a feltételek, amelyek alapján a modelljét képezte (vevői magatartás, árak, szezon, jogszabályok) idővel megváltoznak, és a modell kezd elavulni. Például a világjárvány előtt kiképzett keresleti modell teljesen rossz a világjárvány alatt. A sodródás két formában fordul elő: adatsodródás (a bemeneti adatok változásainak eloszlása) és koncepciósodródás (a bemeneti és célváltozások közötti kapcsolat). Ezek rögzítésének módja a monitorozás: folyamatosan nyomon követni a bemeneti eloszlást, az előrejelzési eloszlást és (ha lehetséges) a teljesítményt a tényleges eredményhez képest.
Vigyázat: A gyártásba helyezett modell magától elromlik; Nem a "ha" a kérdés, hanem a "mikor". A modellek felügyelet beállítása nélkül történő bevezetése olyan, mintha egy autót vezetnénk anélkül, hogy a motorját irányítanánk; Egy nap csak ott ül csendben, és nem veszed észre.
MLOps elem
Cél
Ha elhanyagolják
Verziószámítás
Tudva, hogy mi készül
Nem reprodukálható, nem követhető
Monitoring
Korán látni a csúszást
A modell némán összeomlik
átképzés
maradj naprakész
A jóslatok öregszenek
Visszagörgetés
vissza a rossz modellhez
A hibás modell éles marad
Dokumentáció
átláthatóság, forgalom
Az információ megreked egy személyben
Etika: a modelldöntések hatással vannak az emberekre
Az adatmodelleket egyre gyakrabban használják az emberek életét befolyásoló döntésekben: hitel, felvétel, biztosítás, igazságszolgáltatás. Ezzel az erővel felelősség is jár. Főbb etikai kockázatok:
Elfogultság és diszkrimináció: A modell képes tanulni és állandósítani a történelmi adatok igazságtalanságait. Ha egy bizonyos csoport a múltban kevesebb hitelt kapott, a modell azt feltételezi, hogy ez egy „szabály”, és automatizálja a diszkriminációt. Ezért elengedhetetlen a méltányossági elemzés – annak ellenőrzése, hogy a modell hasonlóan teljesít-e a különböző csoportokban (nem, életkor, régió).
Átláthatóság és magyarázhatóság: Képesnek kell lennie megmagyarázni, hogy egy modell miért utasított el egy személyt. „A fekete doboz ezt mondta” etikailag és gyakran jogilag is elfogadhatatlan. Ezért értékesek a magyarázhatósági eszközök (a szolgáltatás fontossága, SHAP értékek).
Elszámoltathatóság: Ki a felelős, ha a modell rossz döntést hoz? A válasz mindig személy/intézmény, nem modell. Az emberi felügyeletet (human-in-the-loop – a végső döntést jóváhagyó ember) meg kell őrizni a nagy hatású döntéseknél.
Figyelem: Lehet, hogy egy modell statisztikailag "helyes", de etikailag elfogadhatatlan. Egy nagyon pontos modell, amely szisztematikusan hátrányos helyzetbe hozza az egyik csoportot, nem jó modell. Az őszinteség nem helyettesíti az igazságosságot.
Adatvédelem: a személyes adatokat gondosan védjük
Az adattudomány nyersanyaga gyakran személyes adatok, és ezeket az adatokat törvény védi: Türkiye-ben a KVKK, Európában a GDPR. Az alapelvek a következők: célhoz kötöttség (az adatokat nem használjuk fel a gyűjtésük céljától eltérő célra), adatminimalizálás (nincs több adat gyűjtése/őrzése, mint amennyi szükséges), anonimizálás (az azonosító információkat eltávolítjuk) és biztonság (az adatok titkosítása és hozzáférése korlátozott). Kritikus szabály az AI-eszközökkel végzett munka során: soha ne illesszen be valós személyes adatokat nyilvános AI-eszközbe. Az elemzéshez legtöbbször egy diagram és egy anonim/szintetikus minta is elegendő.
További hangsúly az információbiztonsággal kapcsolatban: csak olyan adatokon és rendszereken használjon adattudományi eszközöket és technikákat, amelyekre jogosult, védekező és legitim elemzési célokra. Valaki más adataihoz való jogosulatlan hozzáférés, az egyének újbóli azonosítása (a személyazonosság kinyerése anonim adatokból) vagy a jogosulatlan profilalkotás jogellenes és etikátlan.
három mini tok
1. eset – Követetlen összeomlás. Egy e-kereskedelmi vállalat élesbe lépett az ajánlási modelljével, és nem állította be a követést. 4 hónap után a termékkatalógus jelentősen megváltozott; a modell továbbra is elavult termékeket ajánlott, és a konverziós arány csendesen, 30%-kal csökkent. Senki sem vette észre hónapokig. Tanulság: a felügyelet nélküli telepítés megvakult.
2. eset – Rejtett diszkrimináció. Egy munkaerő-felvételi szűrési modell megismerte a nemek közötti egyenlőtlenséget a korábbi adatokban, és rendszeresen alulértékelte a női jelölteket. Nem vették észre, mert nem volt méltányossági elemzés; Az ellenőrzés során kiderült, és az intézmény komoly reputációs/jogi kockázattal szembesült. Tanulság: a csoportalapú méltányosság-ellenőrzés elengedhetetlen a nagy hatású modellekben.
3. eset – A titoktartás megsértése. Egy elemző betöltött egy fájlt, amely valódi ügyfelek e-mailjeit és vásárlási előzményeit tartalmazza egy nyilvános mesterségesintelligencia-eszközbe, és azt mondta: „összefoglalja a szegmenseket”. A személyes adatok elhagyták az intézményt; Elindult a KVKK folyamata. A helyes módszer az identitásmezők eltávolítása és csak névtelen tulajdonságok megosztása volt. Tanulság: valódi személyes adatok nem kerülnek be a nyitott eszközbe.
Négy másolható sablon
1) Üzembe helyezés előtti ellenőrző lista:
Az Ön szerepe: MLOps tanácsadó. Sorolja fel azokat a dolgokat, amelyeket ellenőriznem kell egy modell éles üzembe helyezése előtt: verziószámítás, megfigyelési metrikák, visszaállítási terv, teljesítményküszöb, adatsodródási riasztás, felelős személy. Adjon hozzá egy mondatos „miért fontos” magyarázatot minden elemhez. én fogom eldönteni.
2) Modellváltás-követési tervezés:
Javasoljon egy drift monitorozási tervet egy osztályozási modellhez a termelésben: (1) milyen bemeneti eloszlásokat kell figyelnem, (2) milyen riasztást kell adni az előrejelzési eloszláshoz, (3) hogyan kell összehasonlítani a teljesítményt, amikor megérkezik a valós eredmény, (4) milyen küszöbértéknél kell az átképzést kiváltani. Adjon meg egy kódvázat is.
3) Méltányosság ellenőrzése:
Írjon kódot, amely összehasonlítja a modellem teljesítményét különböző csoportokban (pl. korosztály, régió): felidézés/pontosság és pozitív döntési arány minden csoportban. Figyelmeztetés, ha jelentős különbség van a csoportok között. Ok-okozati/politikai értelmezések készítése; Csak mutasd meg a különbségeket, és megfontolom a döntést.
4) Adatvédelmi előzetes ellenőrzés:
Mielőtt adatot adna át egy mesterséges intelligencia eszköznek, ellenőrizze: vannak-e személyes/személyazonossági adatok (név, e-mail, azonosító, telefon, cím, IP) az alábbi oszloplistában? Ha igen, sorolja fel, melyeket kell eltávolítani vagy anonimizálni. Oszlopok: [lista]. Cél: csak névtelen séma megosztása.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
A modellem készen áll, élesben.
A telepítés nem egyetlen lépésből áll; Az élő adás figyelés, visszaállítás, méltányosság és adatvédelmi ellenőrzés nélkül egy csendes felhívás a katasztrófára.
Erőteljes felszólítás:
Az Ön szerepe: felelős MLOps tanácsadó. A modellemet betanították, teljes felkészülést akarok az élő adás előtt. A következők létrehozása: (1) telepítés előtti ellenőrzőlista, (2) drift monitoring terv, (3) csoportalapú méltányossági ellenőrzési kód, (4) adatvédelmi ellenőrzés (vannak-e személyes adatok). Javasolja továbbá, hogyan védje meg az emberi beleegyezést a nagy hatású döntésekben. A végső döntések az enyémek.
Itt a terjesztést, a megfigyelést, a méltányosságot és a magánélet védelmét egyetlen felelős folyamatként kezelik.
Gyakori hibák
- Modell üzembe helyezése felügyelet beállítása nélkül. A modell hangtalanul csúszik és eltorzul; Hónapokig is eltarthat, mire észreveszi.
- Az igazságügyi ellenőrzés megkerülése. A nagy pontosságú modell szisztematikusan hátrányos helyzetbe hozhat egy csoportot.
- Megmagyarázhatatlan fekete doboz-döntés. A nagy hatású döntéseknek megmagyarázhatónak kell lenniük; "A modell mondta" nem elég.
- Valódi személyes adatok megadása az AI-eszköz megnyitásához. KVKK/GDPR megsértése; A diagram és a névtelen példa elegendő.
- A döntés átruházása a modellre. A felelősség mindig az embert terheli; Fenntartják a nagy hatású emberi megfigyelést.
Tipp: Mielőtt az egyes modellekkel élni kezdene, tegyen fel egy kérdést hangosan: „Ha ez a modell holnap csendben elromlik, vagy méltánytalanul megbüntet egy csoportot, hogyan fogom észrevenni és visszaállítani?” Ha nincs egyértelmű válasza erre a kérdésre, akkor a modell még nem áll készen a gyártásra.
Összefoglalva
A modell munkája nem ér véget a magas pontszámmal, hanem azzal, hogy megbízhatóan és felelősségteljesen dolgozik a gyártásban. Az MLOps az éles indítás, az elsodródás figyelése, az átképzés és a modell visszagörgetése; A követés nélküli telepítés csendes összeomlás. Az etika megköveteli a modell igazságosságát, átláthatóságát és elszámoltathatóságát; a statisztikai pontosság nem helyettesíti az etikai elfogadhatóságot. Az adatvédelem azt jelenti, hogy megvédjük a személyes adatokat a KVKK/GDPR elvekkel, és távol tartjuk a valódi adatokat a nyílt eszközöktől. Mindezek a döntések nem technikai, hanem felelősségi döntések, és mindig az emberhez tartoznak.
Pályázati feladat
Képzeld el úgy, mintha egy általad felépített (vagy feltételezett) modellt üzembe helyeznél, és négy listát töltenél ki: (1) bevezetés előtti ellenőrzőlista, (2) nyomon követni kívánt drift mutatók, (3) csoportalapú méltányosság-ellenőrzési terv, (4) adatvédelmi ellenőrzés. Ezután írjon konkrét választ a "Hogyan veszem észre, ha holnap csendben eltörik és visszakapom?"
ellenőrző lista
- [ ] Monitoring (csúszásriasztás) és visszaállítási tervvel telepítem a modellt?
- [ ] Ellenőriztem a különböző csoportok méltányossági/teljesítménybeli különbségét?
- [ ] Fenntartottam az embert a nagy hatású döntéseknél?
- [ ] Védtem a személyes adatokat a KVKK/GDPR elvekkel, és távol tartottam őket a nyílt eszközöktől?
- [ ] Az emberre hárítottam a végső felelősséget, nem a modellre?
Modul vizsga
1. Egy adattudós megkérdezi a mesterséges intelligenciát: "Mennyire pontos a véletlenszerű erdő ezeken az adatokon?" a modell oktatása nélkül, és a „89%” választ közvetlenül beleteszi az előadásba. Mi az alapvető hiba ebben a megközelítésben?
- A) Várakozás a mérőszámokra anélkül, hogy adatokat és modelleket adna a mesterséges intelligenciának; Figyelmen kívül hagyva, hogy az általa előállított szám hamis, és hogy a valódi mérőszámot csak képzés és tesztelés útján lehet megtalálni ✔
- B) Logisztikus regressziót kell használni a véletlenszerű erdő helyett
- C) A pontossági aránynak mindig 90% felett kell lennie.
- D) Szigorúan tilos mérőszámokat szerepeltetni a prezentációban
Magyarázat: A mesterséges intelligencia nem tud mérőszámot előállítani anélkül, hogy hozzáférne a modellhez és az adatokhoz; Az általa megadott szám egy hallucináció (kitalált). A mérőszámot az adattudós saját számítása csak a modell tényleges betanítása és tesztelése után kapja meg. Az ellenőrizetlen kimenet olyan, mint egy aláíratlan jelentés.
2. A „Számlazárás oka” oszlop szerepel a lemorzsolódási előrejelzés adatgyűjtésénél; Ez az oszlop csak az ügyfél távozása után töltődik ki. A modell 97%-ot ad a tesztkészleten, de gyártásban nem működik. Mi ennek az állapotnak a neve és oka?
- A) Áttanulás; A modell túl bonyolult
- B) Adatszivárgás; ✔ Olyan információk felhasználása funkcióként, amelyek az előrejelzés időpontjában nem állnak rendelkezésre, de a cél eredménye
- C) elégtelen tanulás; A modell túl egyszerű
- D) Kiválasztási torzítás; kis mintaméret
Magyarázat: Ez egy klasszikus adatszivárgás: a „zárás oka” a cél eredménye, és az előrejelzés időpontjában még üres. A modell ezzel a jövőbeli tudással megcsinálja a trükköt, jól néz ki a tesztkészleten, de a gyártás során összeomlik, mert az oszlop üres. A „megvan-e az előrejelzés időpontjában” kérdést minden oszlopban fel kell tenni.
3. Az elemző az átlaggal kitölti a hiányzó értékeket a bevétel oszlopban; de az eltűnt emberek valójában az alacsony jövedelműek közé tartoznak, akik soha nem nyilatkoztak jövedelemről (szisztematikus hiányzás). Miért nem megfelelő ez a kitöltés?
- A) Az átlag mindig nagyobb, mint a medián, tehát hibás
- B) A hiányzó értékeket soha nem szabad kitölteni, azokat mindig törölni kell
- C) A szisztematikus rés átlaggal való kitöltése az adott csoport mesterséges reprezentációjával torzítja az adatokat; A kitöltés a „miért üres?” kérdés nélkül történt. ✔
- D) Az átlag kiszámítása teljesítményproblémát okoz, mert túl lassú
Magyarázat: A hiányosság oka határozza meg a megoldást. Ha a szisztematikus hiányt (egy bizonyos csoportra koncentrálódó hiányt) az átlaggal kitöltjük, az a csoport mesterségesen „átlagjövedelemmé” válik, és az adatok torzulnak. Kitöltés előtt fel kell tenni a „miért üres” kérdést; a szisztematikus/jelentős hiányzó átlagot nem szabad kitölteni.
4. Egy csapat 0,78-as korrelációt talál a „hirdetési kiadások” és az „eladások” között, és megduplázza a költségvetést; Valójában azonban a szezonális kampányok váltják ki mindkettőt. A statisztikákban milyen elv magyarázza ezt a hibát?
- A) A korreláció nem okozati összefüggés; Egy rejtett harmadik változó mindkét változóra hatással lehet ✔
- B) Mivel a 0,78-as korreláció túl alacsony, az összefüggést figyelmen kívül kell hagyni
- C) A korreláció mindig ok-okozati összefüggést bizonyít, a csapatnak igaza volt
- D) A reklám és az eladás közötti összefüggés matematikailag nem számítható ki.
Magyarázat: A korreláció nem okozati összefüggés. A két változó együtt hathat, mert egy rejtett harmadik változó (itt a szezonális kampányok) mindkettőre hatással van. Azt a következtetést, hogy az egyik okozza a másikat, csak kísérleti és terepi ismeretekkel lehet megállapítani; A korrelációk száma önmagában nem bizonyíték az ok-okozati összefüggésre.
5. A csalásészlelési modell 99,2%-os pontosságot mutat, és a csapat ünnepel; Az adatokban szereplő hamis tranzakciók aránya azonban csak 0,8%, a modell visszahívása pedig 6%. Mit mutat ez a táblázat?
- A) A modell tökéletes, mert a pontosság több mint 99%
- B) Kiegyensúlyozatlan adatok esetén a pontosság félrevezető; A modellből szinte az összes hamisítvány hiányzik (alacsony visszahívás), a megfelelő mérőszámot érdemes megnézni ✔
- C) Nincs probléma, mivel a modell visszahívása magas
- D) Nem kellett modellt építeni, mert alacsony volt a hamisítási arány
Magyarázat: A „pontosság” félrevezető a kiegyensúlyozatlan adatokban. Amikor a modell szinte minden tranzakciót "tisztának" nevez, akkor nagy pontosságot kap, mivel nagyon kevés a hamisítvány, de nem sikerül elkapnia a hamisítványokat, ami a fő célja (emlékezz 6%). Ezért a kiegyensúlyozatlan problémáknál nem a pontosságon van a hangsúly, hanem a zavaró mátrixon és a munka céljának megfelelő mérőszámokon, mint például a visszahívás/pontosság.
6. Egy kereslet-előrejelzési projektben az időfüggő adatok véletlenszerűen vannak felosztva képzésre/tesztelésre. A modell 93%-os pontosságot ad, de a gyártás során összeomlik. Mi legyen a helyes felosztási megközelítés?
- A) A tesztkészlet bővítése, pl. osztás 50%/50%
- B) Bonyolultabb modell használata
- C) Teljesen távolítsa el a partíciót, és képezze be az összes adatot
- D) Időrendi felosztás: edzés a régi időszakkal és tesztelés az új időszakkal, ezzel megakadályozva, hogy a modell a jövőbe lásson ✔
Magyarázat: Ha véletlenszerű felosztást végeznek az idősoros adatokban, a modell a jövőt látja és a múltat jósolja a képzés során; ez kiszivárog, és olyan sikert produkál, amely valójában nem létezik. A helyes megközelítés a kronológiai felosztás: edzés a régi időszakkal és tesztelés az új korszakkal, a termelés valós helyzetének imitálása (előrejelzés a múltból a jövőbe).
7. Milyen adatokból kell a skálázási (StandardScaler) paramétereket kiszámítani a szolgáltatástervezésben, és hogyan kell ezeket alkalmazni?
- A) Minden adatból kell kiszámolni (edzés + tesztelés együtt), hogy pontosabb legyen
- B) Minden sorhoz külön kell kiszámolni, az adott sor saját értékéből
- C) Csak vizsgálati adatokból kell kiszámítani
- D) Csak a betanítási adatokból kell számolni, majd a tesztadatokra ugyanazokat a paramétereket kell alkalmazni; különben szivárog ✔
Magyarázat: Az összes transzformáció (átlag, szórás, stb.) paramétereit, mint a skálázás, a kódolás és a kitöltés, csak a betanítási adatokból szabad megtanulni, majd ugyanezt kell alkalmazni a tesztadatokra is. A tesztadatok figyelembevétele azt is okozza, hogy a tesztinformációk megzavarják a betanítást, vagyis szivárog, és a modell jobban néz ki, mint amilyen. A Pipeline használata ezt biztosítja.
8. Egy modell 98%-os pontosságot ad az edzőkészleten és 72%-os pontosságot a tesztkészleten. Mit jelez ez a tünet, és mit kell tenni?
- A) elégtelen tanulás; a modellt bonyolultabbá kell tenni
- B) Adatszivárgás; tesztkészletet meg kell változtatni
- C) Túlszerelés; egyszerűsíteni kell a modellt, alkalmazni kell a rendszerezést és a keresztellenőrzést ✔
- D) Normál helyzet; Az iskolai végzettség egyébként mindig magasabb, az óvintézkedések feleslegesek
Magyarázat: A nagyon magas pontszám az edzésen és a jelentősen alacsony pontszám a tesztelés során a túlillesztés klasszikus tünete: a modell inkább az edzési adatok zaját jegyezte meg, mint a valódi mintát. A megoldások közé tartozik a modell egyszerűsítése, több adat, a rendszerezés és az állapot ellenőrzése keresztellenőrzéssel. Ha kizárólag az iskolai végzettségre támaszkodunk, az elrejti ezt a buktatót.
9. Egy vezetői prezentációban az 1000-ről 1020-ra emelkedő sávdiagram y-tengelye 980-ról indul, hogy a növekedés hatalmasnak tűnjön. A tényleges növekedés 2%. Miért etikai kérdés ez?
- A) A csonka y-tengely vizuálisan eltúloz egy kis eltérést, és félrevezeti a nézőt; Az igazságosság kedvéért az összehasonlító sávok tengelyének 0 ✔-től kell kezdődnie
- B) Az oszlopdiagramok soha nem használhatók értékesítési adatokhoz
- C) Nincs probléma; Mindig jó, ha a diagram lenyűgözően néz ki
- D) Az Y tengelyt mindig az adat legnagyobb értékéből kell kiindulni
Magyarázat: Összehasonlítási célú oszlopdiagramokban az y-tengelynek általában 0-val kell kezdődnie. A tengely levágása és 980-tól kezdve egy kis 2%-os eltérés vizuálisan hatalmasnak tűnik, és félrevezeti a nézőt. Az adatszakértő etikai felelőssége, hogy olyan őszinte grafikonokat készítsen, amelyek nem becsülik túl vagy alábecsülik az adatokat.
10. Egy elemző háromszor találja meg a teljes forgalmat a rendelések terméktáblázattal való ÖSSZESÍTÉSE után; A vonalak száma 240 ezerről 690 ezerre nőtt. Mit kellett volna tenni ennek a néma hibának a megelőzése érdekében?
- A) Oszd el a teljes forgalmat 3-mal
- B) Mindig használjon külön lekérdezéseket a JOIN helyett
- C) A terméktáblázat teljes törlése
- D) A sorok számának ellenőrzése egyesítés/JOIN után, és annak ellenőrzése, hogy a megfelelő kulccsal vannak-e összekapcsolva; A replikáció korai elkapása ✔
Magyarázat: Ha a terméktáblázatban minden termékhez több sor is tartozik (például különböző színű), akkor a rossz kulccsal történő CSATLAKOZÁS minden rendelést megkettőz, és megnöveli a végösszegeket. A kód hiba nélkül fut, de az eredmény rossz. Ezt úgy lehet elkerülni, hogy minden egyesítés/JOIN után ellenőrizzük a sorok számát, és a megfelelő kulccsal egyesítjük.
11. A munkaerő-felvételi szűrési modell megismeri a nemek közötti egyensúlyhiányt a korábbi adatokban, és szisztematikusan alul pontozza a női jelölteket, de általános pontossága magas. Ez mit jelent?
- A) Nincs probléma, mert a modell nagy pontosságú
- B) A statisztikai pontosság nem helyettesíti az etikai elfogadhatóságot; modell megismerte a múltbeli diszkriminációt, csoportos méltányossági ellenőrzés szükséges ✔
- C) A modell pontosságának további növelése megoldja a problémát
- D) A méltányosság kívül esik az adattudomány hatókörén
Magyarázat: Még ha egy modell statisztikailag helyes is, etikailag elfogadhatatlan lehet. A modell megtanulja a múltbeli adatok igazságtalanságát, és automatizálja a diszkriminációt. A magas szintű integritás nem helyettesíti az igazságosságot; A nagy hatású modellekben elengedhetetlen a méltányosság-ellenőrzés, amely a különböző csoportok teljesítmény/döntési különbségét méri, és a végső felelősség az embert terheli.
12. Egy alkalmazott feltölt egy fájlt, amely valódi ügyfelek e-mailjeit és vásárlási előzményeit tartalmazza egy nyilvános mesterséges intelligencia eszközbe, és azt mondja, hogy „összefoglalja a szegmenseket”. Miért súlyos hiba ez, és mi a helyes út?
- A) Nincs probléma; Az AI-eszközök soha nem tárolnak adatokat
- B) A hiba az, hogy a fájl túl nagy; csökkenteni kellett volna
- C) Valós személyes adatok nyílt eszközhöz való megadása a KVKK/GDPR megsértésének minősül; Az identitásmezőket el kellett volna távolítani, és csak a névtelen sémát/tulajdont kellett volna megosztani ✔
- D) CSV-t kellett volna használni az Excel helyett
Magyarázat: Ha valós személyes adatokat (például e-mail címet, nevet stb.) adnak át egy nyilvánosan elérhető mesterséges intelligencia eszköznek, az adatvédelmi jogsértés a KVKK/GDPR hatálya alá tartozik; az adatok elhagyják a szervezetet. Az elemzéshez legtöbbször egy diagram és egy anonim/szintetikus minta is elegendő. A helyes módszer az identitásmezők eltávolítása, és csak a névtelen tulajdonságok megosztása.
13. Az ajánlási modell gyártásba kerül, de a nyomon követés nem jön létre; Amikor a termékkatalógus 4 hónap után megváltozik, a modell továbbra is régi termékeket ajánl, és a konverziós arány csendben 30%-kal csökken. Mi ennek a jelenségnek a neve?
- A) Áttanulás; A modell megjegyzi az edzéskészletet
- B) Modellsodródás; Ahogy a világ változik, a modell csendben, észrevétlenül elavulttá válik, mert a monitorozás nem jön létre ✔
- C) Kiválasztási torzítás; minta elfogultság
- D) Adatminimalizálás megsértése
Magyarázat: Ez a modelleltolódás (modell/adateltolódás): amikor a világ megváltozik (katalógus, viselkedés, évszak), megváltoznak a feltételek, amelyek között a modellt betanították, és a modell csendben tönkremegy. A gyártásba helyezett modell magától elromlik; A 'mikor' kérdése. A megfigyelés nélküli telepítés (bemenet és teljesítmény nyomon követése) lehetetlenné teszi a romlás észlelését.
14. Az egyetlen edzés/teszt felosztásban 88%-os pontosságot elérő modell ötszörös keresztellenőrzési pontszáma: 88%, 71%, 83%, 64%, 79%. Mit jelez ez, és miért fontos a keresztellenőrzés?
- A) A modell stabil; 88% valódi teljesítmény
- B) A keresztellenőrzés szükségtelen; Elég egy rekesz
- C) A pontszámok nagy volatilitása azt jelzi, hogy a modell instabil; A keresztellenőrzés több tárolóedény átlagára és eloszlására alapozza a teljesítményt, nem pedig egyetlen szerencsés szemetesre ✔
- D) A legjobb a legmagasabb pontszámot jelenteni (88%)
Magyarázat: Egyetlen rekesz lehet szerencsés vagy balszerencsés; 88% csak ennek a könnyű felosztásnak az eredménye. A keresztellenőrzés többször felosztja az adatokat, a teljesítményt az átlagra (itt ~77%) alapozva, és megmutatja a pontszámok volatilitását. A nagy volatilitás itt arra utal, hogy a modell instabil; Egyetlen rekeszre támaszkodni félrevezető.