Fondazzjoni MLOps, Etika, Privatezza u Analitika Responsabbli — Intelliġenza Artifiċjali fix-Xjenza tad-Data u l-Analitika

Qligħ:

Kapaċità li tifhem il-fażijiet tal-MLOps (rilaxx, skjerament, monitoraġġ, taħriġ mill-ġdid, rollback) u drift tal-mudell u tippjana skjerament sorveljat
Kapaċità li tapplika l-prinċipji ta’ mudell ta’ ġustizzja, trasparenza u responsabbiltà u tiddistingwi l-eżattezza statistika mill-aċċettabbiltà etika
Kapaċità li tipproteġi d-dejta personali bil-prinċipji KVKK/GDPR u tassenja responsabbiltà finali lil bniedem f'deċiżjonijiet b'impatt għoli

It-taħriġ ta’ mudell u l-kisba ta’ punteġġ għoli mhuwiex it-tmiem, iżda n-nofs. Il-valur reali jiġi meta l-mudell jitqiegħed fil-produzzjoni u jaħdem b'mod affidabbli, jiġi mmonitorjat maż-żmien mingħajr deterjorament, u l-proċess kollu jitwettaq fi ħdan il-konfini etiċi u legali. Din l-unità tal-għeluq tgħaqqad tliet suġġetti: MLOps (id-dixxiplina tal-ħajja, il-monitoraġġ u ż-żamma tal-mudelli), l-etika (ġustizzja, trasparenza, non-malfiċenza) u privatezza (protezzjoni tad-dejta personali). AI tipproduċi kodiċi, listi ta 'kontroll, u blueprints f'dawn l-oqsma; Iżda l-bnedmin jiddeċiedu jekk mudell jibqax ħaj, min se jiġi affettwat, u liema data tista 'tintuża. Dawn id-deċiżjonijiet mhumiex tekniċi, iżda deċiżjonijiet ta’ responsabbiltà.

MLOps: il-mudell jgħix bħal prodott

MLOps (Machine Learning Operations - il-prattika tat-tħaddim, il-monitoraġġ u l-aġġornament tal-mudelli tat-tagħlim tal-magni fil-produzzjoni) huwa l-adattament ta 'DevOps fl-iżvilupp tas-softwer għax-xjenza tad-dejta. L-idea bażika: mudell mhuwiex fajl li jiġi mħarreġ darba u minsi, iżda prodott ħaj li jeħtieġ manutenzjoni kostanti. Stadji ewlenin:

1. Verżjoni: Kodiċi (Git), data u mudell huma verżjoni flimkien; Jiġi rreġistrat liema mudell ġie prodott b'liema data u kodiċi.

2. Skjerament: Il-mudell jitqiegħed ħaj bħala xogħol API jew lott. Normalment jingħata l-ewwel lil udjenza żgħira (distribuzzjoni ta 'dell/kanarju).

3. Monitoraġġ: Il-prestazzjoni tal-mudell u d-dejta tal-input huma mmonitorjati b'mod kostanti.

4. Taħriġ mill-ġdid: Meta l-prestazzjoni tonqos, il-mudell jiġi mħarreġ mill-ġdid b'dejta aġġornata.

Bidla fil-mudell: distorsjoni siekta

L-akbar periklu fil-produzzjoni huwa drift tal-mudell (drift tal-mudell / drift tad-data). Id-dinja tinbidel; Il-kundizzjonijiet li fuqhom ħriġt il-mudell tiegħek (imġieba tal-klijent, prezzijiet, staġun, leġiżlazzjoni) jinbidlu maż-żmien u l-mudell jibda jsir skadut. Pereżempju, mudell ta’ domanda mħarreġ qabel il-pandemija huwa kompletament żbaljat waqt il-pandemija. Drift iseħħ f'żewġ forom: drift tad-dejta (id-distribuzzjoni tal-bidliet tad-dejta tal-input) u drift tal-kunċett (ir-relazzjoni bejn l-input u l-bidliet fil-mira). Il-mod biex jinqabdu dawn huwa l-monitoraġġ: kontinwament issegwi d-distribuzzjoni tal-input, id-distribuzzjoni tat-tbassir, u (jekk possibbli) il-prestazzjoni meta mqabbla mar-riżultat attwali.

Attenzjoni: Mudell imqiegħed fil-produzzjoni se jiddeterjora waħdu; Mhijiex kwistjoni ta’ “jekk” imma “meta”. L-iskjerament tal-mudelli mingħajr ma jitwaqqaf monitoraġġ huwa qisu ssuq karozza mingħajr qatt ma tikkontrolla l-magna tagħha; Jum wieħed biss joqgħod hemm bil-kwiet u ma tindunax.

Element MLOps

Għan

Jekk jiġi traskurat

Verżjoni

Li tkun taf x'inhu prodott

Mhux riproduċibbli, mhux traċċabbli

Monitoraġġ

Nara ż-żlieq kmieni

Il-mudell skiet tkisser

taħriġ mill-ġdid

ibqa’ aġġornat

It-tbassir jixjieħ

Qlib lura

ritorn għal mudell ħażin

Mudell difettuż jibqa ħaj

Dokumentazzjoni

trasparenza, fatturat

L-informazzjoni jeħel f'persuna waħda

Etika: deċiżjonijiet mudell jaffettwaw lin-nies

Mudelli tad-dejta qed jintużaw dejjem aktar f’deċiżjonijiet li jaffettwaw il-ħajja tan-nies: kreditu, kiri, assigurazzjoni, ġustizzja. B'din is-setgħa tiġi r-responsabbiltà. Riskji etiċi ewlenin:

Preġudizzju u diskriminazzjoni: Il-mudell jista' jitgħallem u jipperpetwa l-inġustizzji fid-dejta storika. Jekk ċertu grupp ikun ingħata inqas kreditu fil-passat, il-mudell jassumi li din hija "regola" u awtomatizza d-diskriminazzjoni. Huwa għalhekk li l-analiżi tal-ġustizzja — li tiċċekkja jekk il-mudell iwettaqx l-istess għal gruppi differenti (sess, età, reġjun) — hija essenzjali.

Trasparenza u spjegabbiltà: Għandek tkun kapaċi tispjega għaliex mudell ċaħdet persuna. "Il-kaxxa s-sewda qalet hekk" hija etikament u ħafna drabi legalment inaċċettabbli. Huwa għalhekk li l-għodod ta' spjegazzjoni (l-importanza tal-karatteristika, il-valuri SHAP) huma ta' valur.

Responsabbiltà: Min hu responsabbli jekk il-mudell jieħu deċiżjoni ħażina? It-tweġiba hija dejjem persuna/istituzzjoni, mhux mudell. Is-sorveljanza umana (human-in-the-loop — bniedem li japprova d-deċiżjoni finali) għandha tiġi ppreservata f'deċiżjonijiet b'impatt għoli.

Attenzjoni: Mudell jista' jkun statistikament "korrett" iżda etikament inaċċettabbli. Mudell preċiż ħafna li sistematikament jiżvantaġġa grupp wieħed mhuwiex mudell tajjeb. L-onestà mhix sostitut għall-ġustizzja.

Privatezza: id-dejta personali hija protetta bir-reqqa

Il-materja prima tax-xjenza tad-dejta ħafna drabi hija d-dejta personali, u din id-dejta hija protetta mil-liġi: KVKK fit-Türkiye, GDPR fl-Ewropa. Il-prinċipji bażiċi huma: limitazzjoni tal-iskop (id-dejta ma tintużax għal skopijiet oħra għajr l-iskop li għalih tkun inġabret), minimizzazzjoni tad-dejta (ma tinġabar/miżmum aktar dejta milli meħtieġ), anonimizzazzjoni (informazzjoni ta’ identifikazzjoni titneħħa) u sigurtà (dejta tinżamm kriptata u aċċess ristrett). Regola kritika meta taħdem ma 'għodod AI: qatt ma tippejstja data personali reali f'għodda pubblika ta' AI. Ħafna mill-ħin, dijagramma u kampjun anonimu/sintetiku huma biżżejjed għall-analiżi.

Enfasi addizzjonali fil-kuntest tas-sigurtà tal-informazzjoni: uża għodod u tekniki tax-xjenza tad-dejta biss fuq id-dejta u s-sistemi li għalihom għandek awtorità, għal skopijiet ta' analiżi difensivi u leġittimi. Aċċess mhux awtorizzat għad-dejta ta' xi ħadd ieħor, identifikazzjoni mill-ġdid ta' individwi (estrazzjoni ta' identità minn dejta anonima) jew tfassil ta' profili mhux awtorizzat huwa kemm illegali kif ukoll mhux etiku.

tliet każijiet żgħar

Każ 1 — Kollass mhux segwit. Kumpanija tal-kummerċ elettroniku bdiet taħdem bil-mudell ta’ rakkomandazzjoni tagħha u ma waqqfetx it-traċċar. Wara 4 xhur il-katalgu tal-prodott inbidel ħafna; il-mudell kompla jirrakkomanda prodotti skaduti, u r-rata ta 'konverżjoni bil-kwiet niżlet bi 30%. Ħadd ma nduna għal xhur. Lezzjoni: l-iskjerament mingħajr monitoraġġ qed jispiċċa blind.

Każ 2 — Diskriminazzjoni moħbija. Mudell ta’ screening tal-kiri tgħallem dwar l-iżbilanċ bejn is-sessi f’dejta storika u sistematikament sottovaluta kandidati nisa. Ma ġiex innutat għax ma kien hemm l-ebda analiżi tal-ġustizzja; Ġie żvelat f'awditjar u l-istituzzjoni ffaċċjat riskju serju għar-reputazzjoni/legali. Lezzjoni: il-kontroll tal-ġustizzja bbażat fuq il-grupp huwa essenzjali f'mudelli b'impatt għoli.

Każ 3 — Ksur tal-kunfidenzjalità. Analista wieħed tagħbija fajl li fih emails reali tal-klijenti u storja tax-xiri f'għodda pubblika tal-AI u qal, "ġabra fil-qosor is-segmenti." Id-dejta personali telqet mill-istituzzjoni; Il-proċess tal-KVKK beda. Il-mod korrett kien li jitneħħew l-oqsma tal-identità u jaqsmu biss proprjetajiet anonimi. Lezzjoni: data personali reali ma tidħolx fl-għodda miftuħa.

Erba' mudelli li jistgħu jiġu kkupjati

1) Lista ta' kontroll ta' qabel l-iskjerament:

Ir-rwol tiegħek: konsulent MLOps. Elenka l-affarijiet li għandi bżonn niċċekkja qabel ma npoġġi mudell fil-produzzjoni: verżjonijiet, metriċi ta 'monitoraġġ, pjan ta' rollback, limitu ta 'prestazzjoni, allert ta' drift tad-dejta, persuna responsabbli. Żid spjegazzjoni ta' sentenza waħda "għaliex hija importanti" għal kull oġġett. Se niddeċiedi.

2) Disinn tat-traċċar tal-bidla tal-mudell:

Issuġġerixxi pjan ta 'monitoraġġ tad-drift għal mudell ta' klassifikazzjoni fil-produzzjoni: (1) liema distribuzzjonijiet ta 'input għandi nissorvelja, (2) liema allarm għad-distribuzzjoni ta' tbassir, (3) kif tqabbel il-prestazzjoni meta jasal ir-riżultat reali, (4) f'liema limitu ta 'taħriġ mill-ġdid għandu jiġi attivat. Ipprovdi wkoll skeletru tal-kodiċi.

3) Kontroll tal-ġustizzja:

Ikteb kodiċi li tqabbel il-prestazzjoni tal-mudell tiegħi għal gruppi differenti (eż. medda ta' età, reġjun): sejħa lura/preċiżjoni u rata ta' deċiżjoni pożittiva għal kull grupp. Wissi jekk ikun hemm differenza sinifikanti bejn il-gruppi. Nagħmlu interpretazzjonijiet kawżali/politiċi; Urini biss id-differenzi u nikkunsidra d-deċiżjoni.

4) Iċċekkja minn qabel tal-privatezza:

Qabel ma tagħti data lil għodda AI, iċċekkja: hemm data personali/identità (isem, email, ID, telefon, indirizz, IP) fil-lista tal-kolonni hawn taħt? Jekk iva, elenka liema għandhom jitneħħew jew jiġu anonimizzati. Kolonni: [lista]. Għan: biex taqsam skema anonima biss.

Pront dgħajjef / Pront qawwi

Pront dgħajjef:

Il-mudell tiegħi lest, mur ħaj.

L-iskjerament mhuwiex pass wieħed; It-tgħix mingħajr monitoraġġ, rollback, ġustizzja u kontroll tal-privatezza hija stedina siekta għal diżastru.

Pront qawwi:

Ir-rwol tiegħek: konsulent responsabbli tal-MLOps. Il-mudell tiegħi ġie mħarreġ, irrid tħejjija sħiħa qabel ma ngħaddi live. Iġġenera: (1) lista ta 'kontroll ta' qabel l-iskjerament, (2) pjan ta 'monitoraġġ tad-drift, (3) kodiċi ta' kontroll tal-ġustizzja bbażat fuq il-grupp, (4) kontroll tal-privatezza (hemm data personali). Issuġġerixxi wkoll kif tipproteġi l-kunsens tal-bniedem f'deċiżjonijiet b'impatt għoli. Id-deċiżjonijiet finali huma tiegħi.

Hawnhekk id-distribuzzjoni, il-monitoraġġ, il-ġustizzja u l-privatezza huma ttrattati bħala proċess responsabbli wieħed.

Żbalji komuni

L-iskjerament ta' mudell mingħajr ma jiġi stabbilit monitoraġġ. Il-mudell skiet jiżloq u jgħawweġ; Jista 'jieħu xhur biex jinduna.
Taqbeż il-kontroll tal-ġustizzja. Mudell ta' fedeltà għolja jista' sistematikament jiżvantaġġa grupp.
Jieħdu deċiżjoni ta' kaxxa sewda mhux spjegata. Deċiżjonijiet b'impatt għoli għandhom ikunu spjegabbli; "Il-mudell qal hekk" mhux biżżejjed.
Tingħata data personali reali biex tiftaħ għodda AI. KVKK/GDPR vjolazzjoni; Id-dijagramma u l-eżempju anonimu huma biżżejjed.
Id-delega tad-deċiżjoni lill-mudell. Ir-responsabbiltà dejjem tkun ta’ persuna; Is-sorveljanza umana ta' impatt għoli tinżamm.

Tip: Qabel ma tmur tgħix ma' kull mudell, staqsi mistoqsija waħda b'leħen għoli: "Jekk dan il-mudell jikser bil-kwiet għada jew jippenalizza grupp b'mod inġust, kif se ninduna u nroddha lura?" Jekk ma jkollokx tweġiba ċara għal din il-mistoqsija, il-mudell għadu mhux lest għall-produzzjoni.

Fil-qosor

Ix-xogħol ta 'mudell ma jispiċċax b'punteġġ għoli, iżda b'ħidma affidabbli u responsabbli fil-produzzjoni. L-MLOps hija d-dixxiplina tal-going live, il-monitoraġġ tad-drift, it-taħriġ mill-ġdid, u l-irrumblar tal-mudell; L-iskjerament mingħajr traċċar huwa kollass sieket. L-etika teħtieġ ġustizzja, trasparenza u responsabbiltà tal-mudell; l-eżattezza statistika mhijiex sostitut għall-aċċettabilità etika. Il-privatezza tfisser il-protezzjoni tad-dejta personali bil-prinċipji KVKK/GDPR u ż-żamma tad-dejta reali 'l bogħod minn għodod miftuħa. Dawn id-deċiżjonijiet kollha mhumiex tekniċi iżda deċiżjonijiet ta’ responsabbiltà u dejjem huma ta’ bniedem.

Kompitu ta' applikazzjoni

Aħseb dwarha bħallikieku kont se tpoġġi mudell li bnejt (jew ipotetiku) fil-produzzjoni u imla erba’ listi: (1) lista ta’ kontroll ta’ qabel l-iskjerament, (2) metriċi ta’ drift li inti ser issegwi, (3) pjan ta’ kontroll tal-ġustizzja bbażat fuq il-grupp, (4) kontroll tal-privatezza. Imbagħad ikteb tweġiba konkreta għall-mistoqsija "Kif se ninnota jekk għada tinkiser fis-skiet u nġibha lura?"

lista ta' kontroll

[ ] Qed niskjera l-mudell b'pjan ta' monitoraġġ (twissija ta' żlieq) u rollback?
[ ] Iċċekkjajt id-differenza bejn il-ġustizzja/prestazzjoni għal gruppi differenti?
[ ] Żammejt il-bniedem fil-linja fuq deċiżjonijiet b'impatt għoli?
[ ] Ipproteġi d-dejta personali bil-prinċipji KVKK/GDPR u żammejtha 'l bogħod minn għodod miftuħa?
[ ] Poġġejt ir-responsabbiltà aħħarija fuq bniedem, mhux fuq il-mudell?

Eżami tal-Modulu

1. Xjentist tad-dejta jistaqsi lill-intelliġenza artifiċjali, "Kemm hija preċiża l-foresta każwali fuq din id-dejta?" mingħajr ma jitħarreġ il-mudell fil-livelli kollha, u direttament tpoġġi t-tweġiba ta '"89%" fil-preżentazzjoni. X'inhu l-iżball fundamentali f'dan l-approċċ?

A) Stennija għal metriċi mingħajr ma tagħti data u mudelli lill-intelliġenza artifiċjali; Injora li n-numru li jipproduċi huwa falz u li l-metrika reali tista’ tinstab biss permezz ta’ taħriġ u ttestjar ✔
B) Għandu juża rigressjoni loġistika minflok foresta każwali
C) Ir-rata ta 'eżattezza għandha dejjem tkun ogħla minn 90%.
D) Huwa strettament ipprojbit li jiġu inklużi metriċi fil-preżentazzjoni

Spjegazzjoni: L-intelliġenza artifiċjali ma tistax tipproduċi metrika mingħajr aċċess għall-mudell u d-dejta; In-numru li jagħti huwa alluċinazzjoni (fabbrikata). Il-metrika tinkiseb mill-kalkolu tax-xjenzat tad-dejta stess biss wara li l-mudell ikun attwalment ġie mħarreġ u ttestjat. L-output mhux ivverifikat huwa bħal rapport mhux iffirmat.

2. Il-kolonna 'raġuni għall-għeluq tal-kont' hija inkluża meta tinġabar dejta għal tbassir ta' ċaqliq; Din il-kolonna timtela biss wara li l-klijent jitlaq. Il-mudell jagħti 97% fuq is-sett tat-test, iżda ma jaħdimx fil-produzzjoni. X'inhu l-isem u l-kawża ta' din il-kundizzjoni?

A) Tagħlim żejjed; Il-mudell huwa kumpless wisq
B) Tnixxija tad-dejta; ✔ L-użu ta' informazzjoni li mhux se tkun disponibbli fil-ħin tat-tbassir, iżda li hija r-riżultat tal-mira, bħala karatteristika
C) Tagħlim insuffiċjenti; Il-mudell huwa sempliċi wisq
D) Preġudizzju tal-għażla; daqs żgħir tal-kampjun

Spjegazzjoni: Din hija tnixxija tad-dejta klassika: ir-'raġuni tal-għeluq' hija riżultat tal-mira u għadha vojta fil-ħin tat-tbassir. Il-mudell jagħmel it-trick b'dan l-għarfien futur, jidher tajjeb ħafna fuq is-sett tat-test iżda jiġġarraf fil-produzzjoni minħabba li dik il-kolonna hija vojta. Il-mistoqsija "għandiha fil-ħin tat-tbassir" għandha ssir lil kull kolonna.

3. Analista jimla l-valuri neqsin fil-kolonna tad-dħul bil-medja; iżda n-nies neqsin fil-fatt jappartjenu għas-segment bi dħul baxx li qatt ma ddikjara dħul (nieqes sistematiku). Għaliex dan il-mili mhux korrett?

A) Il-medja hija dejjem akbar mill-medjan, għalhekk mhix korretta
B) Il-valuri neqsin qatt ma għandhom jimtlew, għandhom dejjem jitħassru
C) Il-mili tal-vojt sistematiku bil-medja jgħawweġ id-dejta billi jirrappreżenta b'mod artifiċjali dak il-grupp; Il-mili sar mingħajr ma saret il-mistoqsija 'għaliex huwa vojt?' ✔
D) Il-kalkolu tal-medja joħloq problema ta 'prestazzjoni minħabba li hija bil-mod wisq

Spjegazzjoni: Il-kawża tad-defiċjenza tiddetermina s-soluzzjoni. Meta n-nuqqas sistematiku (vojt ikkonċentrat f'ċertu grupp) jimtela bil-medja, dak il-grupp isir artifiċjalment 'dħul medju' u d-dejta tiġi mgħawġa. Qabel ma timla, għandha ssir il-mistoqsija 'għaliex hija vojta'; medja sistematika/sinifikanti nieqsa m'għandhiex timtela.

4. Tim isib korrelazzjoni ta' 0.78 bejn 'infiq tar-reklami' u 'bejgħ' u jirdoppja l-baġit; Madankollu, dak li fil-fatt iqanqal it-tnejn huma kampanji staġjonali. Liema prinċipju fl-istatistika jispjega dan l-iżball?

A) Korrelazzjoni mhix kawżalità; It-tielet varjabbli moħbija tista' tkun qed taffettwa ż-żewġ varjabbli ✔
B) Peress li l-korrelazzjoni ta '0.78 hija baxxa wisq, ir-relazzjoni għandha tiġi injorata
C) Il-korrelazzjoni dejjem turi l-kawżalità, it-tim ħa d-dritt
D) Il-korrelazzjoni bejn ir-reklamar u l-bejgħ ma tistax tiġi kkalkulata matematikament.

Spjegazzjoni: Korrelazzjoni mhix kawżalità. Iż-żewġ varjabbli jistgħu jaġixxu flimkien minħabba li t-tielet varjabbli moħbija (hawnhekk kampanji staġjonali) taffettwahom it-tnejn. Il-konklużjoni li wieħed jikkawża lill-ieħor tista 'tiġi stabbilita biss permezz ta' esperiment u għarfien fuq il-post; In-numru ta' korrelazzjonijiet waħdu mhuwiex evidenza ta' kawżalità.

5. Mudell ta 'skoperta ta' frodi juri preċiżjoni ta '99.2% u t-tim jiċċelebra; Madankollu, ir-rata ta 'tranżazzjoni foloz fid-dejta hija biss 0.8% u l-irtirar tal-mudell huwa 6%. X'turi din it-tabella?

A) Il-mudell huwa perfett minħabba li l-eżattezza hija aktar minn 99%
B) L-eżattezza hija qarrieqa b'dejta żbilanċjata; Il-mudell jitlef kważi l-prodotti foloz kollha (recall baxx), il-metrika xierqa għandha titqies ✔
C) M'hemm l-ebda problema peress li l-irtirar tal-mudell huwa għoli
D) Ma kienx hemm bżonn li jinbena mudell għax ir-rata falza kienet baxxa

Spjegazzjoni: 'Eżattezza' hija qarrieqa f'dejta żbilanċjata. Meta l-mudell isejjaħ kważi kull tranżazzjoni 'nadif', jikseb preċiżjoni għolja minħabba li l-prodotti foloz huma ftit ħafna, iżda jonqos milli jaqbad il-prodotti foloz, li huwa l-għan ewlieni tiegħu (recall 6%). Għalhekk, fi problemi żbilanċjati, l-enfasi mhix fuq l-eżattezza, iżda fuq il-matriċi ta 'konfużjoni u l-metriċi adattati għall-iskop tax-xogħol, bħall-irtirar/preċiżjoni.

6. Fi proġett ta 'tbassir tad-domanda, id-dejta li tiddependi mill-ħin tinqasam b'mod każwali f'taħriġ/ittestjar. Il-mudell jagħti preċiżjoni ta '93% iżda jiġġarraf fil-produzzjoni. X'għandu jkun l-approċċ tad-diviżjoni korrett?

A) It-tkabbir tas-sett tat-test, eż. qsim 50%/50%
B) L-użu ta 'mudell aktar kumpless
C) Neħħi kompletament il-partizzjoni u tħarreġ bid-dejta kollha
D) Qsim kronoloġiku: taħriġ mal-perjodu l-antik u ttestjar mal-perjodu l-ġdid, biex b’hekk il-mudell ma jħallix jara l-futur ✔

Spjegazzjoni: Jekk issir diviżjoni każwali fid-dejta tas-serje tal-ħin, il-mudell jara l-futur u jbassar il-passat fit-taħriġ; hija tnixxija u tipproduċi suċċess li fil-fatt ma jeżistix. L-approċċ korrett huwa qsim kronoloġiku: taħriġ mal-perjodu l-antik u ttestjar mal-perjodu l-ġdid, imitazzjoni tas-sitwazzjoni reali fil-produzzjoni (tbassir mill-passat għall-futur).

7. Minn liema data għandhom jiġu kkalkulati l-parametri tal-iskala (StandardScaler) fl-inġinerija tal-karatteristiċi u kif għandhom jiġu applikati?

A) Għandu jiġi kkalkulat mid-dejta kollha (taħriġ + ittestjar flimkien) sabiex ikun aktar preċiż
B) Għandu jiġi kkalkulat separatament għal kull ringiela, mill-valur ta' dik ir-ringiela stess
C) Għandu jiġi kkalkulat mid-dejta tat-test biss
D) Għandu jiġi kkalkulat biss mid-dejta tat-taħriġ, allura l-istess parametri għandhom jiġu applikati għad-dejta tat-test; inkella se tnixxi ✔

Spjegazzjoni: Il-parametri tat-trasformazzjonijiet kollha (medja, devjazzjoni standard, eċċ.) bħall-iskala, il-kodifikazzjoni u l-ikkuttunar għandhom jitgħallmu biss mid-dejta tat-taħriġ, allura l-istess għandu jiġi applikat għad-dejta tat-test. It-teħid in kunsiderazzjoni tad-dejta tat-test jikkawża wkoll li l-informazzjoni tat-test tinterferixxi mat-taħriġ, jiġifieri t-tnixxija, u tagħmel il-mudell jidher aħjar milli hu. L-użu ta' Pipeline jiżgura dan.

8. Mudell jagħti preċiżjoni ta '98% fuq is-sett tat-taħriġ u preċiżjoni ta' 72% fuq is-sett tat-test. X'jindika dan is-sintomu u x'għandu jsir?

A) Tagħlim insuffiċjenti; il-mudell għandu jsir aktar kumpless
B) Tnixxija tad-dejta; sett tat-test għandu jinbidel
C) Żejjed; il-mudell għandu jiġi ssimplifikat, ir-regolarizzazzjoni u l-validazzjoni inkroċjata għandhom jiġu applikati ✔
D) Sitwazzjoni normali; Il-punteġġ tal-edukazzjoni huwa dejjem ogħla xorta waħda, il-prekawzjonijiet mhumiex meħtieġa

Spjegazzjoni: Punteġġ għoli ħafna fit-taħriġ u punteġġ baxx b'mod sinifikanti fl-ittestjar huwa sintomu klassiku ta 'twaħħil żejjed: il-mudell memorizzat il-ħoss tad-dejta tat-taħriġ aktar milli l-mudell reali. Is-soluzzjonijiet jinkludu s-simplifikazzjoni tal-mudell, aktar dejta, ir-regolarizzazzjoni, u l-verifika tal-istat b'validazzjoni inkroċjata. Li sserraħ biss fuq il-punteġġ tal-edukazzjoni jaħbi dan it-tfixkil.

9. Fi preżentazzjoni ta 'ġestjoni, l-assi y ta' bar chart li fih il-bejgħ jiżdied minn 1,000 għal 1,020 jinbeda f'980 biex iż-żieda tidher enormi. Iż-żieda attwali hija 2%. Għaliex din hija kwistjoni etika?

A) Assi y maqtugħ viżwalment jesaġera differenza żgħira u jiżgwida lit-telespettatur; Għall-ġustizzja, l-assi fil-vireg tal-paragun għandu jibda minn 0 ✔
B) Bar charts qatt ma jistgħu jintużaw għad-dejta tal-bejgħ
C) M'hemm l-ebda problema; Dejjem tajjeb li t-tabella tidher impressjonanti
D) L-assi Y għandu dejjem jibda mill-akbar valur tad-dejta

Spjegazzjoni: F'bar charts għal skopijiet komparattivi, l-assi y għandhom ġeneralment jibdew minn 0. Tqatta 'l-assi u tibda minn 980 tagħmel differenza żgħira ta' 2% tidher viżwalment enormi u tqarraq lit-telespettatur. Ir-responsabbiltà etika tal-professjonist tad-dejta hija li jiġbed graffs onesti li ma jiddikjarawx jew jissottovalutawx id-dejta.

10. Analista jsib il-fatturat totali 3 darbiet wara li Jingħaqad mal-ordnijiet mat-tabella tal-prodott; In-numru ta 'linji żdied minn 240 elf għal 690 elf. X'kellu jsir biex jiġi evitat dan l-iżball sieket?

A) Iddividi l-fatturat totali bi 3
B) Dejjem uża mistoqsijiet separati minflok JOIN
C) Tħassir kompletament tat-tabella tal-prodott
D) Iċċekkja n-numru ta 'ringieli wara l-għaqda/JOIN u l-verifika li huma magħquda permezz taċ-ċavetta korretta; Qbid tar-replikazzjoni kmieni ✔

Spjegazzjoni: Meta jkun hemm ringieli multipli għal kull prodott (kulur differenti, pereżempju) fit-tabella tal-prodott, JOIN permezz taċ-ċavetta ħażina tidduplika kull ordni u tgħolli t-totali. Il-kodiċi jaħdem mingħajr żbalji iżda r-riżultat huwa ħażin. Il-mod kif tevita dan huwa li tiċċekkja n-numru ta 'ringieli wara kull amalgamazzjoni/JOIN u tingħaqad maċ-ċavetta korretta.

11. Mudell ta' skrining ta' kiri jitgħallem dwar l-iżbilanċ bejn is-sessi fid-dejta storika u sistematikament taħt punteġġi ta' kandidati nisa, iżda l-eżattezza ġenerali tiegħu hija għolja. Xi jfisser dan?

A) M'hemm l-ebda problema minħabba li l-mudell għandu preċiżjoni għolja
B) Il-preċiżjoni statistika mhijiex sostitut għall-aċċettabilità etika; mudell tgħallem dwar id-diskriminazzjoni fil-passat, huwa meħtieġ verifika tal-ġustizzja bbażata fuq il-grupp ✔
C) Iż-żieda ulterjuri tal-eżattezza tal-mudell issolvi l-problema
D) Il-ġustizzja hija barra mill-ambitu tax-xjenza tad-dejta

Spjegazzjoni: Anke jekk mudell huwa statistikament korrett, jista' jkun etikament inaċċettabbli. Il-mudell jitgħallem l-inġustizzja fid-dejta tal-passat u awtomat id-diskriminazzjoni. Integrità għolja mhix sostitut għall-ġustizzja; F'mudelli b'impatt għoli, il-kontroll tal-ġustizzja, li jkejjel id-differenza fil-prestazzjoni/deċiżjoni għal gruppi differenti, huwa essenzjali u r-responsabbiltà aħħarija hija tal-bniedem.

12. Impjegat itella' fajl li jkun fih emails reali ta' klijenti u storja tax-xiri f'għodda pubblika tal-AI u jgħid 'segmenti fil-qosor'. Għaliex dan huwa żball serju u x'inhu l-mod it-tajjeb?

A) M'hemm l-ebda problema; Għodod AI qatt ma jaħżnu data
B) L-iżball huwa li l-fajl huwa kbir wisq; kellha titnaqqas
C) Il-provvista ta' data personali reali għal għodda miftuħa hija ksur tal-KVKK/GDPR; oqsma tal-identità kellhom jitneħħew u skema/propjetà anonima biss kondiviża ✔
D) CSV kellu jintuża minflok Excel biss

Spjegazzjoni: Meta data personali reali (bħal e-mail, isem, eċċ.) tingħata lil għodda ta' intelliġenza artifiċjali disponibbli pubblikament, se jkun hemm ksur tal-privatezza fl-ambitu tal-KVKK / GDPR; data tħalli l-organizzazzjoni. Ħafna mill-ħin, dijagramma u kampjun anonimu/sintetiku huma biżżejjed għall-analiżi. Il-mod korrett huwa li tneħħi l-oqsma tal-identità u taqsam biss proprjetajiet anonimi.

13. Mudell ta' rakkomandazzjoni jitqiegħed fil-produzzjoni iżda ma jiġix stabbilit it-traċċar; Meta l-katalgu tal-prodott jinbidel wara 4 xhur, il-mudell ikompli jirrakkomanda prodotti qodma u r-rata ta 'konverżjoni siekta tinżel bi 30%. X'jismu dan il-fenomenu?

A) Tagħlim żejjed; Il-mudell jimmemorizza s-sett tat-taħriġ
B) Mudell drift; Hekk kif id-dinja tinbidel, il-mudell isir skadut fis-skiet, inosservat minħabba li l-monitoraġġ mhux stabbilit ✔
C) Preġudizzju tal-għażla; preġudizzju tal-kampjun
D) Vjolazzjoni tal-minimizzazzjoni tad-dejta

Spjegazzjoni: Din hija drift tal-mudell (mudell/drift tad-dejta): meta d-dinja tinbidel (katalgu, imġieba, staġun) il-kundizzjonijiet li taħthom il-mudell ġie mħarreġ jinbidlu u l-mudell jitkisser fis-skiet. Mudell imqiegħed fil-produzzjoni jiddeterjora waħdu; Hija kwistjoni ta' 'meta'. L-iskjerament mingħajr monitoraġġ (intraċċar tal-input u l-prestazzjoni) jagħmilha impossibbli li tinstab degradazzjoni.

14. Mudell li jikseb preċiżjoni ta' 88% f'qasma waħda ta' taħriġ/test għandu punteġġi ta' validazzjoni inkroċjata ta' 5 darbiet ta' 88%, 71%, 83%, 64%, 79%. X'jindika dan u għaliex hija importanti l-konvalidazzjoni?

A) Il-mudell huwa stabbli; 88% hija prestazzjoni reali
B) Il-validazzjoni inkroċjata mhix meħtieġa; Kompartiment wieħed huwa biżżejjed
C) Volatilità kbira tal-punteġġi tindika li l-mudell huwa instabbli; il-validazzjoni inkroċjata tibbaża l-prestazzjoni fuq il-medja u d-distribuzzjoni ta 'bins multipli, mhux bin fortunat wieħed ✔
D) L-aħjar huwa li tirrapporta l-ogħla punteġġ (88%)

Spjegazzjoni: Kompartiment wieħed jista' jkun xortik tajba jew sfortunat; 88% kien biss ir-riżultat ta’ dik id-diviżjoni faċli. Il-validazzjoni inkroċjata taqsam id-dejta diversi drabi, billi tibbaża l-prestazzjoni fuq il-medja (hawnhekk ~ 77%) u turi l-volatilità tal-punteġġi. Volatilità għolja hawnhekk tissuġġerixxi li l-mudell huwa instabbli; Li sserraħ fuq kompartiment wieħed huwa qarrieqi.