MLOps Foundation, Etika, Privacy at Responsableng Analytics — Artificial Intelligence sa Data Science at Analytics

Mga nadagdag:

Kakayahang maunawaan ang mga yugto ng MLOps (paglabas, pag-deploy, pagsubaybay, muling pagsasanay, rollback) at pag-drift ng modelo at magplano ng sinusubaybayang deployment
Kakayahang ilapat ang mga prinsipyo ng pagiging patas ng modelo, transparency at pananagutan at makilala ang katumpakan ng istatistika mula sa etikal na katanggap-tanggap
Kakayahang protektahan ang personal na data gamit ang mga prinsipyo ng KVKK/GDPR at magtalaga ng pangwakas na responsibilidad sa isang tao sa mga desisyon na may mataas na epekto

Ang pagsasanay ng isang modelo at pagkuha ng mataas na marka ay hindi ang katapusan, ngunit ang gitna. Ang tunay na halaga ay dumarating kapag ang modelo ay inilagay sa produksyon at gumagana nang mapagkakatiwalaan, sinusubaybayan sa paglipas ng panahon nang walang pagkasira, at ang buong proseso ay isinasagawa sa loob ng etikal at legal na mga hangganan. Ang pagsasara ng unit na ito ay pinagsasama ang tatlong paksa: MLOps (ang disiplina sa pag-live, pagsubaybay at pagpapanatili ng mga modelo), etika (fairness, transparency, non-maleficence) at privacy (pagprotekta sa personal na data). Gumagawa ang AI ng code, checklist, at blueprint sa mga lugar na ito; Ngunit nagpapasya ang mga tao kung magiging live ang isang modelo, sino ang maaapektuhan, at kung anong data ang maaaring gamitin. Ang mga desisyong ito ay hindi teknikal, ngunit mga desisyon ng responsibilidad.

MLOps: ang modelo ay nabubuhay tulad ng isang produkto

Ang MLOps (Machine Learning Operations - ang kasanayan ng pagpapatakbo, pagsubaybay at pag-update ng mga modelo ng machine learning sa produksyon) ay ang adaptasyon ng DevOps sa software development sa data science. Ang pangunahing ideya: ang isang modelo ay hindi isang file na sinanay nang isang beses at nakalimutan, ngunit isang buhay na produkto na nangangailangan ng patuloy na pagpapanatili. Mga pangunahing yugto:

1. Versioning: Code (Git), data at modelo ay pinagsama-samang bersyon; Ito ay naitala kung aling modelo ang ginawa gamit ang data at code.

2. Deployment: Inilalagay nang live ang modelo bilang isang API o batch job. Karaniwang ibinibigay muna ito sa maliit na audience (shade/canary distribution).

3. Pagsubaybay: Ang pagganap ng modelo at input ng data ay patuloy na sinusubaybayan.

4. Retraining: Kapag bumaba ang performance, muling sinasanay ang modelo gamit ang na-update na data.

Paglipat ng pattern: tahimik na pagbaluktot

Ang pinakamalaking panganib sa produksyon ay modelo drift (model drift / data drift). Nagbabago ang mundo; Ang mga kundisyon kung saan sinanay mo ang iyong modelo (pag-uugali ng customer, mga presyo, panahon, batas) ay nagbabago sa paglipas ng panahon at ang modelo ay nagsisimulang maging lipas na. Halimbawa, ang modelo ng demand na sinanay bago ang pandemya ay ganap na mali sa panahon ng pandemya. Ang drift ay nangyayari sa dalawang anyo: data drift (ang pamamahagi ng input data ay nagbabago) at concept drift (ang relasyon sa pagitan ng input at target na mga pagbabago). Ang paraan upang makuha ang mga ito ay pagsubaybay: patuloy na subaybayan ang pamamahagi ng input, ang pamamahagi ng hula, at (kung posible) ang pagganap kumpara sa aktwal na resulta.

Pag-iingat: Ang isang modelong inilagay sa produksyon ay masisira nang mag-isa; Ito ay hindi isang bagay ng "kung" ngunit "kailan." Ang pag-deploy ng mga modelo nang hindi nagse-set up ng pagsubaybay ay parang pagmamaneho ng kotse nang hindi kinokontrol ang makina nito; Isang araw tahimik lang itong nakaupo at hindi mo napapansin.

Elemento ng MLOps

Layunin

Kung napapabayaan

Pag-bersyon

Alam kung ano ang ginawa

Non-reproducible, non-traceable

Pagsubaybay

Nakikita ang slip ng maaga

Ang modelo ay tahimik na nasira

muling pagsasanay

manatiling napapanahon

Tumatanda ang mga hula

Rollback

bumalik sa masamang modelo

Nananatiling live ang maling modelo

Dokumentasyon

transparency, turnover

Ang impormasyon ay natigil sa isang tao

Etika: ang mga modelong desisyon ay nakakaapekto sa mga tao

Ang mga modelo ng data ay lalong ginagamit sa mga desisyon na nakakaapekto sa buhay ng mga tao: credit, hiring, insurance, hustisya. Kasama ng kapangyarihang ito ang responsibilidad. Mga pangunahing panganib sa etika:

Pagkiling at diskriminasyon: Ang modelo ay maaaring matuto at mapanatili ang mga kawalang-katarungan sa makasaysayang data. Kung ang isang partikular na grupo ay binigyan ng mas kaunting kredito sa nakaraan, ipinapalagay ng modelo na ito ay isang "panuntunan" at nag-automate ng diskriminasyon. Iyon ang dahilan kung bakit mahalaga ang pagsusuri sa pagiging patas — pagsuri kung pareho ang pagganap ng modelo para sa iba't ibang grupo (kasarian, edad, rehiyon) — ay mahalaga.

Transparency at explainability: Dapat mong maipaliwanag kung bakit tinanggihan ng isang modelo ang isang tao. "Sinabi ng itim na kahon" ay etikal at kadalasang hindi katanggap-tanggap ayon sa batas. Iyon ang dahilan kung bakit mahalaga ang mga tool sa pagpapaliwanag (feature na kahalagahan, mga halaga ng SHAP).

Pananagutan: Sino ang mananagot kung ang modelo ay gumawa ng maling desisyon? Ang sagot ay palaging isang tao/institusyon, hindi isang modelo. Ang pangangasiwa ng tao (human-in-the-loop — isang taong nag-aapruba sa pinal na desisyon) ay dapat pangalagaan sa mga desisyong may mataas na epekto.

Babala: Ang isang modelo ay maaaring "tama" ayon sa istatistika ngunit hindi katanggap-tanggap sa etika. Ang isang napakatumpak na modelo na sistematikong nakakapinsala sa isang grupo ay hindi isang magandang modelo. Ang katapatan ay hindi kapalit ng hustisya.

Privacy: ang personal na data ay maingat na pinoprotektahan

Ang raw na materyal ng data science ay kadalasang personal na data, at ang data na ito ay protektado ng batas: KVKK sa Türkiye, GDPR sa Europe. Ang mga pangunahing prinsipyo ay: limitasyon sa layunin (hindi ginagamit ang data para sa mga layunin maliban sa layunin kung saan ito nakolekta), pagliit ng data (wala nang data na kinokolekta/napanatili kaysa sa kinakailangan), anonymization (tinatanggal ang impormasyon sa pagkakakilanlan) at seguridad (pinananatiling naka-encrypt ang data at pinaghihigpitan ang pag-access). Kritikal na panuntunan kapag nagtatrabaho sa mga tool ng AI: huwag i-paste ang totoong personal na data sa isang pampublikong tool ng AI. Kadalasan, sapat na para sa pagsusuri ang isang diagram at isang anonymous/synthetic sample.

Isang karagdagang diin sa konteksto ng seguridad ng impormasyon: gumamit lamang ng mga tool at diskarte sa data science sa data at mga system kung saan mayroon kang awtoridad, para sa mga layunin ng pagtatanggol at lehitimong pagsusuri. Ang hindi awtorisadong pag-access sa data ng ibang tao, muling pagkakakilanlan ng mga indibidwal (pagkuha ng pagkakakilanlan mula sa anonymous na data) o hindi awtorisadong pag-profile ay parehong ilegal at hindi etikal.

tatlong mini case

Case 1 — Hindi nasubaybayan na pagbagsak. Naging live ang isang kumpanya ng e-commerce kasama ang modelo ng rekomendasyon nito at hindi nag-set up ng pagsubaybay. Pagkatapos ng 4 na buwan ang katalogo ng produkto ay nagbago nang malaki; ang modelo ay patuloy na nagrekomenda ng mga lumang produkto, at ang rate ng conversion ay tahimik na bumaba ng 30%. Ilang buwan na walang nakapansin. Aral: ang deployment nang walang monitoring ay nagiging bulag.

Kaso 2 — Nakatagong diskriminasyon. Natutunan ng isang hiring screening model ang tungkol sa gender imbalance sa historical data at sistematikong minamaliit ang mga babaeng kandidato. Hindi ito napansin dahil walang fairness analysis; Ito ay inihayag sa isang pag-audit at ang institusyon ay nahaharap sa malubhang reputational/legal na panganib. Aralin: Ang kontrol sa pagiging patas na nakabatay sa pangkat ay mahalaga sa mga modelong may mataas na epekto.

Kaso 3 — Paglabag sa pagiging kumpidensyal. Nag-load ang isang analyst ng file na naglalaman ng mga totoong email ng customer at history ng pagbili sa isang pampublikong AI tool at sinabing, "ibuod ang mga segment." Ang personal na data ay umalis sa institusyon; Nagsimula na ang proseso ng KVKK. Ang tamang paraan ay alisin ang mga field ng pagkakakilanlan at ibahagi lamang ang mga hindi kilalang katangian. Aralin: ang totoong personal na data ay hindi pumapasok sa bukas na tool.

Apat na maaaring kopyahin na mga template

1) Checklist bago ang pag-deploy:

Ang iyong tungkulin: MLOps consultant. Ilista ang mga bagay na kailangan kong suriin bago ilagay ang isang modelo sa produksyon: bersyon, mga sukatan ng pagsubaybay, plano ng rollback, threshold ng pagganap, alerto sa pag-anod ng data, responsableng tao. Magdagdag ng isang pangungusap na "bakit ito mahalaga" na paliwanag para sa bawat item. Ako ang magpapasya.

2) Disenyo ng pagsubaybay sa shift ng modelo:

Magmungkahi ng drift monitoring plan para sa isang classification model sa production: (1) anong mga input distribution ang dapat kong subaybayan, (2) anong alarma para sa prediction distribution, (3) kung paano ikukumpara ang performance kapag dumating ang totoong resulta, (4) sa anong threshold retraining ang dapat ma-trigger. Magbigay din ng code skeleton.

3) Pagkontrol sa pagiging patas:

Sumulat ng code na naghahambing sa performance ng aking modelo para sa iba't ibang grupo (hal. age band, rehiyon): recall/precision at positive decision rate para sa bawat grupo. Magbabala kung may makabuluhang pagkakaiba sa pagitan ng mga grupo. Paggawa ng sanhi/pampulitika na interpretasyon; Ipakita mo lang sa akin ang mga pagkakaiba at isasaalang-alang ko ang desisyon.

4) Paunang pagsusuri sa privacy:

Bago magbigay ng data sa isang AI tool, suriin: mayroon bang personal/identity data (pangalan, email, ID, telepono, address, IP) sa listahan ng column sa ibaba? Kung gayon, ilista kung alin ang dapat alisin o i-anonymize. Mga Hanay: [listahan]. Layunin: upang ibahagi ang anonymous na schema lamang.

Mahinang prompt / Malakas na prompt

Mahinang prompt:

Handa na ang aking modelo, mag-live.

Ang deployment ay hindi isang solong hakbang; Ang pagiging live nang walang pagsubaybay, rollback, patas at kontrol sa privacy ay isang tahimik na imbitasyon para sa sakuna.

Napakahusay na prompt:

Ang iyong tungkulin: responsableng consultant ng MLOps. Na-training na ang model ko, gusto ko ng full preparation bago mag-live. Bumuo ng: (1) pre-deployment checklist, (2) drift monitoring plan, (3) group-based fairness check code, (4) privacy check (may personal na data ba). Imungkahi din kung paano protektahan ang pahintulot ng tao sa mga desisyon na may mataas na epekto. Ang mga huling desisyon ay akin.

Dito tinatrato ang pamamahagi, pagsubaybay, pagiging patas at pagkapribado bilang isang responsableng proseso.

Mga karaniwang pagkakamali

Pag-deploy ng modelo nang hindi nagse-set up ng pagsubaybay. Ang modelo ay tahimik na dumulas at pumipihit; Maaaring tumagal ng ilang buwan upang mapansin.
Pag-bypass sa tseke ng hustisya. Ang isang high-fidelity na modelo ay maaaring sistematikong makapinsala sa isang grupo.
Paggawa ng hindi maipaliwanag na desisyon sa black box. Ang mga desisyong may mataas na epekto ay dapat na maipaliwanag; "Ang sabi ng modelo" ay hindi sapat.
Pagbibigay ng totoong personal na data para buksan ang AI tool. Paglabag sa KVKK/GDPR; Ang diagram at hindi kilalang halimbawa ay sapat na.
Delegasyon ng desisyon sa modelo. Ang responsibilidad ay palaging nasa isang tao; Pinapanatili ang mataas na epekto ng pagmamatyag ng tao.

Tip: Bago ka mag-live sa bawat modelo, magtanong ng isang tanong nang malakas: "Kung tahimik na masira ang modelong ito bukas o hindi patas na parusahan ang isang grupo, paano ko ito mapapansin at ibabalik?" Kung wala kang malinaw na sagot sa tanong na ito, hindi pa handa ang modelo para sa produksyon.

Sa buod

Ang trabaho ng isang modelo ay hindi nagtatapos sa mataas na marka, ngunit sa pagtatrabaho nang mapagkakatiwalaan at responsable sa produksyon. Ang MLOps ay ang disiplina ng pag-live, pagsubaybay para sa drift, muling pagsasanay, at pagbabalik ng modelo; Ang deployment nang walang pagsubaybay ay silent collapse. Ang etika ay nangangailangan ng pagiging patas, transparency at pananagutan ng modelo; ang katumpakan ng istatistika ay walang kapalit para sa etikal na katanggap-tanggap. Ang ibig sabihin ng privacy ay pagprotekta sa personal na data gamit ang mga prinsipyo ng KVKK/GDPR at pag-iwas sa totoong data mula sa mga bukas na tool. Ang lahat ng mga desisyong ito ay hindi teknikal ngunit responsibilidad na mga desisyon at palaging pagmamay-ari ng isang tao.

Gawain ng aplikasyon

Isipin mo ito na parang maglalagay ka ng isang modelong binuo mo (o hypothetical) sa produksyon at punan ang apat na listahan: (1) pre-deployment checklist, (2) drift metrics na iyong susubaybayan, (3) group-based fairness control plan, (4) privacy control. Pagkatapos ay sumulat ng konkretong sagot sa tanong na "Paano ko mapapansin kung tahimik itong masira bukas at maibabalik ito?"

checklist

[ ] Nagde-deploy ba ako ng modelo na may monitoring (slip alert) at rollback plan?
[ ] Nasuri ko na ba ang fairness/performance gap para sa iba't ibang grupo?
[ ] Napanatili ko ba ang human-in-the-loop sa mga desisyong may mataas na epekto?
[ ] Naprotektahan ko ba ang personal na data gamit ang mga prinsipyo ng KVKK/GDPR at inilayo ang mga ito sa mga bukas na tool?
[ ] Inilagay ko ba ang tunay na responsibilidad sa isang tao, hindi sa modelo?

Pagsusulit sa Module

1. Tinanong ng isang data scientist ang artificial intelligence, "Gaano katumpak ang random na kagubatan sa data na ito?" nang walang pagsasanay sa modelo, at direktang inilalagay ang sagot na "89%" sa pagtatanghal. Ano ang pangunahing pagkakamali sa pamamaraang ito?

A) Naghihintay ng mga sukatan nang hindi nagbibigay ng data at mga modelo sa artificial intelligence; Hindi pinapansin na peke ang numerong ginagawa nito at ang tunay na sukatan ay makikita lamang sa pamamagitan ng pagsasanay at pagsubok ✔
B) Dapat gumamit ng logistic regression sa halip na random na kagubatan
C) Ang rate ng katumpakan ay dapat palaging nasa itaas ng 90%.
D) Mahigpit na ipinagbabawal na isama ang mga sukatan sa pagtatanghal

Paliwanag: Ang artificial intelligence ay hindi makakagawa ng isang sukatan nang hindi ina-access ang modelo at data; Ang binigay niyang numero ay hallucination (fabricated). Ang sukatan ay nakuha sa pamamagitan ng sariling kalkulasyon ng data scientist pagkatapos lamang na masanay at masuri ang modelo. Ang hindi na-verify na output ay parang isang unsigned report.

2. Ang column na 'dahilan para sa pagsasara ng account' ay kasama kapag nangongolekta ng data para sa isang hula ng churn; Ang column na ito ay pupunan lamang pagkatapos umalis ang customer. Nagbibigay ang modelo ng 97% sa set ng pagsubok, ngunit hindi gumagana sa produksyon. Ano ang pangalan at sanhi ng kondisyong ito?

A) Overlearning; Masyadong kumplikado ang modelo
B) Data leak; ✔ Paggamit ng impormasyon na hindi magagamit sa oras ng hula, ngunit resulta ng target, bilang isang tampok
C) Hindi sapat na pagkatuto; Masyadong simple ang modelo
D) Pagkiling sa pagpili; maliit na sample size

Paliwanag: Ito ay isang klasikong pagtagas ng data: ang 'pagsasara na dahilan' ay resulta ng target at wala pa ring laman sa oras ng hula. Ginagawa ng modelo ang trick gamit ang kaalaman sa hinaharap, mukhang mahusay ito sa set ng pagsubok ngunit nag-crash sa produksyon dahil walang laman ang column na iyon. Ang tanong na 'mayroon ba ako nito sa oras ng hula' ay dapat itanong sa bawat column.

3. Pinunan ng isang analyst ang mga nawawalang halaga sa column ng kita ng mean; ngunit ang mga nawawalang tao ay talagang kabilang sa mababang kita na segment na hindi kailanman nagdeklara ng kita (systematic missing). Bakit mali ang pagpuno na ito?

A) Ang mean ay palaging mas malaki kaysa sa median, kaya ito ay mali
B) Ang mga nawawalang halaga ay hindi kailanman dapat punan, dapat silang palaging tanggalin
C) Ang pagpupuno sa sistematikong puwang ng ibig sabihin ay nagpapangit sa data sa pamamagitan ng artipisyal na kumakatawan sa pangkat na iyon; Ang pagpuno ay ginawa nang hindi nagtatanong ng tanong na 'bakit ito walang laman?' ✔
D) Ang pagkalkula ng average ay lumilikha ng isang problema sa pagganap dahil ito ay masyadong mabagal

Paliwanag: Ang sanhi ng kakulangan ay tumutukoy sa solusyon. Kapag ang sistematikong nawawala (gap na puro sa isang partikular na grupo) ay napuno ng average, ang grupong iyon ay nagiging artipisyal na 'average na kita' at ang data ay nabaluktot. Bago ito punan, dapat itanong ang tanong na 'bakit walang laman'; sistematiko/makabuluhang nawawalang ibig sabihin ay hindi dapat punan.

4. Nakahanap ang isang koponan ng 0.78 na ugnayan sa pagitan ng 'paggastos sa ad' at 'mga benta' at dinodoble ang badyet; Gayunpaman, ang aktwal na nag-trigger sa pareho ay mga seasonal na kampanya. Anong prinsipyo sa mga istatistika ang nagpapaliwanag ng error na ito?

A) Ang ugnayan ay hindi sanhi; Ang isang nakatagong ikatlong variable ay maaaring makaapekto sa parehong mga variable ✔
B) Dahil ang ugnayan ng 0.78 ay masyadong mababa, ang relasyon ay dapat balewalain
C) Ang ugnayan ay palaging nagpapatunay ng sanhi, nakuha ito ng koponan ng tama
D) Ang ugnayan sa pagitan ng advertising at mga benta ay hindi maaaring kalkulahin sa matematika.

Paliwanag: Ang ugnayan ay hindi sanhi. Ang dalawang variable ay maaaring kumilos nang magkasama dahil ang isang nakatagong ikatlong variable (dito ang mga pana-panahong kampanya) ay nakakaapekto sa kanilang pareho. Ang konklusyon na sanhi ng isa sa isa ay maaari lamang maitatag sa pamamagitan ng eksperimento at kaalaman sa larangan; Ang bilang ng mga ugnayan lamang ay hindi katibayan ng sanhi.

5. Ang isang modelo ng pagtuklas ng pandaraya ay nagpapakita ng 99.2% katumpakan at ang koponan ay nagdiriwang; Gayunpaman, ang pekeng rate ng transaksyon sa data ay 0.8% lamang at ang recall ng modelo ay 6%. Ano ang ipinapakita ng talahanayang ito?

A) Ang modelo ay perpekto dahil ang katumpakan ay higit sa 99%
B) Ang katumpakan ay nakakapanlinlang sa hindi balanseng data; Ang modelo ay nakakaligtaan ang halos lahat ng mga pekeng (mababa ang recall), ang naaangkop na sukatan ay dapat tingnan ✔
C) Walang problema dahil mataas ang recall ng modelo
D) Hindi na kailangang gumawa ng modelo dahil mababa ang pekeng rate

Paliwanag: Ang 'Katumpakan' ay nakakapanlinlang sa hindi balanseng data. Kapag tinawag ng modelo ang halos lahat ng transaksyon na 'malinis', nakakakuha ito ng mataas na katumpakan dahil kakaunti ang mga pekeng, ngunit nabigo itong mahuli ang mga pekeng, na siyang pangunahing layunin nito (recall 6%). Samakatuwid, sa hindi balanseng mga problema, ang focus ay hindi sa katumpakan, ngunit sa confusion matrix at mga sukatan na angkop para sa layunin ng trabaho, tulad ng recall/precision.

6. Sa isang proyekto sa pagtataya ng demand, ang data na nakasalalay sa oras ay random na hinati sa pagsasanay/pagsubok. Ang modelo ay nagbibigay ng 93% katumpakan ngunit nag-crash sa produksyon. Ano ang dapat na tamang diskarte sa paghahati?

A) Pagpapalaki ng set ng pagsubok, hal. paghahati 50%/50%
B) Paggamit ng mas kumplikadong modelo
C) Ganap na alisin ang partition at sanayin ang lahat ng data
D) Chronological splitting: pagsasanay sa lumang panahon at pagsubok sa bagong panahon, kaya pinipigilan ang modelo na makita ang hinaharap ✔

Paliwanag: Kung ang random na paghahati ay ginawa sa data ng time series, nakikita ng modelo ang hinaharap at hinuhulaan ang nakaraan sa pagsasanay; ito ay isang pagtagas at nagbubunga ng tagumpay na hindi talaga umiiral. Ang tamang diskarte ay ang chronological splitting: pagsasanay sa lumang panahon at pagsubok sa bagong panahon, paggaya sa totoong sitwasyon sa produksyon (paghula mula sa nakaraan hanggang sa hinaharap).

7. Mula sa anong data dapat kalkulahin ang mga parameter ng scaling (StandardScaler) sa feature engineering at paano ito dapat ilapat?

A) Dapat itong kalkulahin mula sa lahat ng data (pagsasanay + pagsubok nang magkasama) upang ito ay mas tumpak
B) Dapat itong kalkulahin nang hiwalay para sa bawat row, mula sa sariling halaga ng row na iyon
C) Dapat kalkulahin mula sa data ng pagsubok lamang
D) Dapat itong kalkulahin lamang mula sa data ng pagsasanay, pagkatapos ay ang parehong mga parameter ay dapat ilapat sa data ng pagsubok; kung hindi ito ay tumutulo ✔

Paliwanag: Ang mga parameter ng lahat ng mga pagbabagong-anyo (mean, standard deviation, atbp.) tulad ng scaling, encoding at padding ay dapat na matutunan lamang mula sa data ng pagsasanay, pagkatapos ay dapat ding ilapat ang parehong sa data ng pagsubok. Ang pagsasaalang-alang sa data ng pagsubok ay nagdudulot din ng pagkagambala ng impormasyon ng pagsubok sa pagsasanay, iyon ay, pagtagas, at ginagawang mas maganda ang modelo kaysa sa dati. Tinitiyak ito ng paggamit ng Pipeline.

8. Ang isang modelo ay nagbibigay ng 98% katumpakan sa hanay ng pagsasanay at 72% katumpakan sa hanay ng pagsubok. Ano ang ipinahihiwatig ng sintomas na ito at ano ang dapat gawin?

A) Hindi sapat na pagkatuto; ang modelo ay dapat gawing mas kumplikado
B) Data leak; dapat baguhin ang set ng pagsubok
C) Overfitting; dapat gawing simple ang modelo, dapat ilapat ang regularization at cross-validation ✔
D) Isang normal na sitwasyon; Laging mas mataas ang marka ng edukasyon, hindi kailangan ang pag-iingat

Paliwanag: Ang napakataas na marka sa pagsasanay at isang makabuluhang mababang marka sa pagsubok ay isang klasikong sintomas ng overfitting: kabisado ng modelo ang ingay ng data ng pagsasanay sa halip na ang tunay na pattern. Kasama sa mga solusyon ang pagpapasimple sa modelo, higit pang data, regularisasyon, at pag-verify sa estado na may cross-validation. Ang pag-asa lamang sa marka ng edukasyon ay nagtatago sa pitfall na ito.

9. Sa isang pagtatanghal ng pamamahala, ang y-axis ng isang bar chart kung saan ang mga benta ay tumaas mula 1,000 hanggang 1,020 ay sinimulan sa 980 upang magmukhang malaki ang pagtaas. Ang aktwal na pagtaas ay 2%. Bakit ito ay isang etikal na isyu?

A) Ang naputol na y-axis ay biswal na nagpapalaki ng maliit na pagkakaiba at nililinlang ang tumitingin; Para sa pagiging patas, ang axis sa mga comparison bar ay dapat magsimula sa 0 ✔
B) Ang mga bar chart ay hindi kailanman magagamit para sa data ng mga benta
C) Walang problema; Palaging mainam na gawing kahanga-hanga ang tsart
D) Ang Y-axis ay dapat palaging magsimula sa pinakamalaking halaga ng data

Paliwanag: Sa mga bar chart para sa paghahambing na mga layunin, ang y-axis ay karaniwang dapat magsimula sa 0. Ang pagputol sa axis at simula sa 980 ay gumagawa ng maliit na 2% na pagkakaiba na mukhang malaki at nanlilinlang sa manonood. Ang etikal na responsibilidad ng data professional ay gumuhit ng mga tapat na graph na hindi nagpapalaki o minamaliit ang data.

10. Nahanap ng isang analyst ang kabuuang turnover 3 beses pagkatapos sumali sa mga order sa talahanayan ng produkto; Ang bilang ng mga linya ay tumaas mula 240 libo hanggang 690 libo. Ano ang dapat na ginawa upang maiwasan ang tahimik na error na ito?

A) Hatiin ang kabuuang turnover sa 3
B) Palaging gumamit ng hiwalay na mga query sa halip na SUMALI
C) Ang ganap na pagtanggal ng talahanayan ng produkto
D) Sinusuri ang bilang ng mga hilera pagkatapos ng pagsama-sama/SUMALI at pag-verify na sila ay pinagsama sa pamamagitan ng tamang key; Maagang mahuli ang pagtitiklop ✔

Paliwanag: Kapag mayroong maraming row para sa bawat produkto (iba't ibang kulay, halimbawa) sa talahanayan ng produkto, ang SUMALI sa pamamagitan ng maling key ay magdo-duplicate sa bawat order at magpapalaki ng mga kabuuan. Ang code ay tumatakbo nang walang mga error ngunit ang resulta ay mali. Ang paraan upang maiwasan ito ay suriin ang bilang ng mga hilera pagkatapos ng bawat pagsasama/SUMALI at pagsamahin gamit ang tamang key.

11. Natututo ang modelo ng screening sa pag-hire tungkol sa kawalan ng timbang ng kasarian sa makasaysayang data at sistematikong nasa ilalim ng mga marka ng mga babaeng kandidato, ngunit ang pangkalahatang katumpakan nito ay mataas. Ano ang ibig sabihin nito?

A) Walang problema dahil ang modelo ay may mataas na katumpakan
B) Ang katumpakan ng istatistika ay hindi isang kapalit para sa etikal na katanggap-tanggap; natutunan ng modelo ang tungkol sa nakaraang diskriminasyon, kailangan ang pagsusuri sa pagiging patas na batay sa grupo ✔
C) Ang karagdagang pagtaas ng katumpakan ng modelo ay malulutas ang problema
D) Ang pagiging patas ay nasa labas ng saklaw ng data science

Paliwanag: Kahit na ang isang modelo ay tama ayon sa istatistika, maaaring hindi ito katanggap-tanggap sa etika. Natututuhan ng modelo ang kawalan ng katarungan sa nakaraang data at nag-automate ng diskriminasyon. Ang mataas na integridad ay hindi kapalit ng katarungan; Sa mga modelong may mataas na epekto, ang kontrol sa pagiging patas, na sumusukat sa pagkakaiba ng pagganap/pagpasya para sa iba't ibang grupo, ay mahalaga at ang pinakahuling responsibilidad ay nasa tao.

12. Ang isang empleyado ay nag-upload ng file na naglalaman ng mga totoong email ng customer at kasaysayan ng pagbili sa isang pampublikong AI tool at nagsasabing 'ibuod ang mga segment'. Bakit ito isang malubhang pagkakamali at ano ang tamang paraan?

A) Walang problema; Ang mga tool ng AI ay hindi kailanman nag-iimbak ng data
B) Ang error ay ang file ay masyadong malaki; dapat nabawasan
C) Ang pagbibigay ng totoong personal na data sa isang bukas na tool ay isang paglabag sa KVKK/GDPR; dapat ay tinanggal ang mga field ng pagkakakilanlan at ang anonymous na schema/property lang ang ibinahagi ✔
D) CSV dapat ang ginamit sa halip na Excel lang

Paliwanag: Kapag ang tunay na personal na data (tulad ng e-mail, pangalan, atbp.) ay ibinigay sa isang pampublikong magagamit na artificial intelligence tool, magkakaroon ng paglabag sa privacy sa loob ng saklaw ng KVKK / GDPR; umalis ang data sa organisasyon. Kadalasan, sapat na para sa pagsusuri ang isang diagram at isang anonymous/synthetic sample. Ang tamang paraan ay alisin ang mga field ng pagkakakilanlan at ibahagi lamang ang mga hindi kilalang katangian.

13. Ang isang modelo ng rekomendasyon ay inilalagay sa produksyon ngunit hindi naitatag ang pagsubaybay; Kapag nagbago ang katalogo ng produkto pagkatapos ng 4 na buwan, patuloy na inirerekomenda ng modelo ang mga lumang produkto at tahimik na bumababa ng 30% ang rate ng conversion. Ano ang pangalan ng hindi pangkaraniwang bagay na ito?

A) Overlearning; Kabisado ng modelo ang set ng pagsasanay
B) Model drift; Habang nagbabago ang mundo, ang modelo ay nagiging laos nang tahimik, hindi napapansin dahil hindi naitatag ang pagsubaybay ✔
C) Pagkiling sa pagpili; sample bias
D) Paglabag sa pagliit ng data

Paliwanag: Ito ang modelong drift (modelo/data drift): kapag nagbago ang mundo (catalog, gawi, season) ang mga kondisyon kung saan sinanay ang modelo ay nagbabago at tahimik na nasira ang modelo. Ang isang modelo na inilagay sa produksyon ay lumalala sa sarili nitong; Ito ay isang bagay ng 'kailan'. Ang pag-deploy nang walang pagsubaybay (pagsubaybay sa input at pagganap) ay ginagawang imposibleng matukoy ang pagkasira.

14. Ang isang modelo na nakakakuha ng 88% katumpakan sa isang split training/test ay may 5-fold na cross-validation score na 88%, 71%, 83%, 64%, 79%. Ano ang ipinahihiwatig nito at bakit mahalaga ang cross-validation?

A) Ang modelo ay matatag; 88% ay tunay na pagganap
B) Hindi kailangan ang cross-validation; Sapat na ang isang compartment
C) Ang malaking pagkasumpungin ng mga marka ay nagpapahiwatig na ang modelo ay hindi matatag; Ibinabatay ng cross-validation ang pagganap sa average at pamamahagi ng maraming bin, hindi isang solong lucky bin ✔
D) Pinakamabuting iulat ang pinakamataas na marka (88%)

Paliwanag: Ang isang kompartimento ay maaaring mapalad o malas; 88% ay resulta lamang ng madaling paghahati na iyon. Hinahati ng cross-validation ang data nang maraming beses, batay sa pagganap sa mean (dito ~77%) at ipinapakita ang pagkasumpungin ng mga marka. Ang mataas na pagkasumpungin dito ay nagpapahiwatig na ang modelo ay hindi matatag; Ang pag-asa sa isang compartment ay nakaliligaw.