Qligħ:
- Li tkun kapaċi tiddistingwi fejn fil-fluss tax-xogħol ML (kodiċi, data, dokument) l-intelliġenza artifiċjali tiffranka ħin b'riskju baxx, u fejn deċiżjonijiet bħal metrika / data / tqegħid fil-produzzjoni jitħallew f'idejn il-bniedem, skont il-livell ta 'riskju tal-kompitu.
- Kapaċità li tapplika dixxiplina li tivverifika kull output tal-AI billi tqabbadha mas-sors, terġa' tħaddem, tkejjelha, u tgħaddiha minn filtru tal-inġinerija.
- Kapaċità li takkwista d-drawwa li ma tibgħatx data kunfidenzjali u personali mhux maħduma lil għodod esterni, tuża għodod approvati mill-kumpaniji, u timmaniġġja kwistjonijiet ta 'sigurtà biss għal skopijiet difensivi.
Intelliġenza Artifiċjali fl-Inġinerija tat-Tagħlim tal-Magni: Rwol, Konfini, Validazzjoni u Responsabbiltà
Inġinier tat-tagħlim tal-magni (inġinier ML: professjonist tas-softwer li jiddisinja, iħarreġ, u jġib mudelli li jitgħallmu mid-dejta għall-produzzjoni) illum jaħdem b'għodda oħra ta 'intelliġenza artifiċjali f'kull pass tax-xogħol tiegħu. Assistent tal-kodifikazzjoni huwa fis-seħħ meta tikteb kodiċi, mudell ta 'konversazzjoni meta tesplora dejta, u mudell tal-lingwa kbira (LLM: netwerk newrali b'biljuni ta' parametri li jifhem u jipproduċi test) meta jipproduċi dokumentazzjoni. Dan il-modulu jqis l-intelliġenza artifiċjali kemm bħala l-prodott żviluppat kif ukoll bħala l-għodda tax-xogħol ta 'kuljum ta' inġinier ML. Topera billi tiddelinea b'mod ċar il-konfini tar-responsabbiltà mingħajr ma tħallat iż-żewġ rwoli.
F'din l-ewwel unità, aħna nwieġbu l-mistoqsija bażika: Fejn fl-inġinerija ML l-intelliġenza artifiċjali tiffranka l-ħin reali, u fejn irridu nħallu d-deċiżjoni f'idejn il-bnedmin? It-tweġiba tinsab fil-qalba tad-dixxiplina tal-inġinerija: min jagħmel huwa mgħaġġel, min jivverifika huwa responsabbli.
Fejn tidħol l-intelliġenza artifiċjali fl-inġinerija ML?
Proġett ML jgħaddi bejn wieħed u ieħor mill-linji li ġejjin: ġbir tad-dejta, tindif tad-dejta, inġinerija tal-karatteristiċi (it-traduzzjoni ta 'dejta mhux ipproċessata f'sinjali diġitali li l-mudell jista' jifhem), taħriġ tal-mudell, evalwazzjoni, skjerament (skjerament: ftuħ tal-mudell għall-utent reali) u monitoraġġ. L-AI tgħin f'kull waqfa fuq din il-linja, iżda l-livell ta' awtorità tagħha jvarja.
Żoni ta 'premju għoli, b'riskju baxx: produzzjoni ta' skeletru ta 'kodiċi, abbozzar ta' funzjoni ta 'trasformazzjoni tad-dejta, interpretazzjoni ta' messaġġi ta 'log, deskrizzjoni ta' traċċa ta 'munzell, sommarju ta' noti ta 'esperiment, kitba ta' dokumentazzjoni u READMEs, tipproponi każ ta 'test. Hawnhekk, l-iżbalji tal-intelliġenza artifiċjali huma irħas; minħabba li l-output diġà se jgħaddi minn ttestjar u reviżjoni.
Oqsma ta' riskju għoli: tiddeċiedi liema data tidħol fit-taħriġ, tikkonferma jekk mudell għandux jidħol fil-produzzjoni, tiġġudika metrika hija "tajba biżżejjed", deċiżjoni li tipproċessa data personali, tagħlaq vulnerabbiltà tas-sigurtà bħala "junk". Dawn jaffettwaw il-flus, il-privatezza, ir-responsabbiltà legali, u l-fiduċja tal-utent. L-intelliġenza artifiċjali tagħti suġġerimenti hawn; Id-deċiżjoni tittieħed mill-inġinier kompetenti u t-tim responsabbli.
Tip: Qabel ma testerna kompitu lill-AI, staqsi: "X'inhi l-ispiża jekk dan l-output huwa ħażin, u kemm jista' jkun faċilment xi ħadd jaqbad l-iżball?" Jekk il-prezz huwa baxx u l-qbid huwa faċli, għaddih. Jekk il-prezz huwa għoli jew il-qbid huwa diffiċli, uża AI biss għall-abbozz u tiddeċiedi int.
Id-dixxiplina tal-verifika: tliet passi
Fl-inġinerija ML, l-output tal-AI qatt mhu "xogħol lest"; Huwa abbozz. Mexxi kull output permezz ta' dawn it-tliet passi:
- Qabbadha mas-sors. Jekk il-mudell qal numru, limitu, jew "l-aħjar prattika", ibbażaha fuq dokumentazzjoni uffiċjali, valur attwali fil-kodiċi tal-bażi, jew metrika mkejla. "Fitting of the model" (alluċinazzjoni: il-produzzjoni kunfidenti ta 'informazzjoni mhux reali mill-mudell tal-lingwa) ħafna drabi tinqabad hawn.
- Ibda mill-ġdid u kejjel. Mexxi l-kodiċi ġġenerat, ikkalkula mill-ġdid il-metrika li tipproduċi fuq is-sett tat-test tiegħek stess, ivvalida l-mistoqsija SQL proposta fuq kampjun żgħir. Kodiċi li ma jaħdimx ma jiswa xejn, anke jekk jidher sabiħ.
- Għaddiha minn filtru tal-inġinerija. Il-produzzjoni żżomm fuq skala? Ġew ikkunsidrati każijiet edge (dejta vojta, input kbir ħafna, oqsma nieqsa)? Hemm ksur tas-sigurtà u tal-privatezza? Persuna biss li taf il-qasam tista 'tagħmel dan il-pass.
Pront dgħajjef / Pront qawwi
Pront dgħajjef: "Iktbilli xi kodiċi ta 'taħriġ mudell."
Pront qawwija: "Ikteb skript ta 'taħriġ għall-klassifikazzjoni binarja ma scikit-learn. Input: data/train.parquet, kolonna fil-mira is_churn. Hemm żbilanċ fil-klassi (rata pożittiva ~ 8%), jimmaniġġjawha ma class_weight. Uża PR-AUC (erja taħt il-kurva ta 'preċiżjoni-recall) bħala l-metrika ta' evalwazzjoni, minħabba li l-eżattezza hija qarrieqa. tas-sett tal-istampar tal-kodiċi PR-AUC."
Differenza: it-tieni kompitu fil-pront fih il-verità tad-dejta, il-metrika korretta, l-informazzjoni dwar l-iżbilanċ u r-rekwiżit tar-ripetibbiltà. Huwa minn dan il-kuntest li l-output huwa verifikabbli u użabbli.
Privatezza u sigurtà tad-dejta: l-ewwel responsabbiltà tal-inġinier
L-inġinier ML spiss imiss id-dejta l-aktar sensittiva tal-kumpanija: rekords tal-klijenti, storja ta 'tranżazzjonijiet, data tas-saħħa jew finanzjarja, zkuk tas-sistemi ta' produzzjoni. Tliet regoli meta tingħata dejta lill-għodod tal-intelliġenza artifiċjali:
- Tibgħatx data personali u kunfidenzjali mhux ipproċessata lil għodod esterni. Pereżempju, minflok ma twaħħal l-emails tal-klijenti fil-pront, ibgħat l-iskema u l-kampjuni finta (sintetiċi). Uża eżempju mgħotti bħal "eż: ahmet@example.com" minflok data reali.
- Uża vetturi korporattivi approvati. Agħżel għodod li huma kuntrattwalment ċari fejn tiġi pproċessata d-dejta, kemm jekk tinħażen, kemm jekk tintuża għall-edukazzjoni jew le. L-ipproċessar tad-dejta korporattiva b'kont personali huwa ksur f'ħafna kumpaniji.
- Politika tad-data minima. Agħti l-kuntest minimu meħtieġ biex issolvi l-kompitu. Mhux it-tabella kollha, iżda l-5 kolonni u l-iskema rilevanti.
Attenzjoni: Assumi li t-test li tagħti lil mudell tal-lingwa ma jistax jitneħħa. Tibgħatx data personali mhux maħduma taħseb "Jien inħassarha aktar tard"; Ir-riskju seħħ fil-mument li ntbagħat.
Użu difensiv fil-qasam tas-sigurtà
L-inġiniera ML ħafna drabi jinstallaw sistemi ta 'sigurtà: skoperta ta' frodi, klassifikazzjoni tat-traffiku malizzjuż, awtentikazzjoni. Matul dan il-modulu, inkopru kwistjonijiet ta 'sigurtà għal skopijiet difensivi biss: skoperta tal-attakk, twebbis tas-sistema, għeluq tal-vulnerabbiltà. L-użu ta' intelliġenza artifiċjali għal aċċess mhux awtorizzat, tnixxija ta' data jew intervent mhux awtorizzat fis-sistema ta' xi ħadd ieħor huwa kemm illegali kif ukoll kontra l-etika professjonali. Meta ssib vulnerabbiltà, il-mod it-tajjeb huwa li tirrapportaha b'mod responsabbli u tirranġaha; ma jisfruttawx.
tliet każijiet żgħar
Każ 1 - Ħin iffrankat. Inġinier ML normalment iqatta 'nofs ġurnata jagħmel analiżi tad-dejta esploratorja (EDA) ta' sett ta 'dejta ta' 40 kolonna. Huwa ta l-output schema u df.describe() lill-intelliġenza artifiċjali u staqsa, "Liema kolonni għandhom rata għolja ta 'outlier u nieqsa, liema trasformazzjonijiet tirrakkomanda?" F'20 minuta, huwa rċieva lista prijoritizzata, u vverifika kull oġġett bil-kodiċi tiegħu stess. Ħlief: ~ 3 sigħat, riskju baxx ta 'żball għax imkejjel kull talba.
Każ 2 - Żball maqbud. "Il-preċiżjoni tat-taħriġ hija 99%, kbira," il-mudell kellu assistent taċ-chat jgħid. L-inġinier applika t-tielet pass (filtru tal-inġinerija) u rrealizza: il-kolonna fil-mira kienet aċċidentalment nixxew attributi (tnixxija tad-dejta: il-mudell jara informazzjoni li m'għandux jara fit-taħriġ). Il-prestazzjoni attwali kienet ħafna aktar baxxa. Ix-xettiċiżmu tal-inġinier, mhux l-interpretazzjoni "kbira" tal-AI, salva x-xogħol.
Każ 3 - Prevenzjoni tal-ksur tal-privatezza. Tim kien qed iwaħħal ir-zkuk tal-iżball tal-produzzjoni f'mudell estern u qal "issewwi dan l-iżball". Kien hemm numri ta 'identifikazzjoni tal-klijenti fir-zkuk. It-tim għamel regola li jikteb skript żgħir li jaħbi l-zkuk l-ewwel (jagħmlu n-numri tal-ID tagħhom ***) u jibgħathom b'dak il-mod. Ir-riskju ta 'ksur sparixxa, il-veloċità tal-assistenza ma nbidlitx.
Mudelli kopjabbli
Kompitu: [x'għandek tagħmel, sentenza waħda] Kuntest: [skema tad-dejta, daqs, restrizzjonijiet; L-EBDA dejta personali ATTWALI]Restrizzjonijiet: [lingwa/librerija, prestazzjoni, riproduċibbiltà]Metriċi: [kif tkejjel is-suċċess]Output mixtieq: [kodiċi/deskrizzjoni/lista] u għaliex f'dan il-format
Iċċekkja dan il-kodiċi. Evalwa mhux biss li taħdem, iżda wkoll f'termini ta':1) Każijiet tat-tarf (input vojt, kolonna nieqsa, dejta kbira ħafna)2) Riskju ta' tnixxija tad-dejta3) Riproduċibbiltà (żerriegħa, verżjoni) Issuġġerixxi soluzzjonijiet għal kull problema li ssib. Immarka "ivverifika" fejn m'intix ċert. Kodiċi: [kodiċi]
Interpreta r-riżultat ta’ din il-metrika, imma l-ewwel staqsi: din il-metrika hija korretta għal din il-problema?Problema: [klassifikazzjoni, rigressjoni, klassifikazzjoni bilanċjata/iżbilanċjata...]Metrika u valur rrappurtati: [eż. preċiżjoni 0.99]Liema metrika tirrakkomanda u għaliex, u liema sinjali għandi nfittex biex niddubita mir-riżultat attwali?
Iċċekkja jekk hemmx informazzjoni personali/kunfidenzjali fid-dejta li se nagħti lill-pront li ġej. Elenka l-oqsma (isem, e-mail, numru tal-ID, telefon, indirizz) li jeħtieġ li jiġu mgħottija fit-test hawn taħt. Test: [test]
Tabella tar-rwoli u l-awtorità
Tfittxija
Ir-rwol tal-intelliġenza artifiċjali
Sid id-deċiżjoni
Iskeletru tal-kodiċi / funzjoni ta 'trasformazzjoni
ġeneratur tal-abbozz
Inġinier (reviżjonijiet)
EDA / sommarju tad-dejta
aċċeleratur
Inġinier (jivverifika bil-kejl)
Interpretazzjoni metrika
Suġġeriment
inġinier
Liema data se tidħol fit-taħriġ?
Suġġeriment
Tim + sid tad-dejta
Poġġi l-mudell fil-produzzjoni
Tfakkira tal-lista ta' kontroll
Inġinier responsabbli + tim
Ipproċessar ta' data personali
Xejn (mhux użat)
Kontrollur legali + tad-dejta
Żbalji komuni
- L-użu tal-output mingħajr ma jiġi validat. L-iżball l-aktar komuni u l-aktar għali. Kodiċi jew metrika li tidher sabiħa ma jfissirx li hija korretta.
- Twaħħal data kunfidenzjali mhux ipproċessata fl-għodda. Ladarba jintbagħat, ma jistax jittieħed lura.
- Li sserraħ fuq il-metrika ħażina. Metriċi inkompatibbli bħall-eżattezza f'dejta żbilanċjata u RMSE fil-problemi tal-klassifikazzjoni huma qarrieqa.
- Jiżbalja l-intelliġenza artifiċjali bħala dak li jieħu d-deċiżjonijiet. Jagħti suġġerimenti; Ir-responsabbiltà hija tal-firmatarju.
- Pront bla kuntest. Talbiet ambigwi bħal "kitba mudell" jipproduċu output mhux verifikabbli.
Fil-qosor
L-intelliġenza artifiċjali hija kemm il-prodott żviluppat mill-inġinier ML kif ukoll ir-replikatur ta 'kuljum tiegħu. Il-valur tiegħu huwa l-ogħla f'kompiti ta' riskju baxx, verifikati faċilment bħal kodiċi-data-dokument; Deċiżjonijiet li jaffettwaw il-flus, il-privatezza u s-sigurtà jibqgħu f'idejn il-persuna. Qabbad kull output mas-sors, erġa' kejjel, jgħaddi minn filtru tal-inġinerija. Ipproteġi d-dejta kunfidenzjali, uża vetturi approvati, taħdem fis-sigurtà għal skopijiet difensivi biss. Din id-dixxiplina hija l-bażi għall-unitajiet kollha sussegwenti.
Kompitu ta' applikazzjoni
Agħżel kompitu mill-proġett tiegħek stess (eż. tikteb funzjoni tat-tindif tad-dejta). L-ewwel ikteb pront dgħajjef, imbagħad ikteb pront b'saħħtu billi tuża l-mudell f'din l-unità. Ħu ż-żewġ outputs, applika verifika fi tliet stadji (link għas-sors, rerun, filtru tal-inġinerija). Innota liema pront jiffranka kemm minuti u kemm korrezzjonijiet.
lista ta' kontroll
- [ ] Iddeterminajt il-livell tar-riskju (baxx/għoli) tal-kompitu tiegħi.
- [ ] Ma poġġejtx data personali/kunfidenzjali attwali fil-pront; I maskra jew użajt kampjun sintetiku.
- [ ] Ikkonnettja l-output mas-sors, erġajt għamiltu, iffiltrajtha minn perspettiva ta 'inġinerija.
- [ ] Iċċekkjt li għażilt il-metrika t-tajba.
- [ ] Jien ħadt id-deċiżjoni kritika (li npoġġiha fil-produzzjoni, fl-ipproċessar tad-dejta) jien/mat-tim, ma ħallejtx f'idejn l-intelliġenza artifiċjali.
- [ ] Użajt vettura approvata korporattiva.