Qligħ:
- Kapaċità li tagħraf l-isfidi speċjali tal-ML relatati mat-trio u l-pakkett tal-kodiċi-data-mudell u tippreżenta l-mudell onlajn jew f'lott skont il-ħtieġa tan-negozju.
- Kapaċità li timplimenta mudelli ta’ skjerament gradwali u ta’ rollback (dell, canary, A/B, rollback) u żżid pjan ta’ rollback ittestjat għal kull skjerament
- Kapaċità li r-rabta tad-dejta-kodiċi-metrika tal-mudell imqiegħed fil-produzzjoni tinżamm traċċabbli b'CI/CD ikkontrollat mill-limitu tal-valutazzjoni u reġistru tal-mudelli
Li tikseb mudell biex tinkiseb preċiżjoni ta '95% fin-notebook hija biss nofs l-istorja. In-nofs l-ieħor—spiss il-parti diffiċli—hija li twassal dak il-mudell lill-utenti reali b'mod affidabbli, skalabbli u li jista' jinżamm. MLOps (Machine Learning Operations: id-dixxiplina tat-tqegħid, it-tħaddim, u ż-żamma tal-mudelli ML fil-produzzjoni) tgħaqqad il-prattiki DevOps tal-inġinerija tas-softwer mal-isfidi uniċi tal-ML. F'din l-unità, aħna nkopru l-passi ta 'ċaqliq tal-mudell għall-produzzjoni u kif l-intelliġenza artifiċjali tgħin f'dan il-proċess.
Għaliex l-ML huwa differenti minn softwer regolari?
Fis-softwer ordinarju, l-imġieba hija fil-kodiċi; Jekk il-kodiċi ma jinbidilx, l-imġieba ma tinbidilx. Fl-ML, l-imġieba tiddependi kemm fuq il-kodiċi, id-dejta kif ukoll il-mudell. Dawn it-tliet dimensjonijiet joħolqu l-isfidi żejda tal-MLOps:
- Drift tad-dejta: Id-dejta fil-produzzjoni titbiegħed mid-dejta fit-taħriġ maż-żmien; il-mudell isir skadut.
- Għandek bżonn verżjoni tliet affarijiet: Kodiċi, data, u mudell — it-tlieta.
- Falliment siekta: Mudell jista’ jfalli mingħajr ma jikkraxxja, mingħajr ma jagħti żbalji, sempliċement billi jipproduċi tbassir żbaljat. Il-qbid ta' dan jeħtieġ monitoraġġ.
Huwa għalhekk li hemm differenza kbira bejn "mudell tax-xogħol" u "mudell lest għall-produzzjoni".
Imballaġġ u preżentazzjoni tal-mudell
L-ewwel pass fit-tqegħid tal-mudell fil-produzzjoni huwa l-ippakkjar tiegħu: il-fajl tal-mudell, il-libreriji meħtieġa, il-kodiċi tal-ipproċessar minn qabel, u l-informazzjoni tal-verżjoni flimkien bħala ħaġa sħiħa riproduċibbli. Il-kontenerizzazzjoni (eż. Docker: it-tqegħid tal-applikazzjoni f'kaxxa iżolata bid-dipendenzi kollha tagħha) hija standard hawnhekk; Telimina l-problema "kienet taħdem fuq il-magna tiegħi".
Żewġ mudelli bażiċi ta 'qdud tal-mudell:
- Online/ħin reali (online): Il-mudell joqgħod wara API, u jirritorna tbassir immedjat għal kull talba li tkun deħlin. Latenza baxxa hija kritika.
- Lott: Il-mudell jipproċessa settijiet ta' data kbar perjodikament (eż. jiġġenera punteġġi għall-klijenti kollha bil-lejl). Il-latenza hija irrilevanti, l-effiċjenza hija importanti.
Liema waħda hija tajba tiddependi fuq il-ħtieġa tan-negozju: rakkomandazzjoni immedjata onlajn, punteġġ ta 'riskju ta' kull xahar f'lott.
Tip: "F'ħin reali" hija spiża, mhux l-inadempjenza. Lott huwa ħafna irħas u aktar sempliċi jekk ir-riżultat se jintuża fi żmien sigħat. Għandek bżonn tassew tweġiba immedjata? Staqsi li l-ewwel.
Strateġiji ta' distribuzzjoni siguri
Il-ftuħ ta' mudell ġdid direttament għat-traffiku kollu huwa riskjuż; Jekk huwa ħażin, kulħadd ikun affettwat. Mudelli ta' distribuzzjoni sikuri:
- Skjerament ta 'shadow: Il-mudell il-ġdid jirċievi traffiku ta' produzzjoni, iżda t-tbassir tiegħu ma jintwerax lill-utent, irreġistrat biss. Huwa mqabbel mal-mudell l-antik biex tara jekk huwiex sigur fid-dejta reali.
- L-iskjerament tal-Kanarji: Il-mudell il-ġdid jiġi l-ewwel imxerred għal persentaġġ żgħir tat-traffiku (eż. 5%); Jekk ma jkun hemm l-ebda problema, tiżdied gradwalment.
- Ittestjar A/B: Żewġ mudelli huma ppreżentati lill-utent reali b'mod parallel u jitqabblu l-metriċi tan-negozju (konverżjoni, klikks).
- Rollback: Kapaċità li terġa 'lura malajr għall-verżjoni l-antika jekk il-mudell il-ġdid jirriżulta li jkun ħażin. Kull skjerament għandu jkollu pjan ta' rollback.
Attenzjoni: Skjerament mingħajr pjan ta' rollback mhuwiex komplut. Li tkun kapaċi terġa 'lura għall-verżjoni l-qadima fi ftit minuti tipproteġi lill-utent meta l-mudell il-ġdid iġib ruħu b'mod mhux mistenni fil-produzzjoni. Ittestja dan qabel l-iskjerament.
Approċċ dgħajjef / Approċċ qawwi
Dgħajjef: "Il-mudell kien tajjeb fl-ittestjar, morna live, ftaħnih għal kulħadd."
Güçlü: "Aħna ikkontejnizzajna l-mudell, ttikkettjajna bħala verżjoni. L-ewwel, għamilna fil-modalità dell bit-traffiku tal-produzzjoni għal 3 ijiem, qabbilna t-tbassir mal-mudell il-qadim — id-devjazzjoni kienet aċċettabbli. Imbagħad ftaħniha b'5% canary, immonitorjajna l-metriċi tal- throughput u l-latency. Meta ma kien hemm l-ebda problemi, gradwalment żidna għal 100% kmand lura.
Id-differenza: l-approċċ qawwi huwa gradwali, imkejjel u riversibbli. Ir-riskju huwa limitat f'kull pass.
CI/CD u awtomazzjoni
CI/CD (Integrazzjoni Kontinwa / Skjerament Kontinwu: pipeline ta 'ttestjar awtomatikament u rilaxx ta' bidliet fil-kodiċi) f'ML ikopri mhux biss il-kodiċi iżda wkoll id-dejta u l-passi tal-mudell. Pipeline ML CI/CD tajjeb: iwettaq testijiet meta l-kodiċi jinbidel, iwettaq validazzjoni tad-dejta, iħarreġ mill-ġdid il-mudell (jekk meħtieġ), jiċċekkja l-limiti ta 'valutazzjoni, u javvanza l-iskjerament biss jekk il-limiti jżommu. Il-prinċipju ta '"taħriġ huwa awtomatiku, l-iskjerament huwa bbażat fuq il-limitu" jipprevjeni l-mudell ħażin milli siekta tnixxi fil-produzzjoni.
L-AI hija ta' għajnuna kbira meta twaqqaf dawn il-pipelines: kitba ta' abbozzi ta' fajls ta' konfigurazzjoni (YAML), każijiet tat-test, skripts ta' skjerament. Imma inti tiddetermina l-limiti tad-distribuzzjoni (kwalunkwe metrika taqbeż liema valur huwa ppubblikat) u l-politika ta 'rollback; dawn huma deċiżjonijiet dwar ir-riskju tan-negozju.
Infrastruttura ta' riproduċibbiltà
Sabiex tirriproduċi l-imġieba ta 'mudell fil-produzzjoni, reġistru tal-mudelli: rekord li jżomm liema mudell ġie mħarreġ b'liema data u kodiċi, u liema metriċi rċieva. Għal kull mudell ta 'produzzjoni, dan li ġej għandu jkun traċċabbli: verżjoni tad-dejta tat-taħriġ, verżjoni tal-kodiċi (git commit), iperparametri, punteġġi ta' evalwazzjoni, u data tal-iskjerament. Meta tqum problema, għandek tkun kapaċi twieġeb il-mistoqsija "liema mudell ipproduċa din it-tbassir, b'liema data?" fi ftit minuti. Se napprofondixxu dan f'unità 11.
tliet każijiet żgħar
Każ 1 - Problema maqbuda mid-distribuzzjoni tad-dell. Mudell ta 'rakkomandazzjoni jegħleb il-qadim fl-ittestjar. It-tħaddim tiegħu bit-traffiku tal-produzzjoni fil-modalità shadow instab li jipproduċi rakkomandazzjonijiet fqar ħafna għal segment partikolari ta 'utenti (utenti ġodda) - id-dejta tat-test kienet sottorappreżentattiva ta' dan is-segment. Il-mudell ġie ffissat mingħajr qatt ma jintwera lill-utent. Kieku jinfetaħ direttament, l-esperjenza l-ġdida tal-utent tkun imfixkla.
Każ 2 - Distribuzzjoni irrevokabbli. Tim ħareġ mudell ġdid ta’ pprezzar għat-traffiku kollu, mingħajr pjanijiet ta’ rollback. Il-mudell għall-għarrieda pprezza xi prodotti bl-irħis ħafna. Ir-ritorn għall-verżjoni l-antika ħa sigħat minħabba li l-proċess ma kienx lest. Kien hemm telf serju ta’ dħul. Wara, l-ittestjar obbligatorju ta' rollback ġie miżjud ma' kull skjerament.
Każ 3 - Drift siekta tad-dejta. Mudell ta’ frodi deher għal xhur sħaħ mingħajr ebda żball. Iżda t-tattiċi tal-frodisti nbidlu (data drift) u s-sejħiet lura tal-mudell niżlu skiet. Ħadd ma nduna għax ma kienx hemm monitoraġġ. Ladarba ġie stabbilit panel ta 'monitoraġġ tad-distribuzzjoni tat-tbassir, id-drift sar viżibbli kmieni. Se nkopru l-monitoraġġ fl-unità 8.
Mudelli kopjabbli
Ikteb abbozz ta' pjan ta' skjerament għal dan il-mudell. Mudell: [x'jagħmel], użu: [online jew lott?] Għandu jinkludi:1) Ippakkjar (kontenitur, verżjonijiet)2) Strateġija ta' skjerament inkrementali (dell/canary/A-B) u għaliex3) Metriċi biex jintraċċaw (negozju + tekniku + latency)4) Pjan ta' rollback u kif tittestja5) Limiti ta' skjerament għandhom jaqbżu liema valur għandu jaqbeż (whi)
Iċċekkja dan il-pipeline ML CI/CD:1) Il-validazzjoni tad-dejta tinsab fil-linja?2) Jista' l-iskjerament jipproċedi mingħajr ma jżomm il-limitu ta' evalwazzjoni (m'għandux)?3) Ir-rollback huwa awtomatiku?4) Id-dejta+kodiċi+metriċi huma ssorveljati fir-reġistru tal-mudell?Konfigurazzjoni tal-Pline: [config]
Għinni niddeċiedi jekk il-preżentazzjoni onlajn jew tal-lott hijiex adattata għal dan il-mudell. Kemm se jdum jintuża r-riżultat: [instant / minuta / siegħa / jum]Volum ta' talba mistenni: [numru]Hemm restrizzjoni ta' dewmien: [ms]Liema waħda tirrakkomanda f'termini ta' spiża u kumplessità u għaliex?
Ikteb proċedura ta 'rollback għal dan il-mudell.- Liema metrika/limitu jqanqal prestazzjoni fqira?- X'inhuma l-passi ta' rollback?- Kemm għandu jdum ir-rollback (mira)?- Kif nittestja din il-proċedura qabel il-produzzjoni?
Tabella tal-mudell tal-preżentazzjoni
kriterju
Online (ħin reali)
Lott
dewmien
Kritika (ms)
insinifikanti
Użu
Reazzjoni immedjata meħtieġa
Punteġġ perjodiku
Spiża
għolja
baxx
kumplessità
għolja
baxx
eżempju
Rakkomandazzjoni diretta, scam
Punteġġ tar-riskju ta' kull xahar
Żbalji komuni
- Qassam mingħajr pjan ta 'rkupru. Mudell ħażin jolqot lill-utent kollu.
- Ftuħ direttament għal 100% traffiku. Limitu r-riskju b'distribuzzjoni mqassma.
- Mhux jistabbilixxi monitoraġġ. Il-mudell jipproduċi żbalji skiet, mingħajr żball.
- Preżentazzjoni żejda f'ħin reali. Filwaqt li l-lott huwa biżżejjed, l-ispiża u l-kumplessità jintefħu.
- Mhux torbot verżjonijiet tal-mudell-data-code. Ma tistax tirriproduċi l-problema.
- Rilaxx awtomatiku mingħajr limitu ta' distribuzzjoni. Il-mudell ħażin jidħol fis-skiet.
Fil-qosor
Iċ-ċaqliq tal-mudell għall-produzzjoni huwa kompitu ta 'inġinerija differenti u ħafna drabi aktar diffiċli milli t-taħriġ tiegħu. ML jeħtieġ dixxiplina żejda minħabba li jiddependi fuq it-trio tal-kodiċi-data-mudell: ippakkjar u verżjonijiet, mudell ta 'kunsinna (online/lott) li jaqbel mal-ħtieġa tan-negozju, skjerament gradwali u riversibbli, CI/CD ikkontrollat minn limitu u reġistrazzjoni tal-mudell. L-intelliġenza artifiċjali hija għajnuna qawwija fil-ġenerazzjoni tal-kodiċi u l-konfigurazzjoni ta 'din l-infrastruttura; imma l-limiti tad-distribuzzjoni, il-politika ta' clawback, u d-deċiżjonijiet tar-riskju huma tiegħek. Distribuzzjoni mingħajr pjan ta' rollback mhix kompluta.
Kompitu ta' applikazzjoni
Kontenitur (Docker) mudell u ittikkettah verżjoni. Iddeċiedi jekk toffrix onlajn jew lott ibbażat fuq il-ħtiġijiet tan-negozju tiegħek u ikteb il-ġustifikazzjoni tiegħek. Iddokumenta pjan ta’ skjerament f’fażijiet (dell jew canary) u proċedura ta’ rollback ittestjata. Kun żgur li tirreġistra l-verżjoni tad-dejta, l-impenn tal-kodiċi, u l-punteġġi tal-evalwazzjoni fir-reġistru tal-mudell.
lista ta' kontroll
- [ ] Il-mudell huwa ppakkjat u verżjoni (kontenitur + tikketta).
- [ ] Il-mudell tal-preżentazzjoni (online/lott) intgħażel skont il-ħtieġa tan-negozju.
- [ ] Strateġija ta' skjerament fi stadji (dell/canary) implimentata.
- [ ] Proċedura ta' rollback miktuba u ttestjata.
- [ ] CI/CD ma javvanzax l-iskjerament qabel ma jintlaħaq il-limitu ta' evalwazzjoni.
- [ ] Ir-reġistru tal-mudelli jżomm il-link tad-data+kodiċi+metrika.