Riproduċibbiltà u l-Proġett minn tarf sa tarf: Jikkombinaw Kollox

Qligħ:

• Kapaċità li tiżgura r-riproduċibbiltà b'erba' pilastri (fissazzjoni taż-żerriegħa, verżjonijiet tad-dejta, iffriżar tal-midja, monitoraġġ tal-esperimenti) u tipproduċi l-istess riżultat meta tirrepeti l-istess ġirja
• Kapaċità li tgħaqqad il-waqfiet kollha tal-modulu (metriċi, data, mudell, komponenti LLM, eval, ġustizzja, sigurtà, distribuzzjoni, monitoraġġ) f'katina minn tarf sa tarf
• Kapaċità li tivverifika li d-deċiżjoni kritika tibqa’ mal-bniedem f’kull waqfa u tiddokumenta l-proġett b’mod verifikabbli

L-aktar falliment insidjuż ta' proġett ML mhuwiex ħabta; "Ma terġax tikseb l-istess riżultat." Jekk ma tistax tirriproduċi l-punteġġ illum tal-mudell li poġġiet fil-produzzjoni tliet xhur ilu, ma tikkontrollax verament dak il-mudell. F'din l-unità ta 'għeluq, napprofondixxu r-riproduċibilità: il-ħila li niksbu b'mod affidabbli l-istess riżultat bl-istess inputs u ngħaqqdu l-modulu kollu f'dixxiplina tal-proġett tarf sa tarf.

Għaliex ir-riproduċibilità hija diffiċli

Fis-softwer ordinarju, l-istess kodiċi jagħti l-istess output. Fl-ML hemm ħafna aktar varjabbli li jiddeterminaw ir-riżultat:

• Randomness: It-tħaffir tad-dejta, l-inizjalizzazzjoni tal-piż, il-qsim tad-dejta — kollha jiddependu fuq l-aleatorju.
• Dejta: L-istess kodiċi jipproduċi mudell differenti b'verżjoni tad-dejta differenti.
• Ambjent: Verżjonijiet tal-librerija, ħardwer (CPU/GPU), anke sistema operattiva jistgħu jibdlu r-riżultat.
• Każ moħbi: Iperparametru mhux ssejvjat, pass manwali ta' pproċessar minn qabel, għażla mhux osservata.

Ir-riproduċibilità mhix "sabiħ li jkollok" iżda imperattiv xjentifiku u ta' inġinerija. Riżultat li ma jistax jiġi riprodott huwa talba li ma tistax tiġi ppruvata.

Erba' pilastri ta' riproduċibbiltà

1. Waħħal każwali. Issettja ż-żerriegħa bl-addoċċ kollha f'post wieħed: il-qsim tad-dejta, l-inizjalizzazzjoni tal-mudell, it-tħaffir tad-dejta. Iż-żerriegħa fissa hija l-bażi tal-garanzija "l-istess riżultat meta tirrepeti l-istess ġirja".

2. Verżjoni tad-data. Irreġistra liema verżjoni tad-dejta kull esperiment sar biha (verżjoni tad-dejta fl-unità 2). "L-aħħar dejta" hija vaga; "verżjoni tad-dejta v3, hash abc123" hija eżatta.

3. Iffriża l-mezz. Pin id-dipendenzi kollha mal-verżjonijiet eżatti tagħhom (eż. verżjonijiet eżatti bħal numpy==1.26.4 f'requirements.txt, jew immaġni tal-kontenitur). L-"aħħar verżjoni" se tkisser kollox jum wieħed.

4. Track kollox (traċċar esperiment). Issejvja awtomatikament għal kull esperiment: verżjoni tal-kodiċi (git commit), verżjoni tad-dejta, iperparametri kollha, metriċi u strutturi ta 'output. Għodod ta 'traċċar ta' esperimenti bħal MLflow, Weights & Biases jagħmlu dan b'mod sistematiku. Mingħajr reġistrazzjoni, il-mistoqsija "liema setting kien l-aħjar" tibqa' bla tweġiba.

Attenzjoni: "Niftakar aktar tard" hija l-iżjed fallacy għalja. Ġimagħtejn wara ma tiftakarx liema żerriegħa, liema data, liema iperparametru użajt. It-traċċar awtomatiku jelimina d-dipendenza fuq il-memorja.

Approċċ dgħajjef / Approċċ qawwi

Dgħajjef: "Sibt l-aħjar mudell, huwa fuq in-notebook, naħseb li l-punteġġ tiegħu kien 89%."

Qawwija: "Mexxi #147 fl-għodda ta 'traċċar tal-esperiment: git commit a3f9c, verżjoni tad-dejta v3 (hash abc123), żerriegħa 42, l-iperparametri kollha rreġistrati, ittestja PR-AUC 0.887. Meta nerġa' nħaddem l-istess kmand, nikseb l-istess riżultat daqsxejn. Il-mudell jiddependi fuq din il-ġirja fir-reġistru."

Id-differenza: fl-approċċ qawwi r-riżultat mhuwiex ibbażat fuq memorja, iżda fuq katina fissa u mmonitorjata. Kulħadd jista 'jipproduċi l-istess riżultat kull darba.

Proġett minn tarf sa tarf: kombinazzjoni ta 'modulu

Issa ejja ngħaqqdu l-modulu kollu fi fluss ta 'proġett wieħed. Sistema ML reali tgħaddi minn dawn il-waqfiet, u kull waqfa tibni fuq dik preċedenti:

1. Definizzjoni tal-problema: X'qed insolvu, kif inkejlu s-suċċess (unità 3: metrika t-tajba, kuntest tan-negozju). Il-metrika u l-limitu huma ċari mill-bidu.
2. Pipeline tad-dejta: Ġbir, validazzjoni, tindif, qsim mingħajr tnixxija, verżjonijiet (unità 2).
3. Żvilupp tal-mudell: Taħriġ, paragun tal-linja bażi, cross-validation, żerriegħa iebsa (unità 3 + din l-unità).
4. Komponenti LLM (jekk applikabbli): RAG (unità 4) u/jew aġenti (unità 5); irfinar jekk meħtieġ (unità 6).
5. Evalwazzjoni: raggruppament eval b'każijiet tarf u sigurtà, eval multi-layer f'sistemi LLM (unità 8).
6. Awditjar tal-ġustizzja u l-etika: Analiżi tas-sottogrupp, karta mudell, spjegabbiltà (unità 10).
7. Verifika tas-sigurtà: Injezzjoni fil-pront, privatezza, katina tal-provvista (unità 9).
8. Distribuzzjoni: Ippakkjar, distribuzzjoni gradwali, rollback, reġistru tal-mudell (unità 7).
9. Monitoraġġ: Monitoraġġ ta 'tliet saffi, allarmi ta' drift (unità 8).
10. Riproduċibbiltà: Żerriegħa, verżjoni tad-dejta, midja u traċċar tal-esperimenti tul il-katina kollha (din l-unità).

F'dan il-fluss, AI hija aċċeleratur u ġeneratur ta 'blueprint f'kull waqfa; iżda l-għażla metrika, id-deċiżjonijiet tad-dejta, il-prijoritizzazzjoni tal-ġustizzja, il-limitu tal-iskjerament u l-approvazzjoni tar-rilaxx - deċiżjonijiet kritiċi jibqgħu mal-bniedem. Din hija l-essenza tal-modulu.

Dokumentazzjoni: il-futur se grazzi

Proġett ML tajjeb jiddokumenta innifsu. Bħala minimu, dan li ġej għandu jinkiteb: kriterji ta’ problema u suċċess, sors u verżjoni tad-dejta, għażliet u ġustifikazzjonijiet tal-mudell, riżultati tal-evalwazzjoni (inklużi sottogruppi), limiti u riskji magħrufa, proċedura ta’ skjerament u rkupru, pjan ta’ monitoraġġ. Dan id-dokument huwa l-aqwa ħabib tal-persuna (forsi int) li terġa’ lura għall-proġett wara sitt xhur.

tliet każijiet żgħar

Każ 1 - Riżultat mitluf. Inġinier ħarreġ mudell kbir, iżda ma rranġax iż-żerriegħa u ma ssalvax il-verżjoni tad-dejta. Meta ħalla l-impjieg, ħadd ma seta’ jirriproduċi dak ir-riżultat; il-mudell sar "leġġenda tal-kaxxa sewda" u eventwalment inbniet mill-bidu. Ġimgħat kienu moħlija. Lezzjoni: riżultat mhux riproduċibbli huwa riżultat ineżistenti.

Każ 2 - Kollass tal-ambjent. Tim wieħed ma kienx irranġa d-dipendenzi. Meta librerija ġiet aġġornata awtomatikament, l-outputs tal-mudell inbidlu fis-skiet u l-produzzjoni ġiet imfixkla. Dam jiem biex issib il-problema. Meta d-dipendenzi ġew iffriżati u kontenituri bil-verżjonijiet definittivi, il-problema ma reġgħetx seħħet. Lezzjoni: tiffriża l-ambjent.

Każ 3 - Il-qawwa tal-monitoraġġ. Tim awtomatikament immonitorja kull esperiment. Tliet xhur wara, waqt verifika regolatorja, wieġbu l-mistoqsija "b'liema data, b'liema settings, liema prestazzjoni kisbet f'liema gruppi?" b'reġistrazzjoni sħiħa fi ftit minuti. L-ispezzjoni marret bla xkiel. Lezzjoni: il-monitoraġġ huwa għodda ta' konformità, mhux biss waħda ta' inġinerija.

Mudelli kopjabbli

Agħmel verifika tar-riproduċibbiltà għal dan il-proġett ML.- Iż-żrieragħ kollha ta' randomness huma ffissati (qasmu, inizjalizzaw, shuffle)?- Id-dejta hija verġjonata?- Id-dipendenzi huma ffriżati għal verżjonijiet eżatti?- Kull esperiment (kommit tal-kodiċi, dejta, iperparametru, metrika) huwa ssorveljat? Ikteb passi konkreti dwar kif tirranġaha għal kull kolonna nieqsa.Struttura tal-proġett: [deskrizzjoni]

Ipproduċi skeletru tal-pjan għal dan il-proġett ML minn tarf sa tarf. Problema: [deskrizzjoni] Għatti l-waqfiet li ġejjin u mmarka fejn tkun id-deċiżjoni tal-BNIEDEM f'kull waqfa: problema/metrika, pipeline, mudell, (RAG/aġent/rfinar?), eval, ġustizzja, sigurtà, distribuzzjoni, monitoraġġ, riproduċibbiltà. Ikteb ir-riskju ewlieni u l-pass tal-verifika għal kull waqfa.

Ipproduċi mudell ta' dokumentazzjoni teknika għal dan il-proġett. Taqsimiet: problema+kriterji ta’ suċċess, data (sors+verżjoni), għażliet ta’ mudell+ġustifikazzjoni, evalwazzjoni (inklużi sottogruppi), limiti magħrufa+riskji, skjerament+rollback, pjan ta’ monitoraġġ. Agħti l-oqsma li għandhom jimtlew għal kull taqsima bħala mistoqsijiet.

Iċċekkja s-setup tal-monitoraġġ tal-esperimenti tiegħi: Huwa ssejvjat awtomatikament f'kull ġirja: git commit, verżjoni tad-dejta/hash, l-iperparametri kollha, il-metriċi kollha, l-ambjent (verżjonijiet tal-librerija)? Niġi l-istess riżultat meta nerġa' nmexxi l-istess ġirja? Setup: [deskrizzjoni]. Elenka d-difetti u l-korrezzjoni.

Tabella tal-kolonni tar-riproduċibbiltà

kolonna

X'inhu fiss

Eżempju tal-vettura

każwali

iż-żerriegħa kollha

l-issettjar taż-żerriegħa

Data

Verżjoni tad-dejta/hash

DVC

ambjent

Verżjonijiet tal-librerija

rekwiżiti pin, Docker

Monitoraġġ

Kodiċi+dejta+setting+metrika

MLflow, W&B

Żbalji komuni

• Mhux jiffissaw iż-żerriegħa. Ir-riżultat ma jistax jiġi ripetut.
• Mhux issalva l-verżjoni tad-data. "B'liema data?" jibqa’ bla tweġiba.
• Mhux l-iffriżar tal-vizzji. Aġġornament se jkisser kollox fis-skiet.
• Inħallu l-esperimenti għall-memorja. Ġimagħtejn wara ma jiftakar xejn.
• Inħallu deċiżjonijiet kritiċi għall-intelliġenza artifiċjali. Il-metriċi, il-ġustizzja, u d-deċiżjonijiet tad-distribuzzjoni għandhom jibqgħu man-nies.
• Id-dokumentazzjoni posposta. It-tim futur (u int) tħallas il-prezz.

Fil-qosor

Ir-riproduċibbiltà hija l-firma ta' inġinerija ML serja: ir-riżultat mhux riproduċibbli huwa t-talba li ma tistax tiġi pprovata. Jiġi b'erba 'kolonni — issewwi l-każwali, id-dejta tal-verżjoni, l-iffriżar tal-ambjent, issegwi kull esperiment. Proġett minn tarf sa tarf jgħaqqad il-waqfiet kollha ta 'dan il-modulu (metrika, dejta, mudell, komponenti LLM, eval, ġustizzja, sigurtà, distribuzzjoni, monitoraġġ) f'katina interkonnessa; L-intelliġenza artifiċjali hija aċċeleratur f'kull waqfa, iżda d-deċiżjonijiet kritiċi jibqgħu f'idejn il-bniedem. Iddokumenta kollox — għal tim u verifiki futuri. Din id-dixxiplina hija l-qafas li jsostni dak kollu li titgħallem matul il-modulu.

Kompitu ta' applikazzjoni

Iċċekkja proġett ML kontra erba 'pilastri ta' riproduċibbiltà: iż-żrieragħ huma immutabbli, id-dejta hija verġjonata, l-ambjent huwa ffriżat, l-esperimenti huma ssorveljati? Waħħal kwalunkwe kolonni nieqsa u pprova li tista 'taħdem l-istess ġirja darbtejn u tikseb l-istess riżultat. Imbagħad joħroġ il-fluss minn tarf sa tarf tal-proġett (10 waqfiet) fuq paġna waħda u mmarka "fejn hija d-deċiżjoni tal-bniedem" f'kull waqfa. Fl-aħħarnett, ikteb abbozz qasir ta' dokumentazzjoni teknika.

lista ta' kontroll

• [ ] Iż-żerriegħa kollha ta' każwali ffissati.
• [ ] Verżjoni tad-dejta/hash hija rreġistrata ma' kull esperiment.
• [ ] Id-dipendenzi huma ffriżati għal verżjonijiet sodi (pin/kontenitur).
• [ ] Kull esperiment jiġi mmonitorjat awtomatikament (kodiċi+data+setting+metrika).
• [ ] Meta nirrepeti l-istess ġirja, nikseb l-istess riżultat.
• [ ] Ivverifikajt u ddokumentajt li d-deċiżjonijiet kritiċi fil-fluss minn tarf sa tarf isiru mill-bnedmin.

Eżami tal-Modulu

1. Bħala inġinier ML, x'inhu l-aħjar approċċ meta tpoġġi l-intelliġenza artifiċjali fil-fluss tax-xogħol?

• A) L-IA hija aċċeleratur f'negozji b'riskju baxx; Deċiżjonijiet kritiċi bħall-metriċi, id-dejta u l-produzzjoni jibqgħu validati u jitħallew f'idejn il-bniedem ✔
• B) Sakemm l-outputs AI jidhru tajbin, m'hemmx bżonn ta 'verifika
• C) Li tħalli d-deċiżjoni li jitqiegħed il-mudell fil-produzzjoni għall-intelliġenza artifiċjali tiffranka l-ħin.
• D) L-intelliġenza artifiċjali hija utli biss għall-kitba ta 'test, m'għandha x'taqsam xejn ma' data u xogħol ta 'mudell

Deskrizzjoni: AI hija aċċeleratur b'saħħtu għal ħidmiet ta' riskju baxx, verifikati faċilment bħal kodiċi, diġesti tad-dejta, u dokumenti; Madankollu, ir-responsabbiltà għal deċiżjonijiet li jaffettwaw il-flus, il-kunfidenzjalità u r-responsabbiltà legali, bħall-għażla metrika, liema data tidħol fit-taħriġ, u t-tqegħid tal-mudell fil-produzzjoni, hija tal-inġinier u t-tim kwalifikati. Kull output m'għandux jintuża mingħajr verifika.

2. Għaliex il-validazzjoni ta 'skema titqiegħed fil-bidu ta' pipeline tad-dejta?

• A) Minħabba li żżid direttament l-eżattezza tal-mudell
• B) Minħabba li jagħmel il-verżjoni tad-dejta bla bżonn
• C) Minħabba li jaqbad data korrotta fl-aktar punt kmieni u irħas u ma jħallihiex tnixxi fil-passi li jmiss ✔
• D) Minħabba li telimina l-ħtieġa ta 'tikkettar

Spjegazzjoni: Iktar ma tinqabad dejta korrotta aktar kmieni, irħas tkun li tirranġaha. Il-validazzjoni tal-iskema tipprevjeni d-dejta korrotta milli titnixxi fis-skiet fit-taħriġ jew fil-produzzjoni billi tirrifjuta dejta barra mit-tip u l-firxa mistennija fil-bidu tal-linja (eż. ċaqliq tal-prezz 100x b’bidla tal-unità); L-istess żball maqbud fil-produzzjoni huwa ħafna drabi aktar għali.

3. X'inhu l-approċċ korrett meta taqsam id-dejta f'taħriġ u ttestjar fi problema li tinvolvi l-ħin (serje ta 'żmien)?

• A) L-użu ta 'qsim bl-addoċċ għax huwa dejjem l-aktar metodu ġust
• B) L-użu tal-qsim temporali: jipprevjeni t-tnixxija billi tħarreġ mal-passat u tittestja fil-futur ✔
• C) L-użu tad-dejta kollha kemm bħala taħriġ kif ukoll bħala ttestjar
• D) L-inkorporazzjoni tad-dejta tat-test fil-parametri tal-iskala qabel it-taħriġ

Spjegazzjoni: Qsim bl-addoċċ fuq serje tal-ħin jagħti lill-mudell vantaġġ 'li jara l-futur' li qatt mhu se jseħħ fil-produzzjoni u jintefaħ b'mod artifiċjali l-metriċi (tnixxija temporanja). It-tajba hija d-diviżjoni temporali: ħarreġ mal-passat, ittestja fil-futur. Dan ikejjel il-prestazzjoni attwali li żżommha fil-produzzjoni.

4. Għaliex l-eżattezza hija qarrieqa f'mudell ta' skoperta ta' frodi b'rata ta' klassi pożittiva ta' 1.5%?

• A) Minħabba li l-Eżattezza hija dejjem baxxa fuq data żbilanċjata
• B) Minħabba li l-Eżattezza tista 'tintuża biss fuq problemi ta' rigressjoni
• C) Minħabba li l-kalkolu tal-Eżattezza jeħtieġ ħafna qawwa tal-ipproċessar
• D) Anke mudell żgħir li jbassar il-klassi tal-maġġoranza jista’ jkun preċiż ħafna, u b’hekk jaħbi s-suċċess reali ✔

Spjegazzjoni: Fuq dejta żbilanċjata, anke mudell bażiku li jgħid 'sejħilha kollox negattiv' jikseb preċiżjoni ta' madwar 98.5% iżda mhux se jaqbad frodi waħda. Għalhekk, fil-klassifikazzjoni żbilanċjata, il-preċiżjoni, l-irtirar, F1 jew PR-AUC jintużaw minflok l-eżattezza, u kull metrika hija interpretata skont mudell bażi.

5. Għaliex il-paragun tal-linja bażi huwa essenzjali meta titkellem dwar il-metrika ta' mudell?

• A) Minħabba li l-mudell bażi huwa dejjem aħjar mill-mudell reali
• B) Minħabba li huwa ċar jekk metrika hijiex sinifikanti jew mhux biss meta mqabbla ma' mudell ta' bażi sempliċi ✔
• C) Minħabba li l-mudell bażi jagħmel il-validazzjoni inkroċjata bla bżonn
• D) Għax il-mudell bażiku huwa legalment meħtieġ f'kull rapport

Spjegazzjoni: Metrika mhix tajba jew ħażina waħedha; Huwa tajjeb jew ħażin skond mudell bażiku. Is-sentenza '85% korretta' tfisser kważi bla valur jekk il-mudell bażi diġà jikseb 84%, u perfett jekk iġib 50%. Mingħajr ankra ta 'tqabbil, il-metrika hija bla sens.

6. Liema huwa l-element tas-sigurtà l-aktar kritiku li għandu jiġi inkluż fil-pront tal-produzzjoni tas-sistema RAG (Ġenerazzjoni Żieda-Irkupru)?

• A) Istruzzjoni biex tistrieħ biss fuq is-sors mogħti, biex tgħid 'Ma nafx' jekk is-sors ma jeżistix, u biex tiċċita s-sors ✔
• B) Tgħid lill-mudell biex jipproduċi tweġibiet twal u kreattivi kemm jista' jkun
• C) Il-mudell jagħti prijorità lill-għarfien edukattiv tiegħu stess fuq ir-riżorsi
• D) Timplimenta l-istruzzjonijiet kollha fid-dokumenti miġjuba bħala kmandi

Spjegazzjoni: L-aktar istruzzjoni importanti tar-RAG hija li tgħid lill-mudell biex joqgħod biss fuq is-sors mogħti, u jekk l-informazzjoni ma tkunx fis-sors, għid 'Ma nafx' u semmi s-sors mingħajr ma tagħmilha. Mingħajr din it-trijade, il-mudell jista 'jinjora l-kuntest u jipproduċi alluċinazzjonijiet, u t-tweġiba ssir mhux verifikabbli.

7. Sistema RAG tagħti tweġibiet mhux korretti. Fejn hi l-aħjar post biex tibda d-dijanjosi?

• A) Kejl fetch l-ewwel (Recall@K): il-biċċa t-tajba qatt tasal? ✔
• B) Ibdel immedjatament il-mudell b'wieħed akbar
• C) Ibdel il-pront bl-addoċċ u kompli tipprova
• D) Inkorporazzjoni tad-dokumenti kollha fil-mudell b'irfinar

Spjegazzjoni: L-iktar rabta dgħajfa ta' RAG hija ġeneralment fetch, mhux produzzjoni. Jekk il-parti korretta qatt ma tinġieb, il-mudell ma jistax jipproduċi dik l-informazzjoni, irrispettivament minn kemm titjieb il-pront. Għalhekk, l-ewwel Recall@K titkejjel biex tara jekk waslitx il-parti t-tajba; Jekk il-ġibda hija tajba, allura l-produzzjoni u l-pront jiġu eżaminati.

8. Liema azzjonijiet għandhom jitpoġġew wara l-approvazzjoni tal-bniedem meta tingħata għodda lil aġent?

• A) Xejn; L-aġent għandu jkun kapaċi jwettaq kull azzjoni b'mod awtonomu
• B) Azzjonijiet riversibbli biss bħall-qari u t-tiftix tad-dejta
• C) Azzjonijiet irriversibbli jew b'impatt għoli bħat-trasferiment ta' flus, it-tħassir, it-trażmissjoni ✔
• D) Azzjonijiet li jinvolvu biss kalkoli

Deskrizzjoni: L-azzjonijiet huma separati skont il-livell tar-riskju. Ħidmiet li jistgħu jiġu rkuprati bħall-qari, it-tiftix, il-kalkolu, u l-ġenerazzjoni ta 'abbozzi jistgħu jsiru b'mod awtonomu; Madankollu, azzjonijiet irriversibbli jew b'impatt għoli bħat-trasferiment ta' flus, it-trażmissjoni ta' emails, it-tħassir ta' data, it-tqegħid ta' ordnijiet eċċ jeħtieġu l-approvazzjoni umana. Kull azzjoni irrevokabbli għandha tkun soġġetta għall-kunsens.

9. X'inhu l-aħjar approċċ tad-disinn kontra r-riskju ta 'injezzjoni indiretta fil-pront?

• A) Huwa biżżejjed li żżid sentenza waħda 'jinjora l-istruzzjonijiet ħżiena' fil-pront tas-sistema
• B) Agħti aktar awtorità lill-mudell billi toqgħod fuq struzzjonijiet fil-kontenut estern
• C) Ma tieħu l-ebda prekawzjoni għax l-injezzjoni ma tistax tiġi evitata
• D) L-iżolament ta' kontenut estern bħala dejta mhux affidabbli u l-istabbiliment ta' difiżi f'saffi b'awtorizzazzjoni, approvazzjoni u kontroll minimu tal-output ✔

Deskrizzjoni: Il-kontenut estern ipproċessat mill-aġent jew ir-RAG, bħal paġna tal-web, dokument, email, eċċ., huwa data mhux fdata u jista' jkun fih struzzjonijiet sigrieti. L-approċċ korrett huwa difiża f'saffi: l-iżolament tal-kontenut estern bħala 'dejta, mhux kmandi' b'delimitaturi ċari, l-applikazzjoni ta' awtorizzazzjoni minima, l-irbit ta' azzjonijiet irriversibbli mal-approvazzjoni tal-bniedem, u l-awditjar tal-output. Linja waħda ta 'struzzjonijiet mhix biżżejjed.

10. X'inhi d-distinzjoni ewlenija meta jiġi deċiż jekk problema għandhiex tiġi solvuta b'irfinar jew RAG?

• A) Il-problemi tal-informazzjoni jissolvew aħjar bir-RAG, il-problemi tal-imġieba/format jiġu solvuti aħjar b'irfinar ✔
• B) Kull problema għandha dejjem tiġi solvuta b'irfinar
• C) RAG jintuża biss għall-ġenerazzjoni tal-kodiċi, l-irfinar jintuża biss għat-traduzzjoni
• D) L-irfinar jista 'dejjem jiġi aġġornat irħas u aktar mgħaġġel minn RAG

Spjegazzjoni: L-irfinar huwa dgħajjef u riskjuż fit-tagħlim tal-mudell ta' informazzjoni ġdida; iżda huwa qawwi fit-tagħlim tal-imġieba, il-format, it-ton u l-istil. 'Il-kumpanija mudell ma tafx id-dejta tagħna' hija problema ta' informazzjoni u tappartjeni lil RAG. 'Ħalli l-mudell dejjem joħroġ fil-format strett tagħna' hija problema ta' mġiba u kandidat għal rfinar. Barra minn hekk, fil-pront u ftit shots għandhom jiġu kkunsmati qabel irfinar.

11. Liema hija obbligatorja għal skjerament sikur meta jitqiegħed mudell ġdid fil-produzzjoni?

• A) Jekk il-mudell huwa tajjeb fl-ittestjar, iftaħ direttament għal 100% tat-traffiku
• B) L-ebda twaqqif ta 'monitoraġġ wara l-iskjerament
• C) Skjerament f'fażijiet (dell/canary) u pjan ta' rollback ittestjat minn qabel ✔
• D) Il-pubblikazzjoni tal-mudell anki jekk il-limitu ta' evalwazzjoni ma jintlaħaqx

Spjegazzjoni: Il-ftuħ tal-mudell il-ġdid direttament għat-traffiku kollu huwa riskjuż; Jekk huwa ħażin, kulħadd ikun affettwat. Il-ħaġa korretta hija li hija distribuzzjoni gradwali (dell, kanarju) u kull distribuzzjoni għandha pjan ta 'rollback ittestjat. Distribuzzjoni mhix kompluta mingħajr pjan ta' clawback; Li tkun kapaċi terġa 'lura għall-verżjoni preċedenti fi ftit minuti tipproteġi lill-utent meta l-mudell iġib ruħu b'mod mhux mistenni fil-produzzjoni.

12. Kif jista' mudell ML ifalli 'skiet' fil-produzzjoni u x'inhu l-mod biex jinqabad dan?

• A) Il-mudell jiġġarraf; zkuk tas-server juru dan
• B) Billi tipproduċi tbassir żbaljati mingħajr ma tagħmel żbalji; ✔ Jiġbor monitoraġġ f'saffi operattiv, ta' input u output
• C) Mudell qatt ma jista 'jfalli skiet, dejjem allarm
• D) Il-monitoraġġ tal-latency biss huwa biżżejjed biex taqbad kwalunkwe degradazzjoni

Spjegazzjoni: Il-mudell jista' jfalli sempliċement billi jipproduċi tbassir żbaljat mingħajr ma jaħbat jew jagħti żbalji; Ir-raġuni ewlenija għal dan hija drift tad-data u drift tal-kunċett. Il-monitoraġġ biss tal-metriċi operattivi (latenza, rata ta 'żball) mhuwiex biżżejjed; id-distribuzzjoni tal-input u d-distribuzzjoni tal-output/tbassir għandhom jiġu mmonitorjati wkoll. Input drift jagħti twissija bikrija jekk ir-riżultat attwali jittardja.

13. Liema prinċipju huwa essenzjali meta tuża LLM-as-judge biex tevalwa sistema LLM?

• A) LLM-referee huwa dejjem korrett, il-verifika umana mhix meħtieġa
• B) Ir-referee għandu jieħu deċiżjoni bbażata biss fuq it-tul tat-tweġiba.
• C) Il-kontrolli bbażati fuq ir-regoli u l-evalwazzjoni umana għandhom jintremew kompletament meta jintużaw ir-referees
• D) Il-punteġġi tal-imħallfin għandhom jiġu kkalibrati b'kampjun tikkettat mill-bniedem u l-preġudizzju tagħhom imkejjel qabel ma jkunu jistgħu jiġu fdati ✔

Deskrizzjoni: LLM-referee huwa wkoll mudell; Jista’ jkun alluċinattiv, preġudikat (li jiffavorixxi tweġibiet twal u kunfidenti), u inkonsistenti. Għalhekk, il-punteġġi tar-referi għandhom jiġu kkalibrati b'kampjun tikkettat uman u l-preġudizzju sistematiku tagħhom għandu jitkejjel qabel ma tittieħed id-deċiżjoni tal-produzzjoni. Referi mhux verifikat jagħti fiduċja falza.

14. Għaliex il-ħarsa lejn l-eżattezza ġenerali hija inadegwata meta tiġi vvalutata l-preġudizzju tal-mudell?

• A) L-eżattezza ġenerali hija biżżejjed għaliex dejjem tirrifletti l-prestazzjoni tal-agħar grupp
• B) L-eżattezza ġenerali waħedha mhix biżżejjed peress li tista’ taħbi d-differenza sistematika (diskriminazzjoni moħbija) bejn is-sottogruppi ✔
• C) Minħabba li l-eżattezza hija metrika li m'għandha x'taqsam xejn mal-preġudizzju
• D) Il-preġudizzju ġej biss mill-mudell u m'għandu x'jaqsam xejn mad-dejta.

Spjegazzjoni: L-eżattezza ġenerali tista' taħbi d-differenzi sistematiċi bejn is-sottogruppi. Pereżempju, filwaqt li l-eżattezza ġenerali hija ta '88%, l-irtirar jista' jkun 91% fi grupp wieħed u 67% fi grupp ieħor; Il-mudell sistematikament jitlef lil dak il-grupp. Għalhekk, il-mudell għandu jiġi evalwat fuq il-bażi ta' sottogruppi (demografija/segment) u liema definizzjoni ta' ġustizzja għandha tiġi prijoritizzata għandha tiġi deċiża mal-partijiet interessati.

15. Liema erba' affarijiet għandhom jiġu ffissati flimkien biex riżultat ML ikun riproduċibbli?

• A) Isem tal-mudell, daqs, prezz u data ta 'rilaxx biss
• B) Il-marka tal-GPU u l-veloċità tal-internet biss
• C) Il-punteġġ tal-eżattezza finali biss tal-mudell; il-bqija jistgħu jinżammu fil-memorja
• D) Żerriegħa ta' każwali, verżjoni tad-dejta, ambjent (verżjonijiet ta' dipendenza) u traċċar tal-esperimenti ✔

Deskrizzjoni: Ir-riproduċibilità tinkiseb permezz ta 'erba' pilastri: l-iffissar ta 'żrieragħ ta' randomness, id-data tal-verżjoni (verżjoni/hash), l-iffriżar tal-ambjent (verżjonijiet eżatti tal-librerija/kontenitur), u t-traċċar ta 'kull esperiment (kommit tal-kodiċi, data, iperparametru, metrika). Mingħajr din il-katina mhux possibbli li jiġi riprodott l-istess riżultat; Riżultat mhux riproduċibbli huwa pretensjoni li ma tistax tiġi ppruvata.