Uzalishaji tena na Mradi wa Mwisho-hadi-Mwisho: Kuchanganya Kila Kitu

Faida:

• Uwezo wa kuhakikisha uzalishwaji tena na nguzo nne (kurekebisha mbegu, toleo la data, kufungia media, ufuatiliaji wa majaribio) na kutoa matokeo sawa wakati wa kurudia kukimbia sawa.
• Uwezo wa kuchanganya vituo vyote vya moduli (metrics, data, model, LLM vipengele, eval, haki, usalama, usambazaji, ufuatiliaji) katika mlolongo wa mwisho hadi mwisho.
• Uwezo wa kuthibitisha kuwa uamuzi muhimu unabaki na mwanadamu kila mahali na kuandika mradi kwa njia inayoweza kukaguliwa

Kushindwa kwa hila zaidi kwa mradi wa ML sio ajali; "Si kupata matokeo sawa tena." Ikiwa huwezi kutoa tena alama za leo za muundo ulioweka katika toleo la umma miezi mitatu iliyopita, hudhibiti kabisa muundo huo. Katika kitengo hiki cha kufunga, tunaongeza uwezo wa kuzaliana tena: uwezo wa kupata matokeo sawa kwa ingizo sawa na kuchanganya moduli nzima katika nidhamu ya mradi wa mwisho hadi mwisho.

Kwa nini uzazi ni vigumu

Katika programu ya kawaida, msimbo sawa hutoa pato sawa. Katika ML kuna anuwai nyingi zaidi ambazo huamua matokeo:

• Nasibu: Kuchanganya data, kuanzishwa kwa uzito, kugawanya data - yote yanategemea kubahatisha.
• Data: Msimbo sawa hutoa muundo tofauti na toleo tofauti la data.
• Mazingira: Matoleo ya maktaba, maunzi (CPU/GPU), hata mfumo wa uendeshaji unaweza kubadilisha matokeo.
• Kesi iliyofichwa: Hyperparameta ambayo haijahifadhiwa, hatua ya uchakataji wa mwongozo, uteuzi ambao haujatambuliwa.

Uzalishaji tena sio "nzuri kuwa na" lakini ni sharti la kisayansi na kihandisi. Matokeo ambayo hayawezi kutolewa tena ni madai ambayo hayawezi kuthibitishwa.

Nguzo nne za kuzaliana

1. Kurekebisha nasibu. Weka mbegu zote nasibu katika sehemu moja: kugawanya data, uanzishaji wa modeli, kuchanganya data. Mbegu zisizohamishika ndio msingi wa "matokeo yale yale unaporudia uhakikisho wa kukimbia sawa".

2. Toa toleo la data. Rekodi ni toleo gani la data ambalo kila jaribio lilitekelezwa (matoleo ya data katika kitengo cha 2). "Data za hivi punde" hazieleweki; "data toleo v3, hash abc123" ni sawa.

3. Kufungia kati. Bandika vitegemezi vyote kwa matoleo yao kamili (k.m. matoleo kamili kama vile numpy==1.26.4 katika requirements.txt, au picha ya kontena). "Toleo la hivi karibuni" litavunja kila kitu siku moja.

4. Fuatilia kila kitu (ufuatiliaji wa majaribio). Hifadhi kiotomatiki kwa kila jaribio: toleo la msimbo (git commit), toleo la data, vigezo vyote, vipimo na miundo ya matokeo. Jaribio la zana za kufuatilia kama vile MLflow, Weights & Biases fanya hivi kwa utaratibu. Bila usajili, swali "ni mpangilio gani ulikuwa bora" bado haujajibiwa.

Tahadhari: "Nitakumbuka baadaye" ni udanganyifu wa gharama kubwa zaidi. Wiki mbili baadaye hutakumbuka mbegu gani, data gani, ni hyperparameter gani uliyotumia. Ufuatiliaji wa kiotomatiki huondoa utegemezi wa kumbukumbu.

Mbinu dhaifu / Mbinu kali

Dhaifu: "Nimepata mfano bora zaidi, ni kwenye daftari, nadhani alama yake ilikuwa 89%.

Nguvu: "Endesha #147 katika zana ya kufuatilia majaribio: git commit a3f9c, toleo la data v3 (hash abc123), mbegu 42, hyperparameters zote zilizosajiliwa, jaribu PR-AUC 0.887. Ninapoendesha amri sawa tena, ninapata matokeo sawa kidogo kidogo. Mfano unategemea uendeshaji huu katika usajili."

Tofauti: katika mbinu kali matokeo hayatokani na kumbukumbu, lakini kwa mlolongo uliowekwa na kufuatiliwa. Kila mtu anaweza kutoa matokeo sawa kila wakati.

Mradi wa mwisho hadi mwisho: mchanganyiko wa moduli

Sasa hebu tuunganishe moduli nzima katika mtiririko wa mradi mmoja. Mfumo halisi wa ML hupitia vituo hivi, na kila kituo hujengwa kwenye ile iliyotangulia:

1. Ufafanuzi wa tatizo: Tunatatua nini, jinsi ya kupima mafanikio (sehemu ya 3: kipimo sahihi, muktadha wa biashara). Kipimo na kizingiti ni wazi tangu mwanzo.
2. Bomba la data: Ukusanyaji, uthibitishaji, utakaso, ugawaji usiovuja, uchapishaji (kitengo cha 2).
3. Ukuzaji wa mfano: Mafunzo, ulinganisho wa msingi, uthibitisho mtambuka, mbegu ngumu (kitengo 3 + kitengo hiki).
4. Vipengele vya LLM (ikiwa inatumika): RAG (kitengo cha 4) na/au mawakala (kitengo cha 5); kurekebisha vizuri ikiwa ni lazima (kitengo 6).
5. Tathmini: nguzo ya tathmini yenye makali na kesi za usalama, eval ya tabaka nyingi katika mifumo ya LLM (kitengo cha 8).
6. Ukaguzi wa haki na maadili: Uchambuzi wa kikundi kidogo, kadi ya mfano, kuelezeka (kitengo cha 10).
7. Ukaguzi wa usalama: Sindano ya haraka, faragha, ugavi (kitengo cha 9).
8. Usambazaji: Ufungaji, usambazaji wa taratibu, urejeshaji, usajili wa mfano (kitengo cha 7).
9. Ufuatiliaji: Ufuatiliaji wa safu tatu, kengele za kuteleza (kitengo cha 8).
10. Uzalishaji tena: Mbegu, toleo la data, ufuatiliaji wa maudhui na majaribio katika msururu mzima (kitengo hiki).

Katika mtiririko huu, AI ni kichapuzi na jenereta ya mchoro katika kila kituo; lakini uteuzi wa kipimo, maamuzi ya data, kipaumbele cha haki, kiwango cha juu cha kusambaza, na idhini ya kutolewa - maamuzi muhimu yanasalia kwa mwanadamu. Hiki ndicho kiini cha moduli.

Nyaraka: siku zijazo zitakushukuru

Hati nzuri ya mradi wa ML yenyewe. Kwa uchache, zifuatazo zinapaswa kuandikwa: vigezo vya tatizo na mafanikio, chanzo na toleo la data, uteuzi wa mifano na uhalali, matokeo ya tathmini (ikiwa ni pamoja na vikundi vidogo), mipaka na hatari inayojulikana, utaratibu wa kupeleka na kurejesha, mpango wa ufuatiliaji. Hati hii ni rafiki bora wa mtu (labda ni wewe) ambaye anarudi kwenye mradi baada ya miezi sita.

kesi tatu ndogo

Kesi 1 - Matokeo yaliyopotea. Mhandisi alifunza mfano mzuri, lakini hakurekebisha mbegu na hakuhifadhi toleo la data. Alipoacha kazi hiyo, hakuna mtu aliyeweza kuzalisha matokeo hayo; mfano huo ukawa "hadithi ya sanduku nyeusi" na hatimaye ilijengwa kutoka mwanzo. Wiki zilipotea. Somo: matokeo yasiyoweza kuzaa tena ni matokeo ambayo hayapo.

Kesi ya 2 - Kuporomoka kwa mazingira. Timu moja haikuwa imerekebisha utegemezi. Wakati maktaba ilisasishwa kiotomatiki, matokeo ya muundo yalibadilishwa kimya na utayarishaji ukatatizwa. Ilichukua siku kutafuta tatizo. Wakati vitegemezi viligandishwa na kuwekewa matoleo mahususi, tatizo halikutokea tena. Somo: kufungia mazingira.

Kesi 3 - Nguvu ya ufuatiliaji. Timu ilifuatilia kila jaribio kiotomatiki. Miezi mitatu baadaye, wakati wa ukaguzi wa udhibiti, walijibu swali "na data gani, na mipangilio gani, ni utendaji gani ulipata katika vikundi gani?" na rekodi kamili ndani ya dakika. Ukaguzi ulikwenda vizuri. Somo: ufuatiliaji ni zana ya kufuata, sio uhandisi tu.

Violezo vinavyoweza kunakiliwa

Fanya ukaguzi wa uwezo wa kuzalisha tena kwa mradi huu wa ML.- Je, mbegu zote za kubahatisha zimerekebishwa (zimegawanywa, kuanzishwa, kuchanganya)?- Je, data imetolewa?- Je, utegemezi umefanywa kuwa matoleo kamili?- Je, kila jaribio (ahadi ya msimbo, data, hyperparameta, kipimo) inafuatiliwa? Andika hatua madhubuti za jinsi ya kuirekebisha kwa kila safu inayokosekana. Muundo wa mradi: [maelezo]

Tengeneza kiunzi cha mpango wa mradi huu wa mwisho hadi mwisho wa ML. Tatizo: [maelezo] Funika vituo vifuatavyo na uweke alama mahali ambapo uamuzi wa BINADAMU uko katika kila kituo: tatizo/metriki, bomba, modeli, (RAG/wakala/tune-fine?), eval, haki, usalama, usambazaji, ufuatiliaji, uzalishaji tena. Andika hatari kuu na hatua ya uthibitishaji kwa kila kituo.

Tengeneza kiolezo cha nyaraka za kiufundi kwa mradi huu. Sehemu: vigezo+vya+mafanikio ya tatizo, data (chanzo+toleo), uteuzi wa kielelezo+uhalalishaji, tathmini (ikiwa ni pamoja na vikundi vidogo), mipaka+inayojulikana+hatari, kupeleka+kurejesha nyuma, mpango wa ufuatiliaji. Toa sehemu za kujazwa kwa kila sehemu kama maswali.

Angalia usanidi wangu wa ufuatiliaji wa majaribio: Je, inahifadhiwa kiotomatiki kwa kila kukimbia: git commit, toleo la data/hash, hyperparameta zote, vipimo vyote, mazingira (matoleo ya maktaba)? Je! mimi hupata matokeo sawa ninapoendesha mbio sawa tena? Usanidi: [maelezo]. Orodhesha makosa na marekebisho.

Jedwali la safu wima za kuzaliana tena

safu

Nini ni fasta

Mfano wa gari

kubahatisha

mbegu zote

mpangilio wa mbegu

Data

Toleo la data/heshi

DVC

mazingira

Matoleo ya maktaba

mahitaji pini, Docker

Ufuatiliaji

Msimbo+kuweka+data+kipimo

MLflow, W&B

Makosa ya kawaida

• Sio kurekebisha mbegu. Matokeo hayawezi kurudiwa.
• Haihifadhi toleo la data. "Kwa data gani?" inabaki bila kujibiwa.
• Sio kufungia uraibu. Sasisho litavunja kila kitu kimya kimya.
• Kuacha majaribio kwenye kumbukumbu. Wiki mbili baadaye hakuna kinachokumbukwa.
• Kuacha maamuzi muhimu kwa akili ya bandia. Maamuzi ya vipimo, haki na usambazaji yanapaswa kubaki na watu.
• Kuahirisha nyaraka. Timu ya baadaye (na wewe) hulipa bei.

Kwa muhtasari

Uzalishaji tena ni saini ya uhandisi mbaya wa ML: matokeo yasiyoweza kuzalishwa ni dai lisiloweza kuthibitishwa. Inakuja na safu wima nne - kurekebisha nasibu, data ya toleo, mazingira ya kufungia, kufuatilia kila jaribio. Mradi wa mwisho hadi mwisho unachanganya vituo vyote vya moduli hii (kipimo, data, modeli, vipengele vya LLM, eval, haki, usalama, usambazaji, ufuatiliaji) katika mlolongo uliounganishwa; Akili ya Bandia ni ya kuongeza kasi kila kukicha, lakini maamuzi muhimu hubaki kwa mwanadamu. Andika kila kitu - kwa timu ya baadaye na ukaguzi. Taaluma hii ni mfumo unaodumisha kila kitu unachojifunza katika moduli nzima.

Jukumu la maombi

Angalia mradi wa ML dhidi ya nguzo nne za uzalishaji tena: je, mbegu hazibadiliki, data imetolewa, mazingira yamegandishwa, je, majaribio yanafuatiliwa? Rekebisha safu wima zozote zinazokosekana na uthibitishe kuwa unaweza kuendesha mbio sawa mara mbili na kupata matokeo sawa. Kisha toa mtiririko wa mwisho hadi mwisho wa mradi (vituo 10) kwenye ukurasa mmoja na uweke alama "ambapo uamuzi wa mwanadamu uko" katika kila kituo. Hatimaye, andika rasimu fupi ya nyaraka za kiufundi.

orodha ya ukaguzi

• [ ] Mbegu zote za nasibu zimewekwa.
• [ ] Toleo la data/heshi hurekodiwa kwa kila jaribio.
• [ ] Vitegemezi vimesitishwa kwa matoleo madhubuti (pini/chombo).
• [ ] Kila jaribio hufuatiliwa kiotomatiki (code+data+setting+metric).
• [ ] Ninaporudia kukimbia sawa, ninapata matokeo sawa.
• [ ] Nilithibitisha na kurekodi kuwa maamuzi muhimu katika mtiririko wa mwisho hadi mwisho hufanywa na wanadamu.

Mtihani wa Moduli

1. Kama mhandisi wa ML, ni njia gani bora zaidi unapoweka akili bandia katika mtiririko wa kazi?

• A) AI ni kiongeza kasi katika biashara zenye hatari ndogo; Maamuzi muhimu kama vile vipimo, data na uzalishaji yatasalia kuthibitishwa na kuachiwa mwanadamu ✔
• B) Maadamu matokeo ya AI yanaonekana vizuri, hakuna haja ya uthibitishaji
• C) Kuacha uamuzi wa kuweka mfano katika uzalishaji kwa akili ya bandia huokoa wakati.
• D) Akili ya Bandia ni muhimu tu kwa maandishi ya maandishi, haina uhusiano wowote na data na kazi ya mfano

Maelezo: AI ni kichapuzi chenye nguvu kwa kazi zisizo na hatari ndogo, zilizothibitishwa kwa urahisi kama vile msimbo, muhtasari wa data na hati; Hata hivyo, jukumu la maamuzi yanayoathiri pesa, usiri na dhima ya kisheria, kama vile uteuzi wa vipimo, ambayo data huingia katika mafunzo, na kuweka muundo huo katika uzalishaji, ni la mhandisi na timu iliyohitimu. Kila pato haipaswi kutumiwa bila uthibitishaji.

2. Kwa nini uthibitishaji wa schema umewekwa mwanzoni mwa bomba la data?

• A) Kwa sababu huongeza moja kwa moja usahihi wa mfano
• B) Kwa sababu hufanya toleo la data kuwa la lazima
• C) Kwa sababu inashika data iliyoharibika mapema na kwa bei nafuu na kuizuia kuvuja katika hatua zinazofuata ✔
• D) Kwa sababu inaondoa hitaji la kuweka lebo

Ufafanuzi: Data mbovu ya mapema inakamatwa, ni nafuu kuirekebisha. Uthibitishaji wa taratibu huzuia data potovu kuvuja kimyakimya kwenye mafunzo au uzalishaji kwa kukataa data nje ya aina inayotarajiwa na masafa mwanzoni mwa laini (k.m. kubadilisha bei mara 100 kwa kubadilisha kitengo); Hitilafu sawa katika uzalishaji ni ghali mara nyingi zaidi.

3. Je, ni mbinu gani sahihi wakati wa kugawanya data katika mafunzo na majaribio katika tatizo linalohusisha muda (msururu wa saa)?

• A) Kutumia mgawanyiko bila mpangilio kwa sababu kila wakati ndio njia nzuri zaidi
• B) Kutumia mgawanyiko wa muda: zuia kuvuja kwa mafunzo na yaliyopita na majaribio katika siku zijazo ✔
• C) Kutumia data zote kama mafunzo na majaribio
• D) Kujumuisha data ya mtihani katika vigezo vya kuongeza kabla ya mafunzo

Ufafanuzi: Kugawanya bila mpangilio kwenye mfululizo wa saa huipa kielelezo faida ya 'kuona siku zijazo' ambayo haitatokea kamwe katika uzalishaji na huongeza vipimo kwa njia bandia (uvujaji wa muda). Sahihi ni mgawanyiko wa muda: fanya mazoezi na yaliyopita, jaribu katika siku zijazo. Hii hupima utendaji halisi unaoiweka katika uzalishaji.

4. Kwa nini usahihi unapotosha katika muundo wa kugundua ulaghai wenye kiwango chanya cha darasa cha 1.5%?

• A) Kwa sababu Usahihi huwa chini kwa data isiyo na usawa
• B) Kwa sababu Usahihi unaweza kutumika tu kwenye matatizo ya urekebishaji
• C) Kwa sababu hesabu ya Usahihi inahitaji nguvu nyingi za usindikaji
• D) Hata muundo mdogo unaotabiri tabaka la wengi unaweza kuwa sahihi sana, hivyo kuficha mafanikio halisi ✔

Maelezo: Kwenye data isiyosawazisha, hata muundo wa kimsingi unaosema 'piga simu kila kitu hasi' hupata usahihi wa 98.5% lakini hautapata ulaghai hata mmoja. Kwa hiyo, katika uainishaji usio na usawa, usahihi, kukumbuka, F1 au PR-AUC hutumiwa badala ya usahihi, na kila metric inatafsiriwa kulingana na mfano wa msingi.

5. Kwa nini ulinganisho wa msingi ni muhimu unapozungumza kuhusu metriki ya modeli?

• A) Kwa sababu mfano wa msingi daima ni bora kuliko mfano halisi
• B) Kwa sababu ni wazi ikiwa metriki ina maana au si tu inapolinganishwa na muundo rahisi wa msingi ✔
• C) Kwa sababu mfano wa msingi hufanya uthibitisho wa msalaba usiwe wa lazima
• D) Kwa sababu mfano wa kimsingi unahitajika kisheria katika kila ripoti

Maelezo: Kipimo si kizuri au kibaya chenyewe; Ni nzuri au mbaya kulingana na mfano wa msingi. Sentensi 'sahihi 85%' inamaanisha karibu kutokuwa na thamani ikiwa muundo msingi tayari unapata 84%, na kamili ikiwa utapata 50%. Bila nanga ya kulinganisha, metric haina maana.

6. Ni kipengele gani muhimu zaidi cha usalama ambacho kinafaa kujumuishwa katika uwasilishaji wa haraka wa mfumo wa RAG (Retrieval-Augmented Generation)?

• A) Maagizo ya kutegemea chanzo kilichotolewa tu, kusema 'sijui' ikiwa chanzo hakipo, na kutaja chanzo ✔
• B) Kumwambia modeli kutoa majibu marefu na ya kiubunifu iwezekanavyo
• C) Muundo hutanguliza maarifa yake ya kielimu kuliko rasilimali
• D) Tekeleza maagizo yote katika hati zilizoletwa kama amri

Ufafanuzi: Agizo moja muhimu zaidi la RAG ni kumwambia mwanamitindo ategemee chanzo kilichotolewa tu, na ikiwa habari haiko kwenye chanzo, sema 'sijui' na taja chanzo bila kuunda. Bila utatu huu, mtindo unaweza kupuuza muktadha na kutoa maono, na jibu haliwezi kuthibitishwa.

7. Mfumo wa RAG unatoa majibu yasiyo sahihi. Ni wapi mahali pazuri pa kuanza utambuzi?

• A) Kupima leta kwanza (Kumbuka@K): je kipande sahihi kitawahi kufika? ✔
• B) Badilisha mara moja mfano na kubwa zaidi
• C) Badilisha kidokezo bila mpangilio na uendelee kujaribu
• D) Kupachika hati zote kwenye modeli kwa kurekebisha vizuri

Ufafanuzi: Kiungo dhaifu zaidi cha RAG kawaida huchukuliwa, sio uzalishaji. Ikiwa sehemu sahihi haijaletwa kamwe, mfano hauwezi kutoa habari hiyo, bila kujali ni kiasi gani cha haraka kinaboreshwa. Kwa hivyo, kwanza Recall @ K inapimwa ili kuona ikiwa sehemu sahihi imefika; Ikiwa kuchota ni nzuri, basi uzalishaji na haraka huchunguzwa.

8. Ni hatua gani zinapaswa kuwekwa nyuma ya idhini ya mwanadamu wakati wa kutoa chombo kwa wakala?

• A) Hakuna; Wakala lazima awe na uwezo wa kufanya kila kitendo kwa uhuru
• B) Vitendo vinavyoweza kutenduliwa pekee kama vile kusoma na kutafuta data
• C) Vitendo visivyoweza kutenduliwa au athari ya juu kama vile kuhamisha pesa, kufuta, kutuma ✔
• D) Vitendo vinavyohusisha mahesabu pekee

Maelezo: Vitendo vinatenganishwa na kiwango cha hatari. Kazi zinazoweza kurejeshwa kama vile kusoma, kutafuta, kukokotoa na kutengeneza rasimu zinaweza kufanywa kwa uhuru; Hata hivyo, vitendo visivyoweza kutenduliwa au vyenye athari kubwa kama vile kuhamisha pesa, kutuma barua pepe, kufuta data, kuagiza n.k. vinahitaji idhini ya kibinadamu. Kila kitendo kisichoweza kubatilishwa lazima kiwe chini ya idhini.

9. Ni ipi mbinu bora ya kubuni dhidi ya hatari ya kudungwa kwa njia isiyo ya moja kwa moja?

• A) Inatosha kuongeza sentensi moja 'puuza maagizo mabaya' kwa haraka ya mfumo
• B) Kutoa mamlaka zaidi kwa kielelezo kwa kutegemea maagizo katika maudhui ya nje
• C) Kutochukua tahadhari yoyote kwa sababu sindano haiwezi kuzuilika
• D) Kutenga maudhui ya nje kama data isiyotegemewa na kuanzisha ulinzi wa tabaka kwa idhini ndogo, idhini na udhibiti wa matokeo ✔

Maelezo: Maudhui ya nje yaliyochakatwa na wakala au RAG, kama vile ukurasa wa wavuti, hati, barua pepe, n.k., ni data isiyoaminika na inaweza kuwa na maagizo ya siri. Mbinu sahihi ni ulinzi wa tabaka: kutenganisha maudhui ya nje kama 'data, si amri' kwa vikomo vilivyo wazi, kutumia uidhinishaji mdogo, kushurutisha vitendo visivyoweza kutenduliwa kwa idhini ya binadamu, na kukagua matokeo. Mstari mmoja wa maagizo haitoshi.

10. Ni tofauti gani kuu wakati wa kuamua kama tatizo linapaswa kutatuliwa kwa urekebishaji mzuri au RAG?

• A) Matatizo ya habari hutatuliwa vyema kwa kutumia RAG, matatizo ya tabia/umbizo hutatuliwa vyema kwa kusawazisha ✔
• B) Kila tatizo linapaswa kutatuliwa kwa kurekebisha vizuri
• C) RAG inatumika tu kwa utengenezaji wa msimbo, urekebishaji mzuri hutumiwa tu kwa tafsiri
• D) Urekebishaji mzuri unaweza kusasishwa kila wakati kwa bei nafuu na haraka kuliko RAG

Ufafanuzi: Urekebishaji mzuri ni dhaifu na ni hatari katika kufundisha kielelezo habari mpya; lakini ina nguvu katika kufundisha tabia, muundo, sauti na mtindo. 'Kampuni ya mfano haijui data yetu' ni tatizo la taarifa na ni mali ya RAG. 'Ruhusu muundo utoe kila wakati katika umbizo letu kali' ni tatizo la kitabia na pendekezo la urekebishaji mzuri. Zaidi ya hayo, picha za haraka na chache zinapaswa kutumiwa kabla ya kurekebisha vizuri.

11. Ni nini kinachohitajika kwa kupelekwa salama wakati wa kuweka mtindo mpya katika uzalishaji?

• A) Ikiwa mtindo ni mzuri katika majaribio, fungua moja kwa moja kwa trafiki 100%.
• B) Kutoweka ufuatiliaji wakati wote baada ya kupelekwa
• C) Usambazaji wa hatua kwa hatua (kivuli/canary) na mpango wa kurejesha uliojaribiwa awali ✔
• D) Kuchapisha modeli hata kama kizingiti cha tathmini hakijafikiwa

Maelezo: Kufungua mtindo mpya moja kwa moja kwa trafiki wote ni hatari; Ikiwa sio sawa, kila mtu huathirika. Jambo sahihi ni kwamba ni usambazaji wa taratibu (kivuli, canary) na kila usambazaji una mpango wa kurudisha nyuma uliojaribiwa. Usambazaji haujakamilika bila mpango wa kurudi nyuma; Kuweza kurejesha toleo la awali ndani ya dakika chache hulinda mtumiaji wakati muundo unafanya kazi bila kutarajiwa katika toleo la umma.

12. Mfano wa ML unawezaje kushindwa 'kimya' katika uzalishaji na ni njia gani ya kupata hii?

• A) Mfano huanguka; kumbukumbu za seva zinaonyesha hii
• B) Kwa kutoa utabiri mbaya bila kufanya makosa; ✔ Inanasa ufuatiliaji wa uendeshaji, pembejeo na matokeo
• C) Mfano hauwezi kamwe kushindwa kimya, kila wakati kengele
• D) Kufuatilia tu muda wa kusubiri kunatosha kupata uharibifu wowote

Maelezo: Mfano unaweza kushindwa kwa urahisi kwa kutoa utabiri usio sahihi bila kuanguka au kutoa makosa; Sababu kuu ya hii ni kusogea kwa data na kusogea kwa dhana. Kufuatilia tu metrics za uendeshaji (latency, kiwango cha makosa) haitoshi; usambazaji wa pembejeo na usambazaji wa pato/utabiri unapaswa pia kufuatiliwa. Uelekezaji wa uingizaji unatoa onyo la mapema ikiwa matokeo halisi yatacheleweshwa.

13. Ni kanuni gani ni muhimu unapotumia LLM-as-judge kutathmini mfumo wa LLM?

• A) LLM-refa ni sahihi kila wakati, uthibitisho wa kibinadamu sio lazima
• B) Mwamuzi lazima afanye uamuzi kulingana na urefu wa jibu tu.
• C) Udhibiti unaozingatia sheria na tathmini ya kibinadamu inapaswa kutupwa kabisa wakati waamuzi wanatumiwa
• D) Alama za waamuzi zinapaswa kusawazishwa kwa sampuli yenye lebo ya binadamu na upendeleo wao kupimwa kabla ya kuaminiwa ✔

Maelezo: LLM-refa pia ni mwanamitindo; Inaweza kuwa ya kienyeji, yenye upendeleo (ya kupendelea majibu marefu, yenye kujiamini), na yasiyolingana. Kwa hivyo, alama za mwamuzi lazima zisawazishwe kwa sampuli iliyo na lebo ya binadamu na upendeleo wao wa kimfumo lazima upimwe kabla ya uamuzi wa uzalishaji kufanywa. Mwamuzi ambaye hajathibitishwa anatoa imani ya uwongo.

14. Kwa nini kuangalia usahihi wa jumla haitoshi wakati wa kutathmini upendeleo wa mfano?

• A) Usahihi wa jumla unatosha kwa sababu daima huakisi utendaji wa kundi baya zaidi
• B) Usahihi wa jumla pekee hautoshi kwani unaweza kuficha tofauti ya kimfumo (ubaguzi uliofichwa) kati ya vikundi vidogo ✔
• C) Kwa sababu usahihi ni kipimo ambacho hakihusiani na upendeleo
• D) Upendeleo hutoka kwa mfano tu na hauhusiani na data.

Maelezo: Usahihi wa jumla unaweza kuficha tofauti za kimfumo kati ya vikundi vidogo. Kwa mfano, wakati usahihi wa jumla ni 88%, kukumbuka kunaweza kuwa 91% katika kundi moja na 67% katika kundi jingine; Mwanamitindo anakosa kundi hilo kwa utaratibu. Kwa hiyo, mtindo unapaswa kutathminiwa kwa misingi ya vikundi vidogo (demografia/sehemu) na ni ufafanuzi upi wa haki unapaswa kupewa kipaumbele unapaswa kuamuliwa na washikadau.

15. Ni mambo gani manne lazima yaunganishwe pamoja ili tokeo la ML liweze kuzalishwa tena?

• A) Jina la mfano pekee, saizi, bei na tarehe ya kutolewa
• B) Chapa ya GPU pekee na kasi ya mtandao
• C) Alama ya mwisho tu ya usahihi wa mfano; iliyobaki inaweza kuwekwa kwenye kumbukumbu
• D) Mbegu za nasibu, toleo la data, mazingira (matoleo ya utegemezi) na ufuatiliaji wa majaribio ✔

Maelezo: Uzalishaji tena hupatikana kupitia nguzo nne: kurekebisha mbegu za nasibu, data ya matoleo (toleo/heshi), kufungia mazingira (matoleo/chombo kamili cha maktaba), na kufuatilia kila jaribio (ahadi ya msimbo, data, hyperparameta, kipimo). Bila mlolongo huu haiwezekani kuzalisha matokeo sawa; Matokeo yasiyoweza kuzalishwa ni madai ambayo hayawezi kuthibitishwa.