Maimaituwa da Aikin Ƙarshe-zuwa-Ƙarshe: Haɗa Komai

Riba:

• Ability don tabbatar da sake haifuwa tare da ginshiƙai huɗu (daidaita iri, sigar bayanai, daskarewa ta kafofin watsa labaru, saka idanu na gwaji) da kuma samar da sakamako iri ɗaya yayin maimaita gudu ɗaya.
• Ikon haɗa duk tashoshi na ƙirar (ma'auni, bayanai, samfuri, abubuwan LLM, eval, adalci, tsaro, rarrabawa, saka idanu) a cikin sarkar ƙarshe-zuwa-ƙarshe.
• Ikon tabbatar da cewa yanke shawara mai mahimmanci ya kasance tare da ɗan adam a kowane tsayawa da rubuta aikin a cikin hanyar da za a iya gani

Mafi girman gazawar aikin ML ba faɗuwa ba ne; "Ban sake samun sakamako iri ɗaya ba." Idan ba za ku iya sake fitar da makin yau na samfurin da kuka sanya a samarwa watanni uku da suka gabata ba, ba za ku iya sarrafa wannan ƙirar da gaske ba. A cikin wannan rukunin rufewa, muna zurfafa haɓakawa: ikon iya dogaro da samun sakamako iri ɗaya tare da abubuwan shigar iri ɗaya da haɗa dukkan tsarin a cikin horo na ƙarshe zuwa ƙarshe.

Me yasa reproducibility yana da wahala

A cikin software na yau da kullun, lambar guda tana ba da fitarwa iri ɗaya. A cikin ML akwai ƙarin masu canji da yawa waɗanda ke ƙayyade sakamakon:

• Randomness: Juyawa bayanai, farawa nauyi, rarrabuwar bayanai - duk sun dogara da bazuwar.
• Data: Code guda yana samar da samfuri daban-daban tare da nau'in bayanai daban-daban.
• Muhalli: Sigar ɗakin karatu, hardware (CPU/GPU), ko da tsarin aiki na iya canza sakamakon.
• Harka mai ɓoye: Madaidaicin madaidaicin madaidaicin ajiya, mataki na riga-kafi na hannu, zaɓi mara kyau.

Maimaituwa ba "mai kyau a samu" ba ne amma wajibi ne na kimiyya da injiniyanci. Sakamakon da ba za a iya sake haifarwa ba shine da'awar da ba za a iya tabbatar da ita ba.

ginshiƙai huɗu na sake haifuwa

1. Gyara bazuwar. Saita duk bazuwar tsaba a wuri ɗaya: rarrabuwar bayanai, ƙaddamar da ƙira, jujjuya bayanai. Kafaffen iri shine tushen garantin "sakamako ɗaya idan kun maimaita gudu ɗaya".

2. Version da bayanai. Yi rikodin nau'in bayanan kowane gwaji da aka yi da shi (siffar bayanai a cikin naúrar 2). "Bayanan baya-bayan nan" ba su da tabbas; "Sigar bayanai v3, hash abc123" daidai ne.

3. Daskare matsakaici. Sanya duk abin dogara ga ainihin nau'ikan su (misali ainihin nau'ikan kamar lamba = 1.26.4 a cikin buƙatun.txt, ko hoton akwati). "The latest version" zai karya komai wata rana.

4. Bin komai (bibiyar gwaji). Ajiye ta atomatik don kowane gwaji: nau'in lambar (git Committee), sigar bayanai, duk hyperparameters, awo da tsarin fitarwa. Gwada kayan aikin bin diddigin kamar MLflow, Weights & Biases suna yin wannan a tsari. Ba tare da rajista ba, tambayar "wanne saitin ya fi kyau" ya kasance ba a amsa ba.

Tsanaki: "Zan tuna daga baya" ita ce karya mafi tsada. Bayan makonni biyu ba za ku tuna da wane iri, wanne bayanai, wane hyperparameter kuka yi amfani da su ba. Bibiya ta atomatik tana kawar da dogaro ga ƙwaƙwalwar ajiya.

Hanya mai rauni / Ƙarfi mai ƙarfi

Rauni: "Na sami mafi kyawun samfurin, yana kan littafin rubutu, ina tsammanin makinsa shine 89%."

Ƙarfafa: "Gudun #147 a cikin kayan aikin gwajin gwaji: git aikata a3f9c, sigar data v3 (hash abc123), iri 42, duk hyperparameters rajista, gwada PR-AUC 0.887. Lokacin da na sake gudanar da wannan umarni, Ina samun sakamako iri ɗaya bit by bit. Samfurin ya dogara da wannan gudu a cikin rajista."

Bambanci: a cikin karfi mai karfi sakamakon sakamakon ba ya dogara ne akan ƙwaƙwalwar ajiya ba, amma akan sarkar kafaffen da aka sa ido. Kowa na iya samar da sakamako iri ɗaya kowane lokaci.

Ƙarshe-zuwa-ƙarshen aikin: haɗuwa da module

Yanzu bari mu haɗa dukkan tsarin zuwa aikin guda ɗaya. Tsarin ML na gaske yana bi ta waɗannan tasha, kuma kowane tasha yana ginawa akan na baya:

1. Ma'anar Matsala: Menene muke warwarewa, yadda ake auna nasara (raka'a 3: ma'auni daidai, mahallin kasuwanci). Ma'auni da ƙofa a bayyane suke daga farko.
2. Bututun bayanai: Tari, inganci, tsaftacewa, rabuwar da ba ta da ruwa, siga (raka'a 2).
3. Samfuran haɓakawa: Horowa, kwatancen tushe, tabbatar da giciye, iri mai wuya (raka'a 3 + wannan rukunin).
4. Abubuwan LLM (idan an zartar): RAG (raka'a 4) da/ko wakilai (raka'a 5); daidaitawa idan ya cancanta (raka'a 6).
5. Ƙididdiga: tarin eval tare da gefen gefe da shari'o'in tsaro, eval multi-layer a cikin tsarin LLM (raka'a 8).
6. Adalci da duba ɗabi'a: Binciken Ƙungiya, Katin ƙira, iya bayanin (nashi 10).
7. Binciken tsaro: Alluran gaggawa, keɓantawa, sarkar wadata (raka'a 9).
8. Rarraba: Marufi, rarrabawa a hankali, jujjuyawar, rijistar ƙira (raka'a 7).
9. Kulawa: Sa ido mai nau'i uku, ƙararrawa mai jujjuyawa (raka'a 8).
10. Maimaituwa: iri, sigar bayanai, kafofin watsa labarai da bin diddigin gwaji a cikin dukkan sarkar (wannan rukunin).

A cikin wannan kwararar, AI shine mai haɓakawa da janareta na zane a kowane tasha; amma zaɓin awo, yanke shawara na bayanai, fifikon gaskiya, iyakar turawa, da amincewar sakin - yanke shawara masu mahimmanci sun kasance tare da ɗan adam. Wannan shi ne ainihin tsarin.

Takardun: nan gaba za ta gode maka

Kyakkyawan aikin ML yana rubuta kanta. Aƙalla, ya kamata a rubuta abubuwan da ke biyowa: matsala da ka'idojin nasara, tushen bayanai da sigar, zaɓin samfuri da dalilai, sakamakon kimantawa (ciki har da ƙungiyoyin ƙasa), iyakokin da aka sani da kasada, tsarin turawa da dawo da aiki, tsarin sa ido. Wannan takarda ita ce mafi kyawun aboki na mutumin (watakila kai ne) wanda ya dawo aikin bayan watanni shida.

uku mini lokuta

Case 1 - Sakamakon da ya ɓace. Wani injiniya ya horar da babban samfuri, amma bai gyara iri ba kuma bai ajiye sigar bayanan ba. Lokacin da ya bar aikin, babu wanda zai iya haifar da wannan sakamakon; samfurin ya zama "labaran akwatin baƙar fata" kuma an gina shi daga karce. An yi asarar makonni. Darasi: sakamakon da ba a iya sakewa ba shi ne sakamakon da babu shi.

Hali na 2 - Rushewar muhalli. Ƙungiya ɗaya ba ta gyara abubuwan dogaro ba. Lokacin da aka sabunta ɗakin karatu ta atomatik, abubuwan da aka fitar sun canza cikin shiru kuma samarwa ya lalace. An dauki kwanaki kafin a gano matsalar. Lokacin da aka daskare abubuwan dogaro kuma aka sanya su tare da ingantattun sigogin, matsalar ba ta sake faruwa ba. Darasi: daskare muhalli.

Hali na 3 - Ƙarfin sa ido. Ƙungiya ta sa ido kan kowane gwaji ta atomatik. Watanni uku bayan haka, yayin bincike na doka, sun amsa tambayar "da wane bayanai, tare da wace saituna, wane aiki ya samu a cikin waɗanne ƙungiyoyi?" tare da cikakken rikodin a cikin mintuna. An gudanar da duba lafiya. Darasi: saka idanu kayan aiki ne na yarda, ba kawai injiniyanci ba.

Samfura masu kwafi

Yi binciken sake fasalin wannan aikin ML.- Shin dukkanin tsaba bazuwar suna gyarawa (raga, farawa, shuffle)? - An tsara bayanan? - An daskare abubuwan dogaro zuwa ainihin nau'ikan? - Ana sa ido kan kowane gwaji (lambar code, bayanai, hyperparameter, awo)? Rubuta takamaiman matakai kan yadda za a gyara shi ga kowane shafi da ya ɓace. Tsarin aikin: [bayani]

Ƙirƙirar kwarangwal na shirin wannan aikin ML na ƙarshe zuwa ƙarshe. Matsala: [bayani] Rufe tashoshi masu zuwa sannan a yi alama inda shawarar DAN-ADAM ta kasance a kowace tasha: matsala/metric, bututun bututu, samfuri, (RAG/agent/fine-tune?), Eval, adalci, tsaro, rarrabawa, saka idanu, haɓakawa. Rubuta babban haɗari da matakin tabbatarwa ga kowane tasha.

Ƙirƙirar samfurin takaddun fasaha don wannan aikin. Sassan: matsala+ma'auni na nasara, bayanai (tushen+version), zaɓin samfuri+ gaskatawa, kimantawa (ciki har da ƙungiyoyin ƙasa), sanannun iyakoki+ haɗari, ƙaddamarwa+ koma baya, shirin sa ido. Ba da filayen da za a cika a kowane sashe a matsayin tambayoyi.

Bincika saitin sa ido na gwaji: Shin ana adana ta atomatik akan kowane gudu: git aikata, sigar bayanai/hash, duk hyperparameters, duk awo, yanayi (sifofin ɗakin karatu)? Shin ina samun sakamako iri ɗaya lokacin da na sake gudu iri ɗaya? Saita: [bayani]. Jera kurakurai da gyara.

Tebur ginshiƙan sake haɓakawa

shafi

Me aka gyara

Misalin abin hawa

bazuwar

duk iri

saitin iri

Bayanai

Bayanin sigar/hash

DVC

muhalli

Sigar ɗakin karatu

pin bukatun, Docker

Saka idanu

Code+data+saitin+metric

MLflow, W&B

Kuskuren gama gari

• Ba gyara iri ba. Ba za a iya maimaita sakamakon ba.
• Ba ajiye sigar bayanai ba. "Da wane data?" ya rage ba a amsa ba.
• Ba daskarewa addictions. Sabuntawa zai karya komai cikin shiru.
• Barin gwaje-gwaje zuwa ƙwaƙwalwar ajiya. Bayan sati biyu ba a tuna komai.
• Barin yanke shawara mai mahimmanci zuwa hankali na wucin gadi. Ma'auni, adalci, da yanke shawara na rarraba ya kamata su kasance tare da mutane.
• Jinkirta takardu. Ƙungiyar gaba (da ku) ku biya farashin.

A takaice

Sake haɓakawa shine sa hannun injiniyan ML mai tsanani: sakamakon da ba a sake bugawa ba shine da'awar da ba za a iya tabbatarwa ba. Ya zo tare da ginshiƙai huɗu - gyara bazuwar, bayanan sigar, yanayin daskare, bibiyar kowane gwaji. Ƙarshe-zuwa-ƙarshen aikin yana haɗa duk tashoshi na wannan module (metric, data, model, LLM components, eval, fairness, security, rarrabawa, saka idanu) a cikin sarkar haɗin gwiwa; Hankalin wucin gadi shine mai haɓakawa a kowane tasha, amma yanke shawara mai mahimmanci ya kasance tare da ɗan adam. Takaddun komai - don ƙungiyar gaba da tantancewa. Wannan horo shine tsarin da ke ɗaukar duk abin da kuka koya a cikin tsarin.

Aikin aikace-aikace

Bincika aikin ML akan ginshiƙan haɓakawa guda huɗu: shin tsaba ba za su iya canzawa ba, an tsara bayanan, an daskarar da muhalli, ana bin gwaje-gwajen? Gyara duk ginshiƙan da suka ɓace kuma tabbatar da cewa zaku iya gudu iri ɗaya sau biyu kuma ku sami sakamako iri ɗaya. Sa'an nan kuma fitar da aikin daga ƙarshen zuwa ƙarshe (tasha 10) a shafi ɗaya kuma sanya alamar "inda shawarar ɗan adam yake" a kowace tasha. A ƙarshe, rubuta ɗan gajeren daftarin takaddun fasaha.

jerin abubuwan dubawa

• [ ] Duk bazuwar tsaba gyarawa.
• [ ] Ana yin rikodin sigar bayanai/hash tare da kowane gwaji.
• [ ] An daskarar da abubuwan dogaro zuwa ingantattun sigogin (pin/kwantena).
• [ ] Ana duba kowace gwaji ta atomatik (lambar+data+saitin+metric).
• [ ] Lokacin da na maimaita gudu ɗaya, ina samun sakamako iri ɗaya.
• [ ] Na tabbatar kuma na rubuta cewa mutane ne suka yanke hukunci mai mahimmanci a cikin ƙarshen zuwa ƙarshe.

Gwajin Module

1. A matsayin injiniyan ML, menene mafi kyawun hanya yayin sanya hankali na wucin gadi a cikin aikin aiki?

• A) AI mai haɓakawa ne a cikin ƙananan kasuwanni masu haɗari; Mahimman hukunce-hukuncen kamar awo, bayanai, da samarwa sun kasance masu inganci kuma an bar su ga ɗan adam ✔
• B) Muddin abubuwan AI sun yi kyau, babu buƙatar tabbatarwa
• C) Barin yanke shawarar sanya samfurin a cikin samarwa zuwa hankali na wucin gadi yana adana lokaci.
• D) Hankali na wucin gadi yana da amfani kawai don rubuta rubutu, ba shi da alaƙa da bayanai da aikin samfuri

Bayani: AI shine mai haɓakawa mai ƙarfi don ƙananan haɗari, ayyuka masu sauƙi waɗanda aka tabbatar da su kamar lambar, bayanan bayanai, da takardu; Koyaya, alhakin yanke shawara da ya shafi kuɗi, sirri, da alhaki na doka, kamar zaɓin awo, wanda bayanai ke shiga horo, da sanya ƙirar cikin samarwa, yana tare da ƙwararren injiniya da ƙungiyar. Kada a yi amfani da kowace fitarwa ba tare da tabbatarwa ba.

2. Me yasa aka sanya ingantaccen tsari a farkon bututun bayanai?

• A) Domin kai tsaye yana ƙara daidaiton samfurin
• B) Domin yana sanya sigar data zama ba dole ba
• C) Domin yana kama gurbatattun bayanai a wuri mafi arha kuma yana hana su zubewa cikin matakai na gaba ✔
• D) Domin yana kawar da buƙatar lakabi

Bayani: An kama bayanan da aka lalata a baya, mafi arha shine gyara su. Ingantaccen tsari yana hana ɓarna bayanai daga yin shuru cikin horo ko samarwa ta hanyar ƙin yarda da bayanai a waje da nau'in da ake tsammani da kewayo a farkon layin (misali canjin farashin 100x tare da canjin raka'a); Kuskuren da aka kama a samarwa ya ninka sau da yawa tsada.

3. Menene madaidaicin hanya yayin rarraba bayanai zuwa horo da gwaji a cikin matsala da ta shafi lokaci (jerin lokaci)?

• A) Yin amfani da rarrabuwar kawuna saboda koyaushe shine mafi kyawun hanya
• B) Yin amfani da rarrabuwar kawuna: hana zubar jini ta hanyar horarwa da abubuwan da suka gabata da gwaji a nan gaba ✔
• C) Yin amfani da duk bayanan azaman horo da gwaji
• D) Haɗa bayanan gwaji cikin ma'auni kafin horo

Bayani: Rarraba bazuwar akan jerin lokaci yana ba samfurin fa'idar 'ganin nan gaba' wanda ba zai taɓa faruwa a samarwa ba kuma yana haɓaka ma'auni (yayi na ɗan lokaci). Madaidaicin shine rabo na wucin gadi: horar da abubuwan da suka gabata, gwadawa a nan gaba. Wannan yana auna ainihin aikin da ke kiyaye shi cikin samarwa.

4. Me yasa daidaito yake yaudara a cikin ƙirar gano zamba tare da ƙimar aji mai kyau na 1.5%?

• A) Saboda Daidaiton ko da yaushe yana da ƙasa akan bayanan marasa daidaituwa
• B) Domin ana iya amfani da daidaito akan matsalolin koma baya
• C) Saboda Daidaitaccen lissafin yana buƙatar ƙarfin sarrafawa da yawa
• D) Ko da ƙaramin ƙirar da ke hasashen yawancin aji na iya zama daidai sosai, don haka ɓoye ainihin nasara ✔

Bayani: A kan bayanan da ba su da daidaito, ko da samfurin asali wanda ya ce 'kira duk abin da ba shi da kyau' yana samun daidaitaccen kashi 98.5% amma ba zai kama zamba ɗaya ba. Don haka, a cikin rarrabuwa mara daidaituwa, daidaito, tunawa, F1 ko PR-AUC ana amfani da su maimakon daidaito, kuma ana fassara kowane ma'auni bisa ga ƙirar tushe.

5. Me yasa kwatancen tushe yake da mahimmanci yayin magana game da ma'aunin ƙirar?

• A) Domin samfurin tushe koyaushe yana da kyau fiye da ainihin ƙirar
• B) Domin a bayyane yake ko ma'auni yana da ma'ana ko ba kawai idan aka kwatanta shi da samfurin tushe mai sauƙi ✔
• C) Saboda ƙirar tushe ta sa tabbatar da giciye ba lallai ba ne
• D) Domin ana buƙatar ƙirar asali bisa doka a kowane rahoto

Bayani: Ma'auni ba shi da kyau ko mara kyau da kansa; Yana da kyau ko mara kyau bisa ga samfurin asali. Jumlar '85% daidai' tana nufin kusan mara amfani idan samfurin tushe ya riga ya sami 84%, kuma cikakke idan ya sami 50%. Idan ba tare da anga kwatance ba, awo ba shi da ma'ana.

6. Wane abu ne mafi mahimmancin tsaro wanda ya kamata a haɗa shi a cikin samar da hanzari na tsarin RAG (Retrieval-Augmented Generation)?

• A) Umarnin dogara ga tushen da aka bayar kawai, a ce 'Ban sani ba' idan babu tushe, kuma a kawo tushen ✔
• B) Faɗin samfurin don samar da amsoshi masu tsayi da ƙirƙira gwargwadon yiwuwa
• C) Samfurin yana fifita ilimin ilimin kansa akan albarkatun
• D) Aiwatar da duk umarni a cikin takaddun da aka kawo azaman umarni

Bayani: Umarni guda ɗaya mafi mahimmanci na RAG shine gaya wa ƙirar don dogara kawai ga tushen da aka bayar, kuma idan bayanin ba ya cikin tushen, faɗi 'Ban sani ba' kuma buga tushen ba tare da yin shi ba. Idan ba tare da wannan triad ba, ƙirar na iya yin watsi da mahallin kuma ya haifar da hasashe, kuma amsar ta zama mara tabbas.

7. Tsarin RAG yana ba da amsoshin da ba daidai ba. A ina ne wuri mafi kyau don fara ganewar asali?

• A) Aunawa da farko (Tuna @ K): shin daidaitaccen yanki ya taɓa zuwa? ✔
• B) Nan da nan maye gurbin samfurin tare da mafi girma
• C) Canja saurin da sauri kuma ci gaba da gwadawa
• D) Haɗa duk takaddun cikin ƙirar tare da daidaitawa

Bayani: Mafi raunin hanyar haɗin RAG yawanci ana ɗauka, ba samarwa ba. Idan ba a taɓa kawo ɓangaren daidai ba, ƙirar ba za ta iya samar da wannan bayanin ba, komai nawa aka inganta. Don haka, da farko Recall@K ana aunawa don ganin ko daidai ɓangaren ya isa; Idan ɗigon yana da kyau, to ana bincika samarwa da faɗakarwa.

8. Waɗanne ayyuka ne ya kamata a sa a bayan amincewar ɗan adam yayin ba da kayan aiki ga wakili?

• A) Babu; Dole ne wakili ya iya yin kowane aiki da kansa
• B) Ayyuka masu juyawa kawai kamar karantawa da bincika bayanai
• C) Ayyukan da ba za a iya jurewa ba ko babban tasiri kamar canja wurin kuɗi, sharewa, aika ✔
• D) Ayyukan da suka ƙunshi ƙididdiga kawai

Bayani: An raba ayyuka ta matakin haɗari. Ayyukan da za a iya dawo da su kamar karatu, bincike, ƙididdigewa, da samar da daftarin aiki ana iya yin su da kansu; Koyaya, ayyukan da ba za a iya jurewa ba ko babban tasiri kamar canja wurin kuɗi, aika imel, share bayanai, yin oda da sauransu suna buƙatar amincewar ɗan adam. Dole ne kowane mataki da ba za a iya sokewa ba ya kasance ƙarƙashin yarda.

9. Menene mafi kyawun tsarin ƙira akan haɗarin yin allurar kai tsaye?

• A) Ya isa a ƙara jumla ɗaya 'ba kula da umarni mara kyau' a cikin saurin tsarin
• B) Ba da ƙarin iko ga ƙirar ta dogara ga umarni a cikin abun ciki na waje
• C) Rashin yin taka tsantsan saboda allurar ba ta da kariya
• D) Ware abun ciki na waje azaman bayanan da ba za a iya dogaro da su ba da kafa kariyar kariya tare da ƙaramin izini, yarda, da sarrafa fitarwa ✔

Bayani: Abubuwan da ke waje da wakili ko RAG ke sarrafa su, kamar shafin yanar gizo, takarda, imel, da sauransu, bayanai ne marasa amana kuma yana iya ƙunsar umarnin sirri. Hanyar da ta dace ita ce kariyar tsaro: keɓance abun ciki na waje azaman 'bayanai, ba umarni' tare da bayyanannun iyakoki, amfani da ƙaramin izini, ɗaure ayyukan da ba za a iya jurewa ba ga amincewar ɗan adam, da kuma duba abubuwan da aka fitar. Layin umarni ɗaya bai isa ba.

10. Menene babban bambanci lokacin yanke shawarar ko yakamata a magance matsala tare da daidaitawa ko RAG?

• A) An fi magance matsalolin bayanai tare da RAG, matsalolin hali / tsarin tsari sun fi dacewa da su tare da daidaitawa ✔
• B) Kowace matsala ya kamata a koyaushe a magance ta ta hanyar daidaitawa
• C) Ana amfani da RAG kawai don tsara lambar, ana amfani da daidaitawa kawai don fassara
• D) Ana iya sabunta gyaran-gyare koyaushe mai rahusa da sauri fiye da RAG

Bayani: Kyakkyawan daidaitawa yana da rauni kuma yana da haɗari wajen koyar da ƙirar sabbin bayanai; amma yana da ƙarfi wajen koyarwa, tsari, sauti da salo. 'Kamfanin samfurin bai san bayananmu ba' matsala ce ta bayanai kuma na RAG ne. 'Bari samfurin koyaushe yana fitowa cikin tsattsauran tsarin mu' matsala ce ta ɗabi'a kuma ɗan takara don daidaitawa. Bugu da ƙari, ya kamata a yi amfani da gaggawa da ƴan-harbe kafin a daidaita.

11. Wanne ya wajaba don ƙaddamar da aminci lokacin sanya sabon samfuri a cikin samarwa?

• A) Idan samfurin yana da kyau a gwaji, buɗe shi kai tsaye zuwa 100% zirga-zirga
• B) Rashin kafa sa ido kwata-kwata bayan turawa
• C) Aiwatar da lokaci (inuwa/canary) da shirin juyawa da aka riga aka gwada ✔
• D) Buga samfurin ko da ma'aunin kimantawa bai cika ba

Bayani: Buɗe sabon samfurin kai tsaye zuwa duk zirga-zirga yana da haɗari; Idan ba daidai ba, kowa yana shafa. Abinda ya dace shine rarraba a hankali (inuwa, canary) kuma kowane rarraba yana da tsarin jujjuyawar da aka gwada. Rarraba ba ta cika ba tare da shirin clawback; Samun damar komawa zuwa sigar da ta gabata a cikin mintuna yana kare mai amfani lokacin da samfurin ya yi ba zato ba tsammani a samarwa.

12. Ta yaya samfurin ML zai gaza 'shiru' wajen samarwa kuma menene hanyar kama wannan?

• A) Samfurin ya rushe; rajistan ayyukan uwar garken suna nuna wannan
• B) Ta hanyar samar da tsinkaya mara kyau ba tare da yin kuskure ba; ✔ Yana ɗaukar aiki, shigarwa da saka idanu mai laushi
• C) Model ba zai taɓa kasa yin shiru ba, ko da yaushe ƙararrawa
• D) Kula da latency kawai ya isa ya kama duk wani lalacewa

Bayani: Samfurin na iya kasawa kawai ta hanyar samar da hasashen da ba daidai ba ba tare da faduwa ko bada kurakurai ba; Babban dalilin hakan shine zubewar bayanai da karkatar da ra'ayi. Kawai saka idanu awo na aiki (latency, adadin kuskure) bai isa ba; Hakanan ya kamata a kula da rarrabawar shigar da fitarwa da rarrabawa / tsinkaya. Shigarwar shigar tana ba da gargaɗin farko idan ainihin sakamakon ya jinkirta.

13. Wace ƙa'ida ce mai mahimmanci yayin amfani da LLM-as-alkali don kimanta tsarin LLM?

• A) LLM-alkalan wasa koyaushe daidai ne, tabbatar da ɗan adam ba lallai bane
• B) Dole ne alkalin wasa ya yanke shawara bisa tsayin amsa kawai.
• C) Ya kamata a yi watsi da ƙa'idodin tushen ƙa'idodi da kimantawar ɗan adam gabaɗaya yayin amfani da alkalan wasa
• D) Ya kamata a daidaita makin alkalai da samfurin da aka yi wa lakabi da ɗan adam sannan a auna son zuciya kafin a amince da su ✔

Bayani: LLM-alkalan wasa kuma abin koyi ne; Yana iya zama hallucinatory, son zuciya (fi so dogayen amsoshi, amintattun amsoshi), da rashin daidaituwa. Don haka, dole ne a daidaita makin alkalan wasa tare da samfurin ɗan adam kuma dole ne a auna tsattsauran ra'ayinsu kafin a yanke shawarar samarwa. Alƙalin da ba a tantance shi ba yana ba da tabbaci na ƙarya.

14. Me yasa duban daidaito gabaɗaya bai isa ba yayin tantance ƙiyayyar ƙira?

• A) Gabaɗaya daidaito ya wadatar saboda koyaushe yana nuna aikin mafi munin rukuni
• B) Gabaɗaya daidaito kawai bai isa ba saboda yana iya ɓoye bambance-bambancen tsari (bambancin ɓoye) tsakanin ƙananan ƙungiyoyi ✔
• C) Domin daidaito ma'auni ne wanda ba shi da alaƙa da son zuciya
• D) Bias ya zo ne kawai daga samfurin kuma ba shi da alaƙa da bayanan.

Bayani: Gabaɗaya daidaito na iya ɓoye bambance-bambancen tsari tsakanin ƙungiyoyin ƙasa da ƙasa. Misali, yayin da jimlar daidaito shine 88%, tunawa na iya zama 91% a cikin rukuni ɗaya da 67% a cikin wani rukuni; Samfurin a tsare ya rasa wannan rukunin. Don haka, ya kamata a yi la'akari da samfurin bisa ga ƙananan ƙungiyoyi (ƙirar alƙaluma / yanki) kuma wane ma'anar adalci ya kamata a ba da fifiko ya kamata a yanke shawara tare da masu ruwa da tsaki.

15. Waɗanne abubuwa huɗu ne ya kamata a daidaita tare domin sakamakon ML ya kasance mai yiwuwa?

• A) Sunan samfurin kawai, girman, farashi da kwanan watan saki
• B) Alamar GPU kawai da saurin intanet
• C) Sakamakon daidaitaccen ƙimar samfurin kawai; sauran za a iya ajiye su a cikin ƙwaƙwalwar ajiya
• D) Iri bazuwar, sigar bayanai, yanayi (nau'ikan dogaro) da bin diddigin gwaji ✔

Bayani: Ana samun maimaitawa ta hanyar ginshiƙai huɗu: gyara tsaba bazuwar, bayanan sigar (version / hash), daskarewa yanayi (daidaitaccen nau'ikan ɗakin karatu / kwantena), da bin diddigin kowane gwaji (lambar code, bayanai, hyperparameter, awo). Idan ba tare da wannan sarkar ba ba zai yiwu a sake haifar da sakamako guda ba; Sakamakon da ba a iya sakewa ba shine da'awar da ba za a iya tabbatarwa ba.