Atunse ati Ipari-si-Opin Project: Apapọ Ohun gbogbo

Awọn anfani:

• Agbara lati rii daju isọdọtun pẹlu awọn ọwọn mẹrin (imuduro irugbin, ẹya data, didi media, ibojuwo idanwo) ati gbejade abajade kanna nigbati o tun ṣe ṣiṣe kanna
• Agbara lati darapọ gbogbo awọn iduro ti module (awọn metiriki, data, awoṣe, awọn paati LLM, eval, ododo, aabo, pinpin, ibojuwo) ni pq ipari-si-opin
• Agbara lati rii daju pe ipinnu to ṣe pataki wa pẹlu eniyan ni iduro kọọkan ati ṣe igbasilẹ iṣẹ akanṣe ni ọna iṣayẹwo

Awọn julọ insidious ikuna ti ohun ML ise agbese ni ko kan jamba; "Ko gba esi kanna lẹẹkansi." Ti o ko ba le ṣe ẹda Dimegilio loni ti awoṣe ti o fi sinu iṣelọpọ ni oṣu mẹta sẹhin, iwọ ko ṣakoso awoṣe yẹn gaan. Ninu ẹyọ ipari yii, a jinna isọdọtun: agbara lati ni igbẹkẹle gba abajade kanna pẹlu awọn igbewọle kanna ati ṣajọpọ gbogbo module ni ibawi iṣẹ akanṣe ipari-si-opin.

Idi ti reproducibility jẹ soro

Ninu sọfitiwia lasan, koodu kanna fun iṣelọpọ kanna. Ninu ML ọpọlọpọ awọn oniyipada diẹ sii ti o pinnu abajade:

• Aileto: Gbigbọn data, ipilẹṣẹ iwuwo, pipin data - gbogbo rẹ gbarale aileto.
• Data: Koodu kanna ṣe agbejade awoṣe oriṣiriṣi pẹlu ẹya data oriṣiriṣi.
• Ayika: Awọn ẹya ile-ikawe, hardware (CPU/GPU), paapaa ẹrọ ṣiṣe le yi abajade pada.
• Ẹran ti o farapamọ: hyperparameter ti ko fipamọ, igbesẹ iṣaju afọwọṣe, yiyan ti a ko ṣe akiyesi.

Atunse kii ṣe “o wuyi lati ni” ṣugbọn imọ-jinlẹ ati iwulo imọ-ẹrọ. Abajade ti a ko le tun ṣe ni ẹtọ ti ko le jẹri.

Mẹrin ọwọn ti reproducibility

1. Fix ID. Ṣeto gbogbo awọn irugbin laileto ni aaye kan: pipin data, ipilẹṣẹ awoṣe, dapọ data. Irugbin ti o wa titi jẹ ipilẹ ti “esi kanna nigbati o ba tun ṣiṣe kanna” iṣeduro.

2. Version awọn data. Ṣe igbasilẹ ẹya data wo ni idanwo kọọkan ṣe pẹlu (titẹjade data ni ẹyọkan 2). "Data tuntun" jẹ aiduro; "Ẹya data v3, hash abc123" jẹ deede.

3. Di alabọde. Pin gbogbo awọn igbẹkẹle si awọn ẹya gangan wọn (fun apẹẹrẹ awọn ẹya gangan bi numpy==1.26.4 ni awọn ibeere.txt, tabi aworan eiyan). "Ẹya tuntun" yoo fọ ohun gbogbo ni ọjọ kan.

4. Tọpinpin ohun gbogbo (titele idanwo). Fipamọ ni adaṣe fun idanwo kọọkan: ẹya koodu (git ṣẹ), ẹya data, gbogbo awọn hyperparameters, awọn metiriki ati awọn ẹya iṣelọpọ. Ṣiṣayẹwo awọn irinṣẹ ipasẹ bi MLflow, Awọn iwuwo & Awọn aibikita ṣe eyi ni ọna ṣiṣe. Laisi iforukọsilẹ, ibeere "eto wo ni o dara julọ" ko ni idahun.

Išọra: “Emi yoo ranti nigbamii” jẹ iro ti o gbowolori julọ. Ni ọsẹ meji lẹhinna iwọ kii yoo ranti iru irugbin wo, iru data wo, iru hyperparameter ti o lo. Titele aifọwọyi yọkuro igbẹkẹle lori iranti.

Ọna ti ko lagbara / Ona ti o lagbara

Ailagbara: "Mo ri awoṣe ti o dara julọ, o wa lori iwe ajako, Mo ro pe Dimegilio rẹ jẹ 89%.

Alagbara: "Ṣiṣe # 147 ni ohun elo ipasẹ adanwo: git ṣẹ a3f9c, ẹya data v3 (hash abc123), irugbin 42, gbogbo awọn hyperparameters ti a forukọsilẹ, idanwo PR-AUC 0.887. Nigbati mo ba ṣiṣẹ aṣẹ kanna lẹẹkansi, Mo gba abajade kanna ni bit nipasẹ bit. Awoṣe da lori ṣiṣe yii ni iforukọsilẹ.”

Iyatọ: ni ọna ti o lagbara abajade ko da lori iranti, ṣugbọn lori pq ti o wa titi ati abojuto. Gbogbo eniyan le gbejade esi kanna ni gbogbo igba.

Ipari-si-opin ise agbese: apapo ti module

Bayi jẹ ki ká darapọ gbogbo module sinu kan nikan ise agbese sisan. Eto ML gidi kan lọ nipasẹ awọn iduro wọnyi, ati iduro kọọkan duro lori ọkan ti tẹlẹ:

1. Itumọ iṣoro: Kini a n yanju, bawo ni a ṣe le wọn aṣeyọri (apakan 3: metric ọtun, ipo iṣowo). Metiriki ati iloro jẹ kedere lati ibẹrẹ.
2. Opopona data: Gbigba, afọwọsi, mimọ, ipin ti ko jo, ti ikede (ẹka 2).
3. Idagbasoke awoṣe: Idanileko, lafiwe ipilẹ, agbelebu-afọwọsi, irugbin lile (kuro 3 + ẹyọ yii).
4. Awọn paati LLM (ti o ba wulo): RAG (kuro 4) ati/tabi awọn aṣoju (kuro 5); yiyi ti o dara ti o ba jẹ dandan (kuro 6).
5. Igbelewọn: iṣupọ eval pẹlu eti ati awọn ọran aabo, eval-pupọ ni awọn ọna ṣiṣe LLM (kuro 8).
6. Iṣayẹwo idajọ ododo ati iṣe iṣe: Iṣayẹwo ẹgbẹ-ẹgbẹ, kaadi awoṣe, alaye alaye (apakan 10).
7. Ayẹwo aabo: Abẹrẹ kiakia, asiri, pq ipese (ẹka 9).
8. Pipin: Iṣakojọpọ, pinpin mimu, yiyi pada, iforukọsilẹ awoṣe (apakan 7).
9. Abojuto: Abojuto ipele mẹta, awọn itaniji fiseete (kuro 8).
10. Atunṣe: Irugbin, ẹya data, media ati ipasẹ adanwo jakejado gbogbo pq (ẹyọ yii).

Ni ṣiṣan yii, AI jẹ ohun imuyara ati olupilẹṣẹ alaworan ni gbogbo iduro; ṣugbọn yiyan metric, awọn ipinnu data, iṣaju iṣaju ododo, ala imuṣiṣẹ, ati ifọwọsi idasilẹ - awọn ipinnu to ṣe pataki wa pẹlu eniyan. Eleyi jẹ awọn lodi ti awọn module.

Iwe: ojo iwaju yoo dupẹ lọwọ rẹ

A ti o dara ML ise agbese awọn iwe aṣẹ ara. Ni o kere ju, atẹle yẹ ki o kọ: iṣoro ati awọn ibeere aṣeyọri, orisun data ati ẹya, awọn yiyan awoṣe ati awọn idalare, awọn abajade igbelewọn (pẹlu awọn ẹgbẹ-ẹgbẹ), awọn opin ti a mọ ati awọn ewu, imuṣiṣẹ ati ilana igbapada, ero ibojuwo. Iwe yii jẹ ọrẹ to dara julọ ti eniyan (boya o jẹ iwọ) ti o pada si iṣẹ naa lẹhin oṣu mẹfa.

mẹta mini igba

Ọran 1 - Abajade ti o padanu. Onimọ-ẹrọ ṣe ikẹkọ awoṣe nla kan, ṣugbọn ko ṣe atunṣe irugbin naa ati pe ko ṣafipamọ ẹya data naa. Nigbati o fi iṣẹ naa silẹ, ko si ẹnikan ti o le ṣe atunṣe abajade naa; awọn awoṣe di a "dudu apoti Àlàyé" ati awọn ti a bajẹ kọ lati ibere. Ose ti won sofo. Ẹkọ: abajade ti kii ṣe atunṣe jẹ abajade ti ko si tẹlẹ.

Ọran 2 - Ayika Collapse. Ẹgbẹ kan ko ṣe atunṣe awọn igbẹkẹle naa. Nigbati ile-ikawe kan ti ni imudojuiwọn laifọwọyi, awọn abajade awoṣe yipada ni ipalọlọ ati pe iṣelọpọ jẹ idalọwọduro. O gba awọn ọjọ lati wa iṣoro naa. Nigbati awọn ti o gbẹkẹle ti di aotoju ati ti a fi sinu apoti pẹlu awọn ẹya pataki, iṣoro naa ko waye lẹẹkansi. Ẹkọ: di ayika.

Ọran 3 - Agbara ibojuwo. Ẹgbẹ kan ṣe abojuto adaṣe kọọkan laifọwọyi. Oṣu mẹta lẹhinna, lakoko iṣayẹwo ilana, wọn dahun ibeere naa "pẹlu data wo, pẹlu awọn eto wo, iṣẹ wo ni o gba ninu awọn ẹgbẹ wo?” pẹlu kan ni kikun gbigbasilẹ laarin iṣẹju. Ayewo lọ laisiyonu. Ẹkọ: ibojuwo jẹ ohun elo ibamu, kii ṣe ọkan ti imọ-ẹrọ nikan.

Awọn awoṣe idakọ

Ṣe a reproducibility ayẹwo fun yi ML ise agbese.- Ti wa ni gbogbo ID awọn irugbin ti o wa titi (pipin, initialize, Daarapọmọra)?- Ti wa ni data versioned?- Ti wa ni dependencies aotoju si gangan awọn ẹya?- Ṣe gbogbo ṣàdánwò (koodu dá, data, hyperparameter, metric) tọpinpin? Kọ awọn igbesẹ ti o daju lori bi o ṣe le ṣe atunṣe fun ọwọn ti o padanu.

Ṣe agbekalẹ egungun ero kan fun iṣẹ akanṣe ML ipari-si-opin yii. Isoro: [apejuwe] Bo awọn iduro wọnyi ki o samisi ibi ti ipinnu ENIYAN wa ni iduro kọọkan: iṣoro/metric, opo gigun ti epo, awoṣe, (RAG/agent/fine-tune?), Eval, fairness, security, sharing, monitoring, reproducibility. Kọ ewu akọkọ ati igbesẹ ijẹrisi fun iduro kọọkan.

Ṣe agbejade awoṣe iwe imọ-ẹrọ fun iṣẹ akanṣe yii. Awọn apakan: iṣoro + awọn ibeere aṣeyọri, data (orisun + ẹya), awọn yiyan awoṣe + idalare, igbelewọn (pẹlu awọn ẹgbẹ kekere), awọn opin + awọn eewu ti a mọ, imuṣiṣẹ + yiyi pada, ero ibojuwo. Fun awọn aaye lati kun fun apakan kọọkan gẹgẹbi awọn ibeere.

Ṣayẹwo iṣeto ibojuwo idanwo mi: Njẹ o ti fipamọ laifọwọyi lori gbogbo ṣiṣe: git Committee, ẹya data/hash, gbogbo awọn hyperparameters, gbogbo awọn metiriki, agbegbe (awọn ẹya ile ikawe)? Ṣe Mo gba abajade kanna nigbati Mo tun ṣiṣe ṣiṣe kanna? Eto: [apejuwe]. Ṣe atokọ awọn abawọn ati atunṣe.

Reproducibility ọwọn tabili

ọwọn

Ohun ti o wa titi

Apeere ọkọ

aileto

gbogbo awọn irugbin

irugbin eto

Data

Data version / hash

DVC

ayika

Library awọn ẹya

pinni awọn ibeere, Docker

Abojuto

Koodu+data+eto+metric

MLflow, W&B

Awọn aṣiṣe ti o wọpọ

• Ko ṣe atunṣe awọn irugbin. Abajade ko le tun.
• Ko fifipamọ awọn data version. "Pẹlu data wo?" si maa wa ni idahun.
• Ko didi addictions. Imudojuiwọn yoo fọ ohun gbogbo ni idakẹjẹ.
• Nlọ awọn adanwo si iranti. Lẹhin ọsẹ meji ko si nkan ti a ranti.
• Nlọ awọn ipinnu pataki si oye atọwọda. Awọn wiwọn, idajọ, ati awọn ipinnu pinpin yẹ ki o wa pẹlu eniyan.
• Awọn iwe-itumọ siwaju. Ẹgbẹ iwaju (ati iwọ) san idiyele naa.

Ni akojọpọ

Atunse jẹ ibuwọlu ti imọ-ẹrọ ML to ṣe pataki: abajade ti kii ṣe atunjade jẹ ẹtọ ti ko ṣee ṣe. O wa pẹlu awọn ọwọn mẹrin - ṣatunṣe ID, data ẹya, agbegbe didi, tọpa idanwo kọọkan. Ise agbese ipari-si-opin daapọ gbogbo awọn iduro ti module yii (metric, data, awoṣe, awọn paati LLM, eval, didara, aabo, pinpin, ibojuwo) ni pq asopọ kan; Oye atọwọda jẹ ohun imuyara ni gbogbo iduro, ṣugbọn awọn ipinnu to ṣe pataki wa pẹlu eniyan. Kọ ohun gbogbo silẹ - fun ẹgbẹ iwaju ati awọn iṣatunṣe. Ilana yii jẹ ilana ti o ṣe atilẹyin ohun gbogbo ti o kọ jakejado module naa.

Ohun elo iṣẹ-ṣiṣe

Ṣayẹwo iṣẹ akanṣe ML kan lodi si awọn ọwọn atunṣe mẹrin: Njẹ awọn irugbin ko le yipada, jẹ ẹya data, jẹ aotoju agbegbe, ṣe awọn adaṣe tọpinpin bi? Ṣe atunṣe eyikeyi awọn ọwọn ti o padanu ati fihan pe o le ṣiṣe ṣiṣe kanna lẹẹmeji ati gba abajade kanna. Lẹhinna gbejade ṣiṣan ipari-si-opin ti iṣẹ akanṣe (awọn iduro 10) lori oju-iwe kan ki o samisi “ibiti ipinnu eniyan wa” ni iduro kọọkan. Nikẹhin, kọ iwe iwe imọ-ẹrọ kukuru kan.

akojọ ayẹwo

• [] Gbogbo awọn irugbin ID ti o wa titi.
• [] Ẹya data/hash ti wa ni igbasilẹ pẹlu idanwo kọọkan.
• [] Awọn igbẹkẹle ti wa ni aotoju si awọn ẹya ti o duro (pin/eiyan).
• [] Ayẹwo kọọkan jẹ abojuto laifọwọyi (koodu+data+eto+metric).
• [] Nigbati mo ba tun ṣiṣe kanna, Mo gba esi kanna.
• [] Mo jẹrisi ati ṣe akọsilẹ pe awọn ipinnu to ṣe pataki ni ṣiṣan ipari-si-opin jẹ nipasẹ eniyan.

Idanwo module

1. Gẹgẹbi ẹlẹrọ ML, kini ọna ti o dara julọ nigbati o ba gbe oye itetisi atọwọda ninu iṣan-iṣẹ?

• A) AI jẹ ohun imuyara ni awọn iṣowo eewu kekere; Awọn ipinnu to ṣe pataki bi awọn metiriki, data, ati iṣelọpọ duro ni ifọwọsi ati fi silẹ si eniyan ✔
• B) Niwọn igba ti awọn abajade AI ti dara, ko si iwulo fun ijẹrisi
• C) Nlọ ipinnu lati fi awoṣe sinu iṣelọpọ si itetisi atọwọda fi akoko pamọ.
• D) Imọran Artificial jẹ wulo nikan fun kikọ ọrọ, ko ni nkankan lati ṣe pẹlu data ati iṣẹ awoṣe

Apejuwe: AI jẹ ohun imuyara ti o lagbara fun eewu kekere, awọn iṣẹ-ṣiṣe ti a rii daju ni irọrun bii koodu, awọn iṣiro data, ati awọn iwe aṣẹ; Sibẹsibẹ, ojuse fun awọn ipinnu ti o kan owo, asiri, ati layabiliti ofin, gẹgẹbi yiyan metric, eyiti data lọ sinu ikẹkọ, ati fifi awoṣe sinu iṣelọpọ, wa pẹlu ẹlẹrọ ati ẹgbẹ ti o peye. Ijade kọọkan ko yẹ ki o lo laisi ijẹrisi.

2. Kini idi ti afọwọsi ero-ọrọ ni ibẹrẹ opo gigun ti epo kan?

• A) Nitori ti o taara mu awọn išedede ti awọn awoṣe
• B) Nitoripe o jẹ ki ikede data jẹ ko wulo
• C) Nitoripe o mu data ti o bajẹ ni aaye akọkọ ati lawin ati ṣe idiwọ fun jijo sinu awọn igbesẹ ti o tẹle ✔
• D) Nitoripe o ṣe imukuro iwulo fun isamisi

Alaye: Awọn data ibajẹ iṣaaju ti mu, din owo ti o jẹ lati ṣatunṣe rẹ. Afọwọsi eto ṣe idiwọ data ibajẹ lati jijo ni idakẹjẹ sinu ikẹkọ tabi iṣelọpọ nipasẹ kikọ data ni ita iru ti a nireti ati ibiti o wa ni ibẹrẹ laini (fun apẹẹrẹ iyipada idiyele 100x pẹlu iyipada ẹyọkan); Aṣiṣe kanna ti o mu ni iṣelọpọ jẹ ọpọlọpọ igba diẹ gbowolori.

3. Kini ọna ti o tọ nigbati o ba pin data sinu ikẹkọ ati idanwo ni iṣoro ti o ni akoko (ilana akoko)?

• A) Lilo pipin laileto nitori pe o jẹ ọna ti o dara julọ nigbagbogbo
• B) Lilo pipin akoko: ṣe idiwọ jijo nipasẹ ikẹkọ pẹlu ohun ti o kọja ati idanwo ni ọjọ iwaju ✔
• C) Lilo gbogbo data bi mejeeji ikẹkọ ati idanwo
• D) Iṣakojọpọ data idanwo sinu awọn aye igbelowọn ṣaaju ikẹkọ

Apejuwe: Iyapa laileto lori jara akoko n fun awoṣe ni anfani 'riran ọjọ iwaju' ti kii yoo ṣẹlẹ ni iṣelọpọ ati lainidi ṣe inflates awọn metiriki (jijo akoko). Eyi ti o tọ jẹ pipin akoko: ọkọ oju-irin pẹlu ohun ti o ti kọja, idanwo ni ọjọ iwaju. Eyi ṣe iwọn iṣẹ ṣiṣe gangan ti o jẹ ki o wa ni iṣelọpọ.

4. Kini idi ti otitọ jẹ ṣinilọna ninu awoṣe wiwa ẹtan pẹlu oṣuwọn kilasi rere ti 1.5%?

• A) Nitori Ipeye nigbagbogbo jẹ kekere lori data aipin
• B) Nitori Ipeye le ṣee lo nikan lori awọn iṣoro ipadasẹhin
• C) Nitori iṣiro Ipeye nilo agbara sisẹ pupọ
• D) Paapaa awoṣe kekere ti o sọ asọtẹlẹ kilasi ti o pọ julọ le jẹ deede, nitorinaa tọju aṣeyọri gidi ✔

Alaye: Lori data ti ko ni iwọntunwọnsi, paapaa awoṣe ipilẹ ti o sọ pe 'pe ohun gbogbo ni odi' n ni deede 98.5% ṣugbọn kii yoo gba ẹtan ẹyọkan. Nitorinaa, ni ipin ti ko ni iwọntunwọnsi, konge, iranti, F1 tabi PR-AUC ni a lo dipo deede, ati pe metiriki kọọkan jẹ itumọ ni ibamu si awoṣe ipilẹ.

5. Kini idi ti lafiwe ipilẹ jẹ pataki nigbati o ba sọrọ nipa metiriki awoṣe?

• A) Nitoripe awoṣe ipilẹ jẹ nigbagbogbo dara julọ ju awoṣe gidi lọ
• B) Nitoripe o han gbangba boya metric kan ni itumọ tabi kii ṣe nikan nigbati a ba ṣe afiwe si awoṣe ipilẹ ti o rọrun ✔
• C) Nitoripe awoṣe ipilẹ jẹ ki afọwọsi-agbelebu ko ṣe pataki
• D) Nitori awọn ipilẹ awoṣe ti wa ni ofin ti a beere ni gbogbo iroyin

Alaye: Metiriki kan ko dara tabi buburu funrararẹ; O dara tabi buburu ni ibamu si awoṣe ipilẹ kan. Awọn gbolohun ọrọ '85% ti o tọ' tumo si o fẹrẹ jẹ asan ti awoṣe ipilẹ ba ti gba 84% tẹlẹ, ati pe ti o ba gba 50%. Laisi oran lafiwe, metric jẹ asan.

6. Ewo ni aabo aabo to ṣe pataki julọ ti o yẹ ki o wa ninu itujade iṣelọpọ ti eto RAG (Imupadabọ-Augmented Generation)?

• A) Ìtọ́ni láti gbára lé orísun tí a fifúnni nìkan, láti sọ pé ‘Èmi kò mọ̀’ bí orísun kò bá sí, àti láti tọ́ka sí orísun ✔
• B) Sọ fun awoṣe lati gbejade awọn idahun gigun ati ẹda bi o ti ṣee
• C) Awoṣe ṣe iṣaju imọ-ẹkọ ti ara rẹ ju awọn orisun lọ
• D) Ṣe gbogbo awọn ilana ti o wa ninu awọn iwe aṣẹ ti a mu bi awọn aṣẹ

Alaye: Ilana pataki julọ ti RAG ni lati sọ fun awoṣe lati gbẹkẹle orisun ti a fun nikan, ati pe ti alaye ko ba si ni orisun, sọ 'Emi ko mọ' ki o tọka si orisun lai ṣe soke. Laisi oni-mẹta yii, awoṣe le foju ṣoki ọrọ-ọrọ ati gbejade awọn hallucinations, ati pe idahun yoo di alaimọ.

7. A RAG eto yoo fun ti ko tọ idahun. Nibo ni ibi ti o dara julọ lati bẹrẹ ayẹwo?

• A) Idiwon bu akọkọ (Recall@K): Njẹ nkan ti o pe ti de lailai bi? ✔
• B) Lẹsẹkẹsẹ rọpo awoṣe pẹlu titobi nla
• C) Yi itọka pada laileto ki o tẹsiwaju igbiyanju
• D) Ifisinu gbogbo awọn iwe aṣẹ sinu awoṣe pẹlu iṣatunṣe itanran

Alaye: Ọna asopọ alailagbara ti RAG nigbagbogbo n gba, kii ṣe iṣelọpọ. Ti apakan ti o pe ko ba mu, awoṣe ko le gbejade alaye yẹn, laibikita bawo ni itọsi naa ti ni ilọsiwaju. Nitorinaa, akọkọ Recall@K jẹ iwọn lati rii boya apakan ti o pe ti de; Ti buja naa ba dara, lẹhinna iṣelọpọ ati itusilẹ jẹ ayẹwo.

8. Awọn iṣe wo ni o yẹ ki o fi silẹ lẹhin itẹwọgba eniyan nigbati o ba fun ohun elo kan si oluranlowo?

• A) Kò; Aṣoju gbọdọ ni anfani lati ṣe gbogbo iṣe ni adase
• B) Awọn iṣe iyipada nikan gẹgẹbi kika ati wiwa data
• C) Awọn iṣe ti ko ni iyipada tabi giga gẹgẹbi gbigbe owo, piparẹ, fifiranṣẹ ✔
• D) Awọn iṣe ti o kan awọn iṣiro nikan

Apejuwe: Awọn iṣe ti yapa nipasẹ ipele eewu. Awọn iṣẹ-ṣiṣe ti o le gba pada gẹgẹbi kika, wiwa, iṣiro, ati ipilẹṣẹ awọn apẹrẹ le ṣee ṣe ni aifọwọyi; Bibẹẹkọ, awọn iṣe aiṣe-pada tabi awọn iṣe ipa giga gẹgẹbi gbigbe owo, fifiranṣẹ awọn imeeli, piparẹ data, gbigbe awọn aṣẹ ati bẹbẹ lọ nilo ifọwọsi eniyan. Gbogbo igbese ti ko le yipada gbọdọ jẹ koko-ọrọ si igbanilaaye.

9. Kini ọna apẹrẹ ti o dara julọ lodi si ewu ti abẹrẹ aiṣe-taara?

• A) O to lati ṣafikun gbolohun kan 'foju awọn ilana buburu' si eto eto naa
• B) Fun aṣẹ diẹ sii si awoṣe nipa gbigbekele awọn itọnisọna ni akoonu ita
• C) Ko ṣe awọn iṣọra eyikeyi nitori abẹrẹ ko ṣe idiwọ
• D) Iyasọtọ akoonu ita bi data ti ko ni igbẹkẹle ati idasile awọn aabo ti o fẹlẹfẹlẹ pẹlu aṣẹ kekere, ifọwọsi, ati iṣakoso iṣelọpọ ✔

Apejuwe: Akoonu ita ti a ṣiṣẹ nipasẹ aṣoju tabi RAG, gẹgẹbi oju-iwe wẹẹbu kan, iwe aṣẹ, imeeli, ati bẹbẹ lọ, jẹ data ti ko gbẹkẹle ati o le ni awọn ilana aṣiri ninu. Ọna ti o pe ni aabo siwa: ipinya akoonu ita bi 'data, kii ṣe awọn aṣẹ' pẹlu awọn apinfunni ti o han gbangba, lilo aṣẹ to kere ju, di awọn iṣe ti ko le yipada si ifọwọsi eniyan, ati ṣiṣatunṣe iṣejade. Laini ilana kan ko to.

10. Kini iyatọ akọkọ nigbati o ba pinnu boya iṣoro kan yẹ ki o yanju pẹlu atunṣe-itanran tabi RAG?

• A) Awọn iṣoro alaye jẹ ipinnu to dara julọ pẹlu RAG, ihuwasi / awọn iṣoro ọna kika jẹ ipinnu dara julọ pẹlu atunṣe-itanran ✔
• B) Gbogbo iṣoro yẹ ki o yanju nigbagbogbo nipasẹ iṣatunṣe itanran
• C) RAG ti wa ni lilo nikan fun koodu iran, itanran-tuning ti wa ni lo nikan fun ogbufọ
• D) Titun-titun le ṣe imudojuiwọn nigbagbogbo din owo ati yiyara ju RAG

Apejuwe: Titun-tuntun jẹ alailagbara ati eewu ni kikọ awoṣe alaye tuntun; ṣugbọn o lagbara ni ihuwasi ẹkọ, ọna kika, ohun orin ati ara. 'Ile-iṣẹ awoṣe ko mọ data wa' jẹ iṣoro alaye ati pe o jẹ ti RAG. 'Jẹ ki awoṣe nigbagbogbo jade ni ọna kika wa ti o muna' jẹ iṣoro ihuwasi ati oludije fun atunṣe-itanran. Ni afikun, kiakia ati awọn Asokagba diẹ yẹ ki o jẹ run ṣaaju iṣatunṣe itanran.

11. Ewo ni o jẹ dandan fun imuṣiṣẹ ailewu nigbati o ba nfi awoṣe titun sinu iṣelọpọ?

• A) Ti awoṣe ba dara ni idanwo, ṣii taara si 100% ijabọ
• B) Ko ṣeto ibojuwo ni gbogbo lẹhin imuṣiṣẹ
• C) imuṣiṣẹ ni ipele (ojiji/canary) ati ero yipopada ti a ti ni idanwo tẹlẹ ✔
• D) Titẹjade awoṣe paapaa ti aaye igbelewọn ko ba pade

Alaye: Nsii awoṣe tuntun taara si gbogbo awọn ijabọ jẹ eewu; Ti o ba jẹ aṣiṣe, gbogbo eniyan ni o kan. Ohun ti o pe ni pe o jẹ pinpin mimu (ojiji, Canary) ati pe gbogbo pinpin ni ero iyipo ti idanwo. A pinpin ni ko pipe lai a clawback ètò; Ni anfani lati pada si ẹya ti tẹlẹ laarin awọn iṣẹju ṣe aabo olumulo nigbati awoṣe ba huwa lairotẹlẹ ni iṣelọpọ.

12. Bawo ni awoṣe ML ṣe le kuna 'si ipalọlọ' ni iṣelọpọ ati kini ọna lati yẹ eyi?

• A) Awọn awoṣe ṣubu; awọn akọọlẹ olupin fihan eyi
• B) Nipa sisọ awọn asọtẹlẹ ti ko tọ laisi ṣiṣe awọn aṣiṣe; ✔ O ya awọn operational, input ki o si wu siwa monitoring
• C) Awoṣe ko le kuna ni idakẹjẹ, nigbagbogbo itaniji
• D) O kan mimojuto lairi jẹ to lati yẹ eyikeyi ibajẹ

Alaye: Awoṣe naa le kuna nirọrun nipa ṣiṣe awọn asọtẹlẹ ti ko tọ laisi jamba tabi fifun awọn aṣiṣe; Idi akọkọ fun eyi ni gbigbe data ati fiseete ero. Ṣiṣabojuto awọn metiriki iṣiṣẹ (lairi, oṣuwọn aṣiṣe) ko to; pinpin igbewọle ati iṣelọpọ / pinpin asọtẹlẹ yẹ ki o tun ṣe abojuto. Fiseete igbewọle funni ni ikilọ ni kutukutu ti abajade gangan ba ni idaduro.

13. Ilana wo ni o ṣe pataki nigba lilo LLM-bi onidajọ lati ṣe iṣiro eto LLM kan?

• A) LLM-referee jẹ deede nigbagbogbo, ijẹrisi eniyan ko ṣe pataki
• B) Oludaniloju gbọdọ ṣe ipinnu ti o da lori ipari idahun nikan.
• C) Awọn iṣakoso ti o da lori awọn ofin ati igbelewọn eniyan yẹ ki o sọnu patapata nigbati o ba lo awọn alatilẹyin
• D) Awọn nọmba onidajọ yẹ ki o ṣe iwọn pẹlu apẹẹrẹ ti eniyan ti o ni aami ati wiwọn aiṣedeede wọn ṣaaju ki wọn le gbẹkẹle ✔

Apejuwe: LLM-referee jẹ tun kan awoṣe; O le jẹ hallucinatory, abosi (afẹfẹ gigun, awọn idahun igboya), ati aisedede. Nitorinaa, awọn ikun alatilẹyin gbọdọ jẹ iwọntunwọnsi pẹlu apẹẹrẹ ti aami eniyan ati pe ojuṣaaju eto wọn gbọdọ jẹ iwọn ṣaaju ṣiṣe ipinnu iṣelọpọ. Agbẹjọro ti ko ni idaniloju funni ni igbẹkẹle eke.

14. Kilode ti wiwa ni kikun deede ko to nigbati o ṣe ayẹwo irẹjẹ awoṣe?

• A) Ipeye apapọ jẹ to nitori pe o nigbagbogbo ṣe afihan iṣẹ ti ẹgbẹ ti o buru julọ
• B) Ipeye gbogbogbo nikan ko to bi o ṣe le ṣoki iyatọ eto (iyasoto farasin) laarin awọn ẹgbẹ-ẹgbẹ ✔
• C) Nitoripe deede jẹ metric ti ko ni nkankan lati ṣe pẹlu irẹjẹ
• D) Iyatọ wa nikan lati awoṣe ati pe ko ni nkankan lati ṣe pẹlu data naa.

Alaye: Ipeye gbogbogbo le pa awọn iyatọ eto mọ laarin awọn ẹgbẹ-ẹgbẹ. Fun apẹẹrẹ, lakoko ti iṣedede gbogbogbo jẹ 88%, iranti le jẹ 91% ninu ẹgbẹ kan ati 67% ni ẹgbẹ miiran; Awoṣe naa ni ọna ṣiṣe padanu ẹgbẹ yẹn. Nitorina, awoṣe yẹ ki o ṣe ayẹwo lori ipilẹ awọn ẹgbẹ-ẹgbẹ (awọn iṣiro / apa) ati iru itumọ ti idajọ yẹ ki o ṣe pataki ni o yẹ ki o pinnu pẹlu awọn ti o nii ṣe.

15. Ohun mẹrin ohun gbọdọ wa ni titunse papo fun a ML esi le reproducible?

• A) Orukọ awoṣe nikan, iwọn, idiyele ati ọjọ idasilẹ
• B) Aami GPU nikan ati iyara intanẹẹti
• C) Nikan Dimegilio išedede ipari ti awoṣe; awọn iyokù le wa ni pa ni iranti
• D) Irugbin ID, ẹya data, ayika (awọn ẹya igbẹkẹle) ati ipasẹ idanwo ✔

Apejuwe: Atunṣe jẹ aṣeyọri nipasẹ awọn ọwọn mẹrin: titọ awọn irugbin laileto, data ikede (ẹya / hash), didi agbegbe (awọn ẹya ile-ikawe gangan / apoti), ati titele idanwo kọọkan (koodu ṣe, data, hyperparameter, metric). Laisi pq yii ko ṣee ṣe lati ṣe ẹda esi kanna; Abajade ti kii ṣe atunṣe jẹ ẹtọ ti ko le jẹri.