Endurgerðanleiki og end-to-end verkefnið: sameina allt

Hagnaður:

• Geta til að tryggja endurgerðanleika með fjórum stoðum (fræfesting, gagnaútgáfu, frysting fjölmiðla, eftirlit með tilraunum) og framleiða sömu niðurstöðu þegar sama keyrsla er endurtekin
• Geta til að sameina öll stopp einingarinnar (mælingar, gögn, líkan, LLM hluti, mat, sanngirni, öryggi, dreifingu, eftirlit) í enda-til-enda keðju
• Hæfni til að sannreyna að mikilvæga ákvörðunin sé áfram hjá manneskjunni á hverju stoppi og skrá verkefnið á endurskoðanlegan hátt

Skaðlegasta bilun ML verkefnis er ekki hrun; "Fá ekki sömu niðurstöðu aftur." Ef þú getur ekki endurskapað einkunnina í dag af líkaninu sem þú settir í framleiðslu fyrir þremur mánuðum síðan, þá ræður þú í raun ekki þeirri gerð. Í þessari lokaeiningu dýpkum við endurgerðanleika: hæfileikann til að fá sömu niðurstöðu á áreiðanlegan hátt með sömu aðföngum og sameina alla eininguna í enda-til-enda verkefnafræði.

Hvers vegna endurgerðanleiki er erfiður

Í venjulegum hugbúnaði gefur sami kóði sama úttak. Í ML eru margar fleiri breytur sem ákvarða útkomuna:

• Tilviljun: Uppstokkun gagna, frumstilling þyngdar, skipting gagna — allt treysta á tilviljun.
• Gögn: Sami kóði framleiðir mismunandi líkan með mismunandi gagnaútgáfu.
• Umhverfi: Bókasafnsútgáfur, vélbúnaður (CPU/GPU), jafnvel stýrikerfi geta breytt niðurstöðunni.
• Falið tilfelli: Óvistuð yfirfæribreyta, handvirkt forvinnsluskref, ómerkt val.

Endurgerðanleiki er ekki "nice to have" heldur vísindaleg og verkfræðileg nauðsyn. Niðurstaða sem ekki er hægt að endurskapa er fullyrðing sem ekki er hægt að sanna.

Fjórar stoðir endurgerðanleika

1. Lagaðu tilviljun. Settu öll tilviljunarkennd fræ á einn stað: gagnaskiptingu, frumstillingu líkana, uppstokkun gagna. Fast fræ er grundvöllur "sömu niðurstöðu þegar þú endurtekur sömu keyrslu" ábyrgð.

2. Útgáfa gögnin. Skráðu hvaða gagnaútgáfu hver tilraun var gerð með (gagnaútgáfu í einingu 2). „Nýjustu gögn“ eru óljós; „gagnaútgáfa v3, kjötkássa abc123“ er nákvæm.

3. Frystu miðilinn. Festu allar ósjálfstæði við nákvæmar útgáfur þeirra (t.d. nákvæmar útgáfur eins og numpy==1.26.4 í requirements.txt, eða gámamynd). „Nýjasta útgáfan“ mun brjóta allt einn daginn.

4. Fylgstu með öllu (tilraunamæling). Vista sjálfkrafa fyrir hverja tilraun: kóðaútgáfa (git commit), gagnaútgáfa, allar hyperparameters, mæligildi og úttaksbyggingar. Tilraunarakningartæki eins og MLflow, Weights & Biases gera þetta kerfisbundið. Án skráningar er spurningunni „hvaða stillingin var best“ ósvarað.

Varúð: „Ég man það seinna“ er dýrasta rökvillan. Tveimur vikum síðar muntu ekki muna hvaða fræ, hvaða gögn, hvaða hyperparameter þú notaðir. Sjálfvirk mælingar koma í veg fyrir að treysta á minni.

Veik nálgun / Sterk nálgun

Veik: "Ég fann bestu gerðina, hún er á fartölvunni, ég held að einkunnin hennar hafi verið 89%."

Strong: "Run #147 in the experiment tracking tool: git commit a3f9c, data version v3 (hash abc123), seed 42, all hyperparameters registered, test PR-AUC 0.887. Þegar ég keyri sömu skipunina aftur fæ ég sömu niðurstöðu smátt og smátt. Líkanið fer eftir þessari keyrslu í skránni."

Munurinn: í sterkri nálgun byggir niðurstaðan ekki á minni, heldur á fastri og vöktuðum keðju. Allir geta skilað sömu niðurstöðu hverju sinni.

Lokaverkefni: samsetning eininga

Nú skulum við sameina alla eininguna í eitt verkefnaflæði. Raunverulegt ML kerfi fer í gegnum þessi stopp og hvert stopp byggir á því fyrra:

1. Skilgreining vandamála: Hvað erum við að leysa, hvernig á að mæla árangur (eining 3: rétt mælikvarði, viðskiptasamhengi). Mælikvarði og þröskuldur eru skýr frá upphafi.
2. Gagnaleiðsla: Söfnun, staðfesting, hreinsun, lekalaus skipting, útgáfa (eining 2).
3. Líkanþróun: Þjálfun, grunnlínusamanburður, krossprófun, harðkorn (eining 3 + þessi eining).
4. LLM íhlutir (ef við á): RAG (eining 4) og/eða miðlar (eining 5); fínstilling ef þörf krefur (eining 6).
5. Mat: eval klasi með brún og öryggishylki, fjöllaga mat í LLM kerfum (eining 8).
6. Réttlætis- og siðferðisúttekt: Undirhópagreining, líkanspjald, útskýranleg (eining 10).
7. Öryggisúttekt: Skyndileg innspýting, friðhelgi einkalífs, aðfangakeðja (eining 9).
8. Dreifing: Pökkun, smám saman dreifing, afturköllun, módelskráning (eining 7).
9. Vöktun: Þriggja laga vöktun, svifviðvörun (eining 8).
10. Fjölbreytanleiki: Fræ, gagnaútgáfa, miðla og tilraunaspor í gegnum alla keðjuna (þessi eining).

Í þessu flæði er gervigreind eldsneytisgjöf og teikning rafall á hverju stoppi; en val á mæligildum, gagnaákvarðanir, sanngirnisforgangsröðun, uppsetningarþröskuldur og losunarsamþykki - mikilvægar ákvarðanir eru áfram hjá manninum. Þetta er kjarninn í einingunni.

Skjöl: framtíðin mun þakka þér

Gott ML verkefni skráir sig. Að lágmarki ætti að skrifa eftirfarandi: vandamál og árangursskilyrði, gagnagjafa og útgáfa, val á gerðum og rökstuðningur, matsniðurstöður (þar á meðal undirhópar), þekkt mörk og áhættur, verklag við uppsetningu og endurheimt, vöktunaráætlun. Þetta skjal er besti vinur þess (kannski ert það þú) sem snýr aftur að verkefninu eftir sex mánuði.

þrjú smámál

Mál 1 - Tapað niðurstaða. Verkfræðingur þjálfaði frábært líkan, en hann lagaði ekki fræið og vistaði ekki gagnaútgáfuna. Þegar hann hætti störfum gat enginn endurskapað þá niðurstöðu; módelið varð "black box legend" og var að lokum byggt frá grunni. Vikum var sóað. Lexía: Niðurstaða sem ekki er hægt að endurtaka er niðurstaða sem ekki er til.

Mál 2 - Umhverfishrun. Eitt lið hafði ekki lagað ósjálfstæðin. Þegar bókasafn var sjálfkrafa uppfært breyttust úttak líkansins hljóðlaust og framleiðsla truflaðist. Það tók marga daga að finna vandamálið. Þegar ósjálfstæðin voru fryst og sett í gáma með endanlegum útgáfum kom vandamálið ekki upp aftur. Lærdómur: frysta umhverfið.

Mál 3 - Kraftur eftirlits. Hópur fylgdist sjálfkrafa með hverri tilraun. Þremur mánuðum síðar, við eftirlitsúttekt, svöruðu þeir spurningunni "með hvaða gögnum, með hvaða stillingum, hvaða frammistöðu fékk það í hvaða hópum?" með fullri upptöku innan nokkurra mínútna. Skoðunin gekk snurðulaust fyrir sig. Lexía: eftirlit er regluverkfæri, ekki bara verkfræðilegt.

Afritanleg sniðmát

Gerðu endurgerðanleikaathugun fyrir þetta ML verkefni.- Eru öll slembivalsfræ lagfærð (skipta, frumstilla, stokka)?- Eru gögn útgáfuð?- Er ósjálfstæði frosið í nákvæmar útgáfur?- Er hverri tilraun (kóðaframkvæmd, gögn, hyperparameter, mæligildi) rakin? Skrifaðu áþreifanleg skref um hvernig á að laga það fyrir hvern dálk sem vantar. Uppbygging verks: [lýsing]

Búðu til áætlunarbeinagrind fyrir þetta enda-til-enda ML verkefni. Vandamál: [lýsing] Farðu yfir eftirfarandi stopp og merktu hvar MANNLEGA ákvörðunin er á hverju stoppi: vandamál/mæling, leiðsla, líkan, (RAG/umboðsmaður/fínstilling?), mat, sanngirni, öryggi, dreifing, eftirlit, endurgerðanleiki. Skrifaðu helstu áhættu- og sannprófunarskref fyrir hvert stopp.

Búðu til tækniskjalasniðmát fyrir þetta verkefni. Hlutar: vandamál+árangursviðmið, gögn (uppspretta+útgáfa), líkanaval+réttlæting, mat (þar á meðal undirhópar), þekkt mörk+áhætta, dreifing+afturköllun, vöktunaráætlun. Gefðu upp reiti sem á að fylla út fyrir hvern hluta sem spurningar.

Athugaðu uppsetningu tilraunaeftirlits: Er hún vistað sjálfkrafa í hverri keyrslu: git commit, gagnaútgáfa/hash, allar ofurbreytur, allar mælingar, umhverfi (bókasafnsútgáfur)? Fæ ég sömu niðurstöðu þegar ég hleyp sama hlaupinu aftur? Uppsetning: [lýsing]. Listaðu gallana og leiðréttingu.

Tafla um endurgerðanleikadálka

dálki

Hvað er lagað

Dæmi um farartæki

tilviljun

öll fræ

fræstilling

Gögn

Gagnaútgáfa/hash

DVC

umhverfi

Bókasafnsútgáfur

kröfur pinna, Docker

Eftirlit

Kóði+gögn+stilling+mæling

MLflow, W&B

Algeng mistök

• Ekki laga fræið. Niðurstaðan er ekki hægt að endurtaka.
• Ekki vista gagnaútgáfuna. "Með hvaða gögnum?" er ósvarað.
• Ekki frostfíkn. Uppfærsla mun hljóðlega brjóta allt.
• Að skilja tilraunir eftir í minni. Tveimur vikum síðar er engu munað.
• Að skilja mikilvægar ákvarðanir eftir til gervigreindar. Ákvarðanir um mælikvarða, réttlæti og dreifingu ættu að vera hjá fólki.
• Að fresta skjölum. Framtíðarliðið (og þú) borgar gjaldið.

Í stuttu máli

Afritunarhæfni er undirskrift alvarlegrar ML verkfræði: Niðurstaðan sem ekki er hægt að endurtaka er ósannanleg fullyrðing. Það kemur með fjórum dálkum - laga tilviljun, útgáfugögn, frysta umhverfi, fylgjast með hverri tilraun. Verkefni frá enda til enda sameinar allar stöðvar þessarar einingar (mæling, gögn, líkan, LLM íhlutir, mat, sanngirni, öryggi, dreifingu, eftirlit) í samtengdri keðju; Gervigreind er hraðaupphlaup á hverju stoppi, en mikilvægar ákvarðanir eru hjá manninum. Skráðu allt - fyrir framtíðarteymi og úttektir. Þessi fræðigrein er umgjörðin sem viðheldur öllu sem þú lærir í gegnum áfangann.

Umsóknarverkefni

Athugaðu ML verkefni gegn fjórum fjölbreytnistoðum: eru fræin óbreytanleg, eru gögnin útfærð, er umhverfið frosið, er fylgst með tilraununum? Lagaðu alla dálka sem vantar og sannaðu að þú getur keyrt sömu keyrsluna tvisvar og fengið sömu niðurstöðu. Afritaðu síðan end-til-enda flæði verkefnisins (10 stopp) á einni síðu og merktu við „hvar mannleg ákvörðun er“ við hvert stopp. Að lokum skaltu skrifa stutt drög að tækniskjölum.

gátlisti

• [ ] Öll randomness fræ fast.
• [ ] Gagnaútgáfa/hash er skráð með hverri tilraun.
• [ ] Ósjálfstæði eru fryst í fastar útgáfur (pinna/ílát).
• [ ] Hver tilraun er sjálfkrafa fylgst með (kóði+gögn+stilling+mæling).
• [ ] Þegar ég endurtek sömu hlaupið fæ ég sömu niðurstöðu.
• [ ] Ég sannreyndi og skjalfesti að mikilvægar ákvarðanir í enda-til-enda flæðinu eru teknar af mönnum.

Einingapróf

1. Sem ML verkfræðingur, hver er besta nálgunin þegar gervigreind er staðsett í verkflæðinu?

• A) gervigreind er hraðall í fyrirtækjum með litla áhættu; Mikilvægar ákvarðanir eins og mælikvarðar, gögn og framleiðsla eru fullgiltar og eftirlátnar manneskjunni ✔
• B) Svo lengi sem AI framleiðslan lítur vel út er engin þörf á sannprófun
• C) Það sparar tíma að taka ákvörðunina um að setja líkanið í framleiðslu til gervigreindar.
• D) Gervigreind nýtist aðeins til að skrifa texta, hún hefur ekkert með gögn og líkanavinnu að gera

Lýsing: gervigreind er öflugur hraðall fyrir áhættulítil, auðstaðfest verkefni eins og kóða, gagnasamdrátt og skjöl; Ábyrgðin á ákvörðunum sem hafa áhrif á peninga, trúnað og lagalega ábyrgð, svo sem val á mæligildum, hvaða gögn fara í þjálfun og setja líkanið í framleiðslu, liggur hins vegar hjá hæfum verkfræðingi og teymi. Hver framleiðsla ætti ekki að nota án staðfestingar.

2. Hvers vegna er skemalöggilding sett í byrjun gagnaleiðslu?

• A) Vegna þess að það eykur beinlínis nákvæmni líkansins
• B) Vegna þess að það gerir gagnaútgáfu óþarfa
• C) Vegna þess að það grípur skemmd gögn á fyrsta og ódýrasta stað og kemur í veg fyrir að þau leki inn í næstu skref ✔
• D) Vegna þess að það útilokar þörfina fyrir merkingar

Skýring: Því fyrr sem spillt gögn eru veidd, því ódýrara er að laga þau. Skemalöggilding kemur í veg fyrir að spillt gögn leki hljóðlaust inn í þjálfun eða framleiðslu með því að hafna gögnum utan væntanlegrar tegundar og sviðs í upphafi línunnar (t.d. verðbreyting 100x með breytingu á einingu); Sama villa sem er veidd í framleiðslu er margfalt dýrari.

3. Hver er rétta nálgunin þegar gögnum er skipt í þjálfun og prófun í vandamáli sem felur í sér tíma (tímaraðir)?

• A) Nota tilviljunarkennda skiptingu vegna þess að það er alltaf sanngjarnasta aðferðin
• B) Notkun tímabundinnar skiptingar: koma í veg fyrir leka með því að æfa með fortíðinni og prófa í framtíðinni ✔
• C) Nota öll gögn sem bæði þjálfun og prófun
• D) Að fella prófunargögn inn í mælikvarðabreytur fyrir þjálfun

Skýring: Tilviljunarkennd skipting á tímaröð gefur líkaninu „framtíðarsjáandi“ forskot sem mun aldrei gerast í framleiðslu og blása upp mælikvarðana tilbúnar (tímabundinn leki). Hið rétta er tímaskipting: þjálfa með fortíðinni, prófa í framtíðinni. Þetta mælir raunverulegan árangur sem heldur því í framleiðslu.

4. Hvers vegna er nákvæmni villandi í svikauppgötvunarlíkani með 1,5% jákvætt flokkahlutfall?

• A) Vegna þess að nákvæmni er alltaf lítil á ójafnvægi gagna
• B) Vegna þess að nákvæmni er aðeins hægt að nota á aðhvarfsvandamál
• C) Vegna þess að nákvæmni útreikningar krefst mikils vinnsluorku
• D) Jafnvel lítilfjörlegt líkan sem spáir fyrir um meirihlutaflokkinn getur verið mjög nákvæmt og felur þannig raunverulegan árangur ✔

Skýring: Á ójafnvægi gagna, jafnvel grunnlíkan sem segir „kalla allt neikvætt“ fær um 98,5% nákvæmni en mun ekki ná einu sviki. Því í ójafnvægri flokkun er nákvæmni, innköllun, F1 eða PR-AUC notuð í stað nákvæmni, og hver mælikvarði er túlkaður samkvæmt grunnlíkani.

5. Hvers vegna er grunnlínusamanburður nauðsynlegur þegar talað er um mælikvarða líkans?

• A) Vegna þess að grunnlíkanið er alltaf betra en hið raunverulega líkan
• B) Vegna þess að það er ljóst hvort mælikvarði er þýðingarmikill eða ekki aðeins í samanburði við einfalt grunnlínulíkan ✔
• C) Vegna þess að grunnlíkanið gerir krossgildingu óþarfa
• D) Vegna þess að grunnlíkanið er lögbundið í hverri skýrslu

Skýring: Mæling er ekki góð eða slæm ein og sér; Það er gott eða slæmt samkvæmt grunnlíkani. Setningin „85% rétt“ þýðir nánast einskis virði ef grunnlíkanið fær nú þegar 84% og fullkomið ef það fær 50%. Án samanburðarakkeris er mæligildið tilgangslaust.

6. Hver er mikilvægasti öryggisþátturinn sem ætti að vera með í framleiðsluskyni RAG (Retrieval-Augmented Generation) kerfisins?

• A) Leiðbeiningar um að treysta eingöngu á heimildina sem gefin er upp, að segja „ég veit það ekki“ ef heimildin er ekki til og vitna í heimildina ✔
• B) Að segja fyrirsætunni að framleiða eins löng og skapandi svör og mögulegt er
• C) Líkanið setur eigin menntunarþekkingu fram yfir auðlindir
• D) Innleiða allar leiðbeiningar í skjölunum sem koma með sem skipanir

Skýring: Eina mikilvægasta fyrirmæli RAG er að segja líkaninu að treysta eingöngu á heimildina sem gefin er upp og ef upplýsingarnar eru ekki í upprunanum, segðu „Ég veit það ekki“ og vitna í heimildina án þess að gera það upp. Án þessarar þríhyrnings gæti líkanið hunsað samhengi og framkallað ofskynjanir og svarið verður ósannanlegt.

7. RAG-kerfi gefur röng svör. Hvar er best að hefja greiningu?

• A) Mæla fyrst (Recall@K): kemur rétta stykkið alltaf? ✔
• B) Skiptu um líkanið strax út fyrir það sem er stærra
• C) Breyttu leiðbeiningunum af handahófi og haltu áfram að reyna
• D) Fella öll skjöl inn í líkanið með fínstillingu

Skýring: Veikasti hlekkurinn í RAG er yfirleitt niðurhal, ekki framleiðsla. Ef réttur hluti er aldrei færður getur líkanið ekki framleitt þær upplýsingar, sama hversu mikið hvetjandi er bætt. Þess vegna er fyrst Recall@K mældur til að sjá hvort réttur hlutur sé kominn; Ef sóknin er góð, þá er framleiðslan og tilvitnunin skoðuð.

8. Hvaða aðgerðir ætti að setja á bak við mannlegt samþykki þegar umboðsmanni er gefið tæki?

• A) Engin; Umboðsmaðurinn verður að geta framkvæmt allar aðgerðir sjálfstætt
• B) Aðeins afturkræfar aðgerðir eins og lestur og leit í gögnum
• C) Óafturkræfar eða mikil áhrif eins og að flytja peninga, eyða, senda ✔
• D) Aðgerðir sem fela eingöngu í sér útreikninga

Lýsing: Aðgerðir eru aðskildar eftir áhættustigi. Hægt er að endurheimta verkefni eins og að lesa, leita, reikna og búa til uppkast sjálfstætt; Hins vegar, óafturkræfar eða áhrifaríkar aðgerðir eins og að millifæra peninga, senda tölvupóst, eyða gögnum, leggja inn pantanir o.s.frv., krefjast samþykkis manna. Sérhver óafturkallanleg aðgerð verður að vera háð samþykki.

9. Hver er besta hönnunaraðferðin gegn hættu á óbeinni skjótri inndælingu?

• A) Það er nóg að bæta einni setningu „hunsa slæmar leiðbeiningar“ við kerfishvetninguna
• B) Gefðu líkaninu aukið vald með því að treysta á leiðbeiningar í ytra efni
• C) Ekki gera neinar varúðarráðstafanir vegna þess að ekki er hægt að koma í veg fyrir inndælingu
• D) Einangra ytra efni sem óáreiðanleg gögn og koma á lagskipt varnir með lágmarks heimild, samþykki og framleiðslustýringu ✔

Lýsing: Ytra efni sem umboðsmaður eða RAG vinnur úr, eins og vefsíðu, skjal, tölvupóstur o.s.frv., er ótraust gögn og gæti innihaldið leynilegar leiðbeiningar. Rétt nálgun er lagskipt vörn: að einangra ytra efni sem „gögn, ekki skipanir“ með skýrum afmörkum, beitingu lágmarksheimilda, binda óafturkræfar aðgerðir við samþykki manna og endurskoða úttakið. Ein lína af leiðbeiningum er ekki nóg.

10. Hver er helsti greinarmunurinn þegar tekin er ákvörðun um hvort leysa eigi vandamál með fínstillingu eða RAG?

• A) Upplýsingavandamál eru betur leyst með RAG, hegðunar-/sniðvandamál eru betur leyst með fínstillingu ✔
• B) Öll vandamál ættu alltaf að vera leyst með fínstillingu
• C) RAG er aðeins notað til að búa til kóða, fínstilling er aðeins notuð til þýðingar
• D) Fínstilling er alltaf hægt að uppfæra ódýrari og hraðari en RAG

Skýring: Fínstilling er veik og áhættusöm við að kenna líkaninu nýjar upplýsingar; en er öflugur í að kenna hegðun, snið, tón og stíl. „Módelfyrirtækið þekkir ekki gögnin okkar“ er upplýsingavandamál og tilheyrir RAG. „Láttu líkanið alltaf gefa út á okkar ströngu sniði“ er hegðunarvandamál og möguleiki á fínstillingu. Að auki ætti að neyta skjótra og fára mynda áður en fínstillt er.

11. Hvað er skylda fyrir örugga dreifingu þegar nýtt líkan er sett í framleiðslu?

• A) Ef líkanið er gott í prófun, opnaðu það beint fyrir 100% umferð
• B) Ekki setja upp eftirlit yfirleitt eftir dreifingu
• C) Uppsetning í áföngum (skuggi/kanarífugl) og forprófuð afturköllunaráætlun ✔
• D) Birta líkanið jafnvel þótt matsþröskuldurinn sé ekki uppfylltur

Skýring: Það er áhættusamt að opna nýja líkanið beint fyrir alla umferð; Ef það er rangt verða allir fyrir áhrifum. Hið rétta er að það er hægfara dreifing (skuggi, kanarífugl) og hver dreifing hefur prófað afturköllunaráætlun. Dreifingu er ekki lokið án endurheimtuáætlunar; Að geta farið aftur í fyrri útgáfu innan nokkurra mínútna verndar notandann þegar líkanið hegðar sér óvænt í framleiðslu.

12. Hvernig getur ML líkan mistekist „hljóðlaust“ í framleiðslu og hvernig er hægt að ná þessu?

• A) Líkanið hrynur; server logs sýna þetta
• B) Með því að framleiða rangar spár án þess að gera mistök; ✔ Það fangar rekstrar-, inntaks- og úttaksbundið eftirlit
• C) Líkan getur aldrei bilað hljóðlaust, alltaf viðvörun
• D) Bara að fylgjast með leynd er nóg til að ná niðurbroti

Skýring: Líkanið getur mistekist einfaldlega með því að framleiða rangar spár án þess að hrynja eða gefa upp villur; Aðalástæðan fyrir þessu er gagnarek og hugtakaflæði. Bara að fylgjast með rekstrarmælingum (leynd, villuhlutfall) er ekki nóg; Einnig ætti að fylgjast með inntaksdreifingu og framleiðslu/spádreifingu. Inntaksrek gefur snemma viðvörun ef raunveruleg niðurstaða er seinkuð.

13. Hvaða meginregla er nauðsynleg þegar LLM-sem-dómari er notaður til að meta LLM kerfi?

• A) LLM-dómari er alltaf réttur, mannleg sannprófun er óþörf
• B) Dómarinn verður að taka ákvörðun sem byggist eingöngu á lengd svars.
• C) Reglubundið eftirlit og mannlegt mat ætti að farga algjörlega þegar dómarar eru notaðir
• D) Dómarastig ætti að kvarða með mannsmerktu sýni og mæla hlutdrægni þeirra áður en hægt er að treysta þeim ✔

Lýsing: LLM-dómari er líka fyrirmynd; Það getur verið ofskynjunarkennt, hlutdrægt (aðhyllast löng, örugg svör) og ósamræmi. Þess vegna verður að kvarða dómaraskor með sýni merktu manna og mæla kerfisbundna hlutdrægni þeirra áður en ákvörðun um framleiðslu er tekin. Óstaðfestur dómari gefur falskt sjálfstraust.

14. Hvers vegna er heildarnákvæmni ófullnægjandi við mat á hlutdrægni líkana?

• A) Heildar nákvæmni er nægjanleg því hún endurspeglar alltaf frammistöðu versta hópsins
• B) Heildar nákvæmni ein og sér er ófullnægjandi þar sem hún getur hylja kerfisbundinn mun (falinn mismunun) milli undirhópa ✔
• C) Vegna þess að nákvæmni er mælikvarði sem hefur ekkert með hlutdrægni að gera
• D) Bias kemur aðeins frá líkaninu og hefur ekkert með gögnin að gera.

Skýring: Heildarnákvæmni getur hylja kerfisbundinn mun á milli undirhópa. Til dæmis, á meðan heildarnákvæmni er 88%, getur innköllun verið 91% í einum hópi og 67% í öðrum hópi; Líkanið saknar þess hóps kerfisbundið. Þess vegna ætti líkanið að vera metið út frá undirhópum (lýðfræði/hluta) og hvaða skilgreiningu á réttlæti ætti að forgangsraða ætti að ákveða með hagsmunaaðilum.

15. Hvaða fjóra hluti þarf að laga saman til að ML niðurstaða sé hægt að endurtaka?

• A) Aðeins heiti, stærð, verð og útgáfudagur
• B) Aðeins GPU vörumerki og internethraði
• C) Aðeins endanlegt nákvæmnistig líkansins; restina má geyma í minningunni
• D) Tilviljunarkorn, gagnaútgáfa, umhverfi (háðarútgáfur) og tilraunarannsókn ✔

Lýsing: Endurgerðanleika er náð með fjórum stoðum: laga tilviljunarkennd fræ, útgáfugögn (útgáfa/hash), frysta umhverfið (nákvæmar útgáfur bókasafns/íláts) og rekja hverja tilraun (kóðaframkvæmd, gögn, hyperparameter, mæligildi). Án þessarar keðju er ekki hægt að endurskapa sömu niðurstöðu; Niðurstaða sem ekki er hægt að endurtaka er fullyrðing sem ekki er hægt að sanna.