Köpeltmek we Ahyrzaman Taslamasy: Hemme zady birleşdirmek

Girdeji:

• Dört sütün bilen köpelmegi üpjün etmek (tohumlary berkitmek, maglumatlary wersiýalaşdyrmak, mediany doňdurmak, synag gözegçiligi) we şol bir ylgawy gaýtalanyňyzda şol bir netijäni bermek ukyby
• Modulyň ähli duralgalaryny (ölçegler, maglumatlar, model, LLM komponentleri, baha bermek, adalatlylyk, howpsuzlyk, paýlamak, gözegçilik) ahyrky zynjyrda birleşdirmek ukyby
• Möhüm kararyň her duralgada adamda galýandygyny barlamak we taslamany auditor görnüşinde resminamalaşdyrmak

ML taslamasynyň iň mekir şowsuzlygy heläkçilik däl; "Againene bir gezek netije almaýaryn" Üç aý mundan ozal öndüren modeliňiziň balyny şu gün köpeldip bilmeseňiz, bu modeli hakykatdanam dolandyryp bilmersiňiz. Bu ýapylýan bölümde köpelmegi çuňlaşdyrýarys: şol bir netijäni şol bir giriş bilen ygtybarly almak we taslama modulynyň ahyrynda ähli moduly birleşdirmek ukyby.

Näme üçin köpelmek kyn?

Ordinaryönekeý programma üpjünçiliginde şol bir kod şol bir çykyş berýär. ML-de netijäni kesgitleýän başga-da köp üýtgeýjiler bar:

• Tötänlik: Maglumatlaryň üýtgemegi, agramyň başlangyjy, maglumatlaryň bölünmegi - bularyň hemmesi tötänleýinlige esaslanýar.
• Maglumat: Birmeňzeş kody dürli maglumatlar wersiýasy bilen dürli model öndürýär.
• Daşky gurşaw: Kitaphananyň wersiýalary, enjamlar (CPU / GPU), hatda operasiýa ulgamy hem netijäni üýtgedip biler.
• Gizlin ýagdaý: Tygşytlanmadyk giperparametr, el bilen işlenip düzülen ädim, belliksiz saýlama.

Köpeltmek "bolmak gowy" däl-de, ylmy we in engineeringenerçilik hökmany. Köpeldip bolmaýan netije, subut edip bolmaýan talapdyr.

Köpeltmek üçin dört sütün

1. Tötänligi düzediň. Andomhli tötänleýin tohumlary bir ýerde goýuň: maglumatlary bölmek, modeliň başlangyjy, maglumatlary üýtgetmek. Kesgitlenen tohum "şol bir ylgawy gaýtalanyňda şol bir netije" kepilliginiň esasyny düzýär.

2. Maglumatlaryň wersiýasy. Her synagyň haýsy maglumat wersiýasy bilen geçirilendigini ýazyň (2-nji bölümde maglumat wersiýasy). “Iň soňky maglumatlar” düşnüksiz; "maglumat wersiýasy v3, hash abc123" takyk.

3. Gurluşy doňduryň. Dependhli baglylyklary takyk wersiýalaryna berkidiň (meselem, numpy == 1.26.4 talaplary.txt ýa-da konteýner şekili ýaly takyk wersiýalary). "Iň soňky wersiýa" bir gün hemme zady bozar.

4. Hemme zady yzarlaň (synag yzarlamasy). Her synag üçin awtomatiki usulda tygşytlaň: kod wersiýasy (git commit), maglumat wersiýasy, ähli giperparametrler, ölçegler we çykyş gurluşlary. MLflow, Agramlar we Biases ýaly synag yzarlaýyş gurallary muny yzygiderli edýär. Hasaba alynmazdan, "haýsy sazlamanyň iň gowusy" diýen sorag jogapsyz galýar.

Üns beriň: "Soňrak ýadyma düşer" iň gymmat ýalňyşlyk. Iki hepde soň haýsy tohumy, haýsy maglumatlary, haýsy giperparametri ulandyňyz ýadyňyza düşmez. Awtomatiki yzarlamak, ýada baglylygy aradan aýyrýar.

Gowşak çemeleşme / Güýçli çemeleşme

Gowşak: "Iň gowy modeli tapdym, depderde, baly 89% diýip pikir edýärin."

Güýçli: "Synag yzarlaýyş guralynda # 147 işlediň: git a3f9c, maglumat wersiýasy v3 (hash abc123), tohum 42, ähli giperparametrler hasaba alyndy, PR-AUC 0.887 synagyny geçiriň. Şol bir buýrugy täzeden işledenimde, birmeňzeş netijäni alýaryn. Model registrdäki bu işe bagly."

Tapawut: güýçli çemeleşmede netije ýada esaslanman, durnukly we gözegçilik edilýän zynjyrda bolýar. Her kim her gezek şol bir netijäni berip biler.

Ahyrky taslama: modulyň utgaşmasy

Indi ähli moduly bir taslama akymyna birleşdireliň. Hakyky ML ulgamy bu duralgalardan geçýär we her duralga öňki ulgamda gurulýar:

1. Meseläniň kesgitlemesi: Näme çözýäris, üstünligi nädip ölçemeli (3-nji bölüm: dogry ölçeg, iş konteksti). Metrik we çäk başyndan aýdyňdyr.
2. Maglumat geçirijisi: Collectionygnamak, tassyklamak, arassalamak, syzmazdan bölmek, wersiýa (2-nji bölüm).
3. Modeliň ösüşi: Okuw, esasy deňeşdirme, kesişme, gaty tohum (3-nji bölüm + bu bölüm).
4. LLM komponentleri (bar bolsa): RAG (4 birlik) we / ýa-da agentler (5 bölüm); zerur bolsa gowy düzmek (6-njy bölüm).
5. Baha bermek: gyrasy we howpsuzlyk ýagdaýlary bilen baha beriş topary, LLM ulgamlarynda köp gatlakly baha (8-nji bölüm).
6. Adalat we etika barlagy: Toparlaýyn derňew, model kartoçka, düşündiriş (10 bölüm).
7. Howpsuzlyk barlagy: Derrew sanjym, gizlinlik, üpjünçilik zynjyry (9-njy bölüm).
8. Bölüşi: Gaplamak, ýuwaş-ýuwaşdan paýlamak, yzyna gaýtarmak, model sanawy (7-nji bölüm).
9. Gözegçilik: Üç gatly gözegçilik, drift duýduryşlary (8-nji bölüm).
10. Köpeltmek: Tohum, maglumat wersiýasy, media we tutuş zynjyrda synag synagy (bu bölüm).

Bu akymda AI her duralgada tizlendiriji we meýilnama generatorydyr; emma ölçeg saýlamak, maglumat kararlary, adalatlylygy ileri tutmak, ýerleşdirmegiň çäkleri we goýberilişi tassyklamak - möhüm kararlar adamda galýar. Bu modulyň özeni.

Resminamalar: geljek size sag bolsun aýdýar

Gowy ML taslamasynyň özi resminama berýär. Iň bolmanda, aşakdakylar ýazylmalydyr: mesele we üstünlik ölçegleri, maglumat çeşmesi we wersiýasy, model saýlamalary we esaslandyrmalar, baha beriş netijeleri (kiçi toparlary goşmak bilen), belli çäkler we töwekgelçilikler, ýerleşdirmek we gözlemek prosedurasy, gözegçilik meýilnamasy. Bu resminama, alty aýdan soň taslama gaýdyp gelen adamyň iň gowy dostudyr (belki-de sizdir).

üç sany kiçi halat

1-nji waka - ostitirilen netije. Bir inerener ajaýyp modeli taýýarlady, ýöne tohumy düzetmedi we maglumat wersiýasyny ýatda saklamady. Işinden aýrylanda hiç kim bu netijäni köpeldip bilmedi; model "gara guty rowaýaty" boldy we ahyrynda noldan guruldy. Hepdeler biderek boldy. Sapak: köpelip bolmaýan netije ýok netijedir.

2-nji hadysa - Daşky gurşawyň çökmegi. Bir topar garaşlylygy düzetmedi. Kitaphana awtomatiki usulda täzelenende, model netijeleri sessiz üýtgedi we önümçilik kesildi. Meseläni tapmak üçin birnäçe gün gerek boldy. Haçan-da baglylyklar doňup, kesgitli wersiýalary bilen konteýnerlenende, mesele ýene ýüze çykmady. Sapak: daşky gurşawy doňdurmak.

3-nji hadysa - Gözegçiligiň güýji. Bir topar her synaga awtomatiki gözegçilik edýärdi. Üç aýdan soň, kadalaşdyryjy barlag wagtynda "haýsy maglumatlar bilen, haýsy sazlamalar bilen, haýsy toparlarda haýsy öndürijilik gazandy?" Diýen soraga jogap berdiler. birnäçe minutyň içinde doly ýazgy bilen. Barlag gowy geçdi. Sapak: gözegçilik diňe bir in engineeringenerçilik guraly däl-de, laýyklyk guralydyr.

Göçürip boljak galyplar

Bu ML taslamasy üçin köpeliş barlygyny barlaýarsyňyzmy? Her ýiten sütün üçin ony nädip düzetmelidigi barada anyk ädimler ýazyň. Taslamanyň gurluşy: [düşündiriş]

Bu ahyrky ML taslamasy üçin meýilnama skeletini öndüriň. Mesele: [düşündiriş] Aşakdaky duralgalary ýapyň we adam duralgasynyň her duralgada nirededigini belläň: mesele / ölçeg, turbageçiriji, model, (RAG / agent / gowy sazlamak?), Baha bermek, adalatlylyk, howpsuzlyk, paýlamak, gözegçilik, köpelmek. Her duralga üçin esasy töwekgelçiligi we barlamak ädimini ýazyň.

Bu taslama üçin tehniki resminama şablonyny öndüriň. Bölümler: mesele + üstünlik ölçegleri, maglumatlar (çeşme + wersiýa), model saýlamalary + esaslandyrmak, baha bermek (kiçi toparlary goşmak bilen), belli çäkler + töwekgelçilikler, ýaýbaňlandyrma + yza gaýtmak, gözegçilik meýilnamasy. Sorag hökmünde her bölüm üçin dolduryljak meýdanlary beriň.

Synag gözegçiligimi barlaň: Her işde awtomatiki usulda saklanýarmy: git commit, data version / hash, ähli giperparametrler, ähli ölçegler, daşky gurşaw (kitaphananyň wersiýalary)? Şol bir ylgawy täzeden işledenimde şol bir netijäni alýarynmy? Gurnama: [düşündiriş]. Kemçilikleri we düzedişleri sanaň.

Köpeltmek sütünleriniň tablisasy

sütün

Näme düzedildi

Awtoulag mysaly

tötänlik

ähli tohumlar

tohum goýmak

Maglumatlar

Maglumat wersiýasy / hash

DVC

daşky gurşaw

Kitaphananyň wersiýalary

talaplar pin, Docker

Gözegçilik

Kod + maglumatlar + sazlama + ölçeg

MLflow, W&B

Adaty ýalňyşlyklar

• Tohumy düzetmezlik. Netijäni gaýtalap bolmaz.
• Maglumat wersiýasyny ýazdyrmaýar. "Haýsy maglumatlar bilen?" jogapsyz galýar.
• Doňdurma endikleri däl. Täzelenme hemme zady ýuwaşlyk bilen bozar.
• Synaglary ýatda saklamak. Iki hepde soň hiç zat ýatda galmaýar.
• Emeli intellekt üçin möhüm kararlary goýmak. Metrika, adalat we paýlamak kararlary adamlar bilen galmalydyr.
• Resminamalary yza süýşürmek. Geljekki topar (we siz) bahany töleýär.

Gysgaça

Köpeltmek çynlakaý ML in engineeringenerçiliginiň goly: köpelip bolmaýan netije, tassyklap bolmajak talap. Dört sütün bilen gelýär - tötänleýinligi, wersiýa maglumatlary düzediň, gurşawy doňduryň, her synagy yzarlaň. Ahyrky taslama bu modulyň ähli duralgalaryny (ölçeg, maglumatlar, model, LLM komponentleri, baha bermek, adalatlylyk, howpsuzlyk, paýlamak, gözegçilik) birleşdirilen zynjyrda birleşdirýär; Emeli intellekt her duralgada tizlendiriji bolup durýar, ýöne möhüm kararlar adamda galýar. Hemme zady resminama ediň - geljekki topar we barlaglar üçin. Bu tertip, modulyň dowamynda öwrenen zatlaryňyzyň hemmesini goldaýan çarçuwadyr.

Programma meselesi

Dört köpelmek sütünine garşy ML taslamasyny barlaň: tohumlar üýtgewsizmi, maglumatlar wersiýamy, daşky gurşaw doňdumy, synaglar yzarlanýarmy? Missingitirilen sütünleri düzediň we şol bir ylgawy iki gezek işledip we şol bir netijäni alyp biljekdigiňizi subut ediň. Soňra taslamanyň ahyrky akymyny (10 duralga) bir sahypada çykaryň we her duralgada "adamyň karary nirede" diýip belläň. Ahyrynda gysga tehniki resminamalaryň taslamasyny ýazyň.

gözegçilik sanawy

• [] Andomhli tötänleýin tohumlar düzedildi.
• [] Maglumatlaryň wersiýasy / hash her synag bilen ýazylýar.
• [] Baglanyşyklar berk wersiýalara (pin / konteýner) doňduryldy.
• [] Her synag awtomatiki gözegçilikde saklanýar (kod + maglumatlar + sazlama + ölçeg).
• [] Şol bir ylgawy gaýtalasam, şol bir netijäni alýaryn.
• [] Ahyrky akymda möhüm kararlaryň adamlar tarapyndan kabul edilýändigini tassykladym we dokumentleşdirdim.

Modul synagy

1. ML inereneri hökmünde, emeli intellekti iş prosesinde ýerleşdireniňde iň gowy çemeleşme haýsy?

• A) AI pes töwekgelçilikli kärhanalarda tizlendiriji; Ölçegler, maglumatlar we önümçilik ýaly möhüm kararlar tassyklanýar we adama galdyrylýar
• B) AI netijeleri gowy görünýänçä, barlamaga zerurlyk ýok
• C) Modeliň emeli intellektde öndürilmegi baradaky karary terk etmek wagt tygşytlaýar.
• D) Emeli intellekt diňe tekst ýazmak üçin peýdaly, maglumatlar we model işleri bilen hiç hili baglanyşygy ýok

Düşündiriş: AI pes töwekgelçilikli, kod, maglumat siňdiriş we resminamalar ýaly aňsat barlanylýan meseleler üçin güýçli tizlendiriji; Şeýle-de bolsa, maglumat tälimine girýän we modeli önümçilige girizýän metrik saýlamak ýaly pul, gizlinlik we kanuny jogapkärçilige täsir edýän kararlaryň jogapkärçiligi ökde inerener we topar jogapkärçiligindedir. Her çykyşy barlamazdan ulanmaly däl.

2. Näme üçin shema tassyklamasy maglumat turbasynyň başynda goýulýar?

• A) Sebäbi modeliň takyklygyny gönüden-göni ýokarlandyrýar
• B) Maglumatlaryň wersiýasyny zerur däl edýär
• C) Sebäbi bozulan maglumatlary iň irki we iň arzan nokatda alýar we indiki ädimlere geçmeginiň öňüni alýar ✔
• D) Sebäbi bellik etmegiň zerurlygyny aradan aýyrýar

Düşündiriş: Öňki korrumpirlenen maglumatlar tutulsa, ony düzetmek arzan. Shemany tassyklamak, setiriň başynda garaşylýan görnüşden we diapazondan daşgary maglumatlary ret etmek bilen korrumpirlenen maglumatlaryň tälim ýa-da önümçilige sessiz girmeginiň öňüni alýar (meselem, bahanyň üýtgemegi bilen baha 100x üýtgeýär); Önümçilikde tutulan şol bir ýalňyşlyk birnäçe esse gymmat.

3. Wagt (wagt seriýasy) bilen baglanyşykly meselede maglumatlary okuwlara we synaglara bölmekde dogry çemeleşme haýsy?

• A) Tötänleýin bölünmegi ulanmak, sebäbi hemişe iň adalatly usul
• B) Wagtlaýyn bölünişigi ulanmak: geçmiş bilen türgenleşmek we geljekde synag arkaly syzmagyň öňüni almak ✔
• C) datahli maglumatlary okuw we synag hökmünde ulanmak
• D) Okuw maglumatlaryny okuwdan ozal masştab parametrlerine goşmak

Düşündiriş: Wagt seriýalarynda tötänleýin bölünmek, modelde önümçilikde hiç haçan bolmajak we ölçegleri emeli usulda ýokarlandyrýan “wagtlaýyn görmek” artykmaçlygyny berýär. Dogry wagtlaýyn bölünişik: geçmiş bilen türgenleşmek, geljekde synag. Bu önümçilikde saklaýan hakyky öndürijiligini ölçýär.

4. Näme üçin polo positiveitel synp derejesi 1,5% bolan galplygy ýüze çykarmak modelinde takyklyk ýalňyşýar?

• A) Sebäbi deňagramsyzlyk maglumatlarynda takyklyk hemişe pes
• B) Takyklygy diňe regressiýa meselelerinde ulanyp bolýar
• C) Takyklygy hasaplamak köp işleýiş güýjüni talap edýär
• D) Hatda köplük synpyny çaklaýan gaty az model hem gaty takyk bolup biler, şeýlelik bilen hakyky üstünligi gizlär ✔

Düşündiriş: Deňagramsyz maglumatlarda, hatda "hemme zady negatiw diýiň" diýýän esasy model takmynan 98.5% takyklygy alýar, ýöne ýekeje galplyk hem bolmaz. Şonuň üçin deňagramsyz klassifikasiýada takyklygyň ýerine takyklyk, ýatlamak, F1 ýa-da PR-AUC ulanylýar we her ölçeg esasy model boýunça düşündirilýär.

5. Modeliň ölçegi barada aýdylanda näme üçin esasy deňeşdirme zerur?

• A) Sebäbi esasy model hemişe hakyky modelden has gowudyr
• B) Sebäbi metrikanyň manylydygy ýa-da diňe ýönekeý başlangyç model bilen deňeşdirilende däl
• C) Esasy model, kesişmegi zerur däl edýär
• D) Esasy model her hasabatda kanuny taýdan talap edilýär

Düşündiriş: Metrikiň özi gowy ýa-da erbet däl; Esasy modele görä gowy ýa-da erbet. '85% dogry 'sözlemi, esasy model eýýäm 84% alsa, 50% alsa ajaýyp diýmekdir. Deňeşdirme labyry bolmasa, ölçeg manysyz.

6. RAG (Retrieval-Augmented Generation) ulgamynyň önümçilik islegine goşulmaly iň möhüm howpsuzlyk elementi haýsy?

• A) Diňe berlen çeşmä bil baglamak, çeşmesi ýok bolsa 'bilemok' diýmek we çeşmä salgylanmak
• B) Modeliň mümkin boldugyça uzyn we döredijilikli jogap bermegini aýtmak
• C) Model öz bilim bilimlerini çeşmelerden has ileri tutýar
• D) Buýruk hökmünde getirilen resminamalarda ähli görkezmeleri ýerine ýetiriň

Düşündiriş: RAG-yň iň möhüm görkezmesi, modele diňe berlen çeşmä bil baglamagy, eger maglumat çeşmede ýok bolsa, 'bilemok' diýiň we çeşmesini düzmezden çeşmä salgylanyň. Bu üçburçlyk bolmasa, model kontekste ähmiýet bermez we galýusinasiýa döredip biler we jogap tassyklap bolmaýar.

7. RAG ulgamy nädogry jogap berýär. Keseli anyklamak üçin iň gowy ýer nirede?

• A) Ilki bilen getirmegi ölçemek (@ Kady ýada salyň): dogry eser hiç wagt gelermi? ✔
• B) Modeli derrew has ulusy bilen çalyşyň
• C) Talaby tötänleýin üýtgediň we synanyşmagy dowam etdiriň
• D) documentshli resminamalary inçe düzmek bilen modele ornaşdyrmak

Düşündiriş: RAG-nyň iň gowşak baglanyşygy, adatça önümçilik däl-de, almakdyr. Dogry bölegi hiç haçan getirilmese, haýyş näçe gowulaşsa-da, model şol maglumatlary öndürip bilmez. Şonuň üçin ilki bilen “Recall @ K” dogry böleginiň gelendigini ýa-da ýokdugyny görmek üçin ölçelýär; Getirmek gowy bolsa, önümçilik we gyssagly gözden geçirilýär.

8. Agente gural berlende adam tarapyndan makullanmagyň aňyrsynda haýsy hereketler edilmeli?

• A) Hiç biri; Agent her hereketi özbaşdak ýerine ýetirmeli
• B) Diňe maglumatlary okamak we gözlemek ýaly tersine hereketler
• C) Pul geçirmek, pozmak, ibermek ýaly yzyna gaýtaryp bolmajak ýa-da ýokary täsirli hereketler
• D) Diňe hasaplamalary öz içine alýan hereketler

Düşündiriş: Hereketler töwekgelçilik derejesi bilen bölünýär. Okamak, gözlemek, hasaplamak we garalamalary döretmek ýaly alyp bolýan meseleler özbaşdak edilip bilner; Şeýle-de bolsa, pul geçirmek, e-poçta ibermek, maglumatlary pozmak, sargytlary ýerleşdirmek we ş.m. ýaly yzyna gaýtaryp bolmajak ýa-da ýokary täsirli hereketler adamyň razylygyny talap edýär. Her yzyna gaýtaryp bolmajak hereket razy bolmaly.

9. Gytaklaýyn gyssagly sanjym töwekgelçiligine garşy iň oňat dizaýn çemeleşmesi haýsy?

• A) Ulgam islegine 'erbet görkezmeleri äsgermezlik' diýen bir sözlem goşmak ýeterlikdir
• B) Daşarky mazmundaky görkezmelere bil baglap, modele has köp ygtyýar beriň
• C) Hiç hili çäreleri görmezlik, sebäbi sanjymyň öňüni alyp bolmaýar
• D) Daşarky mazmuny ygtybarsyz maglumatlar hökmünde izolirlemek we minimal ygtyýar, tassyklama we çykyş gözegçiligi bilen gatlakly goraglary döretmek ✔

Düşündiriş: Web sahypasy, resminama, e-poçta we ş.m. ýaly agent ýa-da RAG tarapyndan işlenýän daşarky mazmun ynamsyz maglumatlar we gizlin görkezmeleri öz içine alyp biler. Dogry çemeleşme gatlakly goranyşdyr: daşarky mazmuny anyk kesgitleýjiler bilen “maglumatlar däl-de, maglumatlar” hökmünde izolirlemek, minimal ygtyýarnamany ulanmak, yzyna gaýtaryp bolmajak hereketleri adam razylygy bilen baglanyşdyrmak we netijäni barlamak. Bir setir görkezme ýeterlik däl.

10. Bir meseläni inçe düzmek ýa-da RAG bilen çözmeli diýen karara gelende esasy tapawut näme?

• A) Maglumat problemalary RAG bilen has gowy çözülýär, özüni alyp barmak / format meselesi inçe düzmek bilen has gowy çözülýär
• B) Her bir mesele elmydama inçe düzmek arkaly çözülmelidir
• C) RAG diňe kod döretmek üçin ulanylýar, inçe düzmek diňe terjime üçin ulanylýar
• D) Inçe sazlamak elmydama RAG-dan arzan we has çalt täzelenip bilner

Düşündiriş: Gowy düzmek modele täze maglumatlary öwretmekde gowşak we töwekgelçilikli; ýöne özüni alyp barşyny, formatyny, äheňini we stilini öwretmekde güýçli. 'Model kompaniýa biziň maglumatlarymyzy bilmeýär' maglumat meselesidir we RAG-a degişlidir. 'Model hemişe berk formatda çyksyn', özüni alyp barşyň meselesi we gowy düzülmek üçin dalaşgär. Mundan başga-da, gowy düzülmezden ozal gyssagly we az ok sarp etmeli.

11. Önümçilige täze model goýlanda howpsuz ýerleşdirmek üçin haýsy hökmany?

• A) Model synagda gowy bolsa, göni 100% traffige açyň
• B) ýerleşdirilenden soň asla gözegçilik gurmazlyk
• C) Tapgyrlaýyn ýerleşdirme (kölege / kanar) we öňünden synagdan geçen yzyna gaýtaryş meýilnamasy ✔
• D) Bahalandyryş çägine laýyk gelmese-de modeli neşir etmek

Düşündiriş: Täze modeli ähli traffige gönüden-göni açmak töwekgelçiliklidir; Wrongalňyş bolsa, hemmelere täsir edilýär. Dogry zat, bu ýuwaş-ýuwaşdan paýlanyşdyr (kölege, kanar) we her paýlanyşyň synagdan geçen meýilnamasy bar. Bir paýlama meýilnamasyz paýlamak doly däl; Öňki wersiýa birnäçe minutyň içinde gaýdyp gelmek, model önümçilikde garaşylmadyk ýagdaýda özüni alyp barsa, ulanyjyny goraýar.

12. ML modeli nädip önümçilikde “sessiz” şowsuz bolup biler we muny ele almagyň ýoly näme?

• A) Model ýykylýar; serwer surnallary muny görkezýär
• B) ýalňyşlyk goýbermezden nädogry çaklamalary çykarmak bilen; Operating Amal, giriş we çykyş derejeli gözegçiligi ele alýar
• C) Model hiç wagt dymyp, hemişe duýduryş berip bilmez
• D) Diňe gijikdirilişe gözegçilik etmek, islendik bozulmany tutmak üçin ýeterlikdir

Düşündiriş: Model ýykylmazdan ýa-da ýalňyşlyk bermezden nädogry çaklamalary öndürmek arkaly şowsuz bolup biler; Munuň esasy sebäbi maglumatlaryň üýtgemegi we düşünjäniň üýtgemegi. Diňe amaly ölçeglere gözegçilik etmek (gijä galmak, ýalňyşlyk derejesi) ýeterlik däl; giriş paýlanyşy we çykyş / çaklama paýlanyşyna hem gözegçilik edilmelidir. Giriş drift, hakyky netije gijikdirilse irki duýduryş berýär.

13. LLM ulgamyna baha bermek üçin LLM-kazy hökmünde ulanylanda haýsy prinsip zerur?

• A) LLM-emin elmydama dogry, adamy barlamak hökman däl
• B) Emin diňe jogap uzynlygyna esaslanyp karar bermeli.
• C) Düzgüne esaslanýan gözegçilikler we eminler ulanylanda adam bahalandyrmasy doly taşlanmalydyr
• D) Kazy ballary adam bellikli nusga we kalibrlenmeli we ynamdar bolmanka ölçelýär

Düşündiriş: LLM-emin hem model; Galýusinator, ikitaraplaýyn (uzyn, ynamly jogaplary goldaýan) we biri-birine gabat gelmeýän bolup biler. Şonuň üçin emin ballary adam bellikli nusga bilen kalibrlenmeli we önümçilik karary kabul edilmezden ozal olaryň yzygiderli taraplary ölçelmeli. Barlanmadyk emin ýalan ynam berýär.

14. Näme üçin modeliň tarapyna baha berlende umumy takyklyga seretmek ýeterlik däl?

• A) Umuman takyklyk ýeterlik, sebäbi elmydama iň erbet toparyň işini görkezýär
• B) Diňe umumy takyklyk ýeterlik däl, sebäbi kiçi toparlaryň arasyndaky yzygiderli tapawudy (gizlin diskriminasiýa) gizläp biler ✔
• C) Sebäbi takyklyk, ikitaraplaýynlyk bilen hiç hili baglanyşygy ýok
• D) Ikitaraplaýynlyk diňe modelden gelýär we maglumatlar bilen hiç hili baglanyşygy ýok.

Düşündiriş: Umuman takyklyk kiçi toparlaryň arasyndaky yzygiderli tapawutlary gizläp biler. Mysal üçin, umumy takyklyk 88% bolsa-da, yzyna çagyrmak bir toparda 91%, beýleki toparda 67% bolup biler; Model bu topary yzygiderli sypdyrýar. Şonuň üçin bu model kiçi toparlara (demografiýa / segment) esaslanyp baha berilmelidir we gyzyklanýan taraplar bilen haýsy adalat kesgitlemesini ileri tutmalydygyny kesgitlemeli.

15. ML netijesiniň köpelmegi üçin haýsy dört zady birleşdirmeli?

• A) Diňe modeliň ady, ululygy, bahasy we goýberilen senesi
• B) Diňe GPU markasy we internet tizligi
• C) Diňe modeliň iň soňky takyklygy; galanlaryny ýatda saklap bolýar
• D) Tötänlik tohumy, maglumat wersiýasy, daşky gurşaw (garaşlylyk wersiýalary) we synag yzarlamasy ✔

Düşündiriş: Köpeltmek dört sütün arkaly gazanylýar: tötänleýin tohumlary düzetmek, maglumatlary wersiýa (wersiýa / hash), daşky gurşawy doňdurmak (takyk kitaphananyň wersiýalary / konteýner) we her synagy yzarlamak (kod beriş, maglumatlar, giperparametr, ölçeg). Bu zynjyr bolmasa şol bir netijäni köpeltmek mümkin däl; Gaýtalanmaýan netije, subut edip bolmaýan talapdyr.