Qayta ishlab chiqarish va oxirigacha loyiha: hamma narsani birlashtirish

Daromadlar:

• To'rtta ustun bilan takrorlanishini ta'minlash qobiliyati (urug'larni aniqlash, ma'lumotlar versiyasini yaratish, ommaviy axborot vositalarini muzlatish, tajriba monitoringi) va bir xil yugurishni takrorlashda bir xil natijani olish
• Modulning barcha to'xtash joylarini (metrikalar, ma'lumotlar, modellar, LLM komponentlari, baholash, adolat, xavfsizlik, tarqatish, monitoring) oxirigacha zanjirda birlashtirish qobiliyati
• Tanqidiy qaror har bir to'xtash joyida insonda qolishini tekshirish va loyihani tekshiriladigan tarzda hujjatlashtirish qobiliyati

ML loyihasining eng hiyla muvaffaqiyatsizligi bu avariya emas; "Yana bir xil natijaga erishmadim." Agar siz uch oy oldin ishlab chiqarishga qo'ygan modelingizning bugungi ballini takrorlay olmasangiz, siz ushbu modelni haqiqatan ham nazorat qilmaysiz. Ushbu yakunlovchi bo'limda biz takrorlanuvchanlikni chuqurlashtiramiz: bir xil kirishlar bilan bir xil natijani ishonchli tarzda olish va butun modulni oxirigacha loyiha intizomida birlashtirish qobiliyati.

Nima uchun takrorlanish qiyin

Oddiy dasturiy ta'minotda bir xil kod bir xil natijani beradi. MLda natijani aniqlaydigan yana ko'plab o'zgaruvchilar mavjud:

• Tasodifiylik: ma'lumotlarni aralashtirish, vaznni ishga tushirish, ma'lumotlarni bo'lish - barchasi tasodifiylikka tayanadi.
• Ma'lumotlar: Xuddi shu kod turli xil ma'lumotlar versiyasi bilan boshqa modelni ishlab chiqaradi.
• Atrof-muhit: Kutubxona versiyalari, apparat (CPU/GPU), hatto operatsion tizim ham natijani o'zgartirishi mumkin.
• Yashirin holat: saqlanmagan giperparametr, qo'lda ishlov berish bosqichi, qayd qilinmagan tanlov.

Reproduktivlik "bo'lish yoqimli" emas, balki ilmiy va muhandislik talabidir. Qayta ishlab chiqarish mumkin bo'lmagan natija isbotlab bo'lmaydigan da'vodir.

Qayta ishlab chiqarishning to'rtta ustuni

1. Tasodifiylikni tuzatish. Barcha tasodifiy urug'larni bir joyga qo'ying: ma'lumotlarni ajratish, modelni ishga tushirish, ma'lumotlarni aralashtirish. Ruxsat etilgan urug'lik "bir xil yugurishni takrorlaganda bir xil natija" kafolatining asosidir.

2. Ma'lumotlar versiyasi. Har bir tajriba qaysi ma'lumotlar versiyasi bilan bajarilganligini yozib oling (2-bo'limda ma'lumotlar versiyasi). "So'nggi ma'lumotlar" noaniq; "V3 ma'lumotlar versiyasi, abc123 xesh" aniq.

3. Muhitni muzlatib qo'ying. Barcha bog'liqliklarni ularning aniq versiyalariga mahkamlang (masalan, talablar.txt faylidagi numpy==1.26.4 kabi aniq versiyalar yoki konteyner tasviri). "Eng so'nggi versiya" bir kun hamma narsani buzadi.

4. Hamma narsani kuzatib boring (tajribani kuzatish). Har bir tajriba uchun avtomatik saqlash: kod versiyasi (git commit), maʼlumotlar versiyasi, barcha giperparametrlar, koʻrsatkichlar va chiqish tuzilmalari. MLflow, Weights & Biases kabi tajribani kuzatish vositalari buni muntazam ravishda amalga oshiradi. Ro'yxatdan o'tmasdan, "qaysi sozlama eng yaxshisi" degan savol javobsiz qolmoqda.

Diqqat: "Keyinroq eslayman" - bu eng qimmat xato. Ikki hafta o'tgach, siz qaysi urug'ni, qaysi ma'lumotni, qaysi giperparametrni ishlatganingizni eslay olmaysiz. Avtomatik kuzatish xotiraga bog'liqlikni yo'q qiladi.

Zaif yondashuv / Kuchli yondashuv

Zaif: "Men eng yaxshi modelni topdim, u daftarda, menimcha, uning balli 89% edi".

Kuchli: "Tajriba kuzatuv vositasida №147-ni ishga tushiring: git commit a3f9c, ma'lumotlar versiyasi v3 (xesh abc123), seed 42, barcha giperparametrlar ro'yxatdan o'tgan, PR-AUC 0.887 ni sinab ko'ring. Xuddi shu buyruqni qayta ishga tushirganimda, asta-sekin bir xil natijani olaman. Model registrdagi ushbu ishga tushirishga bog'liq."

Farqi: kuchli yondashuvda natija xotiraga emas, balki sobit va nazorat qilinadigan zanjirga asoslanadi. Har bir inson har safar bir xil natijaga erishishi mumkin.

End-to-end loyiha: modul birikmasi

Endi butun modulni bitta loyiha oqimiga birlashtiramiz. Haqiqiy ML tizimi ushbu to'xtash joylaridan o'tadi va har bir to'xtash avvalgisiga asoslanadi:

1. Muammoni aniqlash: Biz nimani hal qilyapmiz, muvaffaqiyatni qanday o'lchash mumkin (3-birlik: to'g'ri ko'rsatkich, biznes konteksti). Metrik va chegara boshidanoq aniq.
2. Ma'lumot uzatish liniyasi: to'plash, tekshirish, tozalash, oqishsiz qismlarga ajratish, versiyalarni yaratish (2-birlik).
3. Modelni ishlab chiqish: Trening, asosiy taqqoslash, o'zaro tekshirish, qattiq urug'lik (3 birlik + bu birlik).
4. LLM komponentlari (agar mavjud bo'lsa): RAG (4-birlik) va/yoki agentlar (5-birlik); agar kerak bo'lsa, nozik sozlash (6-birlik).
5. Baholash: chekka va xavfsizlik holatlariga ega baholash klasteri, LLM tizimlarida ko'p qatlamli baholash (8-birlik).
6. Adolat va axloq auditi: kichik guruhlar tahlili, namunaviy karta, tushuntirish mumkinligi (10-birlik).
7. Xavfsizlik auditi: Tezkor kiritish, maxfiylik, ta'minot zanjiri (9-bo'lim).
8. Tarqatish: qadoqlash, bosqichma-bosqich tarqatish, orqaga qaytarish, model registrlari (7-birlik).
9. Monitoring: Uch qavatli monitoring, drift signalizatsiyasi (8 blok).
10. Qayta ishlab chiqarish: butun zanjir bo'ylab urug', ma'lumotlar versiyasi, media va tajribani kuzatish (bu birlik).

Ushbu oqimda AI har bir to'xtash joyida tezlatgich va chizma generatoridir; ammo metrik tanlash, ma'lumotlar qarorlari, adolat ustuvorligi, joylashtirish chegarasi va nashrni tasdiqlash - muhim qarorlar insonda qoladi. Bu modulning mohiyati.

Hujjatlar: kelajak sizga rahmat aytadi

Yaxshi ML loyihasi o'zini hujjatlashtiradi. Hech bo'lmaganda quyidagilar yozilishi kerak: muammo va muvaffaqiyat mezonlari, ma'lumotlar manbai va versiyasi, modelni tanlash va asoslash, baholash natijalari (shu jumladan kichik guruhlar), ma'lum chegaralar va xavflar, joylashtirish va qidirish tartibi, monitoring rejasi. Ushbu hujjat olti oydan keyin loyihaga qaytgan odamning (ehtimol, bu siz) eng yaxshi do'stidir.

uchta mini holat

1-holat - Yo'qotilgan natija. Muhandis ajoyib modelni o'rgatdi, lekin u urug'ni tuzatmadi va ma'lumotlar versiyasini saqlamadi. U ishdan ketganida, hech kim bu natijani takrorlay olmadi; model "qora quti afsonasi" ga aylandi va oxir-oqibat noldan qurilgan. Haftalar behuda ketdi. Dars: takrorlanmaydigan natija mavjud bo'lmagan natijadir.

2-holat - Atrof-muhitning buzilishi. Bir jamoa qaramlikni tuzatmagan. Kutubxona avtomatik ravishda yangilanganda, model chiqishlari jimgina o'zgardi va ishlab chiqarish to'xtatildi. Muammoni topish uchun bir necha kun kerak bo'ldi. Bog'liqliklar muzlatilgan va aniq versiyalar bilan konteynerlangan bo'lsa, muammo yana yuzaga kelmadi. Dars: atrof-muhitni muzlatish.

3-holat - Kuzatuv kuchi. Jamoa har bir tajribani avtomatik ravishda kuzatib bordi. Uch oy o'tgach, tartibga soluvchi audit paytida ular "qanday ma'lumotlar bilan, qanday sozlamalar bilan, qaysi guruhlarda qanday ko'rsatkichlarga erishdi?" degan savolga javob berishdi. daqiqalar ichida to'liq yozib olish bilan. Tekshiruv muammosiz o'tdi. Dars: monitoring nafaqat muhandislik emas, balki muvofiqlik vositasidir.

Nusxalanadigan shablonlar

Ushbu ML loyihasi uchun takroriylikni tekshirib ko'ring.- Barcha tasodifiylik urug'lari aniqlanganmi (bo'lish, ishga tushirish, aralashtirish)?- Ma'lumotlar versiyalari bormi?- To'g'ri versiyalarga bog'liqliklar muzlatilganmi?- Har bir tajriba (kodni topshirish, ma'lumotlar, giperparametr, metrik) kuzatiladimi? Har bir etishmayotgan ustun uchun uni qanday tuzatish bo'yicha aniq qadamlarni yozing. Loyiha tuzilishi: [tavsif]

Ushbu oxirigacha ML loyihasi uchun reja skeletini yarating. Muammo: [tavsif] Quyidagi to'xtash joylarini yoping va har bir bekatda INSON qarori qayerda ekanligini belgilang: muammo/metrik, quvur liniyasi, model, (RAG/agent/nozik sozlash?), baholash, adolat, xavfsizlik, taqsimlash, monitoring, takrorlanuvchanlik. Har bir to'xtash uchun asosiy xavf va tekshirish bosqichini yozing.

Ushbu loyiha uchun texnik hujjatlar shablonini ishlab chiqing. Bo'limlar: muammo+muvaffaqiyat mezonlari, ma'lumotlar (manba+versiya), model tanlash+ asoslash, baholash (shu jumladan kichik guruhlar), ma'lum chegaralar+xavflar, joylashtirish+orqaga qaytarish, monitoring rejasi. Savol sifatida har bir bo'lim uchun to'ldiriladigan maydonlarni bering.

Tajribamni kuzatish sozlamalarini tekshiring: u har bir ishga tushirishda avtomatik saqlanadimi: git commit, maʼlumotlar versiyasi/xesh, barcha giperparametrlar, barcha oʻlchovlar, atrof-muhit (kutubxona versiyalari)? Xuddi shu yugurishni yana bir marta bajarganimda bir xil natijaga erisha olamanmi? Sozlash: [tavsif]. Kamchiliklarni va tuzatishlarni sanab o'ting.

Qayta ishlab chiqarish ustunlari jadvali

ustun

Nima aniqlangan

Avtomobil misoli

tasodifiylik

barcha urug'lar

urug'larni sozlash

Ma'lumotlar

Ma'lumotlar versiyasi/xesh

DVC

muhit

Kutubxona versiyalari

talablar pin, Docker

Monitoring

Kod+maʼlumotlar+sozlash+metrikasi

MLflow, W&B

Umumiy xatolar

• Urug'ni tuzatmaslik. Natijani takrorlash mumkin emas.
• Ma'lumotlar versiyasi saqlanmaydi. "Qanday ma'lumotlar bilan?" javobsiz qoladi.
• Muzlatmaydigan qaramliklar. Yangilanish hamma narsani jimgina buzadi.
• Tajribalarni xotiraga qoldirish. Ikki hafta o'tgach, hech narsa esga tushmaydi.
• Tanqidiy qarorlarni sun'iy intellektga topshirish. Ko'rsatkichlar, adolat va taqsimot qarorlari odamlar bilan qolishi kerak.
• Hujjatlarni kechiktirish. Kelajakdagi jamoa (va siz) narxni to'laydi.

Xulosa

Qayta ishlab chiqarish jiddiy ML muhandisligining imzosidir: takrorlanmaydigan natija isbotlab bo'lmaydigan da'vodir. U to'rtta ustun bilan birga keladi - tasodifiylikni tuzatish, versiya ma'lumotlari, muzlatish muhiti, har bir tajribani kuzatish. Oxir-oqibat loyiha ushbu modulning barcha to'xtash joylarini (metrik, ma'lumotlar, model, LLM komponentlari, baholash, adolat, xavfsizlik, tarqatish, monitoring) o'zaro bog'langan zanjirda birlashtiradi; Sun'iy intellekt har bir bekatda tezlatuvchi bo'lib xizmat qiladi, ammo muhim qarorlar insonning o'zida qoladi. Kelajakdagi jamoa va auditlar uchun hamma narsani hujjatlang. Ushbu intizom modul davomida o'rgangan barcha narsalarni qo'llab-quvvatlaydigan asosdir.

Ilova vazifasi

ML loyihasini to'rtta takrorlanuvchanlik ustuniga qarshi tekshiring: urug'lar o'zgarmasmi, ma'lumotlar versiyasi tuzilganmi, atrof-muhit muzlatilganmi, tajribalar kuzatilganmi? Har qanday etishmayotgan ustunlarni tuzating va bir xil yugurishni ikki marta bajarishingiz va bir xil natija olishingiz mumkinligini isbotlang. Keyin loyihaning oxirigacha (10 to'xtash) oqimini bitta sahifada chiqaring va har bir to'xtash joyida "inson qarori qaerda" ni belgilang. Nihoyat, qisqa texnik hujjatlar loyihasini yozing.

nazorat ro'yxati

• [ ] Barcha tasodifiy urug'lar sobit.
• [ ] Maʼlumotlar versiyasi/xesh har bir tajribada qayd etiladi.
• [ ] Bog'liqlar qattiq versiyalarga (pin/konteyner) muzlatiladi.
• [ ] Har bir tajriba avtomatik ravishda nazorat qilinadi (kod+maʼlumotlar+sozlama+metrik).
• [ ] Xuddi shu yugurishni takrorlaganimda, men bir xil natijaga erishaman.
• [ ] Men yakuniy oqimdagi muhim qarorlar odamlar tomonidan qabul qilinishini tasdiqladim va hujjatlashtirdim.

Modul imtihoni

1. ML muhandisi sifatida ish jarayonida sun'iy intellektni joylashtirishda eng yaxshi yondashuv qanday?

• A) AI past riskli korxonalarda akselerator hisoblanadi; Ko'rsatkichlar, ma'lumotlar va ishlab chiqarish kabi muhim qarorlar tasdiqlangan va insonga qoldiriladi ✔
• B) AI chiqishlari yaxshi ko'rinar ekan, tekshirishga hojat yo'q
• C) Modelni ishlab chiqarishga kiritish qarorini sun’iy intellektga qoldirish vaqtni tejaydi.
• D) Sun'iy intellekt faqat matn yozish uchun foydalidir, uning ma'lumotlar va model ishlariga hech qanday aloqasi yo'q

Tavsif: AI - kod, ma'lumotlar hazm qilish va hujjatlar kabi past xavfli, oson tekshiriladigan vazifalar uchun kuchli tezlatkichdir; Biroq, pulga, maxfiylikka va huquqiy javobgarlikka ta'sir qiluvchi qarorlar uchun mas'uliyat, masalan, metrik tanlash, qaysi ma'lumotlar treningga kirishi va modelni ishlab chiqarishga qo'yish malakali muhandis va jamoaga tegishli. Har bir chiqish tekshirilmasdan foydalanilmasligi kerak.

2. Nima uchun sxemani tekshirish ma'lumotlar uzatish liniyasining boshida joylashtiriladi?

• A) Chunki u modelning aniqligini bevosita oshiradi
• B) Chunki u ma’lumotlarni versiyalashni keraksiz qiladi
• C) Chunki u buzilgan ma'lumotlarni eng erta va eng arzon nuqtada ushlaydi va keyingi bosqichlarga o'tib ketishining oldini oladi ✔
• D) Chunki yorliqlash zaruriyatini bartaraf qiladi

Tushuntirish: buzuq ma'lumotlar qanchalik erta ushlangan bo'lsa, uni tuzatish shunchalik arzon bo'ladi. Sxemani tekshirish chiziq boshida kutilgan tur va diapazondan tashqaridagi ma'lumotlarni rad etish orqali buzilgan ma'lumotlarning jimgina o'quv yoki ishlab chiqarishga oqib ketishini oldini oladi (masalan, birlik o'zgarishi bilan narxning 100 marta o'zgarishi); Ishlab chiqarishda ushlangan bir xil xatolik bir necha barobar qimmatroqdir.

3. Vaqt (vaqt seriyasi) bilan bog'liq masalada ma'lumotlarni o'qitish va testga bo'lishda qanday to'g'ri yondashuv mavjud?

• A) Tasodifiy bo'linishdan foydalanish, chunki bu har doim eng adolatli usuldir
• B) Vaqtinchalik bo'linishdan foydalanish: o'tmish bilan mashq qilish va kelajakda sinovdan o'tish orqali oqishni oldini oling ✔
• C) Barcha ma'lumotlarni o'qitish va test sifatida ishlatish
• D) Treningdan oldin test ma'lumotlarini masshtablash parametrlariga kiritish

Izoh: Vaqt seriyalari bo'yicha tasodifiy bo'linish modelga ishlab chiqarishda hech qachon bo'lmaydigan "kelajakni ko'rish" ustunligini beradi va ko'rsatkichlarni sun'iy ravishda oshiradi (vaqtinchalik oqish). To'g'ri - vaqtinchalik bo'linish: o'tmish bilan mashq qiling, kelajakda sinovdan o'ting. Bu uni ishlab chiqarishda ushlab turadigan haqiqiy ishlashni o'lchaydi.

4. Nima uchun 1,5% ijobiy sinf darajasi bilan firibgarlikni aniqlash modelida aniqlik noto'g'ri?

• A) Balanssiz ma'lumotlarda aniqlik har doim past bo'lgani uchun
• B) Chunki Aniqlik faqat regressiya masalalarida ishlatilishi mumkin
• C) Chunki Aniqlik hisobi katta ishlov berish quvvatini talab qiladi
• D) Hatto ko'pchilik sinfini bashorat qiladigan arzimas model ham juda aniq bo'lishi mumkin va shu bilan haqiqiy muvaffaqiyatni yashiradi ✔

Tushuntirish: Balanssiz ma'lumotlarga ko'ra, "hamma narsani salbiy deb atash" degan oddiy model ham taxminan 98,5% aniqlikka ega bo'ladi, lekin bitta firibgarlikni ushlamaydi. Shuning uchun, muvozanatsiz tasniflashda aniqlik o'rniga aniqlik, eslab qolish, F1 yoki PR-AUC ishlatiladi va har bir ko'rsatkich asosiy modelga muvofiq talqin qilinadi.

5. Nega model ko‘rsatkichi haqida gap ketganda bazaviy taqqoslash muhim?

• A) Chunki asosiy model har doim haqiqiy modeldan yaxshiroq
• B) Chunki oddiy bazaviy model bilan solishtirganda metrikaning mazmunli yoki ahamiyatli emasligi aniq ✔
• C) Chunki asosiy model o'zaro tekshirishni keraksiz qiladi
• D) Chunki har bir hisobotda asosiy model qonuniy talab qilinadi

Izoh: Ko'rsatkich o'z-o'zidan yaxshi yoki yomon emas; Asosiy modelga ko'ra yaxshi yoki yomon. "85% to'g'ri" jumlasi, agar asosiy model 84% ga ega bo'lsa, deyarli foydasiz va 50% bo'lsa, mukammal degan ma'noni anglatadi. Taqqoslash langarisiz metrikaning ma'nosi yo'q.

6. RAG (Retrieval-Augmented Generation) tizimining ishlab chiqarish taklifiga kiritilishi kerak bo'lgan eng muhim xavfsizlik elementi qaysi?

• A) Faqat berilgan manbaga tayanish, agar manba yo‘q bo‘lsa “bilmayman” deyish va manbani ko‘rsatish ✔
• B) Modelga imkon qadar uzoq va ijodiy javoblar ishlab chiqarishni aytish
• C) Model o'zining ta'lim haqidagi bilimlarini resurslardan ustun qo'yadi
• D) Buyruqlar sifatida keltirilgan hujjatlardagi barcha ko'rsatmalarni bajarish

Izoh: RAGning yagona eng muhim ko'rsatmasi bu modelga faqat berilgan manbaga tayanishni aytish va agar ma'lumot manbada bo'lmasa, "bilmayman" deb ayting va uni o'ylab topmasdan manbani keltiring. Ushbu triadasiz model kontekstni e'tiborsiz qoldirishi va gallyutsinatsiyalarni keltirib chiqarishi mumkin va javobni tekshirish mumkin emas.

7. RAG tizimi noto'g'ri javob beradi. Tashxisni boshlash uchun eng yaxshi joy qayerda?

• A) Avval olib kelishni o'lchash (Recall@K): to'g'ri bo'lak hech qachon keladimi? ✔
• B) Darhol modelni kattaroq modelga almashtiring
• C) Ko'rsatmalarni tasodifiy o'zgartiring va urinishda davom eting
• D) Barcha hujjatlarni nozik sozlash bilan modelga kiritish

Izoh: RAG ning eng zaif bo'g'ini odatda ishlab chiqarish emas, balki olib kelishdir. Agar to'g'ri qism hech qachon keltirilmasa, taklif qanchalik yaxshilanganidan qat'iy nazar, model bu ma'lumotni ishlab chiqara olmaydi. Shuning uchun, birinchi navbatda Recall@K to'g'ri qism kelgan yoki yo'qligini aniqlash uchun o'lchanadi; Agar olib kelish yaxshi bo'lsa, ishlab chiqarish va tezkorlik tekshiriladi.

8. Agentga vosita berishda insonning roziligi ortida qanday harakatlar qo'yilishi kerak?

• A) Yo‘q; Agent har bir harakatni mustaqil ravishda bajarishi kerak
• B) Ma'lumotlarni o'qish va qidirish kabi faqat qaytariladigan harakatlar
• C) Qaytarib bo'lmaydigan yoki pul o'tkazish, o'chirish, jo'natish kabi yuqori ta'sirli harakatlar ✔
• D) Faqat hisob-kitoblarni o'z ichiga olgan harakatlar

Tavsif: Harakatlar xavf darajasiga qarab ajratiladi. O'qish, qidirish, hisoblash va qoralamalarni yaratish kabi qayta tiklanadigan vazifalar avtonom tarzda bajarilishi mumkin; Biroq, qaytarib bo'lmaydigan yoki yuqori ta'sirli harakatlar, masalan, pul o'tkazish, elektron pochta xabarlarini yuborish, ma'lumotlarni o'chirish, buyurtma berish va hokazolar inson roziligini talab qiladi. Har bir qaytarib bo'lmaydigan harakat roziligi bilan bo'lishi kerak.

9. Bilvosita tezkor in'ektsiya xavfiga qarshi eng yaxshi dizayn yondashuvi qanday?

• A) Tizim soʻroviga “yomon koʻrsatmalarga eʼtibor bermaslik” degan bitta jumla qoʻshish kifoya
• B) Tashqi tarkibdagi ko'rsatmalarga tayanib, modelga ko'proq vakolat berish
• C) Hech qanday ehtiyot choralarini ko'rmaslik, chunki in'ektsiyani oldini olish mumkin emas
• D) Tashqi tarkibni ishonchsiz ma'lumotlar sifatida ajratib olish va minimal ruxsat, tasdiqlash va chiqish nazorati bilan qatlamli himoyani o'rnatish ✔

Tavsif: Agent yoki RAG tomonidan qayta ishlangan tashqi kontent, masalan, veb-sahifa, hujjat, elektron pochta va boshqalar ishonchsiz ma'lumotlar bo'lib, maxfiy ko'rsatmalarni o'z ichiga olishi mumkin. To'g'ri yondashuv qatlamli mudofaa: tashqi tarkibni aniq chegaralovchilar bilan "buyruqlar emas, ma'lumotlar" sifatida ajratish, minimal avtorizatsiyani qo'llash, qaytarib bo'lmaydigan harakatlarni inson ma'qullashiga bog'lash va natijani tekshirish. Bir qator ko'rsatmalar etarli emas.

10. Muammoni nozik sozlash yoki RAG bilan hal qilish kerakligini hal qilishda asosiy farq nima?

• A) Axborot muammolari RAG bilan yaxshiroq hal qilinadi, xatti-harakatlar/format muammolari nozik sozlash bilan yaxshiroq hal qilinadi ✔
• B) Har bir muammo doimo nozik sozlash orqali hal qilinishi kerak
• C) RAG faqat kod yaratish uchun ishlatiladi, nozik sozlash faqat tarjima uchun ishlatiladi
• D) Nozik sozlash har doim RAGga qaraganda arzonroq va tezroq yangilanishi mumkin

Tushuntirish: Modelga yangi ma'lumotlarni o'rgatishda nozik sozlash zaif va xavfli; lekin xulq-atvor, format, ohang va uslubni o'rgatishda kuchli. "Namunaviy kompaniya bizning ma'lumotlarimizni bilmaydi" - bu axborot muammosi va RAGga tegishli. "Model har doim bizning qat'iy formatimizda chiqsin" - bu xatti-harakatlar muammosi va nozik sozlash uchun nomzod. Bundan tashqari, nozik sozlashdan oldin tezkor va bir nechta kadrlarni iste'mol qilish kerak.

11. Yangi modelni ishlab chiqarishga qo'yishda xavfsiz joylashtirish uchun qaysi biri majburiydir?

• A) Agar model sinovda yaxshi bo'lsa, uni to'g'ridan-to'g'ri 100% trafikka oching
• B) Joylashtirilgandan keyin umuman monitoringni o'rnatmaslik
• C) Bosqichli joylashtirish (soya/kanareyka) va oldindan sinovdan o'tgan orqaga qaytarish rejasi ✔
• D) Baholash chegarasi bajarilmasa ham modelni nashr qilish

Tushuntirish: Yangi modelni to'g'ridan-to'g'ri barcha trafik uchun ochish xavfli; Agar noto'g'ri bo'lsa, hamma ta'sir qiladi. To'g'ri, bu bosqichma-bosqich taqsimot (soya, kanareyka) va har bir tarqatishda sinovdan o'tgan orqaga qaytarish rejasi mavjud. Qayta tiklash rejasisiz tarqatish to'liq emas; Bir necha daqiqada oldingi versiyaga qaytish imkoniyati, model ishlab chiqarishda kutilmaganda o'zini tutishi foydalanuvchini himoya qiladi.

12. Qanday qilib ML modeli ishlab chiqarishda "jimgina" muvaffaqiyatsiz bo'lishi mumkin va buni ushlashning yo'li qanday?

• A) Model qulab tushadi; server jurnallari buni ko'rsatadi
• B) Xatoga yo'l qo'ymasdan noto'g'ri bashorat qilish orqali; ✔ Operatsion, kirish va chiqish qatlamli monitoringini oladi
• C) Model hech qachon jimgina muvaffaqiyatsizlikka uchramaydi, har doim ogohlantiradi
• D) Har qanday degradatsiyani ushlash uchun faqat kechikishni kuzatish kifoya

Tushuntirish: Model noto'g'ri bashorat qilish orqali nosozlik yoki xatoliklarga yo'l qo'ymasdan muvaffaqiyatsiz bo'lishi mumkin; Buning asosiy sababi - ma'lumotlarning o'zgarishi va kontseptsiyaning o'zgarishi. Operatsion ko'rsatkichlarni (kechikish, xato tezligi) kuzatish etarli emas; kirish taqsimoti va chiqish / bashorat taqsimoti ham kuzatilishi kerak. Agar haqiqiy natija kechiktirilsa, kiritish drifti erta ogohlantirish beradi.

13. LLM tizimini baholash uchun sudya sifatida LLM dan foydalanishda qaysi tamoyil muhim?

• A) LLM-hakam har doim to'g'ri, inson tekshiruvi kerak emas
• B) Hakam faqat javob uzunligiga qarab qaror qabul qilishi kerak.
• C) Hakamlardan foydalanilganda qoidalarga asoslangan nazorat va insoniy baholashdan butunlay voz kechish kerak
• D) Sudya ballari ishonchli bo‘lishidan oldin inson tomonidan belgilangan namunalar bilan kalibrlanishi va ularning noto‘g‘riligi o‘lchanishi kerak ✔

Tavsif: LLM-hakam ham namunadir; Bu gallyutsinatsiyali, noxolis (uzoq, ishonchli javoblarni afzal ko'radi) va nomuvofiq bo'lishi mumkin. Shuning uchun, hakam ballari ishlab chiqarish to'g'risida qaror qabul qilishdan oldin, inson yorlig'i bilan belgilangan namuna bilan kalibrlangan bo'lishi kerak va ularning tizimli noto'g'riligi o'lchanishi kerak. Tekshirilmagan hakam yolg'on ishonch beradi.

14. Nega modelning noto'g'riligini baholashda umumiy aniqlikka qarash etarli emas?

• A) Umumiy aniqlik yetarli, chunki u har doim eng yomon guruhning ish faoliyatini aks ettiradi
• B) Faqatgina umumiy aniqlik etarli emas, chunki u kichik guruhlar o'rtasidagi tizimli farqni (yashirin kamsitish) yashirishi mumkin ✔
• C) Chunki aniqlik metrikaga hech qanday aloqasi yo'q
• D) Bias faqat modeldan kelib chiqadi va ma'lumotlarga hech qanday aloqasi yo'q.

Tushuntirish: Umumiy aniqlik kichik guruhlar orasidagi tizimli farqlarni yashirishi mumkin. Misol uchun, umumiy aniqlik 88% bo'lsa, eslab qolish bir guruhda 91% va boshqa guruhda 67% bo'lishi mumkin; Model ushbu guruhni muntazam ravishda o'tkazib yuboradi. Shu sababli, modelni kichik guruhlar (demografiya/segment) asosida baholash kerak va manfaatdor tomonlar bilan adolatning qaysi ta'rifiga ustuvor ahamiyat berish kerakligi haqida qaror qabul qilish kerak.

15. ML natijasi takrorlanishi uchun qanday to'rt narsa birlashtirilishi kerak?

• A) Faqat model nomi, hajmi, narxi va chiqarilgan sanasi
• B) Faqat GPU markasi va internet tezligi
• C) Modelning faqat yakuniy aniqlik balli; qolganlari xotirada saqlanishi mumkin
• D) Tasodifiylik urug'i, ma'lumotlar versiyasi, muhit (qaramlik versiyalari) va tajribani kuzatish ✔

Tavsif: Qayta ishlab chiqarishga to'rtta ustun orqali erishiladi: tasodifiy urug'larni aniqlash, ma'lumotlarni versiyalash (versiya/xesh), atrof-muhitni muzlatish (aniq kutubxona versiyalari/konteyner) va har bir tajribani kuzatish (kodni topshirish, ma'lumotlar, giperparametr, metrik). Ushbu zanjirsiz bir xil natijani takrorlash mumkin emas; Qayta tiklanmaydigan natija isbotlab bo'lmaydigan da'vodir.