Daromadlar:
- Ma'lumotlar quvurini o'rnatish (to'plash, tekshirish, tozalash, o'zgartirish, bo'lish, versiyalash) va diagramma tekshiruvini quvur liniyasining boshida joylashtirish qobiliyati
- Ma'lumotlarning sizib chiqishini oldini olish uchun maydonning ma'nosi va bo'linishi asosida etishmayotgan qiymat va yorliqlash qarorlarini qabul qilish qobiliyati (guruh va vaqtinchalik)
- Ma'lumotlar versiyasini va tasodifiylik urug'ini tuzatish orqali takrorlanadigan ma'lumotlar bazasini yaratish qobiliyati
Har bir mashinani o'rganish tizimining haqiqiy kuchi modelda emas, balki ma'lumotlarda. Tajribali muhandislar bilishadi: "axlat ichkariga, chiqindiga" - yomon ma'lumotlar bilan ta'minlangan eng ilg'or model ham yomon natijalarga olib keladi. Ushbu bo'limda biz ma'lumotlar uzatish liniyasini (ma'lumotlar quvuri: xom ma'lumotlarni modelni o'qitishga tayyorlaydigan bosqichlar zanjiri) uchigacha o'rnatamiz va ushbu chiziqning qaysi bosqichida sun'iy intellektdan xavfsiz foydalanishimiz mumkinligini bilib olamiz.
Ma'lumotlar liniyasining bosqichlari
Ma'lumotlar liniyasi odatda ushbu to'xtash joylaridan o'tadi:
- To'plash (yutish): manbalardan ma'lumotlarni olish (ma'lumotlar bazasi, API, jurnal fayllari, voqea oqimlari).
- Tasdiqlash: ma'lumotlarning kutilgan sxema, turlar va diapazonlarga mos kelishini tekshirish.
- Tozalash: etishmayotgan qiymatlar, takroriy yozuvlar, chetga chiqishlar va nomuvofiqliklarni qayta ishlash.
- Transformatsiya: Xom ma'lumotlarni atributlarga aylantirish - masalan, kategorik o'zgaruvchini raqamga aylantirish, sanadan "hafta kuni" ni yaratish.
- Ajratish: o'qitish, tekshirish va sinov to'plamlariga ajratish.
- Versiyalash: Qaysi model qaysi ma'lumotlar bilan o'qitilganligini yozib olish.
Sun'iy intellekt, ayniqsa, 2, 3 va 4-bosqichlarda kod loyihalari va g'oyalarni ishlab chiqish orqali vaqtni tejaydi. Lekin qaysi yozuvni tashlab yuborish, qaysi etishmayotgan qiymatni to'ldirish va qanday qilib qarorlar ma'lumotlarni biladigan muhandisga tegishli; chunki noto'g'ri tozalash modelga yashirin moyillikni kiritishi mumkin.
Ma'lumotni tekshirish: chiziqni erta himoya qilish
Eng qimmat xatolar ishlab chiqarishda emas, balki tekshirish bosqichi o'tkazib yuborilganda boshlanadi. Sxemani tekshirish avtomatik ravishda har bir kiruvchi ma'lumotlar to'plami kutilgan tuzilishga mos kelishini tekshiradi. Masalan, yosh ustuni 0 dan 120 gachami, elektron pochta maydoni bo'shmi, ustunlar soni o'zgarganmi?
Maslahat: Tekshirishni satrning boshiga qo'ying. Buzuq ma'lumotlar qanchalik tez ushlansa, uni tuzatish shunchalik arzon bo'ladi. Ishlab chiqarishda qo'lga olingan sxema xatosi o'quv bosqichida qo'lga olinganidan ko'p marta qimmatroqdir.
Quyidagi ma'lumotlar sxemasi uchun pandera (yoki Buyuk umidlar) bilan tasdiqlash sxemasini yozing. Ustunlar va qoidalar:- user_id: integer, null boʻlishi mumkin emas, noyob- yosh: butun son, 0-120 gacha boʻlishi mumkin emas- roʻyxatdan oʻtish_date: sana, kelajakda boʻlishi mumkin emas- mamlakat: toifali, {TR, DE, US, UK} toʻplamidan- balans: oʻnlik, manfiy boʻlishi mumkin emas Har bir qoida buzilishi uchun mazmunli xato xabari yarating. Kod oxirida singan chiziq misoli bilan testni ko'rsating.
Tozalash: inson qaror qiladi
Yo'qotilgan qiymatlar har bir ma'lumot to'plamining haqiqatidir. Ishlash usullari:
- O'chirish: juda yuqori etishmayotgan satr/ustunni yo'q qilish. Ammo ma'lumotlarning yo'qolishi va noxolislik xavfi mavjud.
- Imputatsiya: o'rtacha, median, eng tez-tez uchraydigan qiymat yoki modelga asoslangan bashorat bilan hisoblash.
- Bayroq: "yo'qolgan" ma'lumotlarini alohida bayroq ustunida saqlash - ba'zida etishmayotganning o'zi signaldir.
Qaysi biri to'g'ri, muammoga bog'liq. Tibbiy ma'lumotlar to'plamida "qon qiymati o'lchanmagan" ma'lumotlarini o'chirish emas, balki saqlanishi kerak; Chunki shifokorning o'lchovlarni o'tkazishdan bosh tortishi ham signaldir. AI sizga variantlar va kodlarni berishi mumkin; Qaysi biri maydon haqiqatiga mos kelishini siz tanlaysiz.
Zaif taklif / Kuchli taklif
Zaif taklif: "Yo'qolgan qiymatlarni to'ldiring."
Kuchli so'rov: "Quyidagi ustunlarda etishmayotgan qiymatlar mavjud: daromad (12% etishmayotgan, o'ng tomonga burilmagan taqsimot), last_login (30% etishmayotgan). Daromadni median bilan to'ldirishni taklif qiling, lekin nima uchun median emasligini tushuntiring. Last_login uchun etishmayotgan qiymat muhim bo'lishi mumkin (foydalanuvchi hech qachon tizimga kirmagan bo'lishi mumkin); o'rniga hech qachon kirishni o'chirib qo'yishni hisobga oling. Ikkala yondashuv ham modelga qo'shimcha bo'ladi."
Farqi: kuchli taklif tarqatish ma'lumotlari va hudud ma'nosini beradi; sun'iy intellekt mexanik to'ldirish o'rniga qarorlarni qo'llab-quvvatlashni ishlab chiqaradi.
Belgilash: sifat o'lchanadi
Nazorat ostidagi ta'limda (to'g'ri javoblar bilan misollar berilganini o'rganish) model o'rganadigan narsa yorliqlar (yorliqlar: har bir misol uchun to'g'ri javob). Yorliq sifati shiftni belgilaydi - agar odamlar nomuvofiq tarzda yorliqlashsa, model mos kelmaydigan tarzda o'rganadi.
Annotatorlararo kelishuv turli odamlarning bir xil namunaga bir xil yorliq berish tezligini o'lchaydi; U Koenning Kappa kabi koeffitsient bilan ifodalanadi. Muvofiqlik pastligi vazifaning aniq emasligini yoki ko'rsatma zaif ekanligini ko'rsatadi.
Sun'iy intellekt yorliqlashda ikki yo'l bilan yordam beradi: (1) izohlash bo'yicha yo'riqnomani ishlab chiqish, (2) oldindan etiketlash va uni faqat inson tomonidan tuzatish. Ammo LLM bilan oldindan yorliqlash muammoga ega: modelning tizimli xatosi butun yorliqlar to'plamiga oqib chiqishi mumkin. Shuning uchun odamlar har doim ba'zi LLM yorliqlarini tekshiradilar.
Diqqat: LLM tomonidan ishlab chiqarilgan yorliqlarni "asosiy haqiqat" deb hisoblamang. Namunani odam bilan tekshiring va LLM-inson mosligini o'lchang. Muvofiqlik past bo'lsa, oldindan etiketlash yaxshilikdan ko'ra ko'proq zarar keltiradi.
Ma'lumotlar bo'limi: oqishning oldini olish
Ma'lumotni o'qitish/tasdiqlash/testga bo'lishda eng xavfli xato - bu ma'lumotlarning sizib chiqishi: test ma'lumotlarini mashg'ulotlarga aralashtirish. Misollar:
- Xuddi shu foydalanuvchining yozuvlari ham treningga, ham testga to'g'ri keladi (guruh sızıntısı).
- Treningda kelajakni va vaqt seriyalarida sinovdan o'tmishdan foydalanish (vaqtinchalik oqish).
- Barcha ma'lumotlardan masshtablash (normalizatsiya) parametrlarini hisoblash va keyin bo'lish.
Vaqtinchalik bo'linish vaqt bilan bog'liq muammolar uchun juda muhimdir: o'tmish bilan mashq qilish, kelajakda sinov. Tasodifiy bo'linish ishlab chiqarishda hech qachon bo'lmaydigan "kelajak" foyda beradi va ko'rsatkichlarni oshiradi.
Ma'lumotlar versiyasini yaratish va takrorlash
"Biz ushbu modelni qanday ma'lumotlar bilan o'rgatganmiz?" Savolga bir necha oydan keyin javob berish jiddiy ML muhandisligining o'ziga xos belgisidir. Ma'lumotlar versiyasini yaratish har bir ma'lumot oniy tasvirini ID (xesh yoki versiya yorlig'i) bilan saqlaydi. Kod kabi DVC (Data Version Control) versiyasi ma'lumotlari kabi vositalar.
Modelning natijasini takrorlash uchun uchta narsani tuzatish kerak: ma'lumotlar versiyasi, kod versiyasi va tasodifiy urug'. Bu uchliksiz “bir xil natijaga erishdim” deyish mumkin emas. Biz 11-bo'limda Reproduktsiyani chuqurlashtiramiz; lekin ma'lumotlar quvuridagi urug'ni tuzatish shu erdan boshlanadi.
uchta mini holat
1-holat - kun sxemasi tekshiruvi saqlangan. Jamoa yuqori oqim tizimidagi narx maydonini penniesdan liraga aylantirganda, barcha narxlar 100 marta tushib ketdi. Sxema tekshiruvi to'plamni "narx diapazondan tashqarida" deb rad etdi va model buzilgan ma'lumotlar bilan o'rganilmagan. Tekshirishsiz, xato faqat noto'g'ri prognozlar bilan ishlab chiqarishda seziladi.
2-holat - noto'g'ri to'ldirishning moyilligi. Kredit modelida etishmayotgan daromad qiymatlari o'rtacha bilan to'ldirildi. Ammo etishmayotgan daromadlar asosan kam ta'minlanganlar guruhida edi; o'rtacha bu guruhni sun'iy ravishda "boyitdi" va model ularga nohaq yuqori chegarani taklif qildi. Median + etishmayotgan bayroq bilan bog'liq muammo tuzatildi.
3-holat - Vaqtinchalik oqish. Talabni prognozlash modeli sinov majmuasida ajoyib ko'rindi (95% aniqlik), lekin ishlab chiqarishda qulab tushdi. Nima uchun: tasodifiy bo'linish tufayli model kelajakni ko'rdi. Vaqtinchalik yig'ishga o'tish test aniqligini 78% ga tushirdi - lekin bu haqiqiy ishlash edi va uni ishlab chiqarishda saqlab qoldi.
Nusxalanadigan shablonlar
Quyidagi ma'lumotlar to'plamini uchta to'plamga bo'ling: trening/validatsiya/test. Cheklov: Bu vaqt seriyasidir; TEMPORAL bo'linishdan foydalaning (o'tmishda mashq qiling, kelajakda test qiling). Partiya oqib chiqishini oldini oling: faqat bitta klasterda bir xil “customer_id” ga ega bo‘ling. Masshtab parametrlarini FAQAT treninglar to‘plamidan hisoblang, so‘ngra barchasiga amal qiling. Har bir qadamda kodda qancha qator qolganligini chop eting va sizib chiqmasligini tekshiradigan tasdiq qo'shing.
Ushbu yorliqlash vazifasi uchun qoʻllanma qoralamasini yozing.Vazifa: [masalan. Mijozlarning sharhini ijobiy/salbiy/neytral belgilang]Chegaraviy holatlarga aniqlik kiriting: kinoya, aralash tuyg‘u, mahsulotga aloqasi bo‘lmagan sharhni qanday belgilash mumkin? Teggerlar o‘rtasidagi izchillikni oshiradigan 5 ta misol va 3 ta qiyin vaziyatni keltiring.
Ushbu ma'lumotlar quvuri uchun takroriylikni tekshirish ro'yxatini tuzing: - Ma'lumotlar versiyasi qanday tuzatilishi kerak? - Qaysi tasodifiy urug'lar qayerda o'rnatilishi kerak? - Qaysi metama'lumotlar (ma'lumotlar xeshi, qatorlar soni, sana) jurnalga kiritilishi kerak? Mening kodlar bazasi: [til/kutubxona]
Ma'lumotlar sizib chiqishi uchun ushbu tozalash kodini tekshiring. Buni aniq ko'rib chiqing: masshtablash/kodlash parametrlari bo'linishdan oldin hisoblanganmi? Har qanday statistika barcha ma'lumotlardan hisoblanganmi yoki shunchaki mashg'ulotmi? Kod: [kod]
Qaror jadvali: etishmayotgan qiymat strategiyasi
Status
Tavsiya etilgan yondashuv
Nima uchun
Raqamli, egri taqsimot
median bilan to'ldiring
O'rtacha qiymatdan tashqari ko'rsatkichlar ta'sir qiladi
Raqamli, nosimmetrik
o'rtacha bilan to'ldiring
Axborotni himoya qiladi
Kamchilik sezilarli bo'lishi mumkin
Bayroq ustuni + to'ldirish
Yo'qligi - bu signal
Yoʻqotilgan koʻrsatkich > 60%
Ustunni baholash/o‘chirish
Shovqin juda ko'p
Kategorik
"Noma'lum" toifasi
Sun'iy ko'pchilikni yaratmaydi
Umumiy xatolar
- Tasdiqlash oʻtkazib yuborilmoqda. Sxema nazorati bo'lmasa, buzilgan ma'lumotlar jimgina kirib boradi.
- Bo'lishdan oldin masshtablash. Ta'limga test statistikasini sizdiradi.
- Vaqt seriyalarida tasodifiy bo'linishdan foydalanish. U soxta yuqori ko'rsatkichlarni ishlab chiqaradi.
- LLM yorliqlariga ko'r-ko'rona ishonish. Tizimli xato ma'lumotlar bo'ylab tarqaladi.
- Ma'lumotlar versiyasi saqlanmaydi. Natijani takrorlay olmaysiz.
- O'rtacha bilan mexanik to'ldirish. Bu maydon ma'nosini e'tiborsiz qoldiradi, tarafkashlik qo'shadi.
Xulosa
Ma'lumotlar uzatish liniyasi ML tizimining asosi bo'lib, modeldan ko'ra ko'proq harakatga loyiqdir. Tasdiqlashni yuqoriga qo'ying; domen bilimlari bilan tozalash va yorliqlash qarorlarini qabul qilish; bo'limda qochqinning (guruh va temporal) oldini olish; ma'lumotlar versiyasini va urug'ini tuzatish. AI ushbu yo'nalishda kod va g'oyalarni ishlab chiqaradi, ammo qaysi ma'lumotlarni va qanday qilib qayta ishlashni o'zingiz hal qilasiz - chunki bu erda har bir noto'g'ri qaror modelga yashirin kamchilik sifatida o'tadi.
Ilova vazifasi
O'zingizning ma'lumotlar to'plamingizda tasdiqlash sxemasini (pandera/Buyuk umidlar) yozing va ataylab yomon qator qo'shing va uning qo'lga olinganligini ko'rsating. Keyin ma'lumotlarni vaqtincha yoki to'plamga bo'ling, faqat mashg'ulotdan miqyoslash parametrlarini hisoblang va tasdiqlash bilan hech qanday oqish yo'qligini tekshiring. Metadata fayliga ma'lumotlar versiyasini va qatorlar sonini yozing.
nazorat ro'yxati
- [ ] Sxemani tekshirish satrning yuqori qismida ishlaydi.
- [ ] Men etishmayotgan qiymat strategiyasini maydon maʼnosiga qarab tanladim, uni mexanik ravishda toʻldirmadim.
- [ ] Men yorliq sifatini (muvofiqligini) o'lchadim; Men LLM teglarini inson tomonidan tekshirdim.
- [ ] Men panelda guruh va vaqtinchalik oqishning oldini oldim.
- [ ] Masshtablash/kodlash faqat treninglar majmuasidan hisoblangan.
- [ ] Maʼlumotlar versiyasi, qatorlar soni va qayd qilingan urugʻ.