Daromadlar:
- Ishning maqsadiga ko'ra tasniflash va regressiya ko'rsatkichlarini (chalkashlik matritsasi, aniqlik / esga olish / F1, MAE / RMSE / R²) tanlash va sharhlash qobiliyati
- Trening va test ballarini taqqoslash orqali ortiqcha o'rganishni aniqlash va o'zaro tekshirish orqali ishonchli ishlashga erishish qobiliyati
- Har bir modelni asosiy qiymat bilan taqqoslash orqali haqiqiy qiymat qo'shayotganini baholash qobiliyati
Modelni o'rnatish oson; Bu haqiqatan ham ishlaydimi yoki yo'qligini halol o'lchash qiyin. Ushbu bo'limning mavzusi ma'lumotlar olimining eng muhim qobiliyatidir: modelni to'g'ri ko'rsatkichlar bilan baholash, ishonchli bashoratli ishlashga erishish va eng makkor tuzoqqa tushish: ortiqcha o'rganish (esda saqlash). AI ko'rsatkichlarni hisoblaydi, sharhlaydi va taqqoslaydi; lekin sizning biznesingiz uchun qaysi ko'rsatkich to'g'ri va model "etarli darajada yaxshi" yoki yo'qligini inson hal qiladi. Noto'g'ri ko'rsatkichga qaraydigan jamoa bir necha oy davomida yomon modelni "muvaffaqiyat" deb adashishi mumkin.
Nima uchun aniqlik etarli emas: chalkashlik matritsasi
Tasniflashda aqlga keladigan birinchi ko'rsatkich bu aniqlik (aniqlik - to'g'ri bashoratlarning umumiy nisbati). Ammo 6-bo'limda ko'rganimizdek, aniqlik muvozanatsiz ma'lumotlar bilan chalg'itadi. Yaxshi boshlanish - chalkashlik matritsasi - bashoratlarni to'rtta qutiga ajratadigan jadval:
- Haqiqiy ijobiy (TP): Biz haqiqatan ham soxta narsani soxta deb ataymiz. (Yaxshi)
- Haqiqiy salbiy (TN): Biz, albatta, toza dedik. (Yaxshi)
- Noto'g'ri ijobiy (FP): Biz xato qilib, toza soxta ekanligini aytdik. (Noto'g'ri signal)
- Noto'g'ri salbiy (FN): Biz soxta narsani o'tkazib yubordik va uni toza deb atashdik. (O'tkazib yuborilgan tahdid)
Ushbu to'rtta qutidan ikkita asosiy ko'rsatkich olinadi. Aniqlik: "Men soxta deb ataydigan narsalarimning qanchasi soxta?" — noto'g'ri signal narxi yuqori bo'lsa muhim. Sezuvchanlik (ingliz tilida eslang): "Men qancha haqiqiy soxta narsalarni ushladim?" — tahdidni o'tkazib yuborish qimmat bo'lganda muhim. Ikkalasi ko'pincha bir-biriga qarama-qarshidir: agar siz chegarani pasaytirsangiz va ko'proq "soxta" deb aytsangiz, eslash kuchayadi, lekin aniqlik kamayadi. F1 balli bu ikkalasining muvozanatli o'rtacha (harmonik o'rtacha) hisoblanadi.
Diqqat: "Qaysi ko'rsatkich muhim" degan savolga javob texnik qaror emas, balki biznes qaroridir. Saraton skriningida ishni o'tkazib yuborish (kam eslash) halokatli; Spam filtrida spamga (past aniqlik) muhim elektron pochta xabarini yuborish zerikarli. Xarajatlar ko'rsatkichni belgilaydi.
Regressiya ko'rsatkichlari
Chiqish raqamlar bo'lsa, turli ko'rsatkichlar qo'llaniladi. MAE (O'rtacha mutlaq xato): xuddi shu birlikda hisob-kitoblar haqiqiy o'rtacha qiymatdan qanchalik og'ishi (masalan, "biz o'rtacha 4200 TL xato qildik"). RMSE (Root Mean Squared Error): katta xatolarni qattiqroq jazolaydi va chetga chiqadigan qiymatlarga sezgir. R² (R-kvadrat - aniqlash koeffitsienti): model maqsaddagi o'zgaruvchanlikning qancha qismini tushuntiradi (1 ga yaqin - yaxshi, 0 - o'rtachani bashorat qilish kabi yomon, salbiy esa bundan ham yomonroq).
Eng makkor tuzoq: ortiqcha o'rganish
Haddan tashqari moslashish - bu model o'quv ma'lumotlarini yodlab oladi, lekin yangi ma'lumotlarda muvaffaqiyatsiz bo'ladi - bu ma'lumotlar fanidagi eng keng tarqalgan xatodir. Alomat aniq: model o'quv majmuasida ajoyib (98%), test majmuasida yomon (72%). Model ma'lumotlardagi haqiqiy naqshni emas, balki o'sha namunadagi shovqinni yodlab oldi. Buning teskarisi ham bor: mos kelmaslik - model ham mashg'ulotda, ham sinovda yomon, chunki naqshni olish juda oddiy.
Haddan tashqari o'rganishga qarshi kurash usullari: modelni soddalashtirish, ko'proq ma'lumotlar, tartibga solish - modelni haddan tashqari murakkablashtirishdan saqlaydigan matematik tormoz - va eng muhimi, o'zaro tekshirish.
O'zaro tekshirish: bitta panelga ishonmang
Bitta trening/sinov podasi omadli yoki omadsiz bo'lishi mumkin; Sinov to'plami uchun yuqori ball olishingiz mumkin, chunki bu namuna oson. O'zaro tekshirish (qisqacha CV) buni hal qiladi. Eng keng tarqalgan shakl - k-katlama CV: ma'lumotlar k qismga bo'linadi (masalan, 5); Har bir turda bir qismi sinovdan, qolgan qismi mashg'ulotdan iborat; bu 5 marta aylanadi va 5 ball o'rtacha hisoblanadi. Shunday qilib, unumdorlik bitta omadli bo'linishga emas, balki bir nechta bo'linishlarning o'rtachasiga asoslanganligini ko'rasiz. Ballarni taqsimlash ham informatsiondir: juda o'zgaruvchan ballar (bir qavatda 85%, ikkinchi qavatda 62%) modelning beqaror ekanligini ko'rsatadi.
Vaqt seriyalarida oddiy k-katlama ishlatilmaydi (kelajakni oqadi); Buning o'rniga siz "oldinga zanjir" qilasiz (vaqt seriyasini ajratish): har doim o'tmish bilan mashq qilasiz va kelajakni sinab ko'rasiz.
metrik
Muammo turi
Qachon muhim?
Aniqlik
Tasniflash
Agar sinflar muvozanatli bo'lsa
Aniqlik
Tasniflash
Soxta signal qimmatga tushadi
Sezuvchanlik (eslab qolish)
Tasniflash
Agar o'tkazib yuborish qimmat bo'lsa
F1
Tasniflash
Agar muvozanat kerak bo'lsa
MAE
regressiya
Talqin qilinadigan xato
RMSE
regressiya
Agar katta xatolar muhim bo'lsa
R²
regressiya
tushuntirish kuchi
uchta mini holat
1-holat - Yuqori aniqlik illyuziyasi. Bitta firibgarlik modeli 99,2% aniqlikni ko'rsatdi va jamoa bayram qildi. Chalkashlik matritsasiga qaraganda, haqiqiy: ma'lumotlardagi soxta nisbat 0,8% ni tashkil etdi; model deyarli hech qanday soxta narsalarni ushlamadi, faqat "hammasi aniq" deb aytdi. Qayta tiklash 6% ni tashkil etdi. Dars: aniqlikka emas, ko'rsatkichlarga qarang.
2-holat - yashirin ortiqcha o'rganish. Bitta jamoa XGBoost-ni o'quv majmuasida 97% ga yetkazdi va oshirdi. Test to'plami 69% edi, lekin hech kim qaramadi. Model ishlab chiqarishda qulab tushdi. Agar o'zaro tekshirish amalga oshirilgan bo'lsa, burmalar orasidagi katta farq (ortiqcha o'rganish) boshidan ko'rinib turardi. Dars: ta'lim baliga emas, rezyume va test balliga ishoning.
3-holat - omadli bo'linish. Bir tahlilchi bitta bo'linishda 88% olganidan xursand bo'ldi. Uning hamkasbi 5 marta CV tuzganida, ballar 88%, 71%, 83%, 64%, 79% edi - o'rtacha 77%, lekin u juda o'zgaruvchan. Model beqaror edi; Yagona bo'lim noto'g'ri edi. Dars: shaxsiy qutiga emas, rezyumening o'rtacha va taqsimotiga qarang.
To'rt nusxa ko'chirish shablonlari
1) To'liq tasniflash hisoboti:
Men model va test to'plamini o'rgatganman. Yaratish: chalkashlik matritsasi, aniqlik, eslab qolish, F1 (har bir sinf uchun) va qo'llab-quvvatlash hisoblari. Men xulosa qilyapman, lekin bu menga bog'liq: men sizga qaysi ko'rsatkich muhimligini aytaman. E'tibor bering, aniqlik muvozanatsiz ma'lumotlar bilan chalg'itishi mumkin.
2) Qo'shimcha ta'lim nazorati:
Modelimning TA'LIM va TEST to'plamlaridagi ballarini yonma-yon chop eting. Ularning orasidagi farqni hisoblang va ogohlantiring, chunki katta farq ortiqcha o'rganish belgisidir. Agar farq katta bo'lsa, tartibga solish yoki soddalashtirishni taklif qiling.
3) o'zaro tekshirish:
5 marta o'zaro tekshirishni amalga oshiring (tabaqalashtirilgan, tasniflash uchun). Har bir buklamaning ballini, o'rtacha va standart og'ishini chop eting. Agar ballar juda o'zgaruvchan bo'lsa (yuqori std), model beqaror ekanligini ko'rsating. Transformatsiyalarni faqat har bir qatlamdagi mashg'ulot qismidan o'rganish uchun quvurlardan foydalaning.
4) Asosiy taqqoslash:
Mening modelimning o'lchovini DummyClassifier bazasi bilan yonma-yon qo'ying. Model asosiy chiziqdan sezilarli darajada ustun keladimi? Agar u o'tmasa, model hech qanday haqiqiy qiymat qo'shmasligini aniq ko'rsating.
Zaif taklif / Kuchli taklif
Zaif taklif:
Mening modelim yaxshimi?
"Yaxshi" - aniqlanmagan; Qaysi metrik, qaysi chegara, qaysi tayanch darajasi aniq emas. AI bitta aniqlik raqamini berishi va chalg'itishi mumkin.
Kuchli so'rov:
Sizning rolingiz: baholash bo'yicha yordamchi. Tasniflash, muvozanatsiz ma'lumotlar (12% ijobiy). Ustuvorlik: eslab qolish (ijobiy tomonlarini yo'qotmaslik). Vazifa: (1) chalkashlik matritsasi, (2) aniqlik/eslab qolish/F1, (3) 5-qatlamli CV o'rtacha va std, (4) DummyClassifier bazaviy taqqoslash. Aniqlikka emas, eslab qolish va asosiy farqga e'tibor qarating. Izoh, lekin men yakuniy qarorni qabul qilaman.
Bu erda metrik ustuvorlik, CV va asosiy holat aniq.
Umumiy xatolar
- Balanssiz ma'lumotlarning aniqligiga ishonish. 99% aniqlik ozchilik sinfini umuman ushlamasligi mumkin; Chalkashlik matritsasiga qarang.
- Faqat ta'lim balingizga qarab. Oliy ma'lumot, past imtihon natijalari - ortiqcha o'rganish; Har doim ikkita ballni solishtiring.
- Bitta bo'limga tayanish. Baxtli bo'linish noto'g'ri; O'rtacha va taqsimotni o'zaro tekshirish bilan ko'rib chiqing.
- Boshlang'ich bilan solishtirmaslik. Model ahmoqona bashoratchini mag'lub etishini bilmasdan turib, "yaxshi" deb ayta olmaysiz.
- Vaqt seriyalarida oddiy k-katlamadan foydalanish. U kelajakni yoritadi; vaqt qatorlarini ajratish talab qilinadi.
Maslahat: Har bir model yoniga uchta raqamni yozing: mashg'ulot balli, o'zaro tekshirish o'rtacha va asosiy ball. Bu uchlik bir qarashda haddan tashqari o'rganish (trening >> CV) va past baho (CV ≈ bazaviy)ni ochib beradi.
Xulosa
Model yaratish oson, lekin uni halol baholash qiyin. Tasniflashda chalkashlik matritsasi, aniqlik va eslab qolish aniqlikdan ko'ra ko'proq ma'lumotga ega; Ishning narxi qaysi biri muhimligini aniqlaydi. Regressiyada MAE, RMSE va R² qo'llaniladi. Eng makkor tuzoq bu haddan tashqari o'rganishdir: har doim mashg'ulot va test natijalarini solishtiring. Bitta bo'linish emas, balki o'zaro tekshirishning o'rtacha va taqsimotiga tayaning; Hamma narsani asosiy chiziq bilan solishtiring. AI bularning barchasini hisoblab chiqadi, ammo qaysi ko'rsatkichdan foydalanishni inson o'zi hal qiladi.
Ilova vazifasi
Tasniflash modeli uchun chalkashlik matritsasi, aniqlik, eslab qolish va F1ni chiqarib oling; Keyin 5 marta o'zaro tekshirishni amalga oshiring va burmalar bo'ylab ball taqsimotiga qarang. Nihoyat, mashg'ulot ballini, o'rtacha CV va asosiy ballni yonma-yon yozing. Sizning modelingiz ortiqcha o'rganyaptimi va asosiy chiziqdan o'tib ketyaptimi yoki yo'qligini bir jumla bilan izohlang.
nazorat ro'yxati
- [ ] Men aniqlik oʻrniga ishning haqiqiy koʻrsatkichiga (aniqlik/eslash/F1 va h.k.) qaradimmi?
- [ ] Men chalkashlik matritsasini tekshirdimmi?
- [ ] Men mashg‘ulot va test ballarini solishtirib, ortiqcha o‘rganishni tekshirdimmi?
- [ ] O'rtacha va taqsimotni o'zaro tekshirish bilan ko'rib chiqdimmi?
- [ ] Men modelni asosiy chiziq bilan taqqosladimmi?