Daromadlar:
- Muammo turini (tasniflash, regressiya, klasterlash) va ishning haqiqiy narxiga ko'ra muvaffaqiyat mezonlarini aniqlash qobiliyati
- Ma'lumotlarni halollik bilan taqsimlash qobiliyati (sinov to'plamiga tegmasdan; vaqt seriyasida xronologik) va oqishsiz baholash asosini yaratish
- Oddiy tayanch chiziqdan boshlab va unga loyiq bo'lgandagina murakkablikni qo'shish orqali talqin qilinadigan modelni tanlash qobiliyati.
Hozirgacha biz ma'lumotlarni to'pladik, tozaladik, o'rganib chiqdik va xususiyatlarni yaratdik. Endi biz haqiqiy ishga, model qurishga keldik. Model - bu ma'lumotlardan naqshni o'rganadigan va yangi vaziyatlar uchun bashoratlarni ishlab chiqaradigan matematik tuzilma. Ammo modelni yaratishning eng muhim qismi kodning o'zi emas, balki undan oldingi ikkita qaror: to'g'ri muammoni aniqlash va ma'lumotlarni to'g'ri taqsimlash. AI - algoritm tanlash, kod yozish va parametrlarni sozlash bo'yicha kuchli maslahatchi; lekin nimani bashorat qilish va muvaffaqiyat nimani anglatishini o'zi hal qiladi. Noto'g'ri aniqlangan muammo hatto mukammal yozilgan model bilan ham ishlamaydi.
Muammoni aniqlash birinchi navbatda: biz nimani bashorat qilamiz
Har bir modellashtirish ishi savol bilan boshlanadi va bu savol model turini belgilaydi. Tasniflash — chiqish kategoriya: “Bu mijoz ketadimi yoki qoladimi?”, “Bu tranzaksiya soxtami?”. Regressiya (ingliz tilida regressiya - chiqish raqam): "Bu uy qancha turadi?", "Keyingi oyda qancha buyurtma keladi?". Klasterlash (yorliqsiz ma'lumotlarni tabiiy guruhlarga bo'lish): "Mening mijozlarim nechta tabiiy segmentlarga bo'lingan?".
Muammo bayonining ikkinchi qismi muvaffaqiyat mezoni: bu modelning "yaxshi" bo'lishi nimani anglatadi? Firibgarlik modelida firibgarni yo'qotish halol mijozni tasodifan blokirovka qilishdan ko'ra ancha qimmatga tushadi; Shuning uchun "umumiy aniqlik" emas, balki "firibgarlarni qo'lga olish tezligi" birinchi o'ringa chiqadi. Agar siz ushbu mezonni boshidanoq biznes egasi bilan birga belgilamasangiz, natijada ishlamaydigan "juda aniq" modelga ega bo'lasiz (biz 7-bo'limda ko'rsatkichlarga chuqurroq kirib boramiz).
Diqqat: "Aniqlik" noto'g'ri bo'lishi mumkin. Agar 1000 ta tranzaksiyadan 10 tasi firibgarlik boʻlsa, “hech biri firibgar emas” degan ahmoqona model 99% aniqlik beradi, lekin birorta ham firibgarni ushlamaydi. Muammoning haqiqiy narxiga qarab muvaffaqiyat mezonlarini tanlang.
Trening/testni ajratish: modelni halol tekshirish
Modelni o'rgangan ma'lumotlari bilan sinab ko'rish talabaga imtihonda o'qigan savollarini berishga o'xshaydi; U yuqori ball oladi, lekin bilganini ko'rsatmaydi. Shunday qilib, biz ma'lumotlarni ikkiga bo'lamiz (ko'pincha uchta):
- Trening to'plami (ingliz tilida o'quv to'plami, odatda 70-80%): Model buni o'rganadi.
- Sinov to'plami (sinov to'plami, odatda 20-30%): Model buni umuman ko'rmaydi; haqiqiy ishlash bu erda o'lchanadi.
- Tasdiqlash to'plami: Modelni sozlash uchun ishlatiladigan oraliq to'plam (qaysi parametr yaxshiroq); test majmuasini "toza" saqlash uchun.
Eng asosiy qoida: mashg'ulot paytida test to'plamiga hech qachon tegilmaydi. Masshtablash, kodlash, xususiyatlarni tanlash - barchasi oddiygina o'quv majmuasidan o'rganiladi, so'ngra sinovga qo'llaniladi (5-qismdan oqish printsipi). Test to'plami - bu modelning haqiqiy dunyoni birinchi marta ko'rishi; Agar siz uni juda erta yoqsangiz, haqiqiy ishlashni hech qachon bilib olmaysiz.
Vaqt seriyali istisno: Agar sizning ma'lumotlaringiz vaqtga bog'liq bo'lsa (sotish, fond bozori, talab), tasodifiy bo'linish amalga oshirilmaydi. Chunki tasodifiy bo'linish modelni kelajakni ko'rishga va o'tmishni bashorat qilishga olib keladi - bu oqish. Buning o'rniga, xronologik bo'ling: eski davr bilan mashq qiling, yangi davr bilan sinab ko'ring.
Algoritm tanlash: oddiydan murakkabgacha
Yangi boshlanuvchilarning eng keng tarqalgan xatosi eng murakkab modeldan boshlashdir. To'g'ri yondashuv buning aksi: birinchi navbatda oddiy tayanch chizig'ini o'rnating. tasnifda "har doim ko'pchilik sinfini taxmin qiling"; regressiyada "har doim o'rtacha qiymatni baholang". Bu ahmoq model asosiy beradi; Agar sizning haqiqiy modelingiz buni o'tkaza olmasa, muammo bor. Keyin oddiy va tushunarli modellarga o'ting.
model
Muammo turi
kuchli nuqta
zaiflik
Asosiy (ko'pchilik/o'rtacha)
ikkalasi ham
Benchmark beradi
o'rganmaydi
Logistik regressiya
Tasniflash
Oddiy, tushunarli
Faqat chiziqli munosabatlar
Chiziqli regressiya
regressiya
Oddiy, tez
chiziqli taxmin
qaror daraxti
ikkalasi ham
izohlash mumkin
Oson yodlashlar
tasodifiy o'rmon
ikkalasi ham
Kuchli, bardoshli
Kamroq tushunarli
Gradientni kuchaytirish (XGBoost va boshqalar)
ikkalasi ham
juda kuchli
Sozlash qiyin, eslab qolish xavfi
Qoida: eng oddiy "etarlicha yaxshi" modelni tanlang. Ko'pgina biznes kontekstlarida talqin qilish kuchdan qimmatroqdir; Kreditni rad etishni "qora qutida shunday degan"dan ko'ra, "qarzingizning daromadga nisbati yuqori bo'lgani uchun" tushuntirgan ma'qul.
uchta mini holat
1-holat - Muammoning noto'g'ri ta'rifi. Jamoa "mijozni qoniqtiradimi" ga asoslangan tasniflash modelini yaratdi, ammo muvaffaqiyat mezoni sifatida "aniqlik" ni tanladi. Ma'lumotlarga ko'ra, mijozlarning 88% qoniqarli; Model barchani "qoniqarli" deb atash orqali 88% aniqlikka erishdi va norozi odamlarni hech qachon ushlamadi - garchi asl maqsad ularni topish bo'lsa ham. Dars: haqiqiy maqsad asosida muvaffaqiyat mezonlarini tanlang.
2-holat - Bo'limda vaqt oqishi. Talabni prognozlash loyihasida ma'lumotlar tasodifiy bo'lingan. Model 93% aniqlikni berdi, lekin ishlab chiqarishda halokatga uchradi, chunki mashg'ulotlarda u yanvar, keyin noyabr, dekabr ma'lumotlari bilan bashorat qilgan - kelajakni ko'rgan. Xronologik bo'linishga o'tganimizda, haqiqiy ishlash 74% gacha oshdi. Dars: vaqt seriyalarida xronologik bo'linish.
3-holat - Keraksiz murakkablik. Bitta tahlilchi to'g'ridan-to'g'ri chuqur neyron tarmoqdan boshladi, uni bir necha hafta davomida sozladi va 81% aniqlikka erishdi. Keyin bir hamkasbi 20 ta logistik regressiya bilan 80% ni oldi - tezroq, izohlash mumkin va parvarish qilish osonroq. Dars: asosiy va oddiy modeldan boshlang, bunga loyiq bo'lganda murakkablikni qo'shing.
To'rt nusxa ko'chirish shablonlari
1) Muammo ta'rifini aniqlashtirish:
Sizning rolingiz: modellashtirish bo'yicha maslahatchi. Menga ushbu ishni belgilashga yordam bering: "Men mijozlarning ishlamay qolishini kamaytirmoqchiman." Mendan so'rang va aniqlang: (1) bu tasnifmi yoki regressiyami, (2) maqsadli o'zgaruvchi nima va uni qanday aniqlash kerak, (3) muvaffaqiyat mezonlari nima bo'lishi kerak va nima uchun. Qaror meniki; savollar va variantlarni taqdim etasiz.
2) Xavfsiz o'qitish/sinov bo'limi:
Mening df ni 80%/20% trening/testga ajrating. Sinf taqsimotini saqlang (stratify).random_state=42. Bu VAQT SERIASI EMAS (mustaqil kuzatishlar). Bo'lingandan keyin har bir to'plamning sinf nisbatini chop eting. Hech qanday transformatsiyani qo'llamasdan, faqat bo'linish kodini test to'plamiga bering.
3) Vaqt seriyalarining xronologik bo'linishi:
Ma'lumotlar vaqtga bog'liq (sana ustuni: order_date). Tasodifiy EMAS, xronologik bo'linadi: eng qadimgi 80% trening, eng yangi 20% test. Trening va sinov sanalari diapazonlarini chop eting, shunda men kelajak sizib chiqmaganligini tekshirishim mumkin.
4) Asosiy chiziqni o'rnatish:
Menda tasniflash muammosi bor (maqsad: charchoq 0/1). Avval boshlang'ich chiziqni yarating: har doim ko'pchilik sinfni bashorat qiladigan DummyClassifier bilan mashg'ulot/sinov aniqligini o'lchang. Keyin oddiy logistik regressiyani o'rgating va uning asosiy ko'rsatkichdan ustunligini solishtiring. Ikkala ko'rsatkichni yonma-yon ko'rsating.
Zaif taklif / Kuchli taklif
Zaif taklif:
Ushbu ma'lumotlar bilan eng yaxshi modelni yarating.
"Eng yaxshi" aniqlanmagan; Muammo turi, maqsad, muvaffaqiyat mezonlari va bo'linish strategiyasi yo'q. AI tasodifiy naqsh hosil qiladi, ehtimol sizib chiqishi mumkin.
Kuchli so'rov:
Sizning rolingiz: model bo'yicha yordamchi. Muammo: tasniflash, maqsadli "bo'shliq" (0/1), sinf nomutanosibligi mavjud (~12% ishdan chiqish). Muvaffaqiyat mezoni: Xafa bo'lganlarni esga olish ustuvor vazifadir. Ma'lumotlardan mustaqil kuzatish (vaqt qatori emas). Vazifa: (1) 80/20% qatlamli bo'linish, (2) DummyClassifier bazaviy chiziq, (3) logistik regressiya, quvur liniyasidagi barcha o'zgarishlar va faqat treningdan o'rganilgan. Bo'linishdan oldin sinov to'plamiga tegmang.
Bu erda muammo turi, nomutanosiblik, mezon va oqish o'lchovi aniq.
Umumiy xatolar
- Haqiqiy maqsadga muvofiq muvaffaqiyat mezonlarini tanlamaslik. Balanssiz ma'lumotlardagi "aniqlik" noto'g'ri; Agar siz ozchilik sinfini qo'lga olishni istasangiz, eslab qolish birinchi o'ringa chiqadi.
- Trening davomida test majmuasiga tegish. Ajralishdan oldin masshtablash/kodlashni amalga oshirish oqadi va haqiqiy ishlashni yashiradi.
- Vaqt seriyalarida tasodifiy bo'linish. Model kelajakni ko'radi, ishlab chiqarishda qulab tushadi; Xronologik bo'linish juda muhimdir.
- Asosiy chiziqni o'rnatmasdan murakkab modelga o'tish. Benchmarklarsiz model haqiqatan ham yaxshi yoki yo'qligini bilib bo'lmaydi.
- Izohga e'tibor bermaslik. Biznes qarorlarida oddiy tushuntiriladigan model ko'pincha qora qutiga qaraganda qimmatroqdir.
Maslahat: Model yaratishni boshlashdan oldin, bitta jumla yozing: "Ushbu model _____ bashorat qiladi, uning muvaffaqiyati _____ metrikasi bilan o'lchanadi, chunki ishning haqiqiy qiymati _____". Agar siz ushbu jumlani to'ldira olmasangiz, kod yozishga hali tayyor emassiz.
Xulosa
Modelni yaratishning eng muhim qismi kod emas, balki undan oldingi qarorlardir: to'g'ri muammoni aniqlash (tasniflash yoki regressiya, maqsad nima, muvaffaqiyat mezoni nima) va ma'lumotlarni adolatli ravishda taqsimlash (testlar to'plamiga tegmasdan; vaqt seriyasida xronologik). Har doim oddiy boshlang'ich chiziqdan boshlang va faqat bunga loyiq bo'lganda murakkablikni qo'shing; Ko'pgina biznes kontekstlarida talqin qilish kuchdan ko'ra qadrlanadi. AI algoritm tanlash va kodlash bo'yicha kuchli maslahatchidir, lekin siz nimani va nima uchun bashorat qilishingizni inson hal qiladi.
Ilova vazifasi
Bashorat qilish muammosini aniqlang va quyidagi jumlani yozma ravishda to'ldiring: "Ushbu model bashorat qiladi ___ (tasniflash/regressiya), maqsad ___, muvaffaqiyat mezoni ___ chunki ___." Keyin ma'lumotlarni to'g'ri strategiya bilan ajrating (agar bu vaqt seriyasi bo'lsa, xronologik), asosiy chiziqni o'rnating va oddiy naqsh ushbu asosiy chiziqni buzadimi yoki yo'qligini o'lchang.
nazorat ro'yxati
- [ ] Muammo turini (tasniflash/regressiya) va maqsadni aniq belgilab oldimmi?
- [ ] Muvaffaqiyat mezonlarini ishning haqiqiy narxiga qarab tanladimmi?
- [ ] Mashg‘ulot davomida testlar to‘plamiga tegmay qoldimmi?
- [ ] Agar bu vaqt seriyasi bo'lsa, men uni xronologik jihatdan ajratdimmi?
- [ ] Murakkab modelga o'tishdan oldin bazani o'rnatdimmi?