Пайдалар:
- Иштин реалдуу наркына жараша көйгөйдүн түрүн (классификация, регрессия, кластерлөө) жана ийгилик критерийлерин аныктоо мүмкүнчүлүгү
- Берилиштерди чынчылдык менен бөлүү мүмкүнчүлүгү (сыноолордун топтомуна тийбестен; хронологиялык түрдө убакыт сериясында) жана агып кетпеген баалоо негизин түзүү
- Жөнөкөй базадан баштап, ага татыктуу болгондо гана татаалдыкты кошуу менен чечмеленүүчү моделди тандоо мүмкүнчүлүгү.
Буга чейин биз маалыматтарды чогултуп, тазалап, изилдеп, функцияларды чыгардык. Эми биз моделди куруп, чыныгы ишке келдик. Модель – бул маалыматтардан үлгү үйрөнүүчү жана жаңы жагдайлар үчүн божомолдорду чыгарган математикалык структура. Бирок моделди куруунун эң маанилүү бөлүгү бул коддун өзү эмес, анын алдындагы эки чечим: туура көйгөйдү аныктоо жана маалыматтарды туура бөлүштүрүү. AI - алгоритм тандоодо, код жазууда жана параметрлерди тууралоодо күчтүү кеңешчи; бирок эмнени алдын ала айтууну жана ийги-ликтин эмнени билдирерин езу чечет. Туура эмес аныкталган маселе кемчиликсиз жазылган моделде да иштебейт.
Биринчи көйгөйдү аныктоо: биз эмнени болжолдойбуз
Ар бир моделдөө иши суроо менен башталат жана бул суроо моделдин түрүн аныктайт. Классификация — чыгаруу категориясы: "Бул кардар кетеби же калабы?", "Бул транзакция фейкпи?". Регрессия (англ. regression - чыгаруу сан болуп саналат): "Бул үй канча турат?", "Кийинки айда канча буйрук келет?". Кластерлөө (белгисиз маалыматтарды табигый топторго бөлүү): "Менин кардарларым канча табигый сегменттерге бөлүнөт?".
Проблемалык билдирүүнүн экинчи бөлүгү - ийгилик критерийи: бул моделдин "жакшы" болушу эмнени билдирет? Алдамчылык моделинде алдамчыны жоготуу чынчыл кардарды кокустан бөгөт коюудан алда канча кымбатыраак; Андыктан «жалпы тактык» эмес, «алдамчыларды кармоо ылдамдыгы» биринчи планга чыгат. Эгер сиз бул критерийди башынан эле аныктабасаңыз, бизнес ээси менен бирге, сиз иштебей турган "өтө так" үлгүгө ээ болосуз (7-бөлүктө метрикага тереңирээк киришебиз).
Абайлаңыз: "Тактык" адаштырышы мүмкүн. Эгерде 1000 транзакциянын 10у алдамчылык болсо, "эч кимиси алдамчылык эмес" деген акылсыз модель 99% так берет, бирок бир дагы алдамчыны кармай албайт. Көйгөйдүн реалдуу баасынын негизинде ийгилик критерийлерин тандаңыз.
Тренинг/тест бөлүү: моделдин чынчыл экспертизасы
Модельди үйрөнгөн маалыматтары менен сынап көрүү студентке экзаменде окуган суроолорун берген сыяктуу; Ал жогорку балл алат, бирок чындап билгенин көрсөтпөйт. Ошентип, биз маалыматтарды экиге (көбүнчө үчкө) бөлөбүз:
- Тренинг топтому (англис тилиндеги тренинг топтому, көбүнчө 70-80%): Модель муну үйрөнөт.
- Сыноо топтому (тест топтому, көбүнчө 20-30%): Модель муну такыр көрбөйт; чыныгы аткаруу бул жерде өлчөнөт.
- Текшерүү топтому: Моделди орнотуу үчүн колдонулган аралык топтом (кайсы параметр жакшыраак); тест комплектисин "таза" сактоо үчүн.
Эң негизги эреже: машыгуу учурунда тесттик комплект эч качан тийбейт. Масштабдоо, коддоо, өзгөчөлүктөрдү тандоо — бардыгы жөн гана окуу топтомун үйрөнүп, андан кийин тестирлөөгө колдонулат (5-бөлүктөн агып кетүү принциби). Сыноо топтому моделдин чыныгы дүйнөнү биринчи жолу көрүүсү; Эгер сиз аны өтө эрте күйгүзсөңүз, анда чыныгы аткарууну эч качан биле албайсыз.
Убакыт сериясынын өзгөчөлүгү: Эгер маалыматыңыз убакыттан көз каранды болсо (сатуу, биржа, суроо-талап), кокустук бөлүү жасалбайт. Анткени туш келди бөлүнүү моделдин келечекти көрүүгө жана өткөндү алдын ала айтууга түрткү берет - бул агып кетүү. Анын ордуна, хронологиялык түрдө бөлүңүз: эски мезгил менен машыгуу, жаңы мезгил менен сыноо.
Алгоритмди тандоо: жөнөкөйдөн татаалга
Жаңы баштагандардын эң кеңири тараган катасы - эң татаал моделден баштоо. Туура мамиле тескерисинче: адегенде жөнөкөй базаны түзүңүз. классификацияда "ар дайым көпчүлүк классты болжолдо"; регрессияда "ар дайым орточо баалоо". Бул келесоо модель базалык берет; Эгер сиздин чыныгы моделиңиз муну өтө албаса, анда көйгөй бар. Андан кийин жөнөкөй жана чечмеленүүчү моделдерге өтүңүз.
модель
Көйгөйдүн түрү
күчтүү чекит
алсыздык
Базалык (көпчүлүк/орточо)
экөө тең
Эталон берет
үйрөнбөйт
Логистикалык регрессия
Классификация
Жөнөкөй, чечмеленет
Сызыктуу гана байланыш
Сызыктуу регрессия
регрессия
Жөнөкөй, тез
сызыктуу божомол
чечим дарагы
экөө тең
чечмеленүүчү
Жөнөкөй жаттоо
кокус токой
экөө тең
Күчтүү, бышык
Азыраак түшүндүрүлөт
Градиентти жогорулатуу (XGBoost ж.б.)
экөө тең
абдан күчтүү
Ыңгайлаштыруу кыйын, жаттап калуу коркунучу
Эреже: эң жөнөкөй "жетиштүү жакшы" моделди тандаңыз. Көпчүлүк бизнес контексттеринде интерпретациялоо күчкө караганда баалуураак; Кредиттен баш тартууну “кара кутуча айткандай” эмес, “карызыңыздын кирешеге болгон катышы жогору болгондуктан” түшүндүргөн жакшы.
үч мини учурлар
1-жагдай — көйгөйдүн туура эмес аныкталышы. Команда "кардар канааттандырабы" дегенге негизделген классификация моделин курган, бирок ийгилик критерийи катары "тактыкты" тандап алган. Маалыматта кардарлардын 88% канааттандырылган; Модель бардыгын "канааттандым" деп айтуу менен 88% тактыкка ээ болду жана эч качан нааразы болгон адамдарды кармаган эмес, бирок чыныгы максаты аларды табуу болгон. Сабак: чыныгы максаттын негизинде ийгилик критерийлерин тандоо.
2-жагдай - Бөлмөдөгү убакыттын агып кетиши. Суроо-талапты болжолдоо долбоорунда маалыматтар туш келди бөлүнгөн. Модель 93% тактык берди, бирок өндүрүштө кыйроого учурады, анткени машыгууда январь айына, андан кийин ноябрга, декабрдын маалыматтары менен - келечекти көргөн. Биз хронологиялык бөлүштүрүүгө өткөндө иш жүзүндөгү көрсөткүч 74% га чейин өстү. Сабак: убакыт катарындагы хронологиялык бөлүнүү.
3-жагдай - Керексиз татаалдык. Бир аналитик түздөн-түз терең нейрон тармагын баштап, аны бир нече жума бою жөндөп, 81% тактыкка ээ болду. Андан кийин бир кесиптеш 20 линия логистикалык регрессия менен 80% алды - тезирээк, чечмеленүүчү жана тейлөө оңой. Сабак: баштапкы жана жөнөкөй моделден баштаңыз, ал татыктуу болгондо татаалдыкты кошуңуз.
Көчүрүү үчүн төрт шаблон
1) Проблеманын аныктамасын тактоо:
Сиздин ролуңуз: моделдөө боюнча кеңешчи. Мага бул жумушту аныктоого жардам бериңиз: "Мен кардарлардын санын азайткым келет." Менден сурап, тактаңыз: (1) бул классификация же регрессиябы, (2) максаттуу өзгөрмө деген эмне жана аны кантип аныктоо керек, (3) ийгилик критерийлери кандай болушу керек жана эмне үчүн. Чечим меники; суроолорду жана варианттарды сунуштайсыз.
2) Коопсуз окутуу/сыноо бөлүмү:
Менин df 80%/20% тренинг/тестке бөлүңүз. Класстын бөлүштүрүлүшүн сактоо (stratify).random_state=42. Бул УБАКЫТ СЕРИЯСЫ ЭМЕС (көз карандысыз байкоолор). Бөлүнгөндөн кийин ар бир топтомдун класстык катышын басып чыгарыңыз. Эч кандай трансформацияны колдонбостон, жөн гана бөлүүчү кодду сыноо топтомуна бериңиз.
3) Убакыт катарларынын хронологиялык бөлүнүшү:
Берилиштер убакыттан көз каранды (дата тилкеси: order_date). Кокус ЭМЕС, хронологиялык түрдө бөлүңүз: эң эски 80% тренинг, эң жаңы 20% тестирлөө. Тренинг жана тестирлөө даталарынын диапазондорун басып чыгарыңыз, ошондо мен келечектин ачыкка чыкпаганын текшере алам.
4) Негизги көрсөткүчтү белгилөө:
Менде классификация көйгөйү бар (максат: 0/1). Адегенде базалык көрсөткүчтү түзүңүз: ар дайым көпчүлүк классты алдын ала айткан DummyClassifier менен машыгуу/тесттин тактыгын өлчөңүз. Андан кийин жөнөкөй логистикалык регрессияны үйрөтүңүз жана анын базалык көрсөткүчтөн ашып түшпөгөнүн салыштырыңыз. Экөөнүн көрсөткүчтөрүн жанаша көрсөтүңүз.
Алсыз тездик / Күчтүү тездик
Алсыз билдирүү:
Бул маалыматтар менен эң мыкты моделди түзүңүз.
"Мыкты" аныкталбаган; Көйгөйдүн түрү, максат, ийгилик критерийлери жана бөлүү стратегиясы жок. AI кокустук үлгүсүн жаратат, балким агып кетиши мүмкүн.
Күчтүү билдирүү:
Сиздин ролуңуз: моделдик жардамчы. Көйгөй: классификация, максаттуу "жүргүзүү" (0/1), класстык дисбаланс бар (~12% кыйроо). Ийгиликтин критерийи: Чакырылгандарды чакырып алуу артыкчылыктуу. Маалыматтарга көз карандысыз байкоо (убакыт сериясы эмес). Тапшырма: (1) 80/20% стратификацияланган бөлүнүү, (2) DummyClassifier базалык сызыгы, (3) логистикалык регрессия, куурдагы бардык трансформациялар жана окутуудан гана үйрөнүлгөн. Бөлүү алдында сыноо топтомуна тийбеңиз.
Бул жерде көйгөйдүн түрү, дисбаланс, критерий жана агып кетүү өлчөсү айкын.
Жалпы каталар
- Ийгилик критерийлерин чыныгы максатка ылайык тандабоо. Теңдештирилбеген маалыматтардагы "тактык" адашууга алып келет; Эгер сиз азчылыктын классын басып алгыңыз келсе, кайра чакырып алуу биринчи планга чыгат.
- Машыгуу учурунда тест комплектине тийүү. Бөлүүдөн мурун масштабдоо/коддоону жасоо агып турат жана чыныгы аткарууну жашырат.
- Убакыт катарларынын кокустук бөлүнүшү. Модель келечекти көрөт, өндүрүштө кыйрайт; Хронологиялык бөлүштүрүү абдан маанилүү.
- Негизги линияны түзбөстөн, татаал моделге өтүү. Эталондорсуз сиз моделдин чындап эле жакшы же жокпу, биле албайсыз.
- Чечмелөөчүлүккө көңүл бурбоо. Бизнес чечимдеринде, жөнөкөй түшүндүрмө модели көбүнчө кара кутуга караганда баалуураак.
Кеңеш: Моделди курууну баштоодон мурун, бир сүйлөмдү жазыңыз: "Бул модель _____ болжолдойт, анын ийгилиги _____ метрика менен өлчөнөт, анткени жумуштун чыныгы баасы _____." Эгер бул сүйлөмдү толтура албасаңыз, код жазууга азырынча даяр эмессиз.
Кыскача айтканда
Моделди куруунун эң критикалык бөлүгү бул код эмес, анын алдында кабыл алынган чечимдер: туура маселени аныктоо (классификация же регрессия, максат эмне, ийгилик критерийи эмне) жана маалыматтарды калыс бөлүштүрүү (сыноочу топтомго тийбестен; убакыт сериясында хронологиялык). Ар дайым жөнөкөй базадан баштаңыз жана ал татыктуу болгондо гана татаалдыкты кошуңуз; интерпретациялоо көпчүлүк бизнес контексттеринде бийликке караганда бааланат. AI - алгоритм тандоодо жана коддо күчтүү кеңешчи, бирок сиз эмнени жана эмне үчүн алдын ала айтканыңызды адам өзү чечет.
Колдонмо тапшырмасы
Божомолдоо маселесин аныктаңыз жана төмөнкү сүйлөмдү жазуу жүзүндө толтуруңуз: “Бул модель ___ (классификация/регрессия) болжолдойт, максат ___, ийгилик критерийи ___, анткени ___.” Андан кийин маалыматтарды туура стратегия менен бөлүштүрүңүз (эгерде ал убакыт сериясы болсо, хронологиялык), базалык линияны түзүңүз жана жөнөкөй үлгү ошол базалык сызыкты бузуп же жокпу, өлчөңүз.
текшерүү тизмеси
- [ ] Мен маселенин түрүн (классификация/регрессия) жана максатты так аныктадымбы?
- [ ] Мен жумуштун чыныгы баасынын негизинде ийгилик критерийлерин тандадымбы?
- [ ] Тренинг учурунда мен тесттер топтомун калтырдымбы?
- [ ] Бул убакыт сериясы болсо, мен аны хронологиялык жактан бөлдүмбү?
- [ ] Мен комплекстүү моделге өтүүдөн мурун базаны түздүмбү?