Табыстар:
- Жұмыстың мақсатына сәйкес жіктеу және регрессия көрсеткіштерін (шатастыру матрицасы, дәлдік/қайта шақыру/F1, MAE/RMSE/R²) таңдау және түсіндіру мүмкіндігі
- Жаттығу мен сынақ ұпайларын салыстыру арқылы артық оқуды анықтау және кросс-валидация арқылы сенімді өнімділікке қол жеткізу
- Әрбір үлгіні негізгі мәнмен салыстыру арқылы нақты мән қосатынын бағалау мүмкіндігі
Модельді орнату оңай; Оның шынымен жұмыс істейтінін нақты өлшеу қиын. Бұл бөлімнің тақырыбы деректер зерттеушісінің ең маңызды дағдысы: модельді дұрыс метрикамен бағалау, сенімді болжамдық өнімділікке қол жеткізу және ең жасырын тұзаққа түсу: артық үйрену (есте сақтау). AI көрсеткіштерді есептейді, түсіндіреді және салыстырады; бірақ сіздің бизнесіңіз үшін қай көрсеткіш дұрыс екенін және үлгінің «жеткілікті жақсы» екенін адам шешеді. Қате метрикаға қарайтын топ бірнеше ай бойы нашар үлгіні «сәттілік» деп қателесуі мүмкін.
Неліктен дәлдік жеткіліксіз: шатасу матрицасы
Жіктеу кезінде еске түсетін бірінші метрика дәлдік болып табылады (дәлдік — дұрыс болжамдардың жалпы қатынасы). Бірақ біз 6-бөлімде көргеніміздей, дәлдік теңгерімсіз деректермен жаңылыстырады. Жақсырақ бастау - шатасу матрицасы — болжамдарды төрт қорапқа бөлетін кесте:
- Шынайы позитивті (TP): Біз шын мәнінде жалған дегенді жалған деп атадық. (Жақсы)
- Шынайы теріс (TN): Біз шынымен таза дедік. (Жақсы)
- Жалған позитивті (FP): Біз тазаны жалған деп қате айттық. (Жалған дабыл)
- Жалған теріс (FN): Біз жалғанды жіберіп алып, оны таза деп атадық. (Жіберіп алған қауіп)
Осы төрт қораптан екі негізгі көрсеткіш алынады. Дәлдік: "Мен жалған деп атайтын нәрселердің қаншасы шын мәнінде жалған?" — егер жалған дабыл құны жоғары болса маңызды. Сезімталдық (ағылшын тілінде еске түсіру): «Мен қанша нақты жалғанды ұстадым?» — қауіпті жіберіп алмау қымбат болғанда маңызды. Екеуі жиі бір-біріне қайшы келеді: егер сіз шекті төмендетіп, көбірек «жалған» деп айтсаңыз, еске түсіру артады, бірақ дәлдік төмендейді. F1 ұпайы осы екеуінің теңдестірілген орташа мәні (гармоникалық орташа) болып табылады.
Назар аударыңыз: «Қай метрика маңызды» деген сұраққа жауап техникалық емес, іскерлік шешім болып табылады. Қатерлі ісік скринингінде жағдайды жіберіп алу (төмен еске түсіру) апатты; Маңызды электрондық поштаны спам сүзгісінде спамға (дәлдігі төмен) жіберу тітіркендіреді. Шығын көрсеткішті анықтайды.
Регрессия көрсеткіштері
Егер шығыс сандар болса, әртүрлі көрсеткіштер пайдаланылады. MAE (Орташа абсолютті қате): бағалаулар бір бірлікте нақты орташа мәннен қаншалықты ауытқиды (мысалы, «біз орта есеппен 4200 TL қателестік»). RMSE (Root Mean Squared Error): негізгі қателерді қатаңырақ жазалайды және шектен тыс көрсеткіштерге сезімтал. R² (R-квадрат — детерминация коэффициенті): модель мақсаттағы өзгергіштіктің қанша бөлігін түсіндіреді (1-ге жақын - жақсы, 0 - орташа мәнді болжау сияқты нашар, теріс - одан да нашар).
Ең жасырын тұзақ: артық оқу
Шамадан тыс фитинг - бұл модель жаттығу деректерін есте сақтайды, бірақ жаңа деректерде сәтсіздікке ұшырайды - деректер ғылымындағы ең жиі кездесетін қате. Симптом анық: үлгі жаттығу жиынында жақсы (98%), сынақ жиынында нашар (72%). Модель деректердегі нақты үлгіні емес, нақты үлгінің шуды есте сақтады. Керісінше де бар: жарамсыз — үлгі жаттығуда да, тестілеуде де нашар, себебі үлгіні түсіру тым қарапайым.
Шамадан тыс оқумен күресу жолдары: модельді жеңілдету, көбірек деректер, реттеу — модельді тым күрделілеуден сақтайтын математикалық тежеу — және ең бастысы, кросс-валидация.
Айқас тексеру: бір панельге сенбеңіз
Жалғыз жаттығу/сынақ алаңы сәтті немесе сәтсіз болуы мүмкін; Сынақ жинағы үшін жоғары балл ала аласыз, себебі бұл үлгі оңай. Кросс-валидация (қысқаша түйіндеме) мұны шешеді. Ең көп тараған түрі k-бүктеледі CV: деректер k бөлікке бөлінеді (мысалы, 5); Әр раундта бір бөлігі тестілеу, қалғаны жаттығу; бұл 5 рет айналады және 5 ұпай орташаланады. Осылайша сіз өнімділіктің бір сәтті бөлуге емес, бірнеше бөлудің орташа мәніне негізделгенін көресіз. Ұпайларды бөлу де ақпараттық сипатта: өте құбылмалы ұпайлар (бір қабатта 85%, екінші қабатта 62%) үлгінің тұрақсыз екенін көрсетеді.
Уақыттық қатарларда қалыпты k-есеп пайдаланылмайды (болашақты ағып кетеді); Оның орнына сіз «алға тізбектеу» (уақыт қатарын бөлу) жасайсыз: әрқашан өткенмен жаттығу және болашақты сынау.
метрикалық
Мәселе түрі
Бұл қашан маңызды?
Дәлдік
Классификация
Егер сабақтар теңдестірілген болса
Дәлдік
Классификация
Жалған дабыл қымбат
Сезімталдық (еске түсіру)
Классификация
Сағыну қымбат болса
F1
Классификация
Тепе-теңдік қажет болса
MAE
регрессия
Түсіндірілетін қате
RMSE
регрессия
Егер үлкен қателіктер маңызды болса
R²
регрессия
түсіндіру күші
үш шағын іс
1-жағдай - Жоғары дәлдік елесін. Бір алаяқтық үлгісі 99,2% дәлдікті көрсетті және команда тойлады. Шатасу матрицасына қарасақ, нақты: деректердегі жалған көрсеткіш 0,8% құрады; модель дерлік ешқандай жалғанды ұстамады, тек «бәрі түсінікті» деп айтты. Еске алу 6% құрады. Сабақ: дәлдікке емес, көрсеткіштерге қараңыз.
2-жағдай – жасырын қосымша оқыту. Бір команда XGBoost-ті жаттығу жиынында 97%-ға жеткізіп, арттырды. Сынақ жинағы 69% болды, бірақ ешкім қараған жоқ. Модель өндірісте құлады. Егер кросс-валидация жасалған болса, қатпарлар арасындағы үлкен айырмашылық (үстеме үйрену) басынан бастап көрінетін еді. Сабақ: білім көрсеткішіне емес, түйіндеме мен сынақ ұпайына сеніңіз.
3-жағдай - Бақытты бөлу. Бір талдаушы бір бөлуде 88% алғанына қуанды. Оның әріптесі 5 реттік түйіндеме жасағанда, ұпайлар 88%, 71%, 83%, 64%, 79% болды — орташа 77%, бірақ бұл өте құбылмалы. Модель тұрақсыз болды; Жалғыз купе адастырды. Сабақ: жеке жәшікке емес, түйіндеменің ортасы мен таралуына қараңыз.
Көшірілетін төрт үлгі
1) Толық жіктеу есебі:
Мен үлгіні және сынақ жиынтығын оқыдым. Жасау: шатастыру матрицасы, дәлдік, еске түсіру, F1 (әр сынып үшін) және қолдау сандары. Мен қорытынды жасап жатырмын, бірақ бұл маған байланысты: мен сізге қай көрсеткіш маңызды екенін айтамын. Дәлдік теңгерімсіз деректермен жаңылыстыруы мүмкін екенін ескеріңіз.
2) Қосымша оқуды бақылау:
Менің үлгімнің ұпайларын ТРЕНИНГ пен ТЕСТ жиындарында қатар басып шығарыңыз. Олардың арасындағы айырмашылықты есептеп, ескертіңіз, өйткені үлкен айырмашылық артық оқудың белгісі. Егер айырмашылық үлкен болса, реттеуді немесе жеңілдетуді ұсыныңыз.
3) Айқас валидация:
5 еселік кросс-валидацияны орындаңыз (стратификация, классификация үшін). Әрбір бүктеменің ұпайын, орташа және стандартты ауытқуын басып шығарыңыз. Егер баллдар өте құбылмалы болса (жоғары std), үлгінің тұрақсыз екенін көрсетіңіз. Түрлендірулер тек әр қабаттағы оқу бөлігінде үйренетіндей етіп құбыр желілерін пайдаланыңыз.
4) Базалық салыстыру:
Үлгімнің метрикасын DummyClassifier негізгі сызығымен қатар қойыңыз. Модель негізгі сызықты айтарлықтай жеңе ме? Егер ол өтпесе, модель ешқандай нақты мән қоспайтынын көрсетіңіз.
Әлсіз шақыру / Күшті шақыру
Әлсіз шақыру:
Менің моделім жақсы ма?
«Жақсы» анықталмаған; Қандай метрика, қандай шек, қандай базалық көрсеткіш екені белгісіз. AI бір дәлдік нөмірін беріп, жаңылыстыруы мүмкін.
Күшті шақыру:
Сіздің рөліңіз: бағалау бойынша көмекші. Жіктелуі, теңгерілмеген деректер (12% оң). Басымдық: еске түсіру (позитивтерді жіберіп алмау). Тапсырма: (1) шатастыру матрицасы, (2) дәлдік/қайта шақыру/F1, (3) 5 еселенген стратификацияланған CV орташа және std,(4) DummyClassifier базалық салыстыру. Дәлдікке емес, еске түсіруге және негізгі айырмашылыққа назар аударыңыз. Пікір қалдырыңыз, бірақ соңғы шешімді мен қабылдаймын.
Мұнда метрикалық басымдық, түйіндеме және негізгі жағдай анық.
Жалпы қателер
- Теңгерімсіз деректердегі дәлдікке сену. 99% дәлдік азшылық класын мүлде көрсетпеуі мүмкін; Шатасу матрицасын қараңыз.
- Сіздің білім ұпайыңызға қарап отырыңыз. Білімі жоғары, тестілеудің төмен ұпайы артық оқу; Әрқашан екі ұпайды салыстырыңыз.
- Бір бөлікке сүйену. Бақытты бөлу жаңылыстыру; Кросс-валидация арқылы орташа және үлестірімді қараңыз.
- Негізгі деңгеймен салыстырмау. Модельдің ақымақ болжамды жеңетінін білмей, «жақсы» деп айта алмайсыз.
- Уақыт қатарында қалыпты k еселеуді пайдалану. Ол болашақты ашады; уақыт қатарын бөлу қажет.
Кеңес: Әр үлгінің жанына үш санды жазыңыз: жаттығу ұпайы, айқас тексерудің орташа мәні және бастапқы балл. Бұл трио бір қарағанда артық оқуды (тренинг >> түйіндеме) және төмен бағалауды (CV ≈ бастапқы деңгей) көрсетеді.
Қысқаша айтқанда
Модель жасау оңай, бірақ оны шынайы бағалау қиын. Классификацияда шатастыру матрицасы, дәлдік және еске түсіру дәлдікке қарағанда әлдеқайда ақпараттандырады; Жұмыстың құны қайсысы маңызды екенін анықтайды. MAE, RMSE және R² регрессияда қолданылады. Ең жасырын тұзақ - артық оқу: әрқашан жаттығулар мен сынақ ұпайларын салыстырыңыз. Жалғыз бөлуге емес, кросс-валидацияның орташа және таралуына сүйеніңіз; Барлығын негізгі көрсеткішпен салыстырыңыз. Жасанды интеллект бұлардың барлығын есептейді, бірақ қандай метриканы қолдану керектігін адамның өзі шешеді.
Қолданбалы тапсырма
Жіктеу үлгісі үшін шатасу матрицасын, дәлдікті, қайта шақыруды және F1 шығару; Содан кейін 5 еселік айқаспалы тексеруді орындаңыз және бүктемелер бойынша ұпайлардың таралуын қараңыз. Соңында, жаттығу ұпайын, орташа түйіндемені және негізгі ұпайды қатар жазыңыз. Модельіңіз артық үйреніп жатқанын және негізгі сызықтан өтіп жатқанын бір сөйлеммен түсіндіріңіз.
бақылау парағы
- [ ] Мен дәлдіктің орнына тапсырманың нақты көрсеткішін (дәлдік/қайта шақыру/F1 т.б.) қарадым ба?
- [ ] Шатасу матрицасын зерттедім бе?
- [ ] Жаттығу мен сынақ ұпайларын салыстырып, артық оқуды тексердім бе?
- [ ] Кросс-валидация арқылы орташа мәнді және бөлуді қарастырдым ба?
- [ ] Үлгіні негізгі сызықпен салыстырдым ба?