Добици:
- Способност одабира метрике која одговара типу проблема и пословном контексту (ПР-АУЦ/позив у неуравнотеженим подацима, МАЕ/РМСЕ у регресији) и препознавање преко/недовољног учења
- Способност тумачења сваке метрике у односу на основну линију и мерење одступања и одвајање буке од напретка помоћу унакрсног провера
- Могућност извештавања о неоптимистичним резултатима подешавањем хиперпараметара са сетом за валидацију и коришћењем тестног скупа само на крају
Обука за моделе (обука: процес учења образаца из података) је највидљивији, али најобмањивији корак у МЛ инжењерингу. Појављује се зато што даје задовољавајући број као што је "прецизност 95%". Обмањујући јер је тај број често прави одговор на погрешно питање. У овој јединици се о образовању и евалуацији разговара са инжењерском дисциплином; Користимо вештачку интелигенцију као партнера у експерименталном дизајну и одлуку заснивамо на мерењу.
Логика циклуса обуке
Модел учи образац у подацима минимизирањем функције губитка: функција која нумерички мери грешку модела. Оптимизациони алгоритам (нпр. спуштање градијента) смањује губитак прилагођавањем параметара корак по корак. Циљ није запамтити податке о обуци, већ их генерализовати на податке без преседана.
Две главне опасности:
- Преоптерећење: Модел памти податке о тренингу и не успева на новим подацима. Успех у обуци је висок, успех верификације низак.
- Недовољна опрема: модел не може да ухвати образац; Успех обуке и валидације је низак.
Проналажење равнотеже је уметност образовања. Скуп за валидацију је ту да надгледа ову равнотежу: ако успех валидације почне да опада док се успех обуке повећава, преучење је почело.
Савет: Зацртајте заједно губитак обуке и валидације у сваком кораку. Тачка у којој две криве почињу да се разилазе је место где почиње прекомерно учење и прави је тренутак да се „рано заустави“.
Избор метрике: најкритичнија одлука
Погрешна метрика чини да добар модел изгледа лоше, а лош модел добро. Проблем одређује метрику:
- Неуравнотежена класификација (једна класа је веома ретка, нпр. превара): Тачност је обмањујућа. Модел који каже „назови све нормално“ добиће 99% тачности, али неће ухватити ниједну превару. Уместо тога, користе се прецизност (колико од онога што сам ухватио је заправо позитивно), подсећање (колико је од онога што сам ухватио заиста позитивно) и њихов баланс Ф1 или ПР-АУЦ.
- Уравнотежена класификација: Прецизност и РОЦ-АУЦ могу бити одговарајући.
- Регресија (процена броја): МАЕ (средња апсолутна грешка), РМСЕ (кажњава велике грешке), МАПЕ (процентуална грешка).
- Рангирање/препорука: НДЦГ, МРР, Рецалл@К.
Да ли су прецизност или опозив важни зависи од пословног контекста. Опозив (не пропуштајући ниједан пацијент) је приоритет у скринингу рака; Прецизност филтера за нежељену пошту (не слање важних е-порука у нежељену пошту) је важна. Ово је пословна одлука, а не техничка, а доносе је заједно инжењер и власник.
Слаби промпт / Јаки промпт
Слаб упит: „Оцените перформансе мог модела, тачност 0,97.“
Моћна порука: „Имам модел откривања преваре; позитивна стопа класе је 1,5%. Тачност је пријављена као 0,97. Објасните зашто би ова метрика могла да доведе у заблуду, реците ми које метрике (прецизност, опозив, ПР-АУЦ) бих желео да преферирам и зашто. Такође израчунајте колико је тачан „позови све негативно“ базном моделу података, да бих могао да добијем стварну додату вредност података.“
Разлика: моћан упит даје однос класа и пословни контекст; такође тражи поређење основног модела — ово је најважније сидро за то да ли је метрика смислена.
Основна линија: метрика без поређења је бесмислена
метрика није добра или лоша сама по себи; Да ли је то добро или лоше према основном моделу. Основни модел је најједноставније решење које ми пада на памет: „увек реци већинској класи“, „понови прошлонедељну вредност“, „погоди средњу вредност“. Ако ваш модел не може јасно да прође ово једноставно решење, сва сложеност је узалудна.
Опрез: Реченица „Мој модел је 85% тачан“ сама по себи не говори ништа. Ако основни модел већ добија 84%, ваш модел је скоро безвредан; Ако основни модел добије 50%, ваш модел је савршен. Увек говорите у смислу основног модела.
Унакрсна валидација и поверење
Једна подела тренинга/тестирања може бити случајна. Унакрсна провера: подела података на к делова и тестирање сваког дела узастопно показује колико су перформансе стабилне. У петострукој унакрсној валидацији добијате пет различитих резултата; Њихова средња вредност и стандардна девијација су важни. Ако је просек 80%, али је одступање ±12%, ваш модел је нестабилан — може се понашати сасвим другачије у следећој групи података.
Ово је такође критично за „поређење два модела“. Ако модел А има 81%, а модел Б 82%, да ли је Б заиста бољи? Ако је одступање ±3%, ова разлика може бити шум. Размислите да ли је разлика значајна пре него што одлучите.
Хиперпараметарско подешавање: са валидацијом, а не тестирањем
Хиперпараметри (подешавања која су ручно одређена пре тренинга—брзина учења, дубина стабла, итд.) се постављају са сетом за валидацију. Тест сет се користи само на крају, једном. Ако изаберете хиперпараметре гледајући тест сет, тест сет ће бити контаминиран и перформансе које извештавате биће оптимистичне, што у стварности није случај.
Вештачка интелигенција је добар помоћник у дизајнирању простора за претрагу хиперпараметара и писању кода за претрагу (претрага мреже, случајна претрага, Бајесова оптимизација). Али и даље одлучујете „који показатељ ћемо оптимизовати?“
три мини кофера
Случај 1 - Замка тачности. Медицински тим је био поносан на модел који је открио ретку болест: тачност од 98%. Када је направљено основно поређење модела, истина је изашла на видело: пошто је стопа оболевања била 2%, модел који је рекао „зовите све здраве“ такође је добио 98%. Опозив модела био је само 11% — већина пацијената је недостајала. Када је метрика претворена у ПР-АУЦ, измерене су стварне перформансе и модел је редизајниран.
Случај 2 – Погрешка бука за напредак. Тим је провео месеце побољшавајући модел са 86,2% на 86,9%. Унакрсна валидација је показала да је пристрасност била ±1,4% — тако да је „побољшање“ од 0,7 поена представљало статистичку буку. Тим је потрошио три недеље на нестварну зараду. Поука: не проглашавајте победу без провере да је побољшање веће од одступања.
Случај 3 - Контаминација тестног сета. Инжењер је више пута погледао тест сет да би изабрао најбоље хиперпараметре. 91% колико је пријавио пало је на 83% у производњи. Зашто: он је несвесно одабрао модел у складу са тим гледајући тест сет изнова и изнова (преучећи на тест сету). Пријављени и стварни учинак су се преклапали када је коришћен посебан скуп за валидацију.
Шаблони који се могу копирати
Помозите ми да изаберем праву метрику за овај проблем класификације. Проблем: [шта се предвиђа] Расподела класа: [позитивна стопа
Процените поређење следећа два модела. Унакрсна валидација модела А: [листа резултата] Унакрсна валидација модела Б: [листа резултата] Израчунајте средњу вредност и стандардну девијацију. Да ли је разлика статистички значајна или је то само шум унутар девијације? Коју бисте ми препоручили да одаберем и зашто?
Проверите у овом коду за обуку следеће: 1) Да ли су хиперпараметри изабрани са скупом за тестирање или сетом за валидацију? 2) Да ли се рано заустављање надгледа са исправним скупом? 3) Има ли знакова прекомерног учења (разлика у губитку обуке/валидације)? Код: [шифра]
Које од МАЕ, РМСЕ и МАПЕ треба да пријавим за овај проблем регресије? Скала циљне променљиве: [опсег]Да ли су велике грешке непропорционално лоше (РМСЕ), или су све једнаке (МАЕ)? Да ли постоје вредности близу нуле (да ли искривљују МАПЕ)? Предложите са кратким образложењем.
Табела за избор метрике
Тип проблема
Одговарајућа метрика
Треба избегавати
Зашто
Неуравнотежена класификација
ПР-АУЦ, Ф1, опозив
Прецизност
Већинска класа надувава метрику
Уравнотежена класификација
Тачност, РОЦ-АУЦ
—
Поуздан у балансираним подацима
Регресија (значајна одступања)
РМСЕ
МАПЕ (ако је нула)
Кажњава велике грешке
Регресија (једнака тежина)
МАЕ
—
Лако за тумачење
Рангирање/препорука
НДЦГ, Рецалл@К
Прецизност
Ред је важан
Уобичајене грешке
- Коришћење тачности на неуравнотеженим подацима. Најчешћа метричка грешка.
- Не правимо поређења основног модела. Због тога метрика губи своје значење.
- Гледајући тестни сет за хиперпараметре. Оптимистичан, нереалан резултат.
- Ослањајући се на један одељак. Без унакрсне провере нећете видети пристрасност.
- Грешка бука за напредак. Мала "побољшања" од одступања су углавном срећа.
- Игнорисање пословног контекста. Баланс прецизности/позива је пословна одлука.
Укратко
Права вештина у обуци модела није произвести велики број, већ знати шта тај број значи. Проблем и пословни контекст одређују праву метрику; интерпретирати сваку метрику у складу са основним моделом; мерите пристрасност унакрсном валидацијом и немојте мешати буку са напретком; Користите тест сет само на крају, једном. АИ је ваш партнер у дизајну експеримента, али одлука о „довољно добром“ је на вама и вама.
Задатак апликације
За модел класификације: (1) напишите дистрибуцију класа, (2) направите одговарајући основни модел и измерите његов резултат, (3) процените свој модел петоструком унакрсном валидацијом и пријавите средњу вредност и стандардну девијацију, (4) израчунајте метрику која одговара проблему (нпр. ПР-АУЦ) уместо тачности. Запишите да ли ваш модел надмашује основни модел са великом разликом без пристрасности.
контролна листа
- [ ] Одабрао сам метрику на основу типа проблема и пословног контекста.
- [ ] Направио сам основни модел и упоредио са њим.
- [ ] Пријавио сам средњу вредност и одступање са унакрсном провером.
- [ ] Потврдио сам да је побољшање веће од одступања.
- [ ] Изабрао сам хиперпараметре са сетом за валидацију.
- [ ] Тест сет сам користио само једном, на самом крају.