Faida:
- Uwezo wa kuchagua kipimo kinachofaa kwa aina ya tatizo na muktadha wa biashara (PR-AUC/kumbuka katika data isiyosawazishwa, MAE/RMSE katika rejista) na kutambua juu/chini ya kujifunza
- Uwezo wa kutafsiri kila kipimo dhidi ya msingi na kupima kupotoka na kutenganisha kelele na maendeleo na uthibitishaji wa msalaba.
- Uwezo wa kuripoti matokeo yasiyo ya matumaini kwa kurekebisha hyperparameters na seti ya uthibitishaji na kutumia mtihani uliowekwa tu mwishoni.
Mafunzo ya kielelezo (mafunzo: mchakato wa kujifunza ruwaza kutoka kwa data) ndiyo hatua inayoonekana zaidi lakini yenye kupotosha zaidi ya uhandisi wa ML. Inaonekana kwa sababu inatoa nambari ya kuridhisha kama "usahihi 95%". Inapotosha kwa sababu nambari hiyo mara nyingi ni jibu sahihi kwa swali lisilo sahihi. Katika kitengo hiki, elimu na tathmini vinajadiliwa na taaluma ya uhandisi; Tunatumia akili bandia kama mshirika katika muundo wa majaribio na tunatoa uamuzi juu ya kipimo.
Mantiki ya mzunguko wa mafunzo
Muundo hujifunza mchoro katika data kwa kupunguza chaguo za kukokotoa za upotevu: chaguo la kukokotoa ambalo hupima hitilafu ya muundo kwa nambari. Kanuni ya uboreshaji (k.m. kushuka kwa upinde rangi) inapunguza hasara kwa kurekebisha vigezo hatua kwa hatua. Kusudi sio kukariri data ya mafunzo, lakini kuifanya kwa jumla kuwa data ambayo haijawahi kutokea.
Hatari kuu mbili:
- Kutoshea kupita kiasi: Mtindo hukariri data ya mafunzo na kushindwa kwenye data mpya. Mafanikio ya mafunzo ni ya juu, mafanikio ya uthibitishaji ni ya chini.
- Kutofaa: Mfano hauwezi kunasa muundo; Mafanikio ya mafunzo na uthibitishaji ni ya chini.
Kupata usawa ni sanaa ya elimu. Seti ya uthibitishaji ipo ili kufuatilia usawa huu: ikiwa ufanisi wa uthibitishaji utaanza kupungua huku ufanisi wa mafunzo ukiongezeka, kujifunza kupita kiasi kumeanza.
Kidokezo: Panga pamoja hasara ya mafunzo na uthibitishaji katika kila hatua. Mahali ambapo mikunjo miwili inapoanza kutofautiana ndipo kujifunza kupita kiasi kunapoanzia na ndio wakati mwafaka wa "kuacha mapema".
Uchaguzi wa kipimo: uamuzi muhimu zaidi
Kipimo kibaya hufanya muundo mzuri uonekane mbaya na mtindo mbaya uonekane mzuri. Tatizo huamua kipimo:
- Uainishaji usio na usawa (tabaka moja ni nadra sana, k.m. ulaghai): Usahihi ni wa kupotosha. Muundo unaosema "piga kila kitu kuwa kawaida" utapata usahihi wa 99% lakini hautapata ulaghai hata mmoja. Badala yake, usahihi (ni kiasi gani cha kile nilichokamata ni chanya), kumbuka (ni kiasi gani cha kile nilichopata ni chanya) na mizani yao F1 au PR-AUC inatumika.
- Uainishaji wa usawa: Usahihi na ROC-AUC inaweza kuwa sahihi.
- Urejeshaji (ukadirio wa nambari): MAE (maana ya hitilafu kabisa), RMSE (huadhibu makosa makubwa), MAPE (asilimia ya kosa).
- Cheo/mapendekezo: NDCG, MRR, Recall@K.
Ikiwa usahihi au kukumbuka ni muhimu inategemea muktadha wa biashara. Kumbuka (bila kukosa wagonjwa wowote) ni kipaumbele katika uchunguzi wa saratani; Usahihi katika kichujio cha barua taka (sio kutuma barua pepe muhimu kwa barua taka) ni muhimu. Huu ni uamuzi wa biashara, sio wa kiufundi, na hufanywa pamoja na mhandisi na mmiliki.
Mwongozo dhaifu / Mwongozo thabiti
Kidokezo dhaifu: "Tathmini utendakazi wa mfano wangu, usahihi 0.97."
Kidokezo chenye nguvu: "Nina muundo wa kutambua ulaghai; kiwango cha darasa chanya ni 1.5%. Usahihi umeripotiwa kama 0.97. Eleza kwa nini kipimo hiki kinaweza kuwa kinapotosha, niambie ni vipimo gani (usahihi, kumbuka, PR-AUC) ninafaa kupendelea na kwa nini. Pia hesabu jinsi muundo wa msingi wa 'call everything negative' ungepata kwenye data hii, ili niweze kuona thamani halisi iliyoongezwa."
Tofauti: haraka haraka inatoa uwiano wa darasa na mazingira ya biashara; pia inaomba ulinganisho wa kielelezo cha msingi - hii ndiyo nanga muhimu zaidi ya iwapo metriki ina maana.
Msingi: metriki bila kulinganisha haina maana
Metric sio nzuri au mbaya yenyewe; Ni nzuri au mbaya kulingana na mfano wa msingi. Mfano wa msingi ni suluhisho rahisi zaidi linalokuja akilini: "daima waambie darasa la wengi", "rudia thamani ya wiki iliyopita", "nadhani maana". Ikiwa mfano wako hauwezi kupitisha wazi suluhisho hili rahisi, ugumu wote ni bure.
Tahadhari: Sentensi "Mfano wangu ni sahihi 85%" yenyewe haisemi chochote. Ikiwa mfano wa msingi tayari unapata 84%, mtindo wako ni karibu hauna maana; Ikiwa mfano wa msingi unapata 50%, mfano wako ni kamili. Daima sema kulingana na mfano wa msingi.
Uthibitisho mtambuka na uaminifu
Mgawanyiko mmoja wa mafunzo/jaribio unaweza kutokana na bahati nasibu. Uthibitishaji mtambuka: kugawanya data katika sehemu za k na kupima kila sehemu kwa mfululizo huonyesha jinsi utendakazi ulivyo thabiti. Katika uthibitishaji wa msalaba mara 5 unapata alama tano tofauti; Mkengeuko wao wa maana na wa kawaida ni muhimu. Ikiwa wastani ni 80% lakini mkengeuko ni ±12%, muundo wako si thabiti - unaweza kuwa tofauti sana katika kundi linalofuata la data.
Hii pia ni muhimu kwa "ulinganisho wa mifano miwili". Ikiwa Model A alipata 81% na Model B akapata 82%, je B ni bora zaidi? Ikiwa kupotoka ni ± 3%, tofauti hii inaweza kuwa kelele. Fikiria ikiwa tofauti ni muhimu kabla ya kuamua.
Urekebishaji wa vigezo: kwa uthibitisho, sio majaribio
Vigezo (mipangilio iliyoamuliwa kwa mikono kabla ya mafunzo-kiwango cha kujifunza, kina cha mti, nk.) huwekwa na seti ya uthibitishaji. Seti ya mtihani hutumiwa tu mwishoni, mara moja. Ukichagua hyperparameta kwa kuangalia seti ya majaribio, seti ya majaribio itachafuliwa na utendaji utakaoripoti utakuwa wa matumaini jambo ambalo sivyo ilivyo.
Ujuzi wa bandia ni msaidizi mzuri katika kubuni nafasi ya utafutaji ya hyperparameter na kuandika msimbo wa utafutaji (utaftaji wa gridi ya taifa, utafutaji wa random, uboreshaji wa Bayesian). Lakini bado unaamua "tutaboresha kipimo kipi?"
kesi tatu ndogo
Kesi ya 1 - Mtego wa usahihi. Timu ya matibabu ilijivunia mfano ambao uligundua ugonjwa adimu: usahihi wa 98%. Wakati ulinganisho wa msingi ulipofanywa, ukweli uliibuka: kwa kuwa kiwango cha ugonjwa kilikuwa 2%, mfano uliosema "piga kila mtu mwenye afya" pia ulipokea 98%. Kukumbuka kwa mfano ilikuwa 11% tu - kukosa wagonjwa wengi. Pindi kipimo kilipobadilishwa kuwa PR-AUC, utendakazi halisi ulipimwa na muundo ukaundwa upya.
Kesi 2 - Kukosea kelele kwa maendeleo. Timu ilitumia miezi kadhaa kuboresha muundo kutoka 86.2% hadi 86.9%. Uthibitishaji wa msalaba ulionyesha kuwa upendeleo ulikuwa ± 1.4% - hivyo "uboreshaji" wa 0.7 ulikuwa kelele ya takwimu. Timu ilikuwa imepoteza wiki tatu kwa mapato yasiyo ya kweli. Somo: usitangaze ushindi bila kuthibitisha kuwa uboreshaji ni mkubwa kuliko mkengeuko.
Kesi ya 3 - Uchafuzi wa seti ya majaribio. Mhandisi aliangalia mara kwa mara seti ya jaribio ili kuchagua vigezo bora zaidi. Asilimia 91 iliyoripoti ilishuka hadi 83% katika uzalishaji. Kwa nini: alikuwa amechagua mfano huo bila kujua kwa kuangalia mtihani uliowekwa mara kwa mara (kujifunza juu ya seti ya mtihani). Utendaji ulioripotiwa na halisi ulipishana wakati seti tofauti ya uthibitishaji ilitumiwa.
Violezo vinavyoweza kunakiliwa
Nisaidie kuchagua kipimo sahihi cha tatizo hili la uainishaji. Tatizo: [nini kinatabiriwa] Usambazaji wa darasa: [kiwango chanya
Tathmini ulinganisho wa miundo miwili ifuatayo.Uthibitishaji mtambuka wa Muundo A: [orodha ya alama]Uthibitishaji mtambuka wa Muundo B: [orodha ya alama]Kokotoa wastani na mkengeuko wa kawaida. Tofauti ni muhimu kitakwimu au ni kelele tu ndani ya kupotoka? Je, ungependekeza nichague ipi na kwa nini?
Angalia msimbo huu wa mafunzo kwa yafuatayo:1) Je, vigezo vifuatavyo vimechaguliwa pamoja na seti ya jaribio au seti ya uthibitishaji?2) Je, kukomesha mapema kunafuatiliwa kwa seti sahihi?3) Je, kuna dalili zozote za kujifunza kupita kiasi (tofauti ya upotevu wa mafunzo/uthibitishaji)?Msimbo: [code]
Je, ni ipi kati ya MAE, RMSE, na MAPE ninapaswa kuripoti kwa tatizo hili la urejeshaji?Kiwango cha tofauti inayolengwa: [safa]Je, makosa makubwa ni mabaya kupita kiasi (RMSE), au yote ni sawa (MAE)?Je, kuna thamani zinazokaribia sufuri (je zinapotosha MAPE)?Pendekeza kwa uthibitisho mfupi.
Jedwali la uteuzi wa kipimo
Aina ya tatizo
Kipimo kinachofaa
Ili kuepukwa
Kwa nini
Uainishaji usio na usawa
PR-AUC, F1, kumbuka
Usahihi
Daraja la walio wengi huongeza kipimo
Uainishaji wa usawa
Usahihi, ROC-AUC
-
Inaaminika katika data ya usawa
Regression (dhahiri muhimu)
RMSE
MAPE (kama sifuri)
Huadhibu makosa makubwa
Kurudi nyuma (uzito sawa)
MAE
-
Rahisi kutafsiri
Cheo/mapendekezo
NDCG, Kumbuka@K
Usahihi
Kuagiza ni muhimu
Makosa ya kawaida
- Kutumia usahihi kwenye data isiyo na usawa. Hitilafu ya kawaida ya kipimo.
- Sio kulinganisha mifano ya msingi. Hufanya metriki kupoteza maana yake.
- Kuangalia seti ya mtihani wa hyperparameters. Matumaini, matokeo yasiyo ya kweli.
- Kutegemea compartment moja. Bila uthibitisho mtambuka hautaona upendeleo.
- Kukosea kelele kwa maendeleo. "Maboresho" madogo kutoka kwa kupotoka mara nyingi ni bahati.
- Kupuuza muktadha wa biashara. Usahihi/salio la kukumbuka ni uamuzi wa biashara.
Kwa muhtasari
Ustadi wa kweli katika mafunzo ya mfano sio kutoa idadi kubwa, lakini kujua nambari hiyo inamaanisha nini. Tatizo na muktadha wa biashara huamua kipimo sahihi; kutafsiri kila kipimo kulingana na mfano wa msingi; pima upendeleo kwa uthibitisho mtambuka na usikose kelele kwa maendeleo; Tumia mtihani uliowekwa tu mwishoni, wakati mmoja. AI ni mshirika wako katika muundo wa majaribio, lakini uamuzi wa "mzuri vya kutosha" ni juu yako na yako.
Jukumu la maombi
Kwa muundo wa uainishaji: (1) andika usambazaji wa darasa, (2) jenga muundo wa msingi unaofaa na upime alama zake, (3) tathmini muundo wako kwa uthibitishaji wa mara 5 na uripoti mkengeuko wa wastani na wa kawaida, (4) hesabu kipimo kinachofaa kwa tatizo (k.m. PR-AUC) badala ya usahihi. Andika kama kielelezo chako kinashinda kielelezo cha msingi kwa ukingo mkubwa bila upendeleo.
orodha ya ukaguzi
- [ ] Nilichagua kipimo kulingana na aina ya tatizo na muktadha wa biashara.
- [ ] Niliunda mfano wa msingi na kulinganisha dhidi yake.
- [ ] Niliripoti wastani na mkengeuko kwa uthibitisho mtambuka.
- [ ] Nilithibitisha kuwa uboreshaji ni mkubwa kuliko mkengeuko.
- [ ] Nilichagua hyperparamita zilizo na seti ya uthibitishaji.
- [ ] Nilitumia tu seti ya majaribio mara moja, mwishoni kabisa.