Faida:
- Uwezo wa kuchagua na kutafsiri vipimo vya uainishaji na urekebishaji (matrix ya mkanganyiko, usahihi/kumbuka/F1, MAE/RMSE/R²) kulingana na madhumuni ya kazi.
- Uwezo wa kugundua kupita kiasi kwa kulinganisha alama za mafunzo na mtihani na kupata utendaji unaotegemewa na uthibitishaji wa msalaba
- Uwezo wa kutathmini ikiwa kila mtindo unaongeza thamani halisi kwa kulinganisha na msingi
Ni rahisi kuanzisha mfano; Ni ngumu kupima kwa uaminifu ikiwa inafanya kazi kweli. Mada ya kitengo hiki ni ujuzi muhimu zaidi wa mwanasayansi wa data: kutathmini muundo kwa metriki sahihi, kufikia utendaji unaotegemewa wa kubashiri, na kunasa mtego wa hila zaidi: kujifunza kupita kiasi (kukariri). AI huhesabu, kutafsiri na kulinganisha metriki; lakini ni juu ya binadamu kuamua ni kipimo kipi kinafaa kwa biashara yako na kama kielelezo "kinatosha". Timu inayoangalia kipimo kibaya inaweza kukosea mfano mbaya kwa miezi kadhaa kama "mafanikio."
Kwa nini usahihi haitoshi: matrix ya kuchanganyikiwa
Kipimo cha kwanza kinachokuja akilini katika uainishaji ni usahihi (usahihi - uwiano wa jumla wa ubashiri sahihi). Lakini kama tulivyoona katika Kitengo cha 6, usahihi unapotosha na data isiyosawazishwa. Mwanzo bora ni matrix ya mkanganyiko - jedwali ambalo linagawanya utabiri katika mapipa manne:
- Kweli chanya (TP): Tuliita fake kile ambacho ni bandia. (Nzuri)
- Hasi ya kweli (TN): Tulisema safi kabisa. (Nzuri)
- Chanya ya uwongo (FP): Tulisema kimakosa kwamba ile safi ilikuwa bandia. (Kengele ya uwongo)
- Hasi ya uwongo (FN): Tulikosa bandia na tukaiita safi. (Tishio lililokosa)
Vipimo viwili muhimu vinatokana na visanduku hivi vinne. Usahihi: "Ni kiasi gani cha kile ninachoita bandia ambacho ni bandia?" - muhimu ikiwa gharama ya kengele ya uwongo ni kubwa. Usikivu (kumbuka kwa Kiingereza): "Nilikamata fake ngapi halisi?" - muhimu wakati wa kukosa tishio ni ghali. Wawili hawa mara nyingi hutofautiana: ukipunguza kizingiti na kusema "bandia" zaidi, kumbuka huongezeka lakini usahihi hupungua. Alama ya F1 ni wastani wa uwiano (maana ya harmonic) kati ya hizi mbili.
Makini: Jibu la swali "Ni kipimo gani ni muhimu" ni uamuzi wa biashara, sio wa kiufundi. Kukosa kesi (kumbukumbu kidogo) katika uchunguzi wa saratani ni mbaya; Inaudhi kutuma barua pepe muhimu kwa barua taka (usahihi wa chini) kwenye kichujio cha barua taka. Gharama huamua kipimo.
Vipimo vya kurudi nyuma
Ikiwa matokeo ni nambari, vipimo tofauti hutumiwa. MAE (Maana ya Hitilafu Kabisa): ni kiasi gani cha makadirio yanapotoka kwa wastani halisi, katika kitengo sawa (k.m. "tumekosea kwa 4,200 TL kwa wastani"). RMSE (Root Mean Squared Error): huadhibu makosa makubwa zaidi na ni nyeti kwa wauzaji bidhaa nje. R² (R-mraba - mgawo wa uamuzi): ni kiasi gani cha tofauti katika lengwa ambalo mtindo unaelezea (karibu na 1 ni nzuri, 0 ni mbaya kama kutabiri wastani, hasi ni mbaya zaidi).
Mtego mbaya zaidi: kujifunza kupita kiasi
Kutoshea kupita kiasi - ambapo modeli hukariri data ya mafunzo lakini ikashindwa kwenye data mpya - ndilo kosa la kawaida katika sayansi ya data. Dalili ni wazi: mfano ni mzuri kwenye seti ya mafunzo (98%), mbaya kwenye seti ya mtihani (72%). Mfano umekariri kelele za sampuli hiyo, sio muundo halisi katika data. Pia kuna kinyume: kutofaa—mfano ni mbaya katika mafunzo na majaribio kwa sababu ni rahisi sana kunasa muundo.
Njia za kukabiliana na kujifunza kupita kiasi: kurahisisha modeli, data zaidi, urekebishaji - breki ya hisabati ambayo inazuia muundo kuwa ngumu sana - na muhimu zaidi, uthibitishaji mtambuka.
Uthibitishaji mtambuka: usiamini kidirisha kimoja
Ganda moja la mafunzo/jaribio linaweza kuwa na bahati au bahati mbaya; Unaweza kupata alama za juu kwa seti ya jaribio kwa sababu sampuli hiyo ni rahisi. Uthibitishaji mtambuka (CV kwa kifupi) hutatua hili. Fomu ya kawaida ni k-fold CV: data imegawanywa katika sehemu za k (k.m. 5); Katika kila raundi, sehemu moja inapimwa na iliyobaki ni mafunzo; hii inazunguka mara 5 na alama 5 ni wastani. Kwa hivyo utaona kuwa utendaji unategemea wastani wa migawanyiko mingi, sio mgawanyiko mmoja wa bahati. Usambazaji wa alama pia ni wa habari: alama za tete sana (85% kwenye sakafu moja, 62% kwa nyingine) zinaonyesha kuwa mfano hauna utulivu.
K-fold ya kawaida haitumiki katika mfululizo wa saa (huvuja siku zijazo); Badala yake, unafanya "mbele mnyororo" (msururu wa mgawanyiko wa wakati): kila wakati fanya mazoezi na yaliyopita na kujaribu siku zijazo.
kipimo
Aina ya tatizo
Ni wakati gani?
Usahihi
Uainishaji
Ikiwa madarasa yana usawa
Usahihi
Uainishaji
Kengele ya uwongo ni ghali
Usikivu (kumbuka)
Uainishaji
Ikiwa ni ghali kukosa
F1
Uainishaji
Ikiwa usawa unahitajika
MAE
kurudi nyuma
Hitilafu inayoweza kufasiriwa
RMSE
kurudi nyuma
Ikiwa makosa makubwa ni muhimu
R²
kurudi nyuma
nguvu ya maelezo
kesi tatu ndogo
Kesi ya 1 - Udanganyifu wa usahihi wa juu. Mtindo mmoja wa ulaghai ulionyesha usahihi wa 99.2% na timu ikasherehekea. Kuangalia matrix ya kuchanganyikiwa, halisi: kiwango cha bandia katika data kilikuwa 0.8%; mfano hawakupata karibu hakuna bandia, akisema tu "yote wazi". Rekodi ilikuwa 6%. Somo: angalia vipimo, sio usahihi.
Kesi ya 2 - Usomaji uliofichwa. Timu moja iliwasilisha na kuongeza XGBoost hadi 97% kwenye seti ya mafunzo. Seti ya majaribio ilikuwa 69%, lakini hakuna mtu aliyeangalia. Mfano huo ulianguka katika uzalishaji. Ikiwa uthibitishaji wa msalaba ungefanywa, tofauti kubwa kati ya mikunjo (kujifunza juu) ingeonekana tangu mwanzo. Somo: amini CV na alama za mtihani, sio alama za elimu.
Kesi ya 3 - Mgawanyiko wa bahati. Mchambuzi mmoja alifurahi kupata 88% katika mgawanyiko mmoja. Mwenzake alipofanya CV mara 5, alama zilikuwa 88%, 71%, 83%, 64%, 79% - wastani ni 77%, lakini ni tete sana. Mfano huo haukuwa thabiti; Chumba kimoja kilikuwa kinapotosha. Somo: angalia maana ya CV na usambazaji, sio pipa la mtu binafsi.
Violezo vinne vinavyoweza kunakiliwa
1) Ripoti kamili ya uainishaji:
Nimefundisha modeli na seti ya majaribio. Tengeneza: matrix ya mkanganyiko, usahihi, kumbuka, F1 (kwa kila darasa) na hesabu za usaidizi. Ninakisia, lakini ni juu yangu: Nitakuambia ni metriki gani ni muhimu. Kumbuka kwamba usahihi unaweza kupotosha kwa data isiyo na usawa.
2) Udhibiti wa ziada:
Chapisha alama za modeli yangu katika seti za MAFUNZO na TEST kando. Piga hesabu tofauti kati yao na uonye kwani tofauti kubwa ni ishara ya kujifunza kupita kiasi. Ikiwa tofauti ni kubwa, pendekeza kurekebisha au kurahisisha.
3) Uthibitishaji tofauti:
Fanya uthibitishaji wa msalaba mara 5 (kwa tabaka, uainishaji). Chapisha alama, wastani na mkengeuko wa kawaida wa kila mkunjo. Iwapo alama ni tete sana (high std), onyesha kuwa kielelezo si thabiti. Tumia mabomba ili mabadiliko yajifunze tu kutoka kwa kipande cha mafunzo kwenye kila safu.
4) Ulinganisho wa msingi:
Weka metriki ya modeli yangu kando na msingi wa DummyClassifier. Je, mtindo unashinda kwa kiasi kikubwa msingi? Ikiwa haipiti, fanya wazi kwamba mfano hauongezi thamani yoyote halisi.
Mwongozo dhaifu / Mwongozo thabiti
Agizo dhaifu:
Mfano wangu ni mzuri?
"Nzuri" haijafafanuliwa; Haijulikani ni kipimo gani, kizingiti kipi, cha msingi kipi. AI inaweza kutoa nambari moja ya usahihi na kupotosha.
Agizo lenye nguvu:
Jukumu lako: msaidizi wa tathmini. Uainishaji, data isiyo na usawa (12% chanya). Kipaumbele: kumbuka (bila kukosa chanya). Kazi: (1) matriki ya mkanganyiko,(2) usahihi/kumbuka/F1, (3) wastani wa CV iliyopangwa mara 5 na std,(4) Ulinganisho wa msingi wa DummyClassifier. Kuzingatia kukumbuka na tofauti ya msingi, sio usahihi. Maoni, lakini mimi hufanya uamuzi wa mwisho.
Hapa, kipaumbele cha kipimo, CV na hali ya msingi ni wazi.
Makosa ya kawaida
- Usahihi wa kuamini katika data isiyo na usawa. Usahihi wa 99% hauwezi kukamata tabaka la wachache hata kidogo; Angalia matrix ya kuchanganyikiwa.
- Kuangalia tu alama yako ya elimu. Elimu ya juu, alama ya chini ya mtihani ni overlearning; Linganisha alama mbili kila wakati.
- Kutegemea compartment moja. Mgawanyiko wa bahati ni wa kupotosha; Angalia maana na usambazaji na uthibitisho mtambuka.
- Sio kulinganisha na msingi. Hauwezi kusema "nzuri" bila kujua ikiwa mfano unashinda mtabiri wa kijinga.
- Kutumia k-fold ya kawaida kwenye safu ya saa. Inavuja siku zijazo; mgawanyiko wa mfululizo wa saa unahitajika.
Kidokezo: Andika nambari tatu karibu na kila modeli: alama za mafunzo, wastani wa uthibitishaji, na alama za msingi. Utatu huu unaonyesha kwa mtazamo wa ziada (mafunzo >> CV) na kutothaminiwa (CV ≈ msingi).
Kwa muhtasari
Kujenga mfano ni rahisi, lakini kutathmini kwa uaminifu ni vigumu. Katika uainishaji, matrix ya mkanganyiko, usahihi, na kukumbuka ni habari zaidi kuliko usahihi; Gharama ya kazi huamua ambayo ni muhimu. MAE, RMSE na R² hutumika katika rejista. Mtego wa hila zaidi ni kujifunza kupita kiasi: kila wakati linganisha mafunzo na alama za mtihani. Tegemea wastani na usambazaji wa uthibitishaji wa msalaba, sio mgawanyiko mmoja; Linganisha kila kitu na msingi. AI huhesabu haya yote, lakini ni juu ya binadamu kuamua ni kipimo gani cha kutumia.
Jukumu la maombi
Dondoo matrix ya mkanganyiko, usahihi, kumbuka na F1 kwa muundo wa uainishaji; Kisha fanya uthibitishaji wa mara 5 na uangalie usambazaji wa alama kwenye mikunjo. Hatimaye, andika alama ya mafunzo, wastani wa CV, na alama za msingi kando kando. Toa maoni kwa sentensi moja ikiwa kielelezo chako kinazidi maarifa na kupita msingi.
orodha ya ukaguzi
- [ ] Je, nimeangalia kipimo halisi cha kazi (usahihi/kumbuka/F1 n.k.) badala ya usahihi?
- [ ] Je, nimechunguza tumbo la mkanganyiko?
- [ ] Je, nimelinganisha mafunzo na alama za mtihani na kuangalia kama ni ziada?
- [ ] Je, nimeangalia maana na usambazaji kwa uthibitisho mtambuka?
- [ ] Je, nimelinganisha modeli na msingi?