Hagnaður:
- Geta til að velja og túlka flokkunar- og aðhvarfsmælikvarða (ruglingafylki, nákvæmni/innköllun/F1, MAE/RMSE/R²) í samræmi við tilgang starfsins
- Geta til að greina ofnám með því að bera saman þjálfunar- og prófskora og fá áreiðanlegan árangur með krossprófun
- Geta til að meta hvort hvert líkan bætir raunverulegt gildi með því að bera það saman við grunnlínu
Það er auðvelt að setja upp líkan; Það er erfitt að mæla heiðarlega hvort það virkar í raun. Viðfangsefni þessarar einingar er mikilvægasta kunnátta gagnafræðings: að meta líkanið með réttum mæligildum, ná áreiðanlegum forspárframmistöðu og grípa skaðlegustu gildruna: ofnám (minna). AI reiknar, túlkar og ber saman mælikvarða; en það er undir manneskjunni komið að ákveða hvaða mælikvarði hentar fyrirtækinu þínu og hvort líkan sé „nógu gott“. Teymi sem skoðar ranga mælikvarða getur misskilið slæmt líkan í marga mánuði sem „árangur“.
Hvers vegna er nákvæmni ekki nóg: ruglingsfylki
Fyrsta mælikvarðinn sem kemur upp í hugann við flokkun er nákvæmni (nákvæmni - heildarhlutfall réttra spár). En eins og við sáum í einingu 6 er nákvæmni villandi með ójafnvægi gagna. Betri byrjun er ruglingsfylki - tafla sem skiptir spám í fjórar hólf:
- Satt jákvætt (TP): Við kölluðum falsa það sem er raunverulega falsað. (Gott)
- Satt neikvætt (TN): Við sögðum mjög hreint. (Gott)
- Rangt jákvætt (FP): Við sögðum ranglega að sá hreini væri falsaður. (Fölsk viðvörun)
- Falsk neikvæð (FN): Við misstum af falsinu og kölluðum það hreint. (Misst af hótun)
Tvær lykiltölur koma frá þessum fjórum reitum. Nákvæmni: "Hversu mikið af því sem ég kalla falsa er í raun falsað?" — mikilvægt ef falsviðvörunarkostnaður er hár. Næmni (inkalla á ensku): "Hversu margar alvöru falsanir náði ég?" — mikilvægt þegar það er dýrt að missa af ógn. Þetta tvennt er oft á skjön við hvort annað: ef þú lækkar þröskuldinn og segir "falsa" meira, eykst innköllun en nákvæmni minnkar. F1 skorið er jafnvægið meðaltal (harmonískt meðaltal) þessara tveggja.
Athugið: Svarið við spurningunni „Hvaða mælikvarði er mikilvægur“ er viðskiptaákvörðun, ekki tæknileg. Það er hörmulegt að missa af tilviki (lítil muna) í krabbameinsleit; Það er pirrandi að senda mikilvægan tölvupóst á ruslpóst (lítil nákvæmni) í ruslpóstsíunni. Kostnaður ákvarðar mælikvarða.
Aðhvarfsmælingar
Ef úttakið er tölur eru mismunandi mælikvarðar notaðar. MAE (Mean Absolute Error): hversu mikið áætlanir víkja frá raunverulegu meðaltali, í sömu einingu (t.d. „við höfum rangt fyrir okkur með 4.200 TL að meðaltali“). RMSE (Root Mean Squared Error): refsar meiriháttar villum harðar og er viðkvæmt fyrir útlægum. R² (R-kvaðrat — ákvörðunarstuðull): hversu mikið af breytileikanum í markinu sem líkanið útskýrir (nálægt 1 er gott, 0 er jafn slæmt og að spá fyrir um meðaltalið, neikvætt er jafnvel verra).
Skaðlegasta gildran: ofnám
Offitting - þar sem líkanið leggur þjálfunargögn á minnið en mistekst á nýjum gögnum - eru algengustu mistökin í gagnafræði. Einkennin eru skýr: líkanið er frábært á æfingasettinu (98%), slæmt á prófunarsettinu (72%). Líkanið hefur lagt á minnið hávaða þessa tiltekna sýnis, ekki raunverulegt mynstur í gögnunum. Það er líka hið gagnstæða: undirfitting — líkanið er slæmt bæði í þjálfun og prófunum vegna þess að það er of einfalt að fanga mynstrið.
Leiðir til að berjast gegn ofnámi: einföldun líkansins, fleiri gögn, reglusetning – stærðfræðilega bremsan sem kemur í veg fyrir að líkanið verði of flókið – og síðast en ekki síst, krossgilding.
Krossstaðfesting: ekki treysta einum glugga
Einn þjálfun/prófunarbelgur getur verið heppinn eða óheppinn; Þú getur fengið háar einkunnir fyrir prófunarsettið bara vegna þess að það sýnishorn er auðvelt. Cross-fullgilding (CV í stuttu máli) leysir þetta. Algengasta form er k-falt CV: gögnum er skipt í k hluta (t.d. 5); Í hverri umferð er einn þáttur í prófun og restin er þjálfun; þetta rúllar 5 sinnum og 5 stigin eru að meðaltali. Þannig að þú munt sjá að árangur er byggður á meðaltali margra skiptinga, ekki einnar heppinna skiptingar. Dreifing stiga er einnig upplýsandi: mjög sveiflukennd stig (85% á annarri hæð, 62% á hinni) gefa til kynna að líkanið sé óstöðugt.
Venjulegur k-faldur er ekki notaður í tímaröð (lekar framtíðinni); Þess í stað gerirðu "framvirka keðju" (tímaröð skipt): æfir alltaf með fortíðina og prófar framtíðina.
mæligildi
Tegund vandamál
Hvenær skiptir það máli?
Nákvæmni
Flokkun
Ef flokkar eru í jafnvægi
Nákvæmni
Flokkun
Falsk viðvörun er dýr
Næmi (innkalla)
Flokkun
Ef það er dýrt að missa af
F1
Flokkun
Ef jafnvægi er þörf
MAE
afturför
Túlkanleg villa
RMSE
afturför
Ef stór mistök eru mikilvæg
R²
afturför
skýringarvald
þrjú smámál
Tilfelli 1 — tálsýn um mikla nákvæmni. Eitt svikamódel sýndi 99,2% nákvæmni og liðið fagnaði. Þegar litið er á ruglingsfylki, var hið raunverulega: falsa hlutfall í gögnunum 0,8%; módelið náði nánast engum falsum, sagði bara "allt á hreinu". Innköllun var 6%. Lexía: Horfðu á mæligildi, ekki nákvæmni.
Mál 2 - Duld ofnám. Eitt lið skilaði og hækkaði XGBoost í 97% á þjálfunarsettinu. Prófasettið var 69% en enginn hafði skoðað. Líkanið hrundi í framleiðslu. Ef víxlgilding hefði verið gerð hefði mikill munur á fellingum (ofurnám) verið sýnilegur frá upphafi. Lexía: treystu ferilskrá og prófskorum, ekki menntunareinkunn.
Mál 3 - Lucky split. Einn sérfræðingur var ánægður með að fá 88% í einni skiptingu. Þegar kollegi hans gerði fimmfalda ferilskrá voru einkunnirnar 88%, 71%, 83%, 64%, 79% — meðaltalið er 77%, en það er mjög sveiflukennt. Líkanið var óstöðugt; Eina hólfið var villandi. Lexía: skoðaðu meðaltal ferilskrár og dreifingu, ekki einstaka tunnu.
Fjögur afritanleg sniðmát
1) Full flokkunarskýrsla:
Ég hef þjálfað módel og prófunarsett. Búa til: ruglingsfylki, nákvæmni, innköllun, F1 (fyrir hvern flokk) og stuðningstölur. Ég er að álykta, en það er undir mér komið: Ég skal segja þér hvaða mælikvarði er mikilvægur. Athugaðu að nákvæmni getur verið villandi með ójafnvægi gagna.
2) Ofnámsstjórnun:
Prentaðu stig fyrirsætunnar minnar í bæði ÞJÁLFUN og PRÓF settunum hlið við hlið. Reiknaðu muninn á þeim og varaðu við því mikill munur er merki um ofnám. Ef munurinn er mikill, leggðu til reglusetningu eða einföldun.
3) Krossstaðfesting:
Framkvæma 5-falda krossfullgildingu (fyrir lagskipt, flokkun). Prentaðu stig, meðaltal og staðalfrávik hvers brots. Ef stigin eru mjög sveiflukennd (há std), gefur til kynna að líkanið sé óstöðugt. Notaðu leiðslur þannig að umbreytingar lærist aðeins af þjálfunarhlutanum í hverju lagi.
4) Grunnsamanburður:
Settu mæligildi líkansins míns hlið við hlið við grunnlínu DummyClassifier. Slær líkanið verulega við grunnlínuna? Ef það stenst ekki, gerðu það ljóst að líkanið bætir ekki raunverulegu gildi.
Veik kvaðning / Sterk kvaðning
Veik kvaðning:
Er líkanið mitt gott?
„Gott“ er óskilgreint; Ekki er ljóst hvaða mæligildi, hvaða þröskuldur, hvaða grunnlína. AI getur gefið eina nákvæmnitölu og villt.
Öflug tilvitnun:
Hlutverk þitt: aðstoðarmaður við mat. Flokkun, ójafnvæg gögn (12% jákvæð). Forgangur: innköllun (ekki vantar jákvæðu atriðin). Verkefni: (1) ruglingsfylki, (2) nákvæmni/innköllun/F1, (3) 5-falt lagskipt CV meðaltal og std, (4) DummyClassifier grunnlínusamanburður. Einbeittu þér að innköllun og grunnlínumun, ekki nákvæmni. Athugaðu, en ég tek endanlega ákvörðun.
Hér eru mælingarforgangur, ferilskrá og grunnskilyrði skýr.
Algeng mistök
- Treysta nákvæmni í ójafnvægi gagna. 99% nákvæmni gæti alls ekki náð minnihlutahópnum; Horfðu á ruglingsfylki.
- Bara að horfa á menntunarstigið þitt. Há menntun, lág prófeinkunn er ofnám; Berðu alltaf saman tvö stig.
- Að treysta á eitt hólf. Lucky skipting er villandi; Horfðu á meðaltal og dreifingu með krossgildingu.
- Ekki borið saman við grunnlínu. Þú getur ekki sagt "gott" án þess að vita hvort líkanið slær heimskulega spá.
- Nota venjulega k-falt á tímaröð. Það lekur framtíðinni; skipting tímaraðar er krafist.
Ábending: Skrifaðu þrjár tölur við hlið hvers líkans: þjálfunarskor, meðaltal meðaltalsprófunar og grunnstig. Þetta tríó sýnir í fljótu bragði ofnám (þjálfun >> CV) og vanmat (CV ≈ grunnlína).
Í stuttu máli
Það er auðvelt að búa til líkan en það er erfitt að meta það heiðarlega. Í flokkun eru ruglingsfylki, nákvæmni og muna miklu meira upplýsandi en nákvæmni; Kostnaður við starfið ræður því hver er mikilvægur. MAE, RMSE og R² eru notuð við aðhvarf. Skaðlegasta gildran er ofnám: berðu alltaf saman þjálfun og prófskor. Treystu á meðaltal og dreifingu krossfullgildingar, ekki eina skiptingu; Berðu allt saman við grunnlínu. Gervigreind reiknar allt þetta, en það er undir manneskjunni komið að ákveða hvaða mælikvarða á að nota.
Umsóknarverkefni
Dragðu út ruglingsfylki, nákvæmni, innköllun og F1 fyrir flokkunarlíkan; Gerðu síðan 5-falda krossgildingu og skoðaðu dreifingu stiga yfir fellingar. Að lokum skaltu skrifa niður þjálfunarskor, meðaltal ferilskrár og grunnstig hlið við hlið. Athugaðu í einni setningu hvort líkanið þitt sé að oflæra og standast grunnlínuna.
gátlisti
- [ ] Hef ég skoðað raunverulegt mæligildi verksins (nákvæmni/innköllun/F1 o.s.frv.) í stað nákvæmni?
- [ ] Hef ég skoðað ruglingsfylki?
- [ ] Hef ég borið saman þjálfunar- og prófskor og athugað með ofnám?
- [ ] Hef ég skoðað meðaltal og dreifingu með krossgildingu?
- [ ] Hef ég borið líkanið saman við grunnlínu?