Nyereség:
- Képes osztályozási és regressziós mérőszámok kiválasztására és értelmezésére (konfúziós mátrix, precizitás/visszahívás/F1, MAE/RMSE/R²) a munka céljának megfelelően
- Képes a túltanulás észlelésére a képzési és teszteredmények összehasonlításával, és megbízható teljesítmény elérése keresztellenőrzéssel
- Képesség annak kiértékelésére, hogy az egyes modellek valódi értéket adnak-e azáltal, hogy összehasonlítják őket egy alapvonallal
Könnyű modellt felállítani; Nehéz őszintén felmérni, hogy valóban működik-e. Ennek az egységnek a témája az adattudós legkritikusabb készsége: a modell értékelése a megfelelő mérőszámokkal, megbízható prediktív teljesítmény elérése, és a legravaszabb csapda elkapása: a túltanulás (memorizálás). Az AI kiszámítja, értelmezi és összehasonlítja a mutatókat; de az emberen múlik, hogy melyik mérőszám a megfelelő az Ön vállalkozása számára, és hogy egy modell „elég jó-e”. A rossz mérőszámot vizsgáló csapat hónapokig „sikernek” minősítheti a rossz modellt.
Miért nem elég a pontosság: zavarmátrix
Az első mérőszám, amely az osztályozás során eszünkbe jut, a pontosság (pontosság – a helyes előrejelzések teljes aránya). De ahogy a 6. részben láttuk, a pontosság félrevezető a kiegyensúlyozatlan adatokkal. Jobb kezdés a zavaros mátrix – egy táblázat, amely az előrejelzéseket négy ládára osztja:
- Valódi pozitív (TP): Hamisnak neveztük azt, ami valóban hamis. (Jó)
- Igaz negatív (TN): Azt mondtuk, nagyon tiszta. (Jó)
- Hamis pozitív (FP): Tévedésből azt mondtuk, hogy a tiszta hamis. (Hamis riasztás)
- Hamis negatív (FN): Hiányoltuk a hamisítványt, és tisztának neveztük. (Elmulasztott fenyegetés)
Ebből a négy mezőből két kulcsfontosságú mérőszám származik. Pontosság: "Mennyire hamis az, amit hamisnak nevezek?" — fontos, ha a téves riasztások költségei magasak. Érzékenység (angolul felidézni): "Hány valódi hamisítványt fogtam?" – fontos, ha egy fenyegetés elmulasztása költséges. A kettő gyakran ellentétben áll egymással: ha leengedi a küszöböt, és többet mond, hogy „hamis”, akkor a visszahívás nő, de a pontosság csökken. Az F1 pontszám e kettő kiegyensúlyozott átlaga (harmonikus átlaga).
Figyelem: A „Melyik mérőszám a fontos” kérdésre a válasz üzleti, nem pedig technikai döntés. Egy eset hiánya (alacsony visszahívás) a rákszűrés során katasztrofális; Bosszantó, ha egy fontos e-mailt spambe küldenek (alacsony pontossággal) a spamszűrőben. A költség határozza meg a mérőszámot.
Regressziós mérőszámok
Ha a kimenet számok, akkor különböző mérőszámokat használunk. MAE (Mean Absolute Error): mennyiben térnek el a becslések a tényleges átlagtól, ugyanabban az egységben (pl. "átlagosan 4200 TL-t tévedünk"). RMSE (Root Mean Squared Error): a nagyobb hibákat szigorúbban bünteti, és érzékeny a kiugró értékekre. R² (R-négyzet – determinációs együttható): a cél variabilitásának mekkora részét magyarázza a modell (az 1-hez közeli érték jó, a 0 olyan rossz, mint az átlag előrejelzése, a negatív még rosszabb).
A legálomosabb csapda: túltanulás
A túlillesztés – amikor a modell megjegyzi a betanítási adatokat, de nem sikerül az új adatokon – az adattudomány leggyakoribb hibája. A tünet egyértelmű: a modell remek az edzőkészleten (98%), rossz a tesztkészleten (72%). A modell az adott minta zaját memorizálta, nem pedig az adatok tényleges mintáját. Létezik ennek az ellenkezője is: alulillesztés – a modell rossz mind a képzésben, mind a tesztelésben, mert túl egyszerű a minta rögzítése.
A túltanulás elleni küzdelem módjai: a modell egyszerűsítése, több adat, szabályosítás – a matematikai fék, amely megakadályozza, hogy a modell túl bonyolulttá váljon – és ami a legfontosabb, a keresztellenőrzés.
Keresztellenőrzés: ne bízzon egyetlen ablaktáblában
Egyetlen edzés/teszt lehet szerencsés vagy balszerencsés; Magas pontszámot kaphat a tesztkészletért, mert az a minta könnyű. A keresztellenőrzés (röviden CV) ezt oldja meg. A leggyakoribb forma a k-szoros CV: az adatok k részre vannak osztva (pl. 5); Minden körben egy rész tesztelés, a többi pedig edzés; ez 5-ször dob, és az 5 pontszámot átlagolják. Így látni fogja, hogy a teljesítmény többszörös felosztás átlagán alapul, nem pedig egyetlen szerencsés felosztáson. A pontszámok megoszlása is tájékoztató jellegű: a nagyon ingadozó pontszámok (85% az egyik szinten, 62% a másikon) azt jelzik, hogy a modell instabil.
A normál k-szoros nem használatos az idősorokban (kiszivárog a jövő); Ehelyett "előre láncolást" végez (idősor felosztása): mindig a múlttal edz, és teszteli a jövőt.
metrikus
A probléma típusa
Mikor számít?
Pontosság
Osztályozás
Ha az osztályok kiegyensúlyozottak
Precizitás
Osztályozás
A hamis riasztás drága
Érzékenység (visszahívás)
Osztályozás
Ha drága kihagyni
F1
Osztályozás
Ha egyensúlyra van szükség
MAE
regresszió
Értelmezhető hiba
RMSE
regresszió
Ha a nagy hibák kritikusak
R²
regresszió
magyarázó erő
három mini tok
1. eset – A nagy pontosság illúziója. Az egyik csalási modell 99,2%-os pontosságot mutatott, és a csapat ünnepelt. A zűrzavaros mátrixot nézve a valós: hamisítási arány az adatokban 0,8% volt; a modell szinte nem fogott hamisítványt, csak annyit mondott, hogy "minden világos". A visszahívás 6% volt. Tanulság: a mutatókat nézd, ne a pontosságot.
2. eset – Látens túltanulás. Az egyik csapat 97%-ra növelte az XGBoost-ot az edzéskészleten. A tesztkészlet 69%-os volt, de senki sem nézett rá. A modell a gyártás során összeomlott. Ha keresztellenőrzést végeztek volna, akkor a hajtások közötti nagy különbség (overlearning) már a kezdetektől látható lett volna. Tanulság: bízz az önéletrajzban és a teszteredményben, ne az iskolai végzettségben.
3. eset – Szerencsés szakadás. Egy elemző örült, hogy egyetlen felosztással 88%-ot szerzett. Amikor kollégája ötszörös önéletrajzot készített, a pontszámok 88%, 71%, 83%, 64%, 79% voltak – az átlag 77%, de ez nagyon ingadozó. A modell instabil volt; Az egyetlen rekesz félrevezető volt. Tanulság: nézd az önéletrajz átlagát és eloszlását, ne az egyéni ládát.
Négy másolható sablon
1) Teljes osztályozási jelentés:
Betanított modellem és tesztkészletem van. Generál: zavaros mátrix, precizitás, visszahívás, F1 (minden osztályhoz) és támogatási számok. Következek, de ez rajtam múlik: megmondom, melyik mérőszám a fontos. Vegye figyelembe, hogy a pontosság félrevezető lehet kiegyensúlyozatlan adatok esetén.
2) Áttanulási vezérlés:
Nyomtassa ki a modellem pontszámait a KÉPZÉS és a TESZT készletekben egymás mellett. Számítsa ki a köztük lévő különbséget, és figyelmeztesse, mert a nagy különbség a túltanulás jele. Ha nagy a különbség, javasoljon rendszeresítést vagy egyszerűsítést.
3) Keresztellenőrzés:
Végezzen 5-szörös keresztellenőrzést (rétegzett, osztályozáshoz). Nyomtassa ki az egyes hajtások pontszámát, átlagát és szórását. Ha a pontszámok nagyon ingadozóak (magas std), jelezze, hogy a modell instabil. Használjon csővezetékeket, hogy a transzformációkat csak a betanító darabból tanulja meg minden rétegben.
4) Alapvonal összehasonlítás:
Tegye a modellem metrikáját egy DummyClassifier alapvonal mellé. A modell jelentősen felülmúlja az alapvonalat? Ha nem megy, világossá kell tenni, hogy a modell nem ad valódi értéket.
Gyenge felszólítás / Erős felszólítás
Gyenge felszólítás:
Jó a modellem?
A "jó" nem definiált; Nem világos, hogy melyik mérőszám, melyik küszöb, melyik alapvonal. A mesterséges intelligencia egyetlen pontos számot adhat meg, és félrevezethet.
Erőteljes felszólítás:
Az Ön szerepe: értékelési asszisztens. Osztályozás, kiegyensúlyozatlan adatok (12% pozitív). Prioritás: visszahívás (a pozitívumok nélkül). Feladat: (1) zavaros mátrix, (2) precizitás/visszahívás/F1, (3) 5-szörös rétegzett CV átlag és std, (4) DummyClassifier alapvonal összehasonlítás. A felidézésre és a kiindulási különbségre összpontosítson, ne a pontosságra. Kommentálj, de a végső döntést én hozom meg.
Itt egyértelmű a metrikus prioritás, az önéletrajz és az alapállapot.
Gyakori hibák
- Bízva a kiegyensúlyozatlan adatok pontosságában. Előfordulhat, hogy a 99%-os pontosság egyáltalán nem rögzíti a kisebbségi osztályt; Nézd meg a zavaros mátrixot.
- Csak nézd meg az iskolai végzettségedet. Magas iskolai végzettség, alacsony teszteredmény túltanulás; Mindig hasonlítson össze két pontszámot.
- Egyetlen rekeszre támaszkodva. A szerencsés felosztás félrevezető; Nézze meg az átlagot és az eloszlást keresztellenőrzéssel.
- Nem hasonlítható össze az alapvonallal. Nem lehet „jót” mondani anélkül, hogy nem tudnád, hogy a modell legyőz-e egy hülye előrejelzőt.
- Normál k-szeres használata idősorokon. Kiszivárogtatja a jövőt; idősor felosztása szükséges.
Tipp: Minden modell mellé írjon három számot: edzési pontszám, keresztellenőrzési átlag és alapérték. Ez a trió egy pillantással felfedi a túltanulást (képzés >> CV) és az alulértékelést (CV ≈ alapállapot).
Összefoglalva
A modell felépítése könnyű, de őszinte értékelése nehéz. Az osztályozásban a zavarmátrix, a precizitás és a felidézés sokkal informatívabb, mint a pontosság; A munka költsége határozza meg, hogy melyik a fontos. A MAE, RMSE és R² regresszióban használatos. A leginkább alattomos csapda a túltanulás: mindig hasonlítsa össze a képzést és a teszteredményeket. Támaszkodjon a keresztellenőrzés átlagára és eloszlására, ne egyetlen felosztásra; Hasonlítson össze mindent egy alapvonallal. A mesterséges intelligencia mindezeket kiszámítja, de az emberen múlik, hogy melyik mérőszámot használja.
Pályázati feladat
A zavaros mátrix, a precizitás, a visszahívás és az F1 kinyerése egy osztályozási modellhez; Ezután végezzen ötszörös keresztellenőrzést, és nézze meg a pontszámok eloszlását a hajtások között. Végül írja fel egymás mellé a képzési pontszámot, az önéletrajz átlagát és az alappontszámot. Írja meg egy mondatban, hogy a modellje túltanul-e, és átmegy-e az alapvonalon.
ellenőrző lista
- [ ] Pontosság helyett a munka tényleges mérőszámát néztem (pontosság/visszahívás/F1 stb.)?
- [ ] Megvizsgáltam a zavaros mátrixot?
- [ ] Összehasonlítottam a képzési és a teszteredményt, és ellenőriztem a túltanulást?
- [ ] Megnéztem az átlagot és az eloszlást keresztellenőrzéssel?
- [ ] Összehasonlítottam a modellt egy alapvonallal?