Winst:
- Mogelijkheid om classificatie- en regressiemetrieken (verwarringsmatrix, precisie/herinnering/F1, MAE/RMSE/R²) te selecteren en interpreteren volgens het doel van de functie
- Mogelijkheid om overleren te detecteren door training- en testscores te vergelijken en betrouwbare prestaties te verkrijgen met kruisvalidatie
- Mogelijkheid om te evalueren of elk model echte waarde toevoegt door het te vergelijken met een basislijn
Het is eenvoudig om een model op te zetten; Of het daadwerkelijk werkt, is moeilijk eerlijk te meten. Het onderwerp van dit onderdeel is de meest kritische vaardigheid van een datawetenschapper: het evalueren van het model met de juiste statistieken, het bereiken van betrouwbare voorspellende prestaties en het vangen van de meest verraderlijke valkuil: overleren (memoriseren). AI berekent, interpreteert en vergelijkt statistieken; maar het is aan de mens om te beslissen welke maatstaf geschikt is voor uw bedrijf en of een model ‘goed genoeg’ is. Een team dat naar de verkeerde maatstaf kijkt, kan een slecht model maandenlang als een ‘succes’ aanzien.
Waarom nauwkeurigheid niet genoeg is: verwarringsmatrix
De eerste maatstaf die in je opkomt bij classificatie is nauwkeurigheid (nauwkeurigheid – de totale verhouding van correcte voorspellingen). Maar zoals we in Unit 6 hebben gezien, is nauwkeurigheid misleidend bij onevenwichtige gegevens. Een beter begin is de verwarringsmatrix – een tabel die voorspellingen in vier vakken verdeelt:
- Echt positief (TP): We noemden nep wat echt nep is. (Goed)
- Echt negatief (TN): We zeiden echt schoon. (Goed)
- Vals positief (FP): We zeiden ten onrechte dat de schone nep was. (Vals alarm)
- Vals-negatief (FN): We hebben de nep gemist en noemden deze schoon. (Gemiste dreiging)
Uit deze vier kaders komen twee belangrijke maatstaven voort. Precisie: "Hoeveel van wat ik nep noem, is eigenlijk nep?" — belangrijk als de kosten voor vals alarm hoog zijn. Gevoeligheid (herinnering in het Engels): "Hoeveel echte vervalsingen heb ik ontdekt?" – belangrijk wanneer het missen van een bedreiging duur is. De twee staan vaak op gespannen voet met elkaar: als je de drempel verlaagt en meer ‘nep’ zegt, neemt de herinnering toe, maar neemt de precisie af. De F1-score is het uitgebalanceerde gemiddelde (harmonisch gemiddelde) van deze twee.
Let op: het antwoord op de vraag "Welke maatstaf is belangrijk" is een zakelijke beslissing, geen technische beslissing. Het missen van een geval (weinig herinnering) bij kankerscreening is rampzalig; Het is vervelend om een belangrijke e-mail naar spam (lage precisie) in het spamfilter te sturen. De kosten bepalen de maatstaf.
Regressiestatistieken
Als de uitvoer getallen is, worden er verschillende metrieken gebruikt. MAE (Mean Absolute Error): hoeveel de schattingen afwijken van het werkelijke gemiddelde, in dezelfde eenheid (bijvoorbeeld "we zitten er gemiddeld 4.200 TL naast"). RMSE (Root Mean Squared Error): bestraft grote fouten zwaarder en is gevoelig voor uitschieters. R² (R-kwadraat – determinatiecoëfficiënt): hoeveel van de variabiliteit in het doel het model verklaart (dichtbij 1 is goed, 0 is net zo slecht als het voorspellen van het gemiddelde, negatief is zelfs nog erger).
De meest verraderlijke val: overleren
Overfitting – waarbij het model trainingsgegevens onthoudt maar faalt op het gebied van nieuwe gegevens – is de meest voorkomende fout in de datawetenschap. Het symptoom is duidelijk: het model is geweldig op de trainingsset (98%), slecht op de testset (72%). Het model heeft de ruis van dat specifieke monster onthouden, niet het daadwerkelijke patroon in de gegevens. Er is ook het tegenovergestelde: underfitting: het model is slecht in zowel training als testen, omdat het te eenvoudig is om het patroon vast te leggen.
Manieren om overleren tegen te gaan: vereenvoudiging van het model, meer gegevens, regularisatie – de wiskundige rem die ervoor zorgt dat het model niet te complex wordt – en vooral, kruisvalidatie.
Kruisvalidatie: vertrouw geen enkel venster
Een enkele training/testpod kan geluk of pech hebben; Je kunt hoge cijfers halen voor de testset, alleen maar omdat dat voorbeeld eenvoudig is. Kruisvalidatie (kortweg CV) lost dit op. De meest voorkomende vorm is k-fold CV: gegevens zijn verdeeld in k delen (bijvoorbeeld 5); In elke ronde is één onderdeel testen en de rest training; deze gooit 5 keer en de 5 scores worden gemiddeld. U zult dus zien dat de prestaties gebaseerd zijn op het gemiddelde van meerdere splitsingen, en niet op een enkele gelukkige splitsing. Ook de verdeling van de scores is informatief: zeer volatiele scores (85% op de ene verdieping, 62% op de andere) geven aan dat het model instabiel is.
Normale k-vouw wordt niet gebruikt in tijdreeksen (lekt de toekomst); In plaats daarvan doe je aan ‘forward chaining’ (time series split): altijd trainen met het verleden en het testen van de toekomst.
metrisch
Probleemtype
Wanneer maakt het uit?
Nauwkeurigheid
Classificatie
Als de klassen in evenwicht zijn
Precisie
Classificatie
Vals alarm is duur
Gevoeligheid (herinnering)
Classificatie
Als het duur is om te missen
F1
Classificatie
Als balans nodig is
MAE
regressie
Interpreteerbare fout
RMSE
regressie
Als grote fouten cruciaal zijn
R²
regressie
verklarende kracht
drie minikoffers
Geval 1 — De illusie van hoge nauwkeurigheid. Eén fraudemodel vertoonde een nauwkeurigheid van 99,2% en het team vierde dit. Als we naar de verwarringsmatrix kijken, was het echte: neppercentage in de gegevens 0,8%; het model ving bijna geen vervalsingen op en zei alleen "alles duidelijk". De herinnering bedroeg 6%. Les: kijk naar de statistieken, niet naar de nauwkeurigheid.
Geval 2 — Latent overleren. Eén team leverde en verhoogde XGBoost tot 97% op de trainingsset. De testset was 69%, maar niemand had gekeken. Het model stortte in tijdens de productie. Als er kruisvalidatie had plaatsgevonden, zou het grote verschil tussen vouwen (overlearning) vanaf het begin zichtbaar zijn geweest. Les: vertrouw op CV en testscore, niet op onderwijsscore.
Geval 3 — Geluksverdeling. Eén analist was verheugd om in één keer 88% te behalen. Toen zijn collega een vijfvoudig CV maakte, waren de scores 88%, 71%, 83%, 64%, 79% – het gemiddelde is 77%, maar het is erg volatiel. Het model was onstabiel; Het enkele compartiment was misleidend. Les: kijk naar het CV-gemiddelde en de verdeling ervan, niet naar de individuele bak.
Vier kopieerbare sjablonen
1) Volledig classificatierapport:
Ik heb een model en een testset getraind. Genereer: verwarringsmatrix, precisie, herinnering, F1 (voor elke klasse) en ondersteuningsaantallen. Ik concludeer, maar het is aan mij: ik zal je vertellen welke maatstaf belangrijk is. Houd er rekening mee dat nauwkeurigheid misleidend kan zijn bij onevenwichtige gegevens.
2) Overleercontrole:
Druk de scores van mijn model in de sets TRAINING en TEST naast elkaar af. Bereken het verschil ertussen en waarschuw, want een groot verschil is een teken van overleren. Als het verschil groot is, stel dan regularisatie of vereenvoudiging voor.
3) Kruisvalidatie:
Voer een vijfvoudige kruisvalidatie uit (voor gestratificeerde classificatie). Druk de score, het gemiddelde en de standaarddeviatie van elke vouw af. Als de scores erg volatiel zijn (hoge std), geef dan aan dat het model instabiel is. Gebruik pijplijnen zodat transformaties alleen van het trainingsonderdeel op elke laag worden geleerd.
4) Basislijnvergelijking:
Zet de statistiek van mijn model naast een DummyClassifier-basislijn. Verslaat het model de basislijn aanzienlijk? Als het niet lukt, maak dan duidelijk dat het model geen echte waarde toevoegt.
Zwakke prompt/sterke prompt
Zwakke prompt:
Is mijn model goed?
"Goed" is niet gedefinieerd; Het is niet duidelijk welke maatstaf, welke drempel, welke basislijn. AI kan een enkel nauwkeurigheidsgetal geven en misleiden.
Krachtige prompt:
Jouw rol: assessmentassistent. Classificatie, onevenwichtige gegevens (12% positief). Prioriteit: terugroepen (de positieve punten niet missen). Taak: (1) verwarringsmatrix, (2) precisie/herinnering/F1, (3) 5-voudig gestratificeerd CV-gemiddelde en standaard, (4) DummyClassifier-basislijnvergelijking. Focus op herinnering en basislijnverschil, niet op nauwkeurigheid. Reageer, maar ik neem de uiteindelijke beslissing.
Hier zijn de metrische prioriteit, CV en basisvoorwaarde duidelijk.
Veel voorkomende fouten
- Vertrouwen op nauwkeurigheid in onevenwichtige gegevens. Een nauwkeurigheid van 99% omvat mogelijk helemaal niet de minderheidsklasse; Kijk naar de verwarringsmatrix.
- Kijk maar eens naar je opleidingsscore. Hoog onderwijs, lage testscore is overleren; Vergelijk altijd twee scores.
- Vertrouwend op één compartiment. De geluksverdeling is misleidend; Kijk naar het gemiddelde en de verdeling met kruisvalidatie.
- Niet te vergelijken met de basislijn. Je kunt niet 'goed' zeggen zonder te weten of het model beter is dan een domme voorspeller.
- Gebruik van normale k-vouwen voor tijdreeksen. Het lekt de toekomst; Er is een tijdreekssplitsing vereist.
Tip: Schrijf drie cijfers naast elk model: trainingsscore, kruisvalidatiegemiddelde en basislijnscore. Dit trio onthult in één oogopslag overleren (training >> CV) en onderwaarderen (CV ≈ baseline).
Samengevat
Het bouwen van een model is eenvoudig, maar het eerlijk evalueren ervan is moeilijk. Bij classificatie zijn verwarringsmatrix, precisie en herinnering veel informatiever dan nauwkeurigheid; De kosten van de klus bepalen welke belangrijk is. MAE, RMSE en R² worden gebruikt bij regressie. De meest verraderlijke valkuil is overleren: vergelijk altijd de training en de testscore. Vertrouw op het gemiddelde en de verdeling van kruisvalidatie, en niet op een enkele splitsing; Vergelijk alles met een basislijn. AI berekent deze allemaal, maar het is aan de mens om te beslissen welke maatstaf hij wil gebruiken.
Applicatie taak
Extractie van verwarringsmatrix, precisie, terugroepen en F1 voor een classificatiemodel; Voer vervolgens een vijfvoudige kruisvalidatie uit en kijk naar de scoreverdeling over de vouwen. Noteer ten slotte de trainingsscore, het CV-gemiddelde en een basisscore naast elkaar. Geef in één zin aan of uw model overleert en de basislijn overschrijdt.
controlelijst
- [ ] Heb ik gekeken naar de werkelijke statistiek van de taak (precisie/herinnering/F1 enz.) in plaats van naar nauwkeurigheid?
- [ ] Heb ik de verwarringsmatrix onderzocht?
- [ ] Heb ik de training- en testscore vergeleken en gecontroleerd op overleren?
- [ ] Heb ik met kruisvalidatie naar het gemiddelde en de verdeling gekeken?
- [ ] Heb ik het model vergeleken met een baseline?