Gewinne:
- Fähigkeit, Klassifizierungs- und Regressionsmetriken (Verwirrungsmatrix, Präzision/Rückruf/F1, MAE/RMSE/R²) entsprechend dem Zweck der Stelle auszuwählen und zu interpretieren
- Möglichkeit, Überlernen durch den Vergleich von Trainings- und Testergebnissen zu erkennen und durch Kreuzvalidierung eine zuverlässige Leistung zu erzielen
- Möglichkeit zur Bewertung, ob jedes Modell einen echten Mehrwert bietet, indem es mit einer Basislinie verglichen wird
Es ist einfach, ein Modell einzurichten. Es ist schwierig, ehrlich zu messen, ob es tatsächlich funktioniert. Das Thema dieser Einheit ist die wichtigste Fähigkeit eines Datenwissenschaftlers: das Modell mit den richtigen Metriken zu bewerten, eine zuverlässige Vorhersageleistung zu erzielen und die heimtückischste Falle zu fangen: Überlernen (Auswendiglernen). KI berechnet, interpretiert und vergleicht Metriken; Es liegt jedoch am Menschen, zu entscheiden, welche Kennzahl für Ihr Unternehmen die richtige ist und ob ein Modell „gut genug“ ist. Ein Team, das die falschen Kennzahlen berücksichtigt, kann ein schlechtes Modell monatelang als „Erfolg“ verwechseln.
Warum Genauigkeit nicht ausreicht: Verwirrungsmatrix
Die erste Metrik, die mir bei der Klassifizierung in den Sinn kommt, ist die Genauigkeit (Genauigkeit – das Gesamtverhältnis der korrekten Vorhersagen). Aber wie wir in Einheit 6 gesehen haben, ist die Genauigkeit bei unausgeglichenen Daten irreführend. Ein besserer Anfang ist die Verwirrungsmatrix – eine Tabelle, die Vorhersagen in vier Klassen unterteilt:
- True Positive (TP): Wir nennen Fake, was wirklich Fake ist. (Gut)
- Richtig negativ (TN): Wir sagten wirklich sauber. (Gut)
- Falsch positiv (FP): Wir haben fälschlicherweise gesagt, dass das saubere Exemplar eine Fälschung sei. (Fehlalarm)
- Falsch negativ (FN): Wir haben die Fälschung übersehen und sie als sauber bezeichnet. (Verpasste Drohung)
Aus diesen vier Boxen lassen sich zwei Schlüsselkennzahlen ableiten. Präzision: „Wie viel von dem, was ich Fake nenne, ist tatsächlich Fake?“ – wichtig, wenn die Kosten für Fehlalarme hoch sind. Sensitivität (Rückruf auf Englisch): „Wie viele echte Fälschungen habe ich gefangen?“ – wichtig, wenn das Übersehen einer Bedrohung teuer ist. Die beiden stehen oft im Widerspruch zueinander: Wenn Sie die Schwelle senken und mehr „falsch“ sagen, steigt die Erinnerung, aber die Präzision nimmt ab. Der F1-Score ist der ausgeglichene Durchschnitt (harmonischer Mittelwert) dieser beiden.
Achtung: Die Antwort auf die Frage „Welche Kennzahl ist wichtig?“ ist eine geschäftliche Entscheidung, keine technische. Es ist katastrophal, einen Fall bei der Krebsvorsorgeuntersuchung zu übersehen (geringe Erinnerung). Es ist ärgerlich, eine wichtige E-Mail im Spamfilter an den Spam-Ordner (geringe Genauigkeit) zu senden. Die Kosten bestimmen die Metrik.
Regressionsmetriken
Wenn es sich bei der Ausgabe um Zahlen handelt, werden unterschiedliche Metriken verwendet. MAE (mittlerer absoluter Fehler): Wie stark weichen die Schätzungen vom tatsächlichen Durchschnitt ab, in derselben Einheit (z. B. „wir liegen im Durchschnitt um 4.200 TL falsch“). RMSE (Root Mean Squared Error): Bestraft größere Fehler härter und reagiert empfindlich auf Ausreißer. R² (R-Quadrat – Bestimmtheitsmaß): Wie viel der Variabilität im Ziel das Modell erklärt (nahe bei 1 ist gut, 0 ist so schlecht wie die Vorhersage des Mittelwerts, negativ ist noch schlechter).
Die heimtückischste Falle: Überlernen
Überanpassung – bei der das Modell Trainingsdaten speichert, aber bei neuen Daten versagt – ist der häufigste Fehler in der Datenwissenschaft. Das Symptom ist klar: Das Modell schneidet im Trainingssatz gut ab (98 %), im Testsatz schlecht (72 %). Das Modell hat das Rauschen dieser bestimmten Probe gespeichert, nicht das tatsächliche Muster in den Daten. Es gibt auch das Gegenteil: Unteranpassung – das Modell ist sowohl beim Training als auch beim Testen schlecht, weil es zu einfach ist, das Muster zu erfassen.
Möglichkeiten, übermäßiges Lernen zu bekämpfen: Vereinfachung des Modells, mehr Daten, Regularisierung – die mathematische Bremse, die verhindert, dass das Modell zu komplex wird – und vor allem Kreuzvalidierung.
Kreuzvalidierung: Einem einzelnen Bereich nicht vertrauen
Ein einzelner Trainings-/Test-Pod kann Glück oder Pech haben; Sie können für das Testset gute Noten bekommen, nur weil die Probe einfach ist. Die Kreuzvalidierung (kurz CV) löst dieses Problem. Die gebräuchlichste Form ist der k-fache CV: Daten werden in k Teile unterteilt (z. B. 5); In jeder Runde besteht ein Teil aus Tests und der Rest aus Training; Es wird 5 Mal gewürfelt und die 5 Punkte werden gemittelt. Sie werden also sehen, dass die Leistung auf dem Durchschnitt mehrerer Splits basiert und nicht auf einem einzelnen glücklichen Split. Auch die Verteilung der Werte ist aufschlussreich: Sehr schwankende Werte (85 % auf einer Etage, 62 % auf der anderen) weisen darauf hin, dass das Modell instabil ist.
Die normale k-Faltung wird in Zeitreihen nicht verwendet (sie lässt die Zukunft verloren); Stattdessen führen Sie eine „Vorwärtsverkettung“ (Aufteilung der Zeitreihen) durch: Trainieren Sie immer mit der Vergangenheit und testen Sie die Zukunft.
metrisch
Problemtyp
Wann ist es wichtig?
Genauigkeit
Klassifizierung
Wenn die Klassen ausgeglichen sind
Präzision
Klassifizierung
Fehlalarm ist teuer
Empfindlichkeit (Rückruf)
Klassifizierung
Wenn es teuer ist, es zu verpassen
F1
Klassifizierung
Wenn Gleichgewicht benötigt wird
MAE
Rückschritt
Interpretierbarer Fehler
RMSE
Rückschritt
Wenn große Fehler kritisch sind
R²
Rückschritt
Erklärungskraft
drei Mini-Koffer
Fall 1 – Die Illusion hoher Genauigkeit. Ein Betrugsmodell zeigte eine Genauigkeit von 99,2 % und das Team feierte dies. Betrachtet man die Verwirrungsmatrix, so betrug die Real-Fälschungs-Rate in den Daten 0,8 %; Das Modell hat fast keine Fälschungen gefangen und sagte nur „Entwarnung“. Der Rückruf betrug 6 %. Lektion: Schauen Sie sich die Kennzahlen an, nicht die Genauigkeit.
Fall 2 – Latentes Überlernen. Ein Team lieferte XGBoost ab und steigerte es auf dem Trainingsset auf 97 %. Der Testsatz lag bei 69 %, aber niemand hatte nachgeschaut. Das Modell brach in der Produktion zusammen. Wenn eine Kreuzvalidierung durchgeführt worden wäre, wäre der große Unterschied zwischen den Faltungen (Overlearning) von Anfang an sichtbar gewesen. Lektion: Vertrauen Sie dem Lebenslauf und dem Testergebnis, nicht dem Bildungsergebnis.
Fall 3 – Glückliche Trennung. Ein Analyst freute sich, in einem einzigen Split 88 % zu erreichen. Als sein Kollege einen 5-fachen Lebenslauf erstellte, lagen die Werte bei 88 %, 71 %, 83 %, 64 %, 79 % – der Durchschnitt liegt bei 77 %, ist aber sehr schwankend. Das Modell war instabil; Das einzelne Fach war irreführend. Lektion: Schauen Sie sich den CV-Mittelwert und die CV-Verteilung an, nicht die einzelne Klasse.
Vier kopierbare Vorlagen
1) Vollständiger Klassifizierungsbericht:
Ich habe Modell und Testset trainiert. Generieren Sie: Verwirrungsmatrix, Präzision, Rückruf, F1 (für jede Klasse) und Unterstützungszahlen. Ich schließe daraus, aber es liegt an mir: Ich sage Ihnen, welche Kennzahl wichtig ist. Beachten Sie, dass die Genauigkeit bei unausgeglichenen Daten irreführend sein kann.
2) Overlearning-Kontrolle:
Drucken Sie die Ergebnisse meines Modells im TRAINING- und TEST-Set nebeneinander aus. Berechnen Sie den Unterschied zwischen ihnen und warnen Sie, da ein großer Unterschied ein Zeichen für Überlernen ist. Wenn der Unterschied groß ist, schlagen Sie eine Regularisierung oder Vereinfachung vor.
3) Kreuzvalidierung:
Führen Sie eine 5-fache Kreuzvalidierung durch (für geschichtete Klassifizierung). Drucken Sie die Punktzahl, den Mittelwert und die Standardabweichung jeder Falte aus. Wenn die Werte sehr volatil sind (hoher Standardwert), geben Sie an, dass das Modell instabil ist. Verwenden Sie Pipelines, damit Transformationen nur aus dem Trainingsteil auf jeder Ebene gelernt werden.
4) Basisvergleich:
Stellen Sie die Metrik meines Modells neben eine DummyClassifier-Basislinie. Übertrifft das Modell die Basislinie deutlich? Wenn die Prüfung nicht bestanden wird, machen Sie deutlich, dass das Modell keinen echten Mehrwert bietet.
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwache Eingabeaufforderung:
Ist mein Modell gut?
„Gut“ ist undefiniert; Es ist nicht klar, welche Metrik, welcher Schwellenwert, welche Basislinie. KI kann eine einzige Genauigkeitszahl angeben und irreführen.
Kraftvolle Aufforderung:
Ihre Rolle: Beurteilungsassistent. Klassifizierung, unausgeglichene Daten (12 % positiv). Priorität: Rückruf (das Positive nicht verpassen). Aufgabe: (1) Verwirrungsmatrix, (2) Präzision/Erinnerung/F1, (3) 5-fach geschichteter CV-Mittelwert und Standard, (4) DummyClassifier-Basislinienvergleich. Konzentrieren Sie sich auf Erinnerung und Basisunterschied, nicht auf Genauigkeit. Kommentar, aber die endgültige Entscheidung treffe ich.
Hier sind die Metrikpriorität, der CV und der Grundzustand klar.
Häufige Fehler
- Vertrauen Sie auf die Genauigkeit unausgeglichener Daten. Eine Genauigkeit von 99 % erfasst die Minderheitenklasse möglicherweise überhaupt nicht; Schauen Sie sich die Verwirrungsmatrix an.
- Schauen Sie sich nur Ihren Bildungsstand an. Hohe Bildung, niedrige Testergebnisse sind Überlernen; Vergleichen Sie immer zwei Ergebnisse.
- Verlassen Sie sich auf ein einziges Fach. Die glückliche Einteilung ist irreführend; Sehen Sie sich den Mittelwert und die Verteilung mit Kreuzvalidierung an.
- Kein Vergleich mit dem Ausgangswert. Sie können nicht „gut“ sagen, ohne zu wissen, ob das Modell einen dummen Prädiktor übertrifft.
- Verwendung der normalen k-Faltung für Zeitreihen. Es lässt die Zukunft durchsickern; Eine Zeitreihenaufteilung ist erforderlich.
Tipp: Schreiben Sie neben jedes Modell drei Zahlen: Trainingspunktzahl, Kreuzvalidierungsdurchschnitt und Basispunktzahl. Dieses Trio zeigt auf einen Blick Überlernen (Ausbildung >> Lebenslauf) und Unterbewertung (Lebenslauf ≈ Ausgangswert).
Zusammenfassend
Ein Modell zu erstellen ist einfach, aber es ehrlich zu bewerten ist schwierig. Bei der Klassifizierung sind Verwirrungsmatrix, Präzision und Erinnerung viel aussagekräftiger als Genauigkeit; Die Kosten der Arbeit bestimmen, welche davon wichtig ist. MAE, RMSE und R² werden in der Regression verwendet. Die heimtückischste Falle ist das Überlernen: Vergleichen Sie immer Training und Testergebnis. Verlassen Sie sich auf den Mittelwert und die Verteilung der Kreuzvalidierung, nicht auf eine einzelne Aufteilung; Vergleichen Sie alles mit einer Basislinie. Die KI berechnet all dies, aber es liegt am Menschen, zu entscheiden, welche Metrik er verwendet.
Anwendungsaufgabe
Extrahieren Sie Verwirrungsmatrix, Präzision, Rückruf und F1 für ein Klassifizierungsmodell. Führen Sie dann eine 5-fache Kreuzvalidierung durch und sehen Sie sich die Punkteverteilung über die Falten an. Zum Schluss notieren Sie den Trainingswert, den CV-Durchschnitt und einen Basiswert nebeneinander. Kommentieren Sie in einem Satz, ob Ihr Modell zu viel lernt und die Grundlinie überschreitet.
Checkliste
- [ ] Habe ich mir die tatsächliche Metrik des Auftrags (Präzision/Rückruf/F1 usw.) anstelle der Genauigkeit angesehen?
- [ ] Habe ich die Verwirrungsmatrix untersucht?
- [ ] Habe ich Training und Testergebnis verglichen und auf Überlernen überprüft?
- [ ] Habe ich mir den Mittelwert und die Verteilung mit Kreuzvalidierung angesehen?
- [ ] Habe ich das Modell mit einer Basislinie verglichen?