Modellbildung: Problemdefinition, Algorithmusauswahl und Trainings-/Testaufteilung

Gewinne:

• Fähigkeit, den Problemtyp (Klassifizierung, Regression, Clustering) und Erfolgskriterien entsprechend den tatsächlichen Kosten des Auftrags zu definieren
• Fähigkeit, die Daten ehrlich aufzuteilen (ohne den Testsatz zu berühren; chronologisch in der Zeitreihe) und eine leckagefreie Auswertungsgrundlage zu schaffen
• Fähigkeit, ein interpretierbares Modell auszuwählen, indem man mit einer einfachen Grundlinie beginnt und die Komplexität nur dann hinzufügt, wenn sie es verdient.

Bisher haben wir Daten gesammelt, bereinigt, untersucht und Funktionen erstellt. Jetzt kommen wir zur eigentlichen Arbeit, dem Bau eines Modells. Ein Modell ist eine mathematische Struktur, die aus Daten ein Muster lernt und Vorhersagen für neue Situationen erstellt. Der kritischste Teil beim Aufbau eines Modells ist jedoch nicht der Code selbst, sondern die beiden Entscheidungen, die ihm vorausgehen: die Definition des richtigen Problems und die korrekte Aufteilung der Daten. KI ist ein leistungsstarker Berater bei der Algorithmenauswahl, dem Schreiben von Code und der Parameteroptimierung. Aber es liegt an einem, zu entscheiden, was man vorhersagen möchte und was Erfolg bedeutet. Ein schlecht definiertes Problem funktioniert nicht einmal mit einem perfekt geschriebenen Modell.

Problemdefinition zuerst: Was sagen wir voraus?

Jeder Modellierungsauftrag beginnt mit einer Frage, und diese Frage bestimmt die Art des Modells. Klassifizierung – die Ausgabe ist eine Kategorie: „Wird dieser Kunde gehen oder bleiben?“, „Ist diese Transaktion gefälscht?“. Regression (im Englischen Regression – die Ausgabe ist eine Zahl): „Wie viel ist dieses Haus wert?“, „Wie viele Bestellungen werden nächsten Monat eingehen?“. Clustering (Aufteilen unbeschrifteter Daten in natürliche Gruppen): „In wie viele natürliche Segmente werden meine Kunden unterteilt?“

Der zweite Teil der Problemstellung ist das Erfolgskriterium: Was bedeutet es, dass dieses Modell „gut“ ist? In einem Betrugsmodell ist es viel teurer, einen Betrüger zu übersehen, als einen ehrlichen Kunden versehentlich zu blockieren; Daher steht nicht die „allgemeine Genauigkeit“ im Vordergrund, sondern die „Quote, Betrüger zu fassen“. Wenn Sie dieses Kriterium nicht von Anfang an gemeinsam mit dem Geschäftsinhaber definieren, erhalten Sie am Ende ein „sehr genaues“ Modell, das nicht funktioniert (wir gehen in Einheit 7 tiefer auf Metriken ein).

Achtung: „Genauigkeit“ kann irreführend sein. Wenn 10 von 1000 Transaktionen betrügerisch sind, liefert ein dummes Modell, das besagt „keine ist betrügerisch“, eine Genauigkeit von 99 %, wird aber keinen einzigen Betrüger fangen. Wählen Sie Erfolgskriterien basierend auf den tatsächlichen Kosten des Problems.

Trainings-/Testsplitting: ehrliche Prüfung des Modells

Das Testen eines Modells mit den gelernten Daten ist so, als würde man dem Studenten dieselben Fragen stellen, die er/sie in der Prüfung beantwortet hat; Er bekommt gute Noten, zeigt aber nicht, was er wirklich weiß. Deshalb teilen wir die Daten in zwei (oft drei) auf:

• Trainingsset (Trainingsset in Englisch, meist 70-80 %): Das Modell lernt darauf.
• Testsatz (Testsatz, normalerweise 20–30 %): Das Modell sieht dies überhaupt nicht; Hier wird echte Leistung gemessen.
• Validierungssatz: Zwischensatz, der für die Modelleinstellung verwendet wird (welcher Parameter ist besser); um den Testsatz „sauber“ zu halten.

Die grundlegendste Regel: Das Testset wird während des Trainings niemals berührt. Skalierung, Codierung, Funktionsauswahl – alles wird einfach aus dem Trainingssatz gelernt und dann auf Tests angewendet (Leakage-Prinzip aus Einheit 5). Der Testsatz ist das erste Mal, dass das Modell die reale Welt sieht; Wenn Sie es zu früh einschalten, erfahren Sie nie die tatsächliche Leistung.

Ausnahme für Zeitreihen: Wenn Ihre Daten zeitabhängig sind (Umsatz, Börse, Nachfrage), erfolgt keine zufällige Aufteilung. Da die zufällige Aufteilung dazu führt, dass das Modell die Zukunft sieht und die Vergangenheit vorhersagt, handelt es sich um ein Leck. Teilen Sie stattdessen chronologisch auf: Trainieren Sie mit der alten Periode, testen Sie mit der neuen Periode.

Algorithmusauswahl: von einfach bis komplex

Der häufigste Anfängerfehler besteht darin, mit dem komplexesten Modell zu beginnen. Der richtige Ansatz ist das Gegenteil: Legen Sie zunächst eine einfache Grundlinie fest. „Immer die Mehrheitsklasse erraten“ in einer Klassifizierung; „Schätzen Sie immer den Mittelwert“ in einer Regression. Dieses dumme Modell liefert eine Grundlinie; Wenn Ihr tatsächliches Modell dies nicht besteht, liegt ein Problem vor. Fahren Sie dann mit einfachen und interpretierbaren Modellen fort.

Modell

Problemtyp

Stärke

Schwäche

Ausgangswert (Mehrheit/Durchschnitt)

beides

Gibt Benchmark

lernt nicht

Logistische Regression

Klassifizierung

Einfach, interpretierbar

Nur lineare Beziehung

Lineare Regression

Rückschritt

Einfach, schnell

lineare Annahme

Entscheidungsbaum

beides

interpretierbar

Einfaches Auswendiglernen

zufälliger Wald

beides

Stark, langlebig

Weniger interpretierbar

Gradient Boosting (XGBoost usw.)

beides

sehr stark

Schwierig anzupassen, Gefahr des Auswendiglernens

Regel: Wählen Sie das einfachste „gut genug“-Modell. In den meisten Geschäftskontexten ist Verständlichkeit wertvoller als Macht. Es ist besser, eine Kreditablehnung damit zu erklären, „weil Ihr Schulden-Einkommens-Verhältnis hoch ist“ als „weil die Blackbox das gesagt hat“.

drei Mini-Koffer

Fall 1 – Falsche Problemdefinition. Ein Team erstellte ein Klassifizierungsmodell basierend auf „Ist der Kunde zufrieden“, wählte jedoch „Genauigkeit“ als Erfolgskriterium. Den Daten zufolge waren 88 % der Kunden zufrieden; Das Modell erreichte eine Genauigkeit von 88 %, indem es alle als „zufrieden“ bezeichnete und die unzufriedenen Personen nie erwischte – obwohl das eigentliche Ziel darin bestand, sie zu finden. Lektion: Wählen Sie Erfolgskriterien basierend auf dem tatsächlichen Zweck.

Fall 2 – Zeitleck im Fach. In einem Projekt zur Bedarfsprognose wurden die Daten nach dem Zufallsprinzip aufgeteilt. Das Modell lieferte eine Genauigkeit von 93 %, stürzte jedoch in der Produktion ab, weil es im Training den Januar und dann den November mit Dezember-Daten vorhergesagt hatte – es hatte die Zukunft gesehen. Als wir auf die chronologische Aufteilung umstellten, stieg die tatsächliche Leistung auf 74 %. Lektion: Chronologische Einteilung in Zeitreihen.

Fall 3 – Unnötige Komplexität. Ein Analyst begann direkt mit einem tiefen neuronalen Netzwerk, optimierte es wochenlang und erreichte eine Genauigkeit von 81 %. Dann erreichte ein Kollege 80 % mit 20 Zeilen logistischer Regression – viel schneller, interpretierbar und einfacher zu pflegen. Lektion: Beginnen Sie mit einer Basislinie und einem einfachen Modell und erhöhen Sie die Komplexität, wenn es nötig ist.

Vier kopierbare Vorlagen

1) Klärung der Problemdefinition:

Ihre Rolle: Modelberater. Helfen Sie mir, diesen Job zu definieren: „Ich möchte die Kundenabwanderung reduzieren.“ Fragen Sie mich und klären Sie: (1) handelt es sich um eine Klassifizierung oder Regression, (2) was genau ist die Zielvariable und wie sollte sie definiert werden, (3) was sollten die Erfolgskriterien sein und warum. Die Entscheidung liegt bei mir; Sie stellen die Fragen und Optionen vor.

2) Sicheres Trainings-/Testfach:

Teilen Sie meinen df in Training/Testen 80 %/20 % auf. Behalten Sie die Klassenverteilung bei (stratify).random_state=42. Dies ist KEINE ZEITREIHE (unabhängige Beobachtungen). Drucken Sie das Klassenverhältnis jedes Satzes nach der Division aus. Geben Sie einfach den Aufteilungscode an den Testsatz weiter, ohne eine Transformation anzuwenden.

3) Chronologische Aufteilung der Zeitreihen:

Die Daten sind zeitabhängig (Datumsspalte: order_date). NICHT zufällig, sondern chronologisch aufteilen: ältestes 80 % Training, neueste 20 % Tests. Drucken Sie die Schulungs- und Testdatumsbereiche aus, damit ich überprüfen kann, ob die Zukunft nicht durchgesickert ist.

4) Festlegung einer Grundlinie:

Ich habe ein Klassifizierungsproblem (Ziel: Abwanderung 0/1). Legen Sie zunächst eine Basislinie fest: Messen Sie die Trainings-/Testgenauigkeit mit DummyClassifier, der immer die Mehrheitsklasse vorhersagt. Trainieren Sie dann eine einfache logistische Regression und vergleichen Sie, ob sie die Basislinie übertrifft. Zeigen Sie die Messwerte der beiden nebeneinander an.

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwache Eingabeaufforderung:

Erstellen Sie mit diesen Daten das beste Modell.

„Best“ ist undefiniert; Es gibt keinen Problemtyp, kein Ziel, keine Erfolgskriterien und keine Teilungsstrategie. Die KI generiert ein zufälliges Muster, möglicherweise undicht.

Kraftvolle Aufforderung:

Ihre Rolle: Modelassistent. Problem: Klassifizierung, angestrebte „Abwanderung“ (0/1), es besteht ein Klassenungleichgewicht (~12 % Abwanderung). Erfolgskriterium: Rückruf der Abwanderer steht im Vordergrund. Datenunabhängige Beobachtung (keine Zeitreihen). Aufgabe: (1) 80/20 % geschichtete Aufteilung, (2) DummyClassifier-Basislinie, (3) logistische Regression, alle Transformationen in der Pipeline und nur aus dem Training gelernt. Berühren Sie das Testset vor dem Teilen nicht.

Hier sind Problemtyp, Ungleichgewicht, Kriterium und Leckagemaß klar.

Häufige Fehler

• Die Erfolgskriterien nicht entsprechend dem eigentlichen Zweck wählen. „Genauigkeit“ bei unausgeglichenen Daten ist irreführend; Wenn Sie die Minderheitenklasse erfassen möchten, steht die Erinnerung im Vordergrund.
• Berühren des Testsets während des Trainings. Die Skalierung/Kodierung vor der Aufteilung ist undicht und verbirgt die tatsächliche Leistung.
• Zufällige Aufteilung in Zeitreihen. Das Modell sieht die Zukunft, bricht in der Produktion zusammen; Eine chronologische Einteilung ist unerlässlich.
• In ein komplexes Modell einsteigen, ohne eine Grundlinie festzulegen. Ohne Benchmarks kann man nicht wissen, ob ein Modell wirklich gut ist oder nicht.
• Ignorieren der Interpretierbarkeit. Bei Geschäftsentscheidungen ist ein einfach erklärbares Modell oft wertvoller als eine Blackbox.

Tipp: Bevor Sie mit der Erstellung eines Modells beginnen, schreiben Sie einen Satz: „Dieses Modell wird _____ vorhersagen, sein Erfolg wird an der Metrik _____ gemessen, da die tatsächlichen Kosten des Auftrags _____ betragen.“ Wenn Sie diesen Satz nicht ausfüllen können, sind Sie noch nicht bereit, Code zu schreiben.

Zusammenfassend

Der kritischste Teil beim Aufbau eines Modells ist nicht der Code, sondern die ihm vorausgehenden Entscheidungen: die Definition des richtigen Problems (Klassifizierung oder Regression, was ist das Ziel, was ist das Erfolgskriterium) und die gerechte Aufteilung der Daten (ohne den Testsatz zu berühren; chronologisch in der Zeitreihe). Beginnen Sie immer mit einer einfachen Grundlinie und fügen Sie die Komplexität nur dann hinzu, wenn es nötig ist. In den meisten Geschäftskontexten wird die Interpretierbarkeit wichtiger als die Macht. KI ist ein leistungsstarker Berater bei der Auswahl von Algorithmen und beim Code, aber der Mensch entscheidet, was Sie vorhersagen und warum.

Anwendungsaufgabe

Definieren Sie ein Vorhersageproblem und vervollständigen Sie den folgenden Satz schriftlich: „Dieses Modell wird ___ (Klassifizierung/Regression) vorhersagen, das Ziel ist ___, das Erfolgskriterium ist ___, weil ___.“ Teilen Sie die Daten dann mit der richtigen Strategie auf (chronologisch, wenn es sich um eine Zeitreihe handelt), legen Sie eine Basislinie fest und messen Sie, ob ein einfaches Muster diese Basislinie durchbricht.

Checkliste

• [ ] Habe ich den Problemtyp (Klassifizierung/Regression) und das Ziel klar definiert?
• [ ] Habe ich die Erfolgskriterien basierend auf den tatsächlichen Kosten des Auftrags ausgewählt?
• [ ] Habe ich das Testset während des Trainings unberührt gelassen?
• [ ] Wenn es sich um eine Zeitreihe handelt, habe ich sie chronologisch unterteilt?
• [ ] Habe ich eine Grundlinie erstellt, bevor ich mit dem komplexen Modell fortfahre?