Evaluierung und Überwachung: Wissen, was das Modell in der Produktion wirklich tut

Gewinne:

• Fähigkeit, stille Ursachen für die Verschlechterung des Modells zu erkennen (Datendrift, Konzeptdrift, Upstream-Fehler) und eine dreistufige Überwachung (Betrieb, Eingabe, Ausgabe) einzurichten
• Fähigkeit, LLM-Systeme auf mehreren Ebenen mit Regelprüfungen, LLM-Schiedsrichter- und menschlicher Bewertung zu bewerten und mit dem menschlichen LLM-Schiedsrichter-Anker zu kalibrieren
• Möglichkeit, einen Evaluierungssatz mit Edge- und Sicherheitsfällen zu entwerfen und jeden abgefangenen Fehler in einen permanenten Testfall umzuwandeln

Sobald ein Modell in Produktion geht, ist Ihre Arbeit noch nicht getan; Die eigentliche Verantwortung beginnt gerade erst. Denn das Modell kann stillschweigend kaputt gehen, wenn niemand hinschaut. In dieser Einheit decken wir zwei komplementäre Disziplinen ab: Evaluation (systematische Messung der Qualität des Modells) und Monitoring (ständige Überwachung des Modells in der Produktion). Insbesondere in LLM-Systemen ist die Bewertung schwieriger und erfordert mehr Sorgfalt als im klassischen ML.

Warum das Serienmodell stillschweigend kaputt geht

Ein Fehler stürzt ab, das Protokoll wird gedruckt, der Alarm geht los. Ein ML-Modell hingegen kann falsch sein, ohne Fehler zu verursachen. Drei Hauptursachen für die Verschlechterung:

• Datendrift: Die Verteilung der Eingabedaten ändert sich im Laufe der Zeit (neue Produkte, verändertes Nutzerverhalten, Saisonalität). Das Modell bleibt dasselbe, aber die Welt verändert sich.
• Konzeptdrift: Das Input-Output-Verhältnis ändert sich. Betrugstaktiken und Spam-Muster entwickeln sich weiter; Was gestern richtig war, wird heute falsch sein.
• Upstream-Korruption: Eine Datenquelle ändert das Format, ein Bereich wird frei; Das Modell sabbert lautlos vor fehlerhaften Eingaben.

Die Spurensuche macht diese stillen Verzerrungen hörbar.

Was Sie sehen sollten: drei Schichten

Eine gute Überwachung umfasst drei Ebenen:

1. Betriebsmetriken: Latenz, Fehlerrate, Anforderungsvolumen, Ressourcennutzung. „Steht das System?“
2. Daten-/Eingabemetriken: Ist die Eingabeverteilung ähnlich wie im Training? Ist die Rate fehlender Werte gestiegen? Sind neue Kategorien eingetroffen? „Sieht das Modell bekannte Daten?“
3. Modell-/Ausgabemetriken: Vorhersageverteilungsprotokoll? Sind die Vertrauenswerte gesunken? Und wenn möglich, wie hoch ist die Genauigkeit im Vergleich zur Grundwahrheit? „Ist das Modell noch korrekt?“

Die dritte Schicht ist die wertvollste, aber auch die schwierigste; Denn das eigentliche Ergebnis kommt meist mit einer Verzögerung (ob ein Kredit zurückgezahlt wird oder nicht, wird erst nach Monaten klar).

Tipp: Wenn sich das tatsächliche Ergebnis verzögert, überwachen Sie zunächst die Eingabe- und Vorhersageverteilung. Eine Verschiebung der Eingabeverteilung ist ein frühes Anzeichen für eine Verschlechterung der Genauigkeit und kann einen Alarm auslösen, ohne auf das tatsächliche Ergebnis warten zu müssen.

LLM-Systeme evaluieren: die besondere Herausforderung

Im klassischen ML ist die „richtige Antwort“ klar (Klasse 0 oder 1). Das LLM-Ergebnis hingegen ist offen: Es kann viele richtige Antworten auf die gleiche Frage geben, „Richtigkeit“ passt nicht in eine einzige Zahl. LLM-Bewertungsansätze:

• Referenzierte Metriken: Vergleich der Ausgabe mit der idealen Antwort. Beschränkt; weil es die anders ausgedrückte richtige Antwort möglicherweise als „falsch“ betrachtet.
• Regelbasierte Prüfungen: Ist die Ausgabe gültiges JSON? Gibt es verbotene Wörter? Enthält es die gewünschten Felder? Günstig, zuverlässig, dicht.
• LLM-Richter (LLM-als-Richter): Lassen Sie ein Modell nicht fragen: „Ist diese Antwort gemäß diesem Kriterium gut?“ Es skaliert, aber der Schiedsrichter selbst muss überprüft werden.
• Menschliche Bewertung: Goldstandard, aber teuer und langsam. Es wird an der Probe verwendet.

In der Praxis werden diese zusammen verwendet: kostengünstige Regelprüfungen für jede Ausgabe, LLM-Beurteilung einer großen Stichprobe, menschliche Bewertung einer kleinen, aber strengen Stichprobe.

Schwacher Ansatz / Starker Ansatz

Schwach: „LLM – ich habe den Schiedsrichter gefragt, 92 % unserer Antworten waren gut. Das System ist großartig.“

Güçlü: „Wir haben zuerst 100 Ausdrucke von Menschen beschriftet. Wir haben den LLM-Richter auf denselben 100 Ausdrucken laufen lassen und die Übereinstimmung zwischen Mensch und Richter gemessen – 85 % Übereinstimmung, akzeptabel. Wir haben dokumentiert, wo der Richter systematisch Fehler gemacht hat (eine Tendenz, lange Antworten ungerechtfertigt gut zu finden) und seine Eingabeaufforderung korrigiert. Erst dann haben wir den Bewertungen des Richters vertraut.“

Der Unterschied: Der starke Ansatz überprüft den Schiedsrichter mit einem menschlichen Anker, nicht blind. Ein ungeprüfter LLM-Schiedsrichter vermittelt zwar hübsches, aber falsches Selbstvertrauen.

Achtung: LLM-Schiedsrichter ist auch ein Model; halluzinogen, voreingenommen (bevorzugt lange/sichere Antworten), kann inkonsistent sein. Kalibrieren Sie die Schiedsrichterergebnisse mit menschlichen Tags, bevor Sie Produktionsentscheidungen treffen.

Evaluierungsset: sorgfältig gestaltet

Ein gutes Evaluierungsset repräsentiert die Vielfalt der realen Nutzung und schwieriger Fälle. Eine Bewertung, die nur mit einfachen Beispielen gefüllt ist, wird Sie in falschem Vertrauen erwecken. Stellen Sie sicher, dass Sie es in den Evaluierungscluster einfügen:

• Randfälle: Leere Eingabe, sehr lange Eingabe, ungewöhnliches Format.
• Bekannte schwere Fälle: Beispiele, bei denen das Modell in der Vergangenheit Fehler gemacht hat (als Regressionstest).
• Sicherheitsvorfälle: Sofortige Einschleusungsversuche, böswillige Anfragen, Fallen bei Datenschutzverletzungen.

Der Evaluierungscluster wächst mit der Zeit: Jeder neue Fehler, den Sie in der Produktion entdecken, wird zu einem Testfall für die nächste Evaluierung.

Alarm und Intervention

Ohne Alarm bleibt die Überwachung unvollständig. Für jede wichtige Metrik sollte es einen Schwellenwert und einen Reaktionsplan geben: „Techniker benachrichtigen, wenn die Eingabedrift X überschreitet“, „Automatisches Rollback, wenn die Fehlerrate Y überschreitet“. Sorgen Sie dafür, dass Alarme aussagekräftig sind – zu viele Fehlalarme machen das Team desensibilisiert und führen dazu, dass der eigentliche Alarm übersehen wird.

drei Mini-Koffer

Fall 1 – Frühwarnung. Die wahre Genauigkeit eines Nachfrageprognosemodells zeigte sich erst am Ende der Woche. Das Team überwachte die Eingabeverteilung und sah an einem Dienstag den plötzlichen Aufstieg einer neuen Produktkategorie – etwas, das das Modell noch nie gesehen hatte. Sie haben das Modell aktualisiert, ohne auf den Genauigkeitsabfall zu warten. Durch die Eingabeüberwachung konnten Tage eingespart werden.

Fall 2 – Nicht verifizierter Schiedsrichter. Ein Team berichtete laut LLM-Rezensent: „Unsere Qualität ist ausgezeichnet.“ Als die Kundenbeschwerden zunahmen, wurde eine menschliche Überwachung eingeführt: Der Schiedsrichter wertete sichere, aber falsche Antworten als „gut“. Sobald der Schiedsrichter mit menschlichen Markierungen kalibriert wurde, wurde die wahre Qualität deutlich und war viel geringer. Lektion: Vertrauen Sie dem Schiedsrichter nicht, ohne ihn zu überprüfen.

Fall 3 – Regressionstests. Eine sofortige Änderung löste ein Problem, während ein anderes stillschweigend behoben wurde. Aber das Team behielt frühere Fehler im Bewertungsbereich; Als die neue Änderung auf diesem Cluster getestet wurde, wurde der fehlerhafte Fall sofort erkannt und die Änderung behoben. Lektion: Jeder behobene Fehler sollte zu einem dauerhaften Testfall werden.

Kopierbare Vorlagen

Erstellen Sie einen Tracking-Plan für dieses Produktionsmodell. Decken Sie drei Ebenen ab: 1) Betrieblich (Latenz, Fehlerrate, Volumen) 2) Eingabe/Daten (Verteilungsverschiebung, fehlender Wert, neue Kategorie) 3) Modell/Ausgabe (Vorhersageverteilung, Konfidenz, Genauigkeit, wenn möglich) Modell: [Beschreibung]. Wie lange dauert es, bis das tatsächliche Ergebnis vorliegt: [Dauer]Fügen Sie für jede Metrik einen Schwellenwert und eine Interventionsempfehlung hinzu.

Schlagen Sie eine Evaluierungsstrategie (Evaluierung) für dieses LLM-System vor. Aufgabe: [Beschreibung] Bestimmen Sie Schichten: – Welche regelbasierten Prüfungen sollten für jede Ausgabe ausgeführt werden? – Welche Kriterien sollte der LLM-Schiedsrichter bewerten und wie sollten sie validiert werden (menschlicher Anker)? – In welcher Stichprobe sollte eine menschliche Evaluierung durchgeführt werden? Listen Sie Rand- und Sicherheitsfälle auf, die ich in den Evaluierungssatz aufnehmen sollte.

Sehen Sie sich diese LLM-Schiedsrichter-Eingabeaufforderung an: - Sind die Bewertungskriterien klar oder subjektiv? - Ist sie anfällig für Längen-/Konfidenzverzerrungen? - Wie kalibriere ich den Schiedsrichter mit menschlichen Tags? Schiedsrichter-Eingabeaufforderung: [Eingabeaufforderung]

Schreiben Sie ein Antwort-Runbook für diesen Überwachungsalarm.Alarm: [z.B. Schwellenwert für Eingabedrift überschritten]Muss Folgendes enthalten: erste Kontrollschritte, mögliche Ursachen, Rollback-Kriterien, wen Sie informieren müssen.

Tabelle der Verschlechterungsursachen

Verzerrung

Symptom

Weg zur Früherkennung

Datendrift

Änderungen der Eingabeverteilung

Überwachung der Eingabeverteilung

Konzeptwechsel

Die Gerechtigkeit fällt lautlos

Vorhersage + tatsächlicher Vergleich

Upstream-Fehler

Felder werden frei/Formatänderungen

Schemavalidierung + fehlende Rate

Modellinkonsistenz

Verschiebungen der Leistungsverteilung

Überwachung der Ausgabeverteilung

Häufige Fehler

• Keine Überwachung einrichten. Das Modell zerfällt lautlos, niemand sieht es.
• Verfolgen Sie nur betriebliche Kennzahlen. Das System funktioniert, aber Vorhersagen können falsch sein.
• Verwendung von LLM ohne Überprüfung des Schiedsrichters. Es vermittelt falsches Vertrauen.
• Bewerten Sie anhand einfacher Beispiele. Es weist nicht auf echte Schwierigkeiten hin.
• Frühere Fehler werden nicht in die Auswertung einbezogen. Der gleiche Fehler tritt erneut auf.
• Laute Alarme. Das Team wird desensibilisiert und verpasst den eigentlichen Alarm.

Zusammenfassend

Das Modell kann ungenau sein, ohne dass es zu Produktionsfehlern kommt; Daher sind Evaluierung und Überwachung genauso wichtig wie die Entwicklung. Richten Sie eine Überwachung auf drei Ebenen ein (Betrieb, Eingabe, Ausgabe). Nutzen Sie die Eingabedrift als Frühwarnung, wenn sich das tatsächliche Ergebnis verzögert. In LLM-Systemen ist die Bewertung ergebnisoffen; Verwenden Sie Regelprüfungen, LLM-Schiedsrichter und menschliche Bewertung zusammen – aber achten Sie darauf, den LLM-Schiedsrichter mit einem menschlichen Anker zu validieren. Bereichern Sie Ihren Eval-Cluster mit Edge- und Sicherheitsfällen und verwandeln Sie jeden abgefangenen Fehler in einen permanenten Testfall.

Anwendungsaufgabe

Schreiben Sie einen dreischichtigen Überwachungsplan für ein Produktionsmodell (oder produktionsnahes Modell) und definieren Sie Schwellenwert + Alarm für mindestens eine Eingabeverteilungsmetrik. Wenn Sie über ein LLM-System verfügen: Kennzeichnen Sie 30 Ausgänge mit Menschen, lassen Sie einen LLM-Schiedsrichter auf denselben Ausgängen laufen und messen Sie die Übereinstimmung zwischen Mensch und Schiedsrichter; Beachten Sie die systematische Voreingenommenheit des Schiedsrichters. Fügen Sie Ihrem Evaluierungscluster mindestens drei Kanten und zwei Sicherheitsfälle hinzu.

Checkliste

• [ ] Die Überwachung umfasst alle drei Ebenen (Betrieb, Eingabe, Ausgabe).
• [ ] Ich verwende die Eingabedrift als Frühwarnung, wenn sich das tatsächliche Ergebnis verzögert.
• [ ] Ich habe den LLM-Schiedsrichter mit menschlichen Etiketten kalibriert.
• [ ] Der Eval-Cluster enthält Edge- und Sicherheitsfälle.
• [ ] Ich habe jeden Fehler, den ich entdeckt habe, in einen permanenten Testfall umgewandelt.
• [ ] Für jede wichtige Metrik gibt es einen Schwellenwert und einen Reaktionsplan.