Gewinne:
- Fähigkeit, vereinzelte Beobachtungen mithilfe künstlicher Intelligenz in einen Bericht umzuwandeln, der einen eindeutigen Titel, deterministische Reproduktionsschritte, erwartete/tatsächliche Ergebnisse und Beweise enthält
- In der Lage zu sein, der künstlichen Intelligenz die Regel „Verwenden Sie nur die von mir gegebenen Informationen und erfinden Sie sie nicht“ aufzuzwingen und die Reproduzierbarkeit mit ihrer eigenen Kontrolle zu gewährleisten
- In der Lage sein, zwischen Schweregrad (technische Auswirkung) und Priorität (geschäftliche Dringlichkeit) zu unterscheiden und die endgültige Bezeichnung mit dem geschäftlichen Kontext zu versehen
Der von einem Tester gefundene Fehler ist nur dann wertvoll, wenn er behoben wird. Die Behebung hängt weitgehend von der Qualität des Fehlerberichts ab – einer Aufzeichnung, die einen Fehler so dokumentiert, dass der Entwickler ihn verstehen, reproduzieren und beheben kann. Ein schlecht geschriebener Fehlerbericht („Anmeldung funktioniert nicht“) verzögert den Entwickler stundenlang, führt zu hin- und hergehender Korrespondenz und wird häufig mit der Meldung „Reproduzieren nicht möglich“ abgeschlossen. Ein guter Bericht umfasst klare Schritte, erwartete und tatsächliche Ergebnisse, Kontextinformationen und Beweise. Künstliche Intelligenz (KI) ist sehr gut darin, Ihre verstreuten Beobachtungen in einen professionellen, strukturierten Bericht umzuwandeln. Aber auch hier gilt der zentrale Vorbehalt: KI kann keine Schritte nachholen, die man nicht sieht; kann die fehlenden Informationen durch „vernünftig aussehende“, aber ungenaue Vermutungen ergänzen. Ihre Aufgabe besteht darin, sicherzustellen, dass jede Zeile des Berichts auf Ihren tatsächlichen Beobachtungen basiert.
Anatomie eines guten Fehlerberichts
Ein effektiver Bericht umfasst diese Komponenten:
- Titel: Kurz, spezifisch, durchsuchbar. Nicht „Es liegt ein Fehler vor“; „Kann nicht auf die Schaltfläche ‚Zur Kasse‘ klicken, wenn sich mehr als 10 Artikel im Warenkorb befinden (Chrome)“.
- Schritte zur Reproduktion: Nummeriert, von Grund auf nachvollziehbar, deterministisch. Der Entwickler sollte den Fehler erkennen können, nachdem er diese Schritte ausgeführt hat.
- Erwartetes Ergebnis: Was gemäß den Akzeptanzkriterien hätte passieren sollen.
- Tatsächliches Ergebnis: Was ist passiert (Fehlermeldung, Bildschirm, Verhalten).
- Umgebung: Browser/Gerät, Version, Umgebung (Test/Live), Benutzerrolle, Daten.
- Beweis: Screenshot, Video, Protokoll, Fehlerverfolgung (Stack-Trace).
- Schweregrad und Priorität: Einzelheiten unten.
Tipp: Bevor Sie einen Bericht senden, fragen Sie: „Wenn ich diese Schritte an jemand anderen weitergebe, kann dieser den Fehler dann ohne meine Hilfe sehen?“ fragen. Lautet die Antwort „Nein“, ist der Bericht unvollständig. KI kann den Bericht schön machen, aber nur Sie können die Reproduzierbarkeit garantieren.
Gewalt und Priorität: zwei verwirrte Konzepte
Die Schwere ist die technische Auswirkung des Fehlers: Stürzt das System ab, gehen Daten verloren oder handelt es sich um einen Tippfehler? Priorität hat, wie dringend das Problem behoben werden muss. geht es um geschäftliche Auswirkungen. Die beiden gehen nicht immer in die gleiche Richtung: Eine falsche Schreibweise des Firmennamens auf der Homepage hat einen geringen Schweregrad, aber hohe Priorität (Reputation). In einem seltenen Randfall kann ein Zusammenbruch von hoher Schwere, aber niedriger Priorität sein. KI hilft Ihnen, diese Unterscheidung zu treffen, wenn Sie die Beobachtung machen; aber die endgültige Bezeichnung wird von Ihnen gegeben, die den geschäftlichen Kontext kennen.
Gewalt
Beispiel
Priorität
Beispiel
Kritisch (Blocker)
Die Zahlung kann nicht abgeschlossen werden
Dringend (P1)
Einkommensverlust im Leben
Hoch (Haupt)
Bericht gibt falsche Gesamtsumme an
Hoch (P2)
Ein Muss für die kommende Veröffentlichung
Mittel (geringfügig)
Seltener Randfallfehler
Mittel (P3)
In einem geplanten Sprint
Niedrig (trivial)
Die Tastenausrichtung ist deaktiviert
Niedrig (P4)
Wenn es eine Chance gibt
Schwache Eingabeaufforderung / Starke Eingabeaufforderung
Schwach: „Diesen Fehler melden: Die Zahlung funktioniert nicht.“
Stark: „Übersetzen Sie meine Beobachtungen unten in das Standardformat eines Fehlerberichts: Titel, Reproduktionsschritte (nummeriert), erwartetes Ergebnis, tatsächliches Ergebnis, Umgebung, Schweregrad und Prioritätsempfehlung (begründet). Verwenden Sie nur die von mir bereitgestellten Informationen; füllen Sie alle fehlenden Felder aus, markieren Sie „INFORMATIONEN FEHLEN: ...“. Beobachtungen: Chrome 120, Testumgebung, 12 Artikel im Warenkorb, nichts passiert, wenn ich auf „Zur Kasse“ drücke, „Undefiniert ist keine Funktion“-Fehler in der Konsole, bei 11 Produkten gibt es kein Problem.“
Leistungsstarke Eingabeaufforderung; legt das Format, die „Anpassungsregel“ und die Markierung fehlender Informationen fest. Auf diese Weise wird der Bericht sowohl korrekt als auch ehrlich sein.
Doppelte Fehlererkennung
In großen Teams wird immer wieder derselbe Fehler gemeldet. KI kann Ihren neuen Bericht mit vorhandenen offenen Fehlern vergleichen und potenzielle Duplikate kennzeichnen – so bleibt Ihr Fehlerverfolgungssystem (Jira, Azure DevOps, GitHub Issues) sauber. Aber Vorsicht: Zwei Fehler, die auf den ersten Blick ähnlich erscheinen, können unterschiedliche Ursachen haben; Vergleichen Sie die wiederholten Produktionsschritte und die Umgebung beider Berichte, bevor Sie den „Duplikat“-Vorschlag der KI schließen. Bei einem versehentlich geschlossenen „Duplikat“ fehlt tatsächlich ein separater Fehler.
Von der Fehlerverfolgung zur Grundursache: Die Leistungsfähigkeit der KI beim Lesen von Protokollen
Der technischste Teil eines Fehlerberichts ist oft die Fehlerverfolgung (Stack-Trace – eine Aufschlüsselung, welche Codezeile mit welcher Aufrufkette einen Fehler ausgelöst hat). Lange und komplexe Protokolle können sogar den Entwickler ermüden. Die KI liest ein Protokoll mit Hunderten von Zeilen und fasst in Sekundenschnelle die kritischsten Zeilen, die mögliche Grundursachenhypothese und den Codepunkt zusammen, an dem der Fehler ausgelöst wurde. Dies verkürzt den Bericht und gibt dem Entwickler einen direkten Ausgangspunkt.
Beachten Sie jedoch zwei Grenzen. Erstens ist die von der KI angegebene Grundursache eine Hypothese, kein Beweis; Der Entwickler sollte nicht versuchen, das Problem zu beheben, ohne es zu überprüfen. Zweitens enthalten Protokolle häufig personenbezogene Daten (E-Mail, Benutzer-ID, Sitzungstoken); Decken Sie diese Bereiche ab, bevor Sie den Baumstamm am Fahrzeug anbringen. Eine gute Vorgehensweise besteht darin, die KI zunächst sagen zu lassen: „Listen Sie die Felder auf, die in diesem Protokoll maskiert werden müssen“ und analysieren Sie dann das bereinigte Protokoll.
Tipp: Anstatt das gesamte Protokoll in den Bericht einzufügen, fügen Sie die wichtigsten drei bis fünf Zeilen ein, die die KI zusammenfasst, und einen Link zum vollständigen Protokoll. Auf diese Weise bleibt der Bericht lesbar und der Entwickler, der Details benötigt, kann auf das vollständige Protokoll zugreifen.
Vier kopierbare Vorlagen
1) Von der Beobachtung zum Bericht:
Ihre Rolle: Senior QA. Übersetzen Sie die folgenden Rohbeobachtungen in einen Standardfehlerbericht: Titel / Reproduktionsschritte (nummeriert) / Erwartet / Tatsächlich / Umgebung / Beweisnotiz / Schweregrad + Priorität (begründet). REGEL: Verwenden Sie nur die von mir bereitgestellten Informationen. Markieren Sie das fehlende Feld als „FEHLENDE INFORMATIONEN:...“ Beobachtungen: [Rohnotizen]
2) Reproduzierbarkeitskontrolle:
Lesen Sie diesen Fehlerbericht aus der Perspektive eines Entwicklers, der den Fehler noch nie gesehen hat. Befolgen Sie die Schritte und markieren Sie die Stellen, an denen der Fehler nicht auftritt: mehrdeutiger Schritt, fehlende Voraussetzung, fehlende Testdaten, übersprungene Bedingung. Sagen Sie mir, welche Informationen ich für jede Lücke hinzufügen soll. Bericht: [Bericht einfügen]
3) Schweregrad-/Prioritätsberater:
Ich beschreibe den folgenden Fehler: [Fehler + Geschäftskontext]. Machen Sie Vorschläge und Begründungen getrennt nach Schweregrad (technische Auswirkungen) und Priorität (geschäftliche Dringlichkeit). Erklären Sie, warum die beiden unterschiedlich sein könnten. Ich werde die endgültige Entscheidung treffen.
4) Zusammenfassung der Protokoll-/Fehlerverfolgung:
Untersuchen Sie die Fehlerverfolgung/das Fehlerprotokoll unten. Geben Sie mir eine Zusammenfassung von (1) der Grundursachenhypothese, (2) dem wahrscheinlichen Codepunkt, an dem der Fehler aufgetreten ist, (3) den drei kritischsten Zeilen, die dem Bericht hinzugefügt werden sollen. Maskieren, wenn personenbezogene Daten vorhanden sind. Protokoll: [Protokoll einfügen]
drei Mini-Koffer
Fall 1 – Befreiung von „Ich konnte nicht produzieren“. In einem Team wurden 30 % der Fehler mit der Meldung „nicht reproduzierbar“ geschlossen. Dem Berichtsprozess wurde die Vorlage „Reproduzierbarkeitsprüfung“ hinzugefügt; Bevor jeder Bericht gesendet wurde, markierte die KI fehlende Schritte und Voraussetzungen. Drei Monate später sank die Quote „konnte nicht produzieren“ von 30 % auf 8 %. Der Unterschied bestand darin, dass die Schritte von Anfang an genau waren.
Fall 2 – Die Gefahr gefälschter Schritte. Ein Tester ließ die KI einen Bericht mit unvollständigen Beobachtungen verfassen; AI hat einen Schritt hinzugefügt, der nie stattgefunden hat, z. B. „Benutzer aktiviert Benachrichtigungen auf der Einstellungsseite“. Als der Entwickler diesen Schritt befolgte, konnte er den Fehler nicht finden und verlor Zeit. Das Team hat die Regel „Verwenden Sie nur die Informationen, die ich gebe, nicht erfinden“ durchgesetzt. Vorgefertigte Schritte entfallen.
Fall 3 – Unterscheidung zwischen Schweregrad und Priorität. Es gab einen Tippfehler im Firmenslogan auf der Homepage. Der Tester würde dies als „niedrig“ ausgeben; Der KI-Berater erinnerte daran, dass technische Gewalt gering ist, die geschäftliche Priorität jedoch hoch ist (das Reputationselement, das jeder Besucher erhält). Der Fehler wurde noch am selben Tag mit dem Tag „hohe Priorität“ behoben.
Häufige Fehler
- Vage Titel. Undurchsuchbare, nicht diskriminierende Schlagzeilen wie „Funktioniert nicht“.
- Fehlende/übersprungene Schritte. Schreiben Sie nicht, was in Ihrem Kontext offensichtlich ist. Versagen des Entwicklers bei der Produktion.
- Überlassen Sie es der KI. Vervollständigung der fehlenden Informationen durch eine „vernünftige Schätzung“; falsche Schritte.
- Das erwartete Ergebnis wird nicht geschrieben. „Falsch“ sagen, aber nicht angeben, was richtig ist.
- Verwirrende Gewalt und Priorität. Die beiden als eine Bezeichnung verwechseln; Geschäftsauswirkungen falsch einschätzen.
- Sensible Daten als Beweismittel. Teilen echter personenbezogener Daten in Screenshots/Protokollen, ohne diese zu maskieren.
Zusammenfassend
Der Wert des Fehlerberichts besteht darin, dass der Entwickler den Fehler ohne Ihre Hilfe reproduzieren und beheben kann. KI ist sehr gut darin, vereinzelte Beobachtungen in einen professionellen, strukturierten Bericht umzuwandeln; Es organisiert Titel, Schritte, erwartetes/tatsächliches Ergebnis, Umgebung und Beweise und bietet Beratung zur Unterscheidung zwischen Schweregrad und Priorität. Aber KI kann fehlende Informationen ausgleichen; Setzen Sie die Regel „Verwenden Sie nur die von mir angegebenen Informationen, markieren Sie die fehlenden“ durch und gewährleisten Sie selbst die Reproduzierbarkeit. Persönliche Daten in Beweismitteln maskieren.
Anwendungsaufgabe
Nehmen Sie einen Fehler, den Sie kürzlich gefunden haben, und wandeln Sie Ihre Rohbeobachtungen mithilfe des Musters „Beobachtung zum Bericht“ (mit der „Anpassungsregel“) in einen Bericht um. Anschließend führen Sie die „Reproduzierbarkeitsprüfung“ durch und füllen die markierten Lücken. Geben Sie den Bericht an einen Kollegen weiter und prüfen Sie, ob er den Fehler ohne Ihre Hilfe erstellen kann. Legen Sie abschließend die Etiketten mit dem „Gewalt-/Prioritätsberater“ fest und finalisieren Sie diese nach eigenem Ermessen. Beachten Sie alle Informationen, die die KI dabei zu erfinden versucht.
Checkliste
- [ ] Mein Titel ist spezifisch und durchsuchbar.
- [ ] Reproduktionsschritte sind von Grund auf neu, deterministisch und vollständig.
- [ ] Ich habe die erwarteten und tatsächlichen Ergebnisse getrennt geschrieben.
- [ ] Die Einstellungs- und Beweisinformationen sind vollständig; Ich habe persönliche Daten maskiert.
- [ ] Ich habe der KI die Regel „Nachholen, Fehlen markieren“ auferlegt und die Lücken selbst geschlossen.
- [ ] Ich habe den Schweregrad und die Priorität separat bewertet und die endgültige Entscheidung getroffen.