Enhed 7 / 11

Skrivning og prioritering af fejlrapporter: Klare, reproducerbare registreringer med AI

Gevinster:

  • Evne til at omdanne spredte observationer til en rapport indeholdende en klar titel, deterministiske reproduktionstrin, forventede/faktiske resultater og beviser med støtte fra kunstig intelligens
  • At være i stand til at påtvinge reglen om 'kun brug den information, jeg giver, gør det ikke op' til kunstig intelligens og garantere reproducerbarhed med egen kontrol
  • At kunne skelne mellem sværhedsgrad (teknisk påvirkning) og prioritet (forretningsmæssigt haster) og give det endelige mærke med den forretningsmæssige kontekst

Fejlen en tester finder er kun værdifuld, hvis den er rettet; At rette det afhænger i høj grad af kvaliteten af ​​fejlrapporten - en registrering, der dokumenterer en defekt på en måde, så udvikleren kan forstå, reproducere og rette den. En dårligt skrevet fejlrapport ("login virker ikke") vil stoppe udvikleren i timevis, føre til frem og tilbage korrespondance og ofte lukke som "kan ikke gengive". En god rapport inkluderer klare trin, forventede og faktiske resultater, kontekstinformation og beviser. Kunstig intelligens (AI) er meget god til at omdanne dine spredte observationer til en professionel, struktureret rapport. Men den centrale advarsel gælder også her: AI kan ikke lave trin, du ikke kan se; kan udfylde de manglende oplysninger med "rimeligt udseende", men upræcise gæt. Din opgave er at sikre, at hver linje i rapporten er baseret på det, du faktisk har observeret.

Anatomi af en god fejlrapport

En effektiv rapport omfatter disse komponenter:

  • Titel: Kort, specifik, søgbar. Ikke "Der er en fejl"; "Kan ikke klikke på 'Kasse'-knappen med mere end 10 varer i indkøbskurven (Chrome)".
  • Trin til gengivelse: Nummereret, sporbar fra bunden, deterministisk. Udvikleren skulle kunne se fejlen efter at have fulgt disse trin.
  • Forventet resultat: Hvad der skulle være sket ifølge acceptkriterierne.
  • Faktisk resultat: Hvad skete der (fejlmeddelelse, skærm, adfærd).
  • Miljø: Browser/enhed, version, miljø (test/live), brugerrolle, data.
  • Beviser: Skærmbillede, video, log, fejlsporing (staksporing).
  • Sværhedsgrad og prioritet: Detaljeret nedenfor.
Tip: Inden du sender en rapport, spørg "hvis jeg giver disse trin til en anden, kan de så se fejlen uden min hjælp?" spørge. Hvis svaret er "nej", er rapporten ufuldstændig. AI kan gøre rapporten smuk, men kun du kan garantere reproducerbarhed.

Vold og prioritet: to forvirrede begreber

Alvor er den tekniske effekt af fejlen: går systemet ned, går data tabt, eller er det en tastefejl? Prioritet er, hvor hurtigt det skal rettes; handler om forretningspåvirkning. De to går ikke altid i samme retning: Fejlstavning af firmanavnet på hjemmesiden er lav alvorlighed, men høj prioritet (omdømme). I et sjældent kanttilfælde kan et sammenbrud være af høj sværhedsgrad, men lav prioritet. AI hjælper dig med at skelne, når du giver observationen; men den endelige etiket gives af dig, der kender den forretningsmæssige kontekst.

vold

eksempel

prioritet

eksempel

Kritisk (blokering)

Betaling kan ikke gennemføres

Haster (P1)

Tab af indkomst i live

Høj (major)

Rapport giver forkert total

Høj (P2)

Et must til den kommende udgivelse

Mellem (mindre)

Sjælden kant-case-fejl

Medium (P3)

I en planlagt sprint

Lav (trivial)

Knapjustering er slået fra

Lav (P4)

Når der er en chance

Svag prompt / Stærk prompt

Svag: "Rapporter denne fejl: betaling virker ikke."
Stærk: "Oversæt mine observationer nedenfor til standard fejlrapportformat: titel, reproduktionstrin (nummereret), forventet resultat, faktisk resultat, miljø, sværhedsgrad og prioritetsanbefaling (begrundet). Brug kun de oplysninger, jeg giver; udfyld eventuelle manglende felter, marker 'INFORMATION MANGLER: ...'. Observationer: Chrome 120, testmiljø, 12 varer i indkøbskurven, der sker ikke noget, når jeg trykker på, 'ikke-udtjekning' sker ikke, der sker ingen fejl i indkøbskurven. konsollen, Der er intet problem med 11 produkter."

Kraftig prompt; pålægger formatet, "tilpasnings"-reglen og markering af manglende information. På denne måde bliver rapporten både nøjagtig og ærlig.

Dublet fejlfinding

I store hold rapporteres den samme fejl igen og igen. AI kan sammenligne din nye rapport med eksisterende åbne fejl og markere potentielle dubletter – dette holder dit fejlsporingssystem (Jira, Azure DevOps, GitHub-problemer) rent. Men pas på: to fejl, der ligner hinanden på overfladen, kan have forskellige grundårsager; Sammenlign de gentagne produktionstrin og miljøet for begge rapporter, før du lukker AI's "duplikat"-forslag. Et utilsigtet lukket "duplikat" mangler faktisk en separat fejl.

Fra fejlsporing til rodårsag: AI's kraft til at læse logs

Den mest tekniske del af en fejlrapport er ofte fejlsporingen (staksporing - en opdeling af hvilken kodelinje, med hvilken opkaldskæde, der udløste en fejl). Lange og komplekse logfiler kan trætte selv udvikleren. AI'en læser en log med hundredvis af linjer og opsummerer på sekunder de mest kritiske linjer, hypotesen om mulige årsager og kodepunktet, hvor fejlen blev udløst. Dette både forkorter rapporten og giver udvikleren et direkte udgangspunkt.

Husk dog to grænser. For det første er grundårsagen givet af AI en hypotese, ikke bevis; Udvikleren bør ikke forsøge at rette dette uden at bekræfte det. For det andet indeholder logfiler ofte personlige data (e-mail, bruger-id, sessionstoken); Masker disse områder, før du placerer bjælken på køretøjet. En god praksis er først at få AI til at sige "liste de felter, der skal maskeres i denne log" og derefter analysere den rensede log.

Tip: I stedet for at indsætte hele loggen i rapporten, skal du inkludere de mest kritiske 3-5 linjer, som AI opsummerer, og et link til hele loggen. På denne måde forbliver rapporten læsbar, og udvikleren, der har brug for detaljer, kan få adgang til hele loggen.

Fire kopierbare skabeloner

1) Fra observation til rapport:

Din rolle: senior QA. Oversæt følgende rå observationer til en standard fejlrapport: Titel / Gengivelsestrin (nummereret) / Forventet / Faktisk / Miljø / Bevisnotat / Alvorlighed + Prioritet (begrundet). REGEL: brug kun de oplysninger, jeg giver; marker det manglende felt som "MANGLER OPLYSNINGER:..." Bemærkninger: [rå noter]

2) Reproducerbarhedskontrol:

Læs denne fejlrapport fra en udviklers perspektiv, der aldrig har set fejlen. Følg trinene og marker de steder, hvor det ikke vil producere fejlen: tvetydigt trin, manglende forudsætning, manglende testdata, oversprunget tilstand. Fortæl mig, hvilke oplysninger jeg skal tilføje for hvert hul. Rapport: [indsæt rapport]

3) Alvorligheds-/prioritetsrådgiver:

Jeg beskriver følgende fejl: [fejl + forretningskontekst]. Giv forslag og begrundelse separat for alvor (teknisk påvirkning) og prioritet (forretningsmæssigt haster). Forklar hvorfor de to kan være forskellige. Jeg tager den endelige beslutning.

4) Opsummering af log/fejlsporing:

Undersøg fejlsporingen/logfilen nedenfor. Giv mig et resumé af (1) årsagshypotesen, (2) det sandsynlige kodepunkt, hvor fejlen opstod, (3) de 3 mest kritiske linjer, der skal tilføjes til rapporten. Mask, hvis der er personlige data.Log: [indsæt log]

tre minisager

Case 1 - Befrielse fra "Jeg kunne ikke producere." I et hold blev 30 % af fejlene lukket som "kan ikke reproducere". "Reproducerbarhedstjek" skabelonen er blevet tilføjet til rapportprocessen; Før hver rapport blev sendt, markerede AI manglende trin og forudsætninger. Tre måneder senere faldt andelen "ikke kunne producere" fra 30 % til 8 %. Forskellen var, at trinene var nøjagtige fra begyndelsen.

Case 2 — Faren for falske trin. En tester fik AI til at skrive en rapport med ufuldstændige observationer; AI tilføjede et trin, der aldrig skete, såsom "bruger slår meddelelser til fra indstillingssiden". Da udvikleren fulgte det trin, kunne han ikke finde fejlen og mistede tid. Holdet håndhævede en "brug kun de oplysninger, jeg giver, gør det ikke op"-regel; Opfindte trin er elimineret.

Tilfælde 3 — skelnen mellem sværhedsgrad/prioritet. Der var en slåfejl i firmasloganet på hjemmesiden. Testeren ville angive dette som "lavt"; AI-konsulenten mindede om, at teknisk vold er lav, men forretningsprioriteten er høj (omdømmeelementet, som enhver besøgende modtager). Fejlen blev rettet samme dag med tagget "høj prioritet".

Almindelige fejl

  • Uklar titel. Ugennemsøgelige, ikke-diskriminerende overskrifter som "Virker ikke".
  • Manglende/spring over trin. Ikke at skrive det, der er åbenlyst i din sammenhæng; udviklerens manglende produktion.
  • Lader AI'en gøre det op. At få de manglende oplysninger udfyldt med et "rimeligt skøn"; forkerte skridt.
  • Skriver ikke det forventede resultat. Siger "forkert", men specificerer ikke, hvad der er rigtigt.
  • Forvirrende vold og prioritet. Forveksler de to som én etiket; Fejlvurderende forretningspåvirkning.
  • Følsomme data i bevis. Deling af rigtige personlige data i skærmbilleder/logfiler uden at maskere dem.

Sammenfattende

Værdien af fejlrapporten er, at udvikleren kan reproducere og rette fejlen uden din hjælp. AI er meget god til at omdanne spredte observationer til en professionel, struktureret rapport; Den organiserer titlen, trinene, forventet/faktisk resultat, miljø og beviser og yder rådgivning om skelnen mellem alvor og prioritet. Men AI kan kompensere for manglende information; Håndhæv "brug kun de oplysninger, jeg giver, marker den manglende"-reglen og garantere selv reproducerbarhed. Maske personlige data som bevis.

Ansøgningsopgave

Tag en fejl, du for nylig har fundet, og forvandl dine rå observationer til en rapport ved hjælp af "observation to report"-mønsteret (med "passende"-reglen). Udfør derefter "reproducerbarhedskontrollen", og udfyld de markerede huller. Giv rapporten til en kollega og se, om han kan frembringe fejlen uden din hjælp. Bestem endelig etiketterne med "volds-/prioriteringskonsulenten" og afslut det efter eget skøn. Vær opmærksom på enhver information, som AI forsøger at finde på i processen.

tjekliste

  • [ ] Min titel er specifik og søgbar.
  • [ ] Gengivelsestrin er fra bunden, deterministisk og fuldstændig.
  • [ ] Jeg skrev de forventede og faktiske resultater separat.
  • [ ] Indstillingen og bevisoplysningerne er fuldstændige; Jeg maskerede personlige data.
  • [ ] Jeg pålagde AI-reglen "find det op, markér det manglende" og udfyldte selv hullerne.
  • [ ] Jeg vurderede alvoren og prioriteringen separat og traf den endelige beslutning.