zisky:
- Schopnosť transformovať rozptýlené pozorovania do správy obsahujúcej jasný názov, deterministické kroky reprodukcie, očakávané/skutočné výsledky a dôkazy s podporou umelej inteligencie
- Byť schopný vnútiť umelej inteligencii pravidlo „používať iba informácie, ktoré poskytnem, nevymýšľať si ich“ a zaručiť reprodukovateľnosť s vlastnou kontrolou
- Byť schopný rozlíšiť medzi závažnosťou (technický vplyv) a prioritou (naliehavosť podnikania) a dať konečný štítok s obchodným kontextom
Chyba, ktorú tester nájde, je hodnotná iba vtedy, ak je opravená; Oprava závisí vo veľkej miere od kvality hlásenia o chybe – záznamu, ktorý dokumentuje chybu spôsobom, ktorý vývojár dokáže pochopiť, reprodukovať a opraviť. Zle napísané hlásenie o chybe ("nefunkčné prihlásenie") zastaví vývojára na niekoľko hodín, povedie k opakovanej korešpondencii a často sa ukončí ako "nemožné reprodukovať". Dobrá správa obsahuje jasné kroky, očakávané a skutočné výsledky, kontextové informácie a dôkazy. Umelá inteligencia (AI) je veľmi dobrá pri premene vašich rozptýlených pozorovaní na profesionálnu, štruktúrovanú správu. Ale aj tu platí hlavná výhrada: AI nedokáže vytvoriť kroky, ktoré nevidíte; dokáže doplniť chýbajúce informácie „rozumne vyzerajúcimi“, ale nepresnými odhadmi. Vašou úlohou je uistiť sa, že každý riadok správy je založený na tom, čo ste skutočne pozorovali.
Anatómia dobrého hlásenia o chybe
Efektívna správa obsahuje tieto komponenty:
- Názov: Krátky, konkrétny, vyhľadávateľný. Nie "Vyskytla sa chyba"; „Nie je možné kliknúť na tlačidlo „Pokladňa“ s viac ako 10 položkami v košíku (Chrome)“.
- Kroky na reprodukciu: Očíslované, sledovateľné od začiatku, deterministické. Vývojár by mal vidieť chybu po vykonaní týchto krokov.
- Očakávaný výsledok: Čo sa malo stať podľa akceptačných kritérií.
- Skutočný výsledok: Čo sa stalo (chybové hlásenie, obrazovka, správanie).
- Prostredie: Prehliadač/zariadenie, verzia, prostredie (test/živé), rola používateľa, údaje.
- Dôkaz: Snímka obrazovky, video, denník, sledovanie chýb (sledovanie zásobníka).
- Závažnosť a priorita: Podrobnosti nižšie.
Tip: Pred odoslaním hlásenia sa opýtajte: „Ak tieto kroky poskytnem niekomu inému, uvidí chybu aj bez mojej pomoci?“ spýtaj sa. Ak je odpoveď „nie“, správa je neúplná. Umelá inteligencia môže urobiť správu krásnou, ale iba vy môžete zaručiť reprodukovateľnosť.
Násilie a priorita: dva zmätené pojmy
Závažnosť je technickým dôsledkom chyby: zlyhá systém, stratia sa údaje alebo ide o preklep? Prioritou je, ako naliehavo to treba opraviť; je o vplyve na podnikanie. Nie vždy idú rovnakým smerom: nesprávne napísané meno spoločnosti na domovskej stránke má nízku závažnosť, ale vysokú prioritu (povesť). V zriedkavých prípadoch môže mať kolaps vysokú závažnosť, ale nízku prioritu. AI vám pomáha rozlišovať pri pozorovaní; ale konečný štítok dávate vy, ktorí poznáte obchodný kontext.
násilie
príklad
prioritou
príklad
Kritické (Blocker)
Platbu nie je možné dokončiť
Naliehavé (P1)
Strata príjmu v priamom prenose
Vysoká (hlavná)
Prehľad uvádza nesprávny súčet
Vysoká (P2)
Nevyhnutnosť pre nadchádzajúce vydanie
Stredné (malé)
Chyba vzácneho okraja
Stredné (P3)
V plánovanom šprinte
Nízka (triviálna)
Zarovnanie tlačidiel je vypnuté
Nízka (P4)
Keď je šanca
Slabá výzva / Silná výzva
Slabé: "Nahláste túto chybu: platba nefunguje."
Strong: "Preložte moje pozorovania nižšie do štandardného formátu hlásenia o chybe: názov, kroky reprodukcie (číslované), očakávaný výsledok, skutočný výsledok, prostredie, závažnosť a odporúčanie priority (oprávnené). Použite len informácie, ktoré poskytnem; doplňte všetky chýbajúce polia, označte 'INFORMÁCIE CHYBÚ: ...'. Postrehy: Chrome 120, testovacie prostredie, 12 položiek v košíku, nič sa nedeje, keď som nestlačil 'undefinoval' chybu' konzola, nie je problém s 11 produktmi."
Výkonná výzva; ukladá formát, pravidlo „prispôsobovania“ a označovanie chýbajúcich informácií. Týmto spôsobom bude správa presná a čestná.
Detekcia duplicitných chýb
Vo veľkých tímoch sa stále opakuje rovnaká chyba. Umelá inteligencia môže porovnať vašu novú správu s existujúcimi otvorenými chybami a označiť potenciálne duplikáty – vďaka tomu bude váš systém sledovania chýb (Jira, Azure DevOps, GitHub Issues) čistý. Ale pozor: dve chyby, ktoré sa na povrchu javia podobne, môžu mať rôzne základné príčiny; Pred uzavretím „duplicitného“ návrhu AI porovnajte opakované výrobné kroky a prostredie oboch správ. Náhodne uzavretému „duplikátu“ v skutočnosti chýba samostatná chyba.
Od sledovania chýb po hlavnú príčinu: Sila AI čítať protokoly
Najtechnickejšou časťou hlásenia o chybe je často sledovanie chyby (sledovanie zásobníka — rozpis toho, ktorý riadok kódu, ktorý reťazec volaní spustil chybu). Dlhé a zložité polená môžu unaviť aj developera. AI prečíta denník stoviek riadkov a v priebehu niekoľkých sekúnd zosumarizuje najkritickejšie riadky, hypotézu o možnej základnej príčine a kódový bod, v ktorom bola spustená chyba. To skráti prehľad a poskytne vývojárovi priamy východiskový bod.
Pamätajte však na dva limity. Po prvé, hlavnou príčinou AI je hypotéza, nie dôkaz; Vývojár by sa to nemal pokúšať opraviť bez overenia. Po druhé, protokoly často obsahujú osobné údaje (e-mail, ID používateľa, token relácie); Pred umiestnením guľatiny na vozidlo tieto oblasti zamaskujte. Osvedčeným postupom je najprv nechať AI povedať „vypísať polia, ktoré je potrebné v tomto protokole zamaskovať“ a potom analyzovať vyčistený protokol.
Tip: Namiesto vloženia celého denníka do prehľadu zahrňte 3 až 5 najkritickejších riadkov, ktoré AI sumarizuje, a odkaz na celý denník. Týmto spôsobom zostane prehľad čitateľný a vývojár, ktorý potrebuje podrobnosti, bude mať prístup k úplnému denníku.
Štyri kopírovateľné šablóny
1) Od pozorovania k správe:
Vaša úloha: senior QA. Preložte nasledujúce nespracované pozorovania do štandardnej správy o chybe: Názov / Kroky reprodukcie (číslované) / Očakávané / Skutočné / Prostredie / Poznámka k dôkazu / Závažnosť + Priorita (oprávnené). PRAVIDLO: používajte iba informácie, ktoré poskytnem; označte chýbajúce pole ako „CHÝBAJÚCE INFORMÁCIE:...“ Poznámky: [raw poznámky]
2) Kontrola reprodukovateľnosti:
Prečítajte si túto správu o chybe z pohľadu vývojára, ktorý túto chybu nikdy nevidel. Postupujte podľa krokov a označte miesta, kde nespôsobí chybu: nejednoznačný krok, chýbajúci predpoklad, chýbajúce testovacie údaje, vynechaná podmienka. Povedzte mi, aké informácie by som mal pridať pre každú medzeru. Správa: [prilepiť správu]
3) Poradca pre závažnosť/prioritu:
Opisujem nasledujúcu chybu: [chyba + obchodný kontext]. Uveďte návrhy a odôvodnenie oddelene pre závažnosť (technický vplyv) a prioritu (naliehavosť podnikania). Vysvetlite, prečo sa tieto dva môžu líšiť. Urobím konečné rozhodnutie.
4) Súhrn sledovania denníka/chyby:
Skontrolujte sledovanie/protokol chýb nižšie. Uveďte súhrn (1) hypotézy hlavnej príčiny, (2) pravdepodobného bodu kódu, kde sa vyskytla chyba, (3) 3 najkritickejších riadkov, ktoré treba pridať do správy. Maskovať, ak existujú osobné údaje.Log: [prilepiť denník]
tri mini prípady
Prípad 1 – Oslobodenie od „Nemohol som produkovať.“ V jednom tíme bolo 30 % chýb zatvorených ako „nedá sa reprodukovať“. Do procesu správy bola pridaná šablóna „kontrola reprodukovateľnosti“; Pred každým odoslaním správy AI označila chýbajúce kroky a predpoklady. O tri mesiace neskôr miera „nemohla vyrábať“ klesla z 30 % na 8 %. Rozdiel bol v tom, že kroky boli od začiatku presné.
Prípad 2 – Nebezpečenstvo falošných krokov. Tester nechal AI napísať správu s neúplnými pozorovaniami; AI pridala krok, ktorý sa nikdy nestal, napríklad „používateľ zapne upozornenia zo stránky nastavení“. Keď vývojár nasledoval tento krok, nemohol nájsť chybu a stratil čas. Tým presadil pravidlo „použite iba informácie, ktoré poskytnem, nevymýšľajte si ich“; Vymyslené kroky sú eliminované.
Prípad 3 – Rozlíšenie závažnosti/priority. V slogane spoločnosti na domovskej stránke sa vyskytol preklep. Tester by to označil za „nízke“; Konzultant AI pripomenul, že technické násilie je nízke, ale obchodná priorita je vysoká (prvok reputácie, ktorý dostane každý návštevník). Chyba bola opravená v ten istý deň pomocou značky „vysoká priorita“.
Časté chyby
- Nejasný názov. Nevyhľadateľné, nediskriminačné titulky ako „Nefunguje“.
- Chýbajúce/preskočené kroky. Nepíšete to, čo je vo vašom kontexte zrejmé; neschopnosť vývojára vyrobiť.
- Nechajte AI, aby to vymyslela. Doplnenie chýbajúcich informácií „primeraným odhadom“; nesprávne kroky.
- Nepísanie očakávaného výsledku. Povedať „nesprávne“, ale nešpecifikovať, čo je správne.
- Mätúce násilie a prioritu. Pomýliť si dva ako jeden štítok; Nesprávne posúdenie vplyvu na podnikanie.
- Citlivé údaje v dôkazoch. Zdieľanie skutočných osobných údajov na snímkach obrazovky/protokoloch bez ich maskovania.
V súhrne
Hodnota hlásenia chyby spočíva v tom, že vývojár môže reprodukovať a opraviť chybu bez vašej pomoci. AI je veľmi dobrá v premene rozptýlených pozorovaní na profesionálnu, štruktúrovanú správu; Organizuje názov, kroky, očakávaný/skutočný výsledok, prostredie a dôkazy a poskytuje poradenstvo o rozlíšení medzi závažnosťou a prioritou. Ale AI môže nahradiť chýbajúce informácie; Presadzujte pravidlo „použite iba informácie, ktoré poskytnem, označte chýbajúce“ a zaručte reprodukovateľnosť sami. Maskovať osobné údaje ako dôkaz.
Aplikačná úloha
Vezmite chybu, ktorú ste nedávno našli, a premeňte svoje nespracované pozorovania na správu pomocou vzoru „pozorovanie na správu“ (s pravidlom „vhodnosti“). Potom vykonajte „kontrolu reprodukovateľnosti“ a vyplňte označené medzery. Odovzdajte správu kolegovi a zistite, či môže chybu vytvoriť bez vašej pomoci. Nakoniec určte štítky s „poradcom pre násilie/prioritu“ a dokončite to podľa vlastného uváženia. Všímajte si všetky informácie, ktoré sa AI snaží v tomto procese vytvoriť.
kontrolný zoznam
- [ ] Môj názov je špecifický a dá sa vyhľadať.
- [ ] Kroky reprodukcie sú od začiatku, deterministické a úplné.
- [ ] Očakávané a skutočné výsledky som napísal samostatne.
- [ ] Informácie o nastavení a dôkaze sú úplné; Maskoval som osobné údaje.
- [ ] Na AI som uvalil pravidlo „vymysli, označ chýbajúce“ a sám som doplnil medzery.
- [ ] Samostatne som vyhodnotil závažnosť a prioritu a urobil som konečné rozhodnutie.