Pelnas:
- Galimybė paversti išsklaidytus stebėjimus į ataskaitą, kurioje yra aiškus pavadinimas, deterministiniai atkūrimo žingsniai, tikėtini / faktiniai rezultatai ir įrodymai, naudojant dirbtinio intelekto paramą
- Galimybė primesti taisyklę „naudoti tik mano suteiktą informaciją, neatlikti jos“ dirbtiniam intelektui ir garantuoti atkuriamumą su jo paties kontrole.
- Gebėjimas atskirti sunkumą (techninis poveikis) ir prioritetą (verslo skubumas) ir suteikti galutinę etiketę su verslo kontekstu
Bandytojo aptikta klaida yra vertinga tik tada, jei ji yra ištaisyta; Jo taisymas labai priklauso nuo pranešimo apie riktą kokybės – įrašo, kuriame defektas dokumentuojamas taip, kad kūrėjas galėtų jį suprasti, atkurti ir ištaisyti. Prastai parašyta klaida („neveikia prisijungimas“) sustabdys kūrėją valandoms, sukels tiesioginį susirašinėjimą ir dažnai uždaromas kaip „negalima atkurti“. Į gerą ataskaitą įtraukiami aiškūs žingsniai, tikėtini ir faktiniai rezultatai, kontekstinė informacija ir įrodymai. Dirbtinis intelektas (DI) labai gerai paverčia jūsų išsklaidytus stebėjimus profesionalia, struktūrizuota ataskaita. Tačiau čia taip pat galioja pagrindinis įspėjimas: AI negali padaryti žingsnių, kurių nematote; gali užpildyti trūkstamą informaciją „pagrįstai atrodančiais“, bet netiksliais spėjimais. Jūsų darbas yra užtikrinti, kad kiekviena ataskaitos eilutė būtų pagrįsta tuo, ką iš tikrųjų pastebėjote.
Gero pranešimo apie klaidas anatomija
Veiksminga ataskaita apima šiuos komponentus:
- Pavadinimas: Trumpas, konkretus, galima ieškoti. Ne "Yra klaida"; „Nepavyko spustelėti mygtuko „Checkout“, kai krepšelyje yra daugiau nei 10 prekių („Chrome“)“.
- Atkūrimo veiksmai: sunumeruoti, atsekami nuo nulio, deterministiniai. Atlikęs šiuos veiksmus kūrėjas turėtų matyti klaidą.
- Laukiamas rezultatas: kas turėjo įvykti pagal priėmimo kriterijus.
- Faktinis rezultatas: kas atsitiko (klaidos pranešimas, ekranas, elgsena).
- Aplinka: naršyklė/įrenginys, versija, aplinka (bandomoji/tiesioginė), vartotojo vaidmuo, duomenys.
- Įrodymai: ekrano kopija, vaizdo įrašas, žurnalas, klaidos pėdsakas (dėklo pėdsakas).
- Sunkumas ir prioritetas: išsamiau aprašyta toliau.
Patarimas: prieš siųsdami ataskaitą paklauskite: „Jei duosiu šiuos veiksmus kam nors kitam, ar jis gali matyti klaidą be mano pagalbos?“ paklausti. Jei atsakymas yra „ne“, ataskaita yra neišsami. AI gali padaryti ataskaitą gražią, tačiau tik jūs galite užtikrinti atkuriamumą.
Smurtas ir prioritetas: dvi supainiotos sąvokos
Sunkumas yra techninis klaidos poveikis: ar sistema sugenda, prarandami duomenys, ar tai rašybos klaida? Prioritetas yra tai, kaip skubiai ją reikia pataisyti; kalbama apie poveikį verslui. Abu ne visada eina ta pačia kryptimi: klaidingai parašytas įmonės pavadinimas pagrindiniame puslapyje yra mažai pavojingas, bet labai svarbus (reputacija). Retais atvejais griūtis gali būti labai rimta, bet mažo prioriteto. AI padeda jums tai atskirti, kai pateikiate stebėjimą; bet galutinę etiketę duodate jūs, žinantys verslo kontekstą.
smurtas
pavyzdys
prioritetas
pavyzdys
Kritinis (blokatorius)
Mokėjimas negali būti baigtas
Skubu (P1)
Prarastos pajamos gyvai
Aukštas (pagrindinis)
Ataskaitoje pateikiama neteisinga suma
Aukštas (P2)
Būtinas būsimam leidimui
Vidutinis (mažas)
Reto krašto atvejo klaida
Vidutinė (P3)
Planuojamame sprinte
Žemas (nereikšmingas)
Mygtukų lygiavimas išjungtas
Žemas (P4)
Kai yra galimybė
Silpnas raginimas / Stiprus raginimas
Silpnas: „Pranešti apie šią klaidą: mokėjimas neveikia“.
Stiprus: "Išverskite toliau pateiktus pastebėjimus į standartinį klaidų ataskaitos formatą: pavadinimas, atkūrimo žingsniai (sunumeruoti), laukiamas rezultatas, tikrasis rezultatas, aplinka, sunkumas ir prioriteto rekomendacija (pagrįsta). Naudokite tik mano pateiktą informaciją; užpildykite visus trūkstamus laukus, pažymėkite "INFORMACIJA TRŪKSTA: ...". Pastebėjimai: Chrome 120, bandomoji aplinka, 12 elementų, kai paspaudžiau, nieko neįvyksta. nėra funkcijos klaida konsolėje, nėra jokių problemų dėl 11 produktų.
Galingas raginimas; primeta formatą, „derinimo“ taisyklę ir trūkstamos informacijos žymėjimą. Tokiu būdu ataskaita bus tiksli ir sąžininga.
Pasikartojančių klaidų aptikimas
Didelėse komandose apie tą pačią klaidą pranešama vėl ir vėl. AI gali palyginti jūsų naują ataskaitą su esamomis atviromis riktais ir pažymėti galimus dublikatus – taip jūsų klaidų sekimo sistema (Jira, Azure DevOps, GitHub problemos) bus švari. Tačiau saugokitės: dvi klaidos, kurios paviršiuje atrodo panašios, gali turėti skirtingas pagrindines priežastis; Prieš uždarydami AI „dublikato“ pasiūlymą, palyginkite abiejų ataskaitų kartojimo veiksmus ir aplinką. Netyčia uždarytas „dublikatas“ iš tikrųjų neturi atskiros klaidos.
Nuo klaidų pėdsakų iki pagrindinės priežasties: AI galia skaityti žurnalus
Techniškiausia pranešimo apie riktą dalis dažnai yra klaidos pėdsakas (stack trace – suskirstymas, kuri kodo eilutė ir skambučių grandinė sukėlė riktą). Ilgi ir sudėtingi rąstai gali varginti net kūrėją. AI nuskaito šimtų eilučių žurnalą ir per kelias sekundes apibendrina svarbiausias eilutes, galimos pagrindinės priežasties hipotezę ir kodo tašką, kuriame įvyko klaida. Tai sutrumpina ataskaitą ir suteikia kūrėjui tiesioginį atskaitos tašką.
Tačiau atminkite dvi ribas. Pirma, pagrindinė AI pateikta priežastis yra hipotezė, o ne įrodymai; Kūrėjas neturėtų bandyti taisyti to nepatvirtinęs. Antra, žurnaluose dažnai yra asmens duomenų (el. pašto adresas, vartotojo ID, seanso prieigos raktas); Užmaskuokite šias vietas prieš padėdami rąstą ant transporto priemonės. Gera praktika yra pirmiausia AI pasakyti „išvardykite laukus, kuriuos reikia užmaskuoti šiame žurnale“, o tada analizuokite išvalytą žurnalą.
Patarimas: užuot įklijuodami visą žurnalą į ataskaitą, įtraukite svarbiausias 3–5 eilutes, kurias apibendrina AI, ir nuorodą į visą žurnalą. Tokiu būdu ataskaita išlieka skaitoma, o kūrėjas, kuriam reikia išsamios informacijos, gali pasiekti visą žurnalą.
Keturi kopijuojami šablonai
1) Nuo stebėjimo iki pranešimo:
Jūsų vaidmuo: vyresnysis QA. Išverskite šiuos neapdorotus pastebėjimus į standartinę klaidų ataskaitą: Pavadinimas / Atkūrimo veiksmai (sunumeruoti) / Numatyti / Faktiniai / Aplinka / Įrodymai / Sunkumas + prioritetas (pagrįstas). TAISYKLĖ: naudokite tik mano pateiktą informaciją; pažymėkite trūkstamą lauką kaip "TRŪKSTA INFORMACIJA:..." Pastabos: [neapdorotos pastabos]
2) Atkuriamumo kontrolė:
Perskaitykite šį pranešimą apie riktą kūrėjo, kuris niekada nematė šios klaidos, perspektyvos. Vykdykite veiksmus ir pažymėkite vietas, kuriose klaida nebus sukurta: dviprasmiškas veiksmas, trūksta būtinos sąlygos, trūksta bandymo duomenų, praleista sąlyga. Pasakykite man, kokią informaciją turėčiau pridėti apie kiekvieną spragą. Ataskaita: [įklijuoti ataskaitą]
3) Patarėjas dėl sunkumo / prioriteto:
Aprašau šią klaidą: [klaida + verslo kontekstas]. Pateikite pasiūlymus ir pagrindimą atskirai dėl sunkumo (techninio poveikio) ir prioriteto (verslo skubos). Paaiškinkite, kodėl jie gali skirtis. Aš priimsiu galutinį sprendimą.
4) Žurnalo / klaidų sekimo suvestinė:
Išnagrinėkite toliau pateiktą klaidų pėdsaką / žurnalą. Pateikite man (1) pagrindinės priežasties hipotezės santrauką, (2) tikėtiną kodo tašką, kuriame įvyko klaida, (3) 3 svarbiausias eilutes, kurias reikia pridėti prie ataskaitos. Užmaskuoti, jei yra asmens duomenų.Žurnalas: [įklijuoti žurnalą]
trys mini dėklai
1 atvejis – išsivadavimas iš „negalėčiau gaminti“. Vienoje komandoje 30% klaidų buvo uždarytos kaip „negalima daugintis“. „Atkuriamumo patikros“ šablonas buvo įtrauktas į ataskaitos procesą; Prieš išsiunčiant kiekvieną ataskaitą, AI pažymėjo, kad trūksta veiksmų ir būtinų sąlygų. Po trijų mėnesių rodiklis „negalėjo pagaminti“ sumažėjo nuo 30% iki 8%. Skirtumas buvo tas, kad žingsniai buvo tikslūs nuo pat pradžių.
2 atvejis – netikrų žingsnių pavojus. Testuotojas turėjo dirbtinį intelektą parašyti ataskaitą su neišsamiais stebėjimais; AI pridėjo veiksmą, kuris niekada neįvyko, pvz., „vartotojas įjungia pranešimus iš nustatymų puslapio“. Kai kūrėjas atliko šį žingsnį, jis negalėjo rasti klaidos ir prarado laiką. Komanda pritaikė taisyklę „naudokite tik mano suteiktą informaciją, nesugalvokite jos“; Sudaryti žingsniai pašalinami.
3 atvejis – sunkumo ir prioriteto atskyrimas. Pagrindiniame puslapyje buvo klaida įmonės šūkyje. Bandytojas tai įvertins kaip „žemą“; Dirbtinio intelekto konsultantas priminė, kad techninio smurto yra mažai, tačiau verslo prioritetas yra didelis (reputacijos elementas, kurį gauna kiekvienas lankytojas). Klaida buvo ištaisyta tą pačią dieną su „aukšto prioriteto“ žyma.
Dažnos klaidos
- Neaiškus pavadinimas. Neieškomos, nediskriminuojančios antraštės, pvz., „Neveikia“.
- Trūksta / praleisti žingsniai. Nerašyti to, kas akivaizdu jūsų kontekste; kūrėjo nesugebėjimas gaminti.
- Leiskite dirbtiniam intelektui tai sugalvoti. Trūkstamos informacijos užpildymas „pagrįsta sąmata“; klaidingi žingsniai.
- Nerašoma laukiamo rezultato. Sakoma „neteisinga“, bet nenurodoma, kas teisinga.
- Painioja smurtą ir prioritetą. Klaida du kaip viena etiketė; Neteisingas verslo poveikio įvertinimas.
- Jautrūs duomenys įrodymuose. Dalijimasis tikrais asmeniniais duomenimis ekrano kopijose/žurnaluose jų neužmaskuojant.
Apibendrinant
Klaidų ataskaitos vertė yra ta, kad kūrėjas gali atkurti ir ištaisyti klaidą be jūsų pagalbos. AI labai gerai išsklaidytus stebėjimus paverčia profesionalia, struktūrizuota ataskaita; Ji organizuoja pavadinimą, veiksmus, laukiamą / faktinį rezultatą, aplinką ir įrodymus bei teikia konsultacijas dėl sunkumo ir prioriteto skirtumo. Tačiau AI gali kompensuoti trūkstamą informaciją; Vykdykite taisyklę „naudokite tik mano pateiktą informaciją, pažymėkite trūkstamą“ ir patys garantuokite atkuriamumą. Užmaskuoti asmens duomenis įrodymais.
Taikymo užduotis
Paimkite neseniai aptiktą klaidą ir paverskite neapdorotus stebėjimus ataskaita, naudodami šabloną „stebėjimas iki pranešimo“ (su „derinimo“ taisykle). Tada atlikite „atkuriamumo patikrą“ ir užpildykite pažymėtas spragas. Pateikite ataskaitą kolegai ir pažiūrėkite, ar jis gali padaryti klaidą be jūsų pagalbos. Galiausiai nustatykite etiketes su „smurto/prioritetinis konsultantas“ ir užbaigkite jį savo nuožiūra. Atkreipkite dėmesį į bet kokią informaciją, kurią AI bando pateikti proceso metu.
kontrolinis sąrašas
- [ ] Mano pavadinimas yra konkretus ir jo galima ieškoti.
- [ ] Atkūrimo etapai yra nuo nulio, deterministiniai ir užbaigti.
- [ ] Tikėtinus ir faktinius rezultatus parašiau atskirai.
- [ ] Informacija apie nustatymą ir įrodymus yra išsami; Užmaskavau asmeninius duomenis.
- [ ] Dirbtiniam intelektui pritaikiau taisyklę „susigalvok, pažymėk trūkstamą“ ir spragas užpildžiau pats.
- [ ] Atskirai įvertinau sunkumą ir prioritetą ir priėmiau galutinį sprendimą.