Ieguvumi:
- Spēja pārveidot izkliedētos novērojumus ziņojumā ar skaidru nosaukumu, deterministiskiem reproducēšanas posmiem, sagaidāmajiem/faktiskajiem rezultātiem un pierādījumiem ar mākslīgā intelekta atbalstu
- Spēja piemērot mākslīgajam intelektam noteikumu “izmantot tikai manis sniegto informāciju, neveidot to” un garantēt reproducējamību ar savu kontroli
- Spēja atšķirt nopietnību (tehniskā ietekme) un prioritāti (biznesa steidzamība) un piešķirt galīgo etiķeti ar uzņēmējdarbības kontekstu
Testētāja atrastā kļūda ir vērtīga tikai tad, ja tā ir novērsta; Tā novēršana lielā mērā ir atkarīga no kļūdu ziņojuma kvalitātes — ieraksta, kas dokumentē defektu tā, lai izstrādātājs to varētu saprast, reproducēt un labot. Slikti uzrakstīts kļūdu ziņojums ("pieteikšanās nedarbojas") aizkavēs izstrādātāju uz stundām, novedīs pie sarakstes turp un atpakaļ un bieži vien tiks aizvērta, jo "nevar reproducēt". Labs ziņojums ietver skaidrus soļus, paredzamos un faktiskos rezultātus, konteksta informāciju un pierādījumus. Mākslīgais intelekts (AI) ļoti labi spēj pārvērst jūsu izkaisītos novērojumus profesionālā, strukturētā ziņojumā. Bet galvenais brīdinājums attiecas arī uz šo: AI nevar izdomāt soļus, ko jūs neredzat; var aizpildīt trūkstošo informāciju ar "saprātīgu izskatu", bet neprecīziem minējumiem. Jūsu uzdevums ir pārliecināties, ka katra ziņojuma rindiņa ir balstīta uz to, ko jūs faktiski novērojāt.
Laba kļūdu ziņojuma anatomija
Efektīvā pārskatā ir iekļauti šādi komponenti:
- Nosaukums: Īss, konkrēts, meklējams. Nevis "Ir kļūda"; "Nevar noklikšķināt uz pogas Izrakstīties, ja grozā ir vairāk nekā 10 preces (Chrome)".
- Reproducēšanas soļi: numurēti, izsekojami no nulles, deterministiski. Pēc šo darbību veikšanas izstrādātājam vajadzētu būt iespējai redzēt kļūdu.
- Paredzamais rezultāts: Kam vajadzēja notikt saskaņā ar pieņemšanas kritērijiem.
- Faktiskais rezultāts: notikušais (kļūdas ziņojums, ekrāns, uzvedība).
- Vide: pārlūkprogramma/ierīce, versija, vide (tests/tiešraidē), lietotāja loma, dati.
- Pierādījumi: ekrānuzņēmums, video, žurnāls, kļūdu izsekošana (steka izsekošana).
- Smagums un prioritāte: sīkāk aprakstīts tālāk.
Padoms. Pirms ziņojuma nosūtīšanas jautājiet: "Ja es sniedzu šīs darbības kādam citam, vai viņš var redzēt kļūdu bez manas palīdzības?" jautāt. Ja atbilde ir "nē", ziņojums ir nepilnīgs. AI var padarīt ziņojumu skaistu, bet tikai jūs varat garantēt reproducējamību.
Vardarbība un prioritāte: divi sajaukti jēdzieni
Nopietnība ir kļūdas tehniskais efekts: vai sistēma avarē, dati tiek zaudēti vai tā ir drukas kļūda? Prioritāte ir tas, cik steidzami tas ir jālabo; ir par ietekmi uz uzņēmējdarbību. Abi ne vienmēr ir vienā virzienā: uzņēmuma nosaukuma pareizrakstības kļūda mājaslapā ir zema nopietnība, bet augsta prioritāte (reputācija). Retos gadījumos sabrukums var būt ļoti nopietns, bet zemas prioritātes. AI palīdz jums izdarīt šo atšķirību, veicot novērojumu; bet galīgo iezīmi piešķirat jūs, kas zināt uzņēmējdarbības kontekstu.
vardarbība
piemērs
prioritāte
piemērs
Kritisks (bloķētājs)
Maksājumu nevar pabeigt
Steidzami (P1)
Ienākumu zaudējums dzīvajā
Augsts (liels)
Pārskatā norādīta nepareiza summa
Augsts (P2)
Obligāti gaidāmajā izlaidumā
Vidējs (neliels)
Reta malas gadījuma kļūda
Vidēja (P3)
Plānotajā sprintā
Zems (triviāls)
Pogu izlīdzināšana ir izslēgta
Zems (P4)
Kad ir iespēja
Vāja uzvedne / spēcīga uzvedne
Vāji: "Ziņot par šo kļūdu: maksājums nedarbojas."
Strong: "Tulkojiet manus novērojumus standarta kļūdu ziņojuma formātā: virsraksts, reproducēšanas soļi (numurēti), paredzamais rezultāts, faktiskais rezultāts, vide, nopietnības un prioritātes ieteikums (pamatots). Izmantojiet tikai manis sniegto informāciju; aizpildiet visus trūkstošos laukus, atzīmējiet "INFORMĀCIJAS TRŪKST: ...". Novērojumi: Chrome 120, testa vide, 12 vienumi, kad tiek definēts, nekas nenotiek, izslēdzot. nav funkcijas kļūda konsolē, ar 11 produktiem nav problēmu."
Spēcīga uzvedne; uzliek formātu, "piemērošanas" noteikumu un trūkstošās informācijas marķēšanu. Tādā veidā pārskats būs gan precīzs, gan godīgs.
Dublētu kļūdu noteikšana
Lielās komandās par vienu un to pašu kļūdu tiek ziņots atkal un atkal. AI var salīdzināt jūsu jauno ziņojumu ar esošajām atklātajām kļūdām un atzīmēt iespējamos dublikātus — tādējādi jūsu kļūdu izsekošanas sistēma (Jira, Azure DevOps, GitHub problēmas) ir tīra. Taču esiet piesardzīgs: divām kļūdām, kas ārēji šķiet līdzīgas, var būt dažādi iemesli; Pirms AI “dublikāta” ieteikuma aizvēršanas salīdziniet abu pārskatu atkārtotās ražošanas darbības un vidi. Nejauši aizvērtam "dublikātam" faktiski trūkst atsevišķas kļūdas.
No kļūdas izsekošanas līdz pamatcēlonim: AI spēja lasīt žurnālus
Kļūdas ziņojuma tehniskākā daļa bieži ir kļūdas izsekošana (steka izsekošana — sadalījums par to, kura koda rinda, ar kuru zvanu ķēdi izraisīja kļūdu). Gari un sarežģīti baļķi var nogurdināt pat izstrādātāju. AI nolasa simtiem rindu žurnālu un sekundēs apkopo viskritiskākās rindiņas, iespējamā pamatcēloņa hipotēzi un koda punktu, kurā tika aktivizēta kļūda. Tas gan saīsina pārskatu, gan sniedz izstrādātājam tiešu sākumpunktu.
Tomēr atcerieties divus ierobežojumus. Pirmkārt, AI norādītais galvenais iemesls ir hipotēze, nevis pierādījumi; Izstrādātājam nevajadzētu mēģināt to novērst, nepārbaudot to. Otrkārt, žurnālos bieži ir personas dati (e-pasts, lietotāja ID, sesijas marķieris); Pirms baļķa novietošanas uz transportlīdzekļa maskējiet šīs vietas. Laba prakse ir vispirms likt AI — uzskaitiet šajā žurnālā maskējamos laukus un pēc tam analizēt iztīrīto žurnālu.
Padoms. Tā vietā, lai pārskatā ielīmētu visu žurnālu, iekļaujiet vissvarīgākās 3–5 rindiņas, ko AI apkopo, un saiti uz visu žurnālu. Tādā veidā pārskats paliek lasāms, un izstrādātājs, kuram nepieciešama informācija, var piekļūt visam žurnālam.
Četras kopējamas veidnes
1) No novērošanas līdz ziņojumam:
Jūsu loma: vecākais QA. Pārveidojiet šādus neapstrādātus novērojumus standarta kļūdu ziņojumā: Nosaukums / Reproducēšanas soļi (numurēti) / Paredzamie / Faktiskie / Vide / Piezīme par pierādījumiem / Nopietnība + Prioritāte (pamatota). NOTEIKUMS: izmantojiet tikai manis sniegto informāciju; atzīmējiet trūkstošo lauku kā "TRŪKSTOŠA INFORMĀCIJA:..." Novērojumi: [neapstrādātas piezīmes]
2) Reproducējamības kontrole:
Izlasiet šo kļūdu ziņojumu no tāda izstrādātāja viedokļa, kurš nekad nav redzējis kļūdu. Izpildiet norādītās darbības un atzīmējiet vietas, kur tas neizraisīs kļūdu: neskaidrs solis, trūkst priekšnoteikuma, trūkst testa datu, izlaists stāvoklis. Pastāstiet man, kāda informācija man jāpievieno par katru iztrūkumu. Pārskats: [ielīmēt pārskatu]
3) Smaguma/prioritātes padomnieks:
Es aprakstu šādu kļūdu: [kļūda + biznesa konteksts]. Sniedziet ieteikumus un pamatojumu atsevišķi smaguma pakāpei (tehniskā ietekme) un prioritātei (biznesa steidzamība). Paskaidrojiet, kāpēc abi var atšķirties. Es pieņemšu galīgo lēmumu.
4) Žurnāla/kļūdu izsekošanas kopsavilkums:
Pārbaudiet tālāk norādīto kļūdu izsekošanu/žurnālu. Sniedziet man kopsavilkumu par (1) pamatcēloņa hipotēzi, (2) iespējamo koda punktu, kurā radās kļūda, (3) 3 viskritiskākajām rindiņām, kas jāpievieno ziņojumam. Maska, ja ir personas dati.Žurnāls: [ielīmēt žurnālu]
trīs mini futrāļi
1. gadījums — atbrīvošanās no “es nevarēju ražot”. Vienā komandā 30% kļūdu tika slēgtas kā "nevar pavairot". Pārskata procesam ir pievienota veidne "reproducējamības pārbaude"; Pirms katra ziņojuma nosūtīšanas AI atzīmēja trūkstošos soļus un priekšnoteikumus. Trīs mēnešus vēlāk likme "nevarēja ražot" samazinājās no 30% līdz 8%. Atšķirība bija tāda, ka soļi bija precīzi jau no paša sākuma.
2. gadījums — viltus soļu briesmas. Testētājs lika AI uzrakstīt ziņojumu ar nepilnīgiem novērojumiem; AI pievienoja darbību, kas nekad nav noticis, piemēram, "lietotājs ieslēdz paziņojumus no iestatījumu lapas". Kad izstrādātājs veica šo darbību, viņš nevarēja atrast kļūdu un zaudēja laiku. Komanda ieviesa noteikumu "izmantojiet tikai manis sniegto informāciju, neizdomājiet to"; Sagatavotie soļi tiek likvidēti.
3. gadījums — smaguma/prioritātes atšķirība. Mājaslapā uzņēmuma sauklī bija drukas kļūda. Testētājs to uztvertu kā "zemu"; AI konsultants atgādināja, ka tehniskā vardarbība ir zema, bet biznesa prioritāte ir augsta (reputācijas elements, ko saņem katrs apmeklētājs). Kļūda tika novērsta tajā pašā dienā ar atzīmi "augsta prioritāte".
Biežas kļūdas
- Neskaidrs virsraksts. Nepārmeklējami, nediskriminējoši virsraksti, piemēram, "Nedarbojas".
- Trūkst/izlaisti soļi. Nerakstiet to, kas jūsu kontekstā ir acīmredzams; izstrādātāja nespēja ražot.
- Ļaujiet AI to izdomāt. Trūkstošās informācijas aizpildīšana ar "saprātīgu tāmi"; nepareizi soļi.
- Nerakstot gaidīto rezultātu. Sakot "nepareizi", bet neprecizējot, kas ir pareizi.
- Jauc vardarbību un prioritāti. Abus sajaukt kā vienu etiķeti; Nepareiza uzņēmējdarbības ietekmes novērtēšana.
- Sensitīvi dati pierādījumos. Reālu personas datu kopīgošana ekrānuzņēmumos/žurnālos, tos neslēpjot.
Rezumējot
Kļūdu ziņojuma vērtība ir tāda, ka izstrādātājs var reproducēt un novērst kļūdu bez jūsu palīdzības. AI ļoti labi spēj pārvērst izkaisītus novērojumus profesionālā, strukturētā ziņojumā; Tā organizē nosaukumu, darbības, paredzamo/faktisko rezultātu, vidi un pierādījumus, kā arī sniedz konsultācijas par atšķirību starp smaguma pakāpi un prioritāti. Taču AI var kompensēt trūkstošo informāciju; Ieviesiet noteikumu "izmantojiet tikai manis sniegto informāciju, atzīmējiet trūkstošo" un garantējiet reproducējamību pats. Maskējiet personas datus pierādījumos.
Lietojumprogrammas uzdevums
Ņemiet vērā nesen atrasto kļūdu un pārvērtiet savus neapstrādātos novērojumus ziņojumā, izmantojot modeli “novērojums līdz ziņošanai” (ar noteikumu “pielāgošana”). Pēc tam veiciet “reproducējamības pārbaudi” un aizpildiet atzīmētās nepilnības. Iesniedziet ziņojumu kolēģim un pārbaudiet, vai viņš var radīt kļūdu bez jūsu palīdzības. Visbeidzot, nosakiet etiķetes ar "vardarbības/prioritātes konsultantu" un pabeidziet to pēc saviem ieskatiem. Ņemiet vērā visu informāciju, ko AI mēģina iegūt šajā procesā.
kontrolsaraksts
- [ ] Mans nosaukums ir specifisks un meklējams.
- [ ] Reproducēšanas darbības ir no nulles, deterministiskas un pilnīgas.
- [ ] Es uzrakstīju paredzamos un faktiskos rezultātus atsevišķi.
- [ ] Iestatījumu un pierādījumu informācija ir pilnīga; Es maskēju personas datus.
- [ ] Es piemēroju AI noteikumu "izdomā, atzīmējiet trūkstošo" un pats aizpildīju nepilnības.
- [ ] Es atsevišķi izvērtēju smagumu un prioritāti un pieņēmu galīgo lēmumu.