Kasu:
- Võimalus muuta hajutatud vaatlused tehisintellekti toel aruandeks, mis sisaldab selget pealkirja, deterministlikke reprodutseerimisetappe, oodatavaid/tegelikke tulemusi ja tõendeid
- Võimalus kehtestada tehisintellektile reegel „kasuta ainult minu poolt antud teavet, ära tee seda” ja tagab reprodutseeritavuse oma kontrolli all.
- Oskus eristada tõsidust (tehniline mõju) ja prioriteetsust (äri kiireloomulisus) ning anda ärikontekstiga lõplik silt
Testija leitud viga on väärtuslik ainult siis, kui see parandatakse; Selle parandamine sõltub suuresti veaaruande kvaliteedist – kirje, mis dokumenteerib defekti nii, et arendaja saab sellest aru, reprodutseerida ja parandada. Halvasti kirjutatud veaaruanne ("sisselogimine ei tööta") peatab arendaja tundideks, viib edasi-tagasi kirjavahetuseni ja sageli sulgub, kuna "ei saa taasesitada". Hea aruanne sisaldab selgeid samme, oodatavaid ja tegelikke tulemusi, kontekstiteavet ja tõendeid. Tehisintellekt (AI) on väga hea teie hajutatud vaatluste professionaalseks ja struktureeritud aruandeks muutmisel. Kuid ka siin kehtib keskne hoiatus: AI ei saa teha samme, mida te ei näe; oskab puuduva teabe täita "mõistliku välimusega", kuid ebatäpsete oletustega. Teie ülesanne on tagada, et aruande iga rida põhineb sellel, mida te tegelikult vaatlesite.
Hea veateate anatoomia
Tõhus aruanne sisaldab järgmisi komponente:
- Pealkiri: lühike, konkreetne, otsitav. Mitte "On viga"; "Kui ostukorvis on rohkem kui 10 üksust, ei saa klõpsata nupul "Kassa" (Chrome)".
- Reprodutseerimise sammud: nummerdatud, nullist jälgitav, deterministlik. Arendaja peaks nägema viga pärast nende sammude järgimist.
- Oodatav tulemus: Mis oleks pidanud juhtuma vastuvõtukriteeriumide järgi.
- Tegelik tulemus: mis juhtus (veateade, ekraan, käitumine).
- Keskkond: brauser/seade, versioon, keskkond (test/reaalajas), kasutaja roll, andmed.
- Tõendid: ekraanipilt, video, logi, veajälg (virna jälg).
- Raskusaste ja prioriteet: üksikasjalikult allpool.
Nõuanne. Enne aruande saatmist küsige: "Kui ma annan need toimingud kellelegi teisele, kas ta näeb viga ilma minu abita?" küsi. Kui vastus on "ei", on aruanne mittetäielik. AI võib aruande ilusaks muuta, kuid ainult teie saate tagada reprodutseeritavuse.
Vägivald ja prioriteet: kaks segast mõistet
Tõsidus on vea tehniline mõju: kas süsteem jookseb kokku, andmed lähevad kaotsi või on tegemist kirjaveaga? Prioriteet on see, kui kiiresti see tuleb parandada; puudutab ärimõju. Need kaks ei lähe alati samas suunas: ettevõtte nime valesti kirjutamine avalehel on madala raskusastmega, kuid kõrge prioriteediga (maine). Harvadel juhtudel võib kokkuvarisemine olla väga tõsine, kuid madala prioriteediga. AI aitab teil vaatluse tegemisel seda vahet teha; kuid lõpliku sildi annate teie, kes tunnete ärikonteksti.
vägivalda
näide
prioriteet
näide
Kriitiline (blokeerija)
Makse ei saa lõpule viia
Kiireloomuline (P1)
Sissetuleku kaotus elus
Kõrge (major)
Aruanne annab vale summa
Kõrge (P2)
Kohustuslik eelseisva väljalaske jaoks
Keskmine (alaealine)
Haruldane servajuhtumi viga
Keskmine (P3)
Plaanitud sprindis
Madal (triviaalne)
Nuppude joondamine on välja lülitatud
Madal (P4)
Kui on võimalus
Nõrk viip / Tugev viip
Nõrk: "Teata sellest veast: makse ei tööta."
Tugev: "Tõlgige minu allolevad tähelepanekud standardsesse veaaruande vormingusse: pealkiri, reprodutseerimise etapid (nummerdatud), oodatav tulemus, tegelik tulemus, keskkond, tõsidus ja soovituslik prioriteet (põhjendatud). Kasutage ainult minu esitatud teavet; täitke kõik puuduvad väljad, märkige "INFORMATSIOON PUUDUB: ...". Tähelepanekud: Chrome 120, testkeskkond, 12 üksust, kui ma välja vajutan, ei juhtu midagi'C'C'. ei ole funktsiooni viga konsoolis, 11 tootega pole probleemi."
Võimas viip; kehtestab vormingu, "sobivuse" reegli ja puuduva teabe märgistamise. Nii on aruanne nii täpne kui ka aus.
Dubleeritud veatuvastus
Suurtes meeskondades teatatakse ühest ja samast veast ikka ja jälle. AI saab võrrelda teie uut aruannet olemasolevate avatud vigadega ja märgistada võimalikud duplikaadid – see hoiab teie vigade jälgimise süsteemi (Jira, Azure DevOps, GitHub Issues) puhtana. Kuid ole ettevaatlik: kahel pinnalt sarnasel veal võivad olla erinevad algpõhjused; Enne tehisintellekti "duplikaadi" soovituse sulgemist võrrelge mõlema aruande korduvaid tootmisetappe ja keskkonda. Kogemata suletud "duplikaadil" puudub tegelikult eraldi viga.
Veajäljest algpõhjuseni: AI võime lugeda logisid
Veaaruande kõige tehnilisem osa on sageli veajälg (stack trace – jaotus, millise koodirea ja millise kõneahelaga vea käivitas). Pikad ja keerulised palgid võivad väsitada isegi arendajat. AI loeb sadadest ridadest koosnevat logi ja võtab sekunditega kokku kõige kriitilisemad read, võimaliku algpõhjuse hüpoteesi ja koodipunkti, kus viga käivitati. See lühendab aruannet ja annab arendajale otsese lähtepunkti.
Pidage siiski meeles kahte piiri. Esiteks on AI antud algpõhjus hüpotees, mitte tõendid; Arendaja ei tohiks proovida seda parandada ilma seda kinnitamata. Teiseks sisaldavad logid sageli isikuandmeid (e-post, kasutajatunnus, seansi tunnus); Maskeerige need alad enne palgi sõidukile asetamist. Hea tava on lasta tehisintellektil esmalt öelda "loetlege selles logis väljad, mis tuleb maskeerida" ja seejärel analüüsida puhastatud logi.
Näpunäide. Kogu logi aruandesse kleepimise asemel lisage kõige olulisemad 3–5 rida, millest tehisintellekt teeb kokkuvõtte, ja link kogu logile. Nii jääb aruanne loetavaks ja üksikasju vajav arendaja pääseb juurde kogu logile.
Neli kopeeritavat malli
1) Vaatlusest aruandeni:
Teie roll: vanem QA. Tõlgi järgmised töötlemata tähelepanekud standardseks veaaruandeks: pealkiri / reprodutseerimise etapid (nummerdatud) / eeldatav / tegelik / keskkond / tõend / tõsidus + prioriteet (õigustatud). REEGEL: kasutage ainult minu esitatud teavet; märkige puuduv väli kui "PUUDUB TEAVE:..." Tähelepanekud: [toored märkmed]
2) Reprodutseeritavuse kontroll:
Lugege seda veaaruannet arendaja vaatenurgast, kes pole seda viga kunagi näinud. Järgige juhiseid ja märkige kohad, kus see viga ei tekita: mitmetähenduslik samm, puuduv eeltingimus, puuduvad testiandmed, vahele jäetud seisund. Öelge mulle, millist teavet peaksin iga lünka kohta lisama. Aruanne: [kleebi aruanne]
3) raskusaste/prioriteetne nõustaja:
Kirjeldan järgmist viga: [viga + ärikontekst]. Esitage ettepanekud ja põhjendus eraldi tõsiduse (tehniline mõju) ja prioriteedi (ärilise kiireloomulisuse) kohta. Selgitage, miks need kaks võivad erineda. Lõpliku otsuse teen mina.
4) Logi/veajälje kokkuvõte:
Uurige allolevat veajälgi/logi. Andke mulle kokkuvõte (1) algpõhjuse hüpoteesist, (2) tõenäolisest koodipunktist, kus viga ilmnes, (3) kolmest kõige kriitilisemast reast, mis aruandesse lisada. Mask, kui on isikuandmeid.Logi: [kleebi logi]
kolm minikarpi
Juhtum 1 – vabanemine "Ma ei suudaks toota". Ühes meeskonnas suleti 30% vigadest kui "ei saa paljuneda". Aruandeprotsessile on lisatud mall "reprodutseeritavuse kontroll"; Enne iga aruande saatmist märkis AI puuduvad sammud ja eeldused. Kolm kuud hiljem langes "ei suutnud toota" määr 30%-lt 8%-le. Erinevus seisnes selles, et sammud olid algusest peale täpsed.
Juhtum 2 – võltsitud sammude oht. Testija lasi tehisintellektil kirjutada mittetäielike vaatlustega aruande; AI lisas toimingu, mida kunagi ei juhtunud, näiteks "kasutaja lülitab seadete lehelt märguanded sisse". Kui arendaja seda sammu järgis, ei leidnud ta viga ja kaotas aega. Meeskond jõustas reegli "kasuta ainult minu antud teavet, ära mõtle seda välja"; Väljamõeldud sammud on välistatud.
Juhtum 3 – raskusastme/prioriteedi eristamine. Avalehel oli ettevõtte loosungis kirjaviga. Tester hindab selle "madalaks"; Tehisintellekti konsultant tuletas meelde, et tehnilist vägivalda on vähe, kuid äriprioriteet on kõrge (maineelement, mille iga külastaja saab). Viga parandati samal päeval sildiga "kõrge prioriteet".
Levinud vead
- Ebamäärane pealkiri. Otsimatud, mittediskrimineerivad pealkirjad, nagu "Ei tööta".
- Puuduvad/vahele jäetud sammud. Ei kirjuta seda, mis on teie kontekstis ilmne; arendaja suutmatus toota.
- Laske tehisintellektil see välja mõelda. puuduva teabe täitmine "mõistliku hinnanguga"; valed sammud.
- Ei kirjuta oodatud tulemust. Öeldes "vale", kuid mitte täpsustades, mis on õige.
- Ajab segamini vägivalla ja prioriteedi. Kahe eksimine üheks sildiks; Ärimõju väär hindamine.
- Tundlikud andmed tõendites. Tõeliste isikuandmete jagamine ekraanipiltides/logides neid maskeerimata.
Kokkuvõttes
Veaaruande väärtus seisneb selles, et arendaja saab vea ilma teie abita reprodutseerida ja parandada. AI oskab hajutatud vaatlusi väga hästi muuta professionaalseks struktureeritud aruandeks; See korraldab pealkirja, sammud, oodatava/tegeliku tulemuse, keskkonna ja tõendid ning annab nõu raskusastme ja prioriteedi eristamiseks. Kuid tehisintellekt võib puuduva teabe korvata; Järgige reegel "kasuta ainult minu antud teavet, märkige puuduv" ja tagage reprodutseeritavus ise. Maskeerige isikuandmed tõenditena.
Rakenduse ülesanne
Võtke hiljuti leitud viga ja muutke oma toored tähelepanekud aruandeks, kasutades mustrit "vaatlus aruandeni" (koos reegliga "sobitus". Seejärel tehke reprodutseeritavuse kontroll ja täitke märgitud lüngad. Andke aruanne kolleegile ja vaadake, kas ta suudab vea ilma teie abita luua. Lõpuks määrake sildid "vägivalla/prioriteediga konsultandiga" ja viimistlege see oma äranägemise järgi. Võtke teadmiseks kogu teave, mida tehisintellekt proovib selle protsessi käigus korvata.
kontrollnimekiri
- [ ] Minu pealkiri on konkreetne ja otsitav.
- [ ] Reprodutseerimise etapid on nullist, deterministlikud ja täielikud.
- [ ] Kirjutasin oodatud ja tegelikud tulemused eraldi.
- [ ] Seade ja tõendite teave on täielik; Maskeerisin isikuandmed.
- [ ] Kehtestasin tehisintellektile reegli "make it up, mark the kadunud" ja täitsin lüngad ise.
- [ ] Hindasin raskusastet ja prioriteetsust eraldi ning tegin lõpliku otsuse.