Hagnaður:
- Skilja tilgang aðhvarfsprófa og geta valið próf og framkallað aðhvarfstilvik í samræmi við breytingar með gervigreind
- Hæfni til að greina undirrót brothættra prófa (tímasetningar, pöntunarfíkn, sameiginlegt ástand, ytri fíkn) og beita varanlegum lausnum án þess að bæla einkennin
- Hæfni til að viðhalda þeirri aga að keyra forútgáfu pakkans í heild sinni á meðan aðhvarfssvítunni er haldið hratt, óháð og áreiðanlegt með því að útrýma tvíteknum prófunum
Hugbúnaður breytist stöðugt; Sérhver nýr eiginleiki, sérhver lagfæring, getur brotið eitthvað sem virkaði áður. Síðari truflun á áður starfandi falli er kallað aðhvarf. Aðhvarfsprófun er að endurprófa núverandi virkni með hverri breytingu til að ná þessum niðurbrotum. Með tímanum stækka þessar prófunarsvítur - þúsundir prófa - og tvö stór vandamál koma upp: föruneytið hægir á sér og flöktandi próf - óáreiðanleg próf sem standast stundum og stundum mistakast í sama kóða - eyðileggja traust liðsins á niðurstöðum prófanna. Gervigreind (AI) er öflugt hjálpartæki til að halda aðhvarfssvítunni vel við haldið, hröðum og áreiðanlegum. En miðlægur fyrirvarinn er enn: Þó að gervigreind geti boðið til að „standast“ viðkvæmt próf, getur það oft framleitt plástur sem hylur raunverulegan galla. Starf þitt er að finna undirrót óstöðugleikans, ekki bæla einkennin.
Orsakir brothættra prófa
Brothætt próf er skaðlegasta prófunarvandamálið: það er óáreiðanlegt hvort það stenst eða mistakast, ýtir liðinu í þann vana að „það hlýtur að hafa festst aftur, keyrðu það aftur“ — og þessi ávani mun einn daginn hunsa raunverulegan galla sem „flauga“. Helstu rót orsakir:
- Tímasetning/ástand keppni: Prófið athugar niðurstöðuna án þess að bíða eftir að aðgerð ljúki. Algengasta ástæðan.
- Pöntunarháð: Próf eru háð gögnunum sem hvert annað skilur eftir; Það brotnar þegar röðin breytist.
- Sameiginlegt tilvik: Mörg próf nota sömu prófunargögnin/notandann, stangast á.
- Ytri ósjálfstæði: Raunverulegt net, þjónusta þriðja aðila, kerfistími, handahófsgildi.
- Umhverfismunur: Skiptir yfir í staðbundið, helst í CI (samfellt samþættingarumhverfi).
Varúð: Að standast brothætt próf með því að „reyna aftur nokkrum sinnum“ mun oft hylja raunverulega samhliða villu. Reyna aftur er greiningartæki, ekki meðferð. Finndu frumorsökina fyrst; Notaðu aðeins endurreynslu sem síðasta úrræði fyrir skjalfestan, raunverulegan ytri óstöðugleika.
Prófviðhald: halda pakkanum heilbrigðum
Aðhvarfssvítan er eins og garður; Ef ekki er gætt mun illgresið taka við. AI aðstoðar við þrjú viðhaldsverkefni:
1. Tvítekið/óþarfa prófþrif. Með tímanum safnast mikill fjöldi tilvika upp við að prófa það sama. AI stingur upp á því að flokka og sameina svipuð próf.
2. Brothætt prófgreining. Þú gefur gervigreindinni prófkóðann og óstöðugleikamynstrið; bendir á mögulegar orsakir og varanlega lausn.
3. Prófval/forgangsröðun. Það er dýrt að keyra allan pakkann við hverja breytingu. Með prófunaráhrifagreiningu (velur aðeins viðeigandi próf byggt á breyttum kóða), mælir gervigreind með hvaða prófum ætti að keyra fyrst. Hins vegar er fullur forútgáfupakki nauðsynlegur.
Sóttkví: stjórna brothættum prófunum rétt
Þú hefur komist að því að próf er viðkvæmt, en þú hefur ekki tíma til að laga grunnorsökina strax. Hvað á að gera? Það eru tvær rangar leiðir: að eyða prófinu alveg (sú hegðun er alls ekki lengur varðveitt) eða þagga niður í því með því að reyna aftur (til að hylja raunverulega villuna). Rétta leiðin er að setja í sóttkví (aðskilja brothætta prófið tímabundið frá aðalpakkanum og rekja það á sérstökum lista). Prófun í sóttkví kemur ekki í veg fyrir sameiningu útgáfu, heldur er hún áfram sýnileg skuld og er tekið á þeim reglulega. Aðalatriðið er þetta: sóttkví er biðstofa, ekki ruslatunna. Ef sóttkvíarlistinn er að stækka er þetta viðvörun um að prófheilsu teymisins sé að versna. AI getur endurskoðað sóttkvíarlistann þinn reglulega og flokkað hann eftir upprunamynstri; Það gerir sameiginlegar lausnir kleift með því að sýna algengar orsakir, svo sem „öll 6 prófin eru tengd sama sameiginlega prófnotandanum“.
Ábending: Bættu við „eiganda“ og „dagsetningu síðast skoðaða“ við hverja sóttkví. Aflögð sóttkví verður varanleg sorphaugur; Brothætt próf lifa þar að eilífu vegna þess að engum er sama.
Aðhvarfsstefnutafla
Staða
Stefna
Hlutverk gervigreindar
smávægileg leiðrétting
Áhrifasvæði + reykpróf
Veldu viðeigandi próf
nýr eiginleiki
Tengd eining + samþætting
Leggja til nýtt afturhvarfsmál
stór refactor
Fullur aðhvarfspakki
Greining á þekjubili
forútgáfu
Fullur pakki + könnun
Forgangs- og tímalengdarmat
Brýn lifandi lagfæring
Einbeittur + gagnrýninn leið
Lágmarks öruggt prófunarsett
Veik kvaðning / Sterk kvaðning
Veik: "Þetta próf mistekst stundum, lagaðu það."
Sterkt: "Þetta próf misheppnast 3 af 10 keyrslum, kóði óbreyttur. Greindu undirrót óstöðugleika: gæti verið tímasetning/hlaup, raðfíkn, samnýtt ástand, ytri háð eða umhverfismunur. Sýndu hvaða línu í prófinu bendir á hverja mögulega orsök. Leggðu til varanlega lausn; EKKI stinga upp á einkennabælandi lausn eins og 'bæta við. Ekki er hægt að prófa aftur: greinilega. [log]."
Öflug hvetja; beinir greiningu að rót orsökarinnar og bannar beinlínis bælingu einkenna.
Fjögur afritanleg sniðmát
1) Brothætt prófgreining:
Þessi prófkóði stenst stundum og mistekst stundum án breytinga. Skráðu frumorsök umsækjenda (kynþáttur, röð háð, sameiginlegt ástand, ytri háð, klukka/slembi, umhverfi munur) og sýna línu af sönnunargögnum í prófinu fyrir hvern. Leggðu til varanlega lausn; merktu bælandi lausn eins og að reyna aftur sem síðasta úrræði og með rökstuðningi. Próf: [kóði] / Óstöðugleikamynstur: [hversu oft í hversu mörgum hlaupum]
2) Tillaga um aðhvarfsmál:
Eftirfarandi breyting var gerð: [breyting/PR samantekt].Skráðu NÚVERANDI hegðun sem þessi breyting myndi brjóta og leggðu til aðhvarfspróf tilvik fyrir hvert. Leggðu sérstaklega áherslu á svæði aukaverkana og sameiginlegrar ósjálfstæðis.
3) Tvítekin prófhreinsun:
Skoðaðu prófunarsvítuna hér að neðan. Flokkaðu afrit eða skarast mál sem prófa sömu hegðun; Stingdu upp á hverja ég ætti að halda og hverja ég ætti að sameina fyrir hvern hóp. Viðvörun ef hætta er á að verndin tapist. Próf: [listi/kóði]
4) Val á prófunaráhrifum:
Eftirfarandi skrár/aðgerðir hafa breyst: [listi]. Úr núverandi prófunarsvítunni skaltu velja og rökstyðja prófin sem ég þarf að keyra fyrst (þau sem eru beint/óbeint tengd breyttum kóða). Athugið: minntu mig á að ég mun samt keyra alla forútgáfusvítuna.
þrjú smámál
Tilfelli 1 - Raunveruleg mistök hulin af Reyndu aftur. Eitt lið bætti við 3 tilraunum á ný við einstaka útborgunarpróf sem eftir er; Prófið var nú alltaf að "standast". Með því að beita „viðkvæmu prófgreiningunni“ kom í ljós að óstöðugleikinn stafaði af raunverulegu keppnisástandi: við mikið álag var greiðslustaðfesting stundum tvöföld unnin. Í marga mánuði, Reyndu aftur hylja villu sem gæti hafa leitt til raunverulegs taps á peningum í beinni. Grunnorsök lagfærð, reyndu aftur fjarlægð.
Tilfelli 2 — Pakki minnkaði, hraði jókst. Aðhvarfssvíta með 1.400 prófum tók 55 mínútur. Með „tvítekin prófhreinsun“ reyndust 380 próf vera afrit eða yfirbyggð; sameinuð. Pakkinn var minnkaður í 900 próf, tíminn var styttur í 34 mínútur, þekjan minnkaði ekki mælanlega. Hraðari endurgjöf hvatti liðið til að prófa oftar.
Tilfelli 3 - Óháð pöntun. Próf myndi alltaf standast staðbundið, en það myndi falla af handahófi í CI. AI greiningar sýndu að prófið var háð notandanum sem búið var til með öðru prófi, í CI bilaði það vegna þess að prófin gengu í samhliða/öðruðri röð. Hvert próf var gert til að koma á eigin gögnum; Óákveðni er lokið.
Algeng mistök
- Þaggar niður brothætta prófið með því að reyna aftur. Reynir aftur án þess að leita að rótinni; hylja hin raunverulegu mistök.
- „Föst aftur“ menning. Hunsa reglulega rauðar niðurstöður; Einn daginn, slepptu raunverulegu mistökunum.
- Er alls ekki að klippa pakkann. Leyfa tvíteknum prófum að hrannast upp og hægja á pakkanum.
- Ósjálfstæði milli prófa. Próf eru byggð á algengu ástandi/röð; uppspretta óvissu.
- Prófar aðeins breytta hlutann og sleppir öllum pakkanum. Flýtileið fyrir útgáfu; Faldar aukaverkanir hverfa.
- Að treysta á ytri ósjálfstæði. Próf byggð á raunverulegu neti/klukku/slembigildi; náttúrulega óstöðug.
Í stuttu máli
Aðhvarfsprófun grípur breytingar sem brjóta áður starfandi aðgerðir; En eftir því sem pakkarnir stækka, rýra seinleiki og brothættar prófanir traust. Grundvallarorsakir viðkvæmra prófa eru venjulega tímasetning, pöntunarfíkn, sameiginlegt ástand og ytri ósjálfstæði. Gervigreind er öflugt hjálpartæki við greiningu, hreinsun og prófval; En að bæla niður ákvörðunarleysi með því að reyna aftur hylja raunveruleg mistök. Finndu rót orsökarinnar, gerðu próf óháð og ákveðin, klipptu pakkann reglulega, keyrðu allan pakkann áður en hann er sleppt.
Umsóknarverkefni
Veldu próf úr þínu eigin verkefni sem þú veist að er viðkvæmt (eða virðist óstöðugt). Dragðu út rótarsök umsækjenda og sannreyndu sönnunarlínur í prófinu með sniðmátinu „brothættu prófgreiningu“. Finndu rót orsökarinnar og innleiddu varanlega lausn án þess að reyna aftur. Veldu síðan 10 próf úr pakkanum þínum og finndu þau sem hægt er að sameina með „tvítekinni prófhreinsun“. Tilkynntu hversu marga óstöðugleika í prófunum þú leystir af rót þeirra og hversu mörg óþarfa tilvik þú fjarlægðir úr svítunni.
gátlisti
- [ ] Ég hef greint undirrót brothættu prófsins; Ég bældi ekki einkennin.
- [ ] Ég taldi Reyna aftur sem réttlætanlegt síðasta úrræði, ekki lækningu.
- [ ] Ég gerði prófin óháð og ákveðin (einangruð frá ytri ósjálfstæði).
- [ ] Ég klippti afrit/óþarfa próf úr aðhvarfssvítunni.
- [ ] Ég valdi að prófa út frá breytingunni, en keyrði forútgáfu pakkans í heild sinni.
- [ ] Ég tók hvert rautt alvarlega, gegn "fastur aftur, pass" menningu.