Hagnaður:
- Geta til að lesa mælikvarða eins og línu-, greinar- og ástandsþekju sem kort, ekki traust, og skilja að mikil umfang getur gefið gervitraust
- Hæfni til að setja kröfur umfang við hlið kóða umfangs og gera rekjanleika eyður sýnilegar með gervigreind
- Hæfni til að skora eiginleika með formúlunni áhættu = líkur × áhrif, beina takmörkuðu prófunarviðleitni að mestu áhættu og skjal vísvitandi utan gildissviðs
Þú getur ekki prófað alla hugbúnað að eilífu; Tími og fjármagn er takmarkað. Svo raunverulega spurningin er: hvar á að setja takmarkaða prófunarátakið? Tvö hugtök svara þessari spurningu. Prófumfjöllun - mælikvarði sem mælir hversu mikið af kóðanum eða kröfunum er snert af prófunum - táknar það sem verið er að prófa. Áhættutengd prófun - sú nálgun að ákvarða prófunarforgang eftir líkum á rýrnun svæðis og skaða sem það veldur þegar það versnar - beinir átakinu að mestri áhættu. Gervigreind (AI) er öflugur greiningaraðili í hvoru tveggja: hún gerir umfjöllunareyður sýnilegar, gefur til kynna áhættusvæði. En aðal fyrirvarinn er enn: fjöldi sviða sem gervigreindin sér getur verið villandi; Jafnvel 100% raðþekju er hægt að ná með prófunum sem sanna ekkert. Starf þitt er að lesa umfangið sem kort, ekki traust.
Lestu umfangsmælingar rétt
Það eru til nokkrar tegundir af umfangi og ekki allar jafn þýðingarmiklar:
- Línuþekju: Hversu margar línur af kóða voru keyrðar að minnsta kosti einu sinni. Algengasta en veikasta viðmiðið; Bara vegna þess að lína virkar er ekki sönnun þess að hún hagi sér rétt.
- Umfang útibúa: Hvort sérhver grein (bæði satt og ósönn) hafi verið prófuð. Merkingarríkara en lína.
- Ástandsþekju: Prófaðu hvert undirskilyrði við flóknar aðstæður sérstaklega.
- Path coverage: Samsetningar af rökréttum slóðum innan kóðans. Það er það umfangsmesta en erfitt að ná til fulls í reynd.
Varúð: Þekjuprósenta er ekki „gæðastig“. 100% raðir þekja segir þér að raðir eru að vinna; ekki að það gefi rétta niðurstöðu (gervi-passinn í einingu 1). Notaðu umfangið sem svar við spurningunni „hvert hef ég aldrei leitað“, ekki sem trygging fyrir því að „allt hafi verið prófað“.
Umfang blindra bletta
Þekjumælingar mæla aðeins hversu mikið af kóðanum hefur verið keyrt; getur ekki séð: (1) óprófaðar kröfur (kóði er til en viðskiptareglan er röng), (2) vantar kóða (ekkert svigrúm fyrir stjórn sem aldrei var skrifuð), (3) samsetningar gagna/ástands, (4) notagildi, afköst, öryggi. Þess vegna ætti kröfuþekju (hvert samþykkisviðmiðun verður að uppfylla með að minnsta kosti einu prófi) að vera sett við hliðina á kóðaþekju. AI er mjög hjálplegt við að framleiða kröfuprófa kortlagningu (rekjanleikafylki).
Áhættutengd próf: hvar leggjum við okkur fram?
Áhætta = líkur (líkur á broti) × áhrif (skaða ef brotnar). Með gervigreind geturðu skorað eiginleikalista á þessum tveimur ásum og búið til hitakort. Miklar líkur × mikil lén (greiðsla, auðkenning, gagnaheilleiki) verðskulda ákafur prófun; lág × lág svæði (sjaldan notaður forgangsskjár) ljósprófun nægir.
svæði
líkur
Áhrif
Áhætta
Prófþéttleiki
Greiðsluflæði
miðlungs
mjög hátt
hátt
Djúp + sjálfvirkni
auðkenning
miðlungs
mjög hátt
hátt
Djúpt + öryggi
Vöruleit
hátt
miðlungs
Miðlungs-Hátt
Sjálfvirkni + uppgötvun
Prófílmynd
lágt
lágt
lágt
ljósastýringu
Hjálparsíða
lágt
of lágt
of lágt
endurskoðun
Gildan að elta umfang
Að gera útbreiðsluprósentu að markmiði (t.d. „liðið verður að standast 90% umfjöllun“ regluna) hefur hættulega hliðaráhrif: þróunaraðilar og prófunaraðilar einbeita sér að því að auka hlutfallið frekar en að takast á við raunverulega áhættu. Niðurstaðan er oft uppblásið umfang án fullyrðinga eða léttvægra prófa - talan lítur vel út en það er engin vörn. Þetta er fyrirbærið að viðmiðunin spillist þegar hún sjálf verður markmiðið: "þegar mælikvarði verður að markmiði hættir hún að vera góður mælikvarði." Notaðu umfangið sem greiningartæki, ekki árangursskýrsluspjald.
Heilbrigðari nálgun er að lesa umfangið með stefnu: "Af hverju er útibúsþekju fastur við 40% í mikilvægu greiðslueiningunni?" Spurningin er "er heildarþekjan 90%?" Það er miklu meira virði en spurningin. Láttu gervigreind sundurliða umfangsskýrsluna eftir einingu og áhættustigi; Leggðu áherslu á áhættusvæði með litla þekju. Þannig verður umfang áttavita sem stýrir vinnu frekar en blindri prósentu.
Varúð: Slagorðið „100% umfjöllun“ er gildra. Að prófa einhvern kóða (einfaldir fylgihlutir, sjálfvirkir hlutar) er lítils virði; fyrirhöfninni sem þar er varið er stolið úr áhættusamlegum viðskiptareglum. Markmiðið er að prófa alla mikilvæga hegðun og áhættu, ekki hverja línu.
Veik kvaðning / Sterk kvaðning
Veik: „Auka prófunarumfangið mitt.
Sterkt: "Miðað við þennan lista yfir viðmiðunarviðmiðanir og þessi fyrirliggjandi próftilvik. (1) Tafla yfir hvaða viðmiðunarviðmiðanir hafa ekki verið uppfylltar með neinum prófum (þekjubil á kröfum). (2) Skoðaðu hvern eiginleika 1-5 á líkinda- og áhrifaásnum; röðun eftir áhættu = líkur × áhrif. (3) Í minn takmarkaða tíma, leggðu til hvaða 5 eyður ég ætti að byrja með sólarlínunni fyrst að loka áhættulínunni. viðmiðun; forgangsraða viðskiptaáhættu: [...] Próf: [...]“.
Öflug hvetja; sameinar umfang og viðskiptaáhættu og setur takmarkað vinnuafl í forgang.
Fjögur afritanleg sniðmát
1) Umfangsbil kröfunnar:
Miðað við eftirfarandi viðmiðunarviðmiðanir og þessi prófunartilvik. Búðu til rekjanleikatöflu: hvert viðmið -> próf sem uppfylla það. Viðmið sem eru ekki með nein próf eru kölluð "COVERAGE GAP" og próf sem tengjast ekki neinum viðmiðum kallast "NECESSARY?" Mark: Viðmið: [...] / Próf: [...]
2) Áhættustig:
Skoðaðu þennan lista yfir eiginleika/einingar 1-5 um líkur (líkur á broti) og höggás (skemmdir ef brotnar). Áhætta = líkur × áhrif. Raða í töflu og tilgreina ráðlagða prófunartegund (eining/API/UI/könnun/öryggi) fyrir hvert áhættusvæði. Listi: [...]
3) Túlkun gildissviðs:
Eftirfarandi umfangsskýrsla var gefin (lína %, útibú %). Segðu mér þetta:- Hvað sanna þessar tölur EKKI?- Hver eru svæðin sem gætu verið í hættu þrátt fyrir mikla raðþekju?- Hvaða viðbótarprófun myndir þú mæla með fyrir eyður sem umfjöllunin sér ekki (kröfur, gagnasamsetning, öryggi)?Tilkynning: [líma]
4) Takmörkuð tímaáætlun:
[X klukkustundir] eftir af útsendingu. Eftirfarandi áhætturöðun og þekjubil eru gefin upp. Á þessu tímabili er prófunaráætlunin sem mun draga úr hámarksáhættu útbúin í forgangsröð. Taktu skýrt fram hvað á EKKI að prófa meðvitað og viðurkennda áhættu af því að gera það. Gögn: [...]
þrjú smámál
Mál 1 — 100% umfjöllun, ekkert traust. Eitt lið státaði af 94% línuþekju. "Scope túlkun" greining sýndi að flest prófin voru fullyrðingarlaus, sem þýðir að þau keyrðu línur en staðfestu ekki neitt. Raunveruleg verndarvernd var mun lægri. Teymið einbeitti sér ekki að tölum heldur stökkbreytingaprófum (eining 10); raunverulegt villuaflahlutfall tvöfaldaðist.
Tilvik 2 — Leiðréttur forgangur áhættukorts. Eitt teymi var að eyða 40% af prófunarátaki sínu á sjaldan notaðan skýrsluskjá og sleppti greiðsluflæðinu vegna þess að það „virkar bara“. AI áhættustig sýndi þetta ójafnvægi. Vinnuaflið var dreift aftur; Tveimur vikum síðar fannst mikil höggvilla í greiðsluflæðinu og var lokað í beinni.
Mál 3 - Meðvituð utan gildissviðs. 4 klukkustundir í útgáfu ákvað teymið hvað ætti að prófa og hverju ætti að sleppa meðvitað með „takmarkaðri áætlun“ sniðmátinu. Tveir áhættustraumar voru djúpprófaðir; skjámynd með lítilli áhættu var skjalfest sem „viðurkennd áhætta“ og sleppt því. Ákvörðunin var gagnsæ og rökstudd; Útgáfan kom örugglega út.
Algeng mistök
- Misskilja umfjöllunarprósentu fyrir gæði. Að lesa umfjöllun um háa röð sem „prófuð“ trygging.
- Er bara að skoða kóðaþekjuna. Sleppa kröfum (prófun á hverju samþykkisviðmiði).
- Prófa jafnt án þess að taka tillit til áhættu. Úthluta vinnuafli á áhættulítil svæði og vanrækja mikilvæga flæði.
- Felur sig utan umfangs. Ekki skrásetja það sem ekki var prófað þegar tíminn var ekki nægur; Eftir útgáfu kemur á óvart.
- Samþykkja áhættustig gervigreindar án efa. gervigreind þekkir ekki vörusamhengið að fullu; Stilltu stigin með sérfræðingsauga.
Í stuttu máli
Prófumfjöllun og áhættutengd próf eru tvö tæki til að beina takmörkuðu átaki á réttan stað. Þekjumælingar (lína, grein, ástand, slóð) sýna hvað var snert en sanna ekki að það hafi hagað sér rétt; Umfang er kort, traust er það ekki. Settu kröfuþekju við hlið kóðaþekju. Skoðaðu eiginleikana með formúlunni áhættu = líkur × áhrif og beina viðleitni að mestri áhættu. AI gerir eyður sýnilegar, skorar áhættu, skipuleggur takmarkaðan tíma; en endanleg forgangsröðun og „meðvituð afþökkun“ ákvörðun liggur hjá sérfræðingnum sem þekkir viðskiptasamhengið.
Umsóknarverkefni
Veldu einingu úr þínu eigin verkefni. Keyrðu sniðmátið „kröfur umfangsbil“ með gervigreind og komdu að því hvaða samþykkisviðmið eru ekki prófuð. Raðaðu síðan undireiginleikum einingarinnar á líkindaásunum × höggásunum með „áhættustig“. Dreifðu (tilgátu) 3 klukkustundum af prófunartíma sem þú hefur með „takmörkuðu áætluninni“; Skrifaðu niður það sem þú munt meðvitað ekki prófa og viðtekna áhættu. Bættu við steypuprófi sem mun loka áhættusamasta bilinu sem þú finnur.
gátlisti
- [ ] Ég les umfjöllunarhlutfall sem kort, ekki gæði.
- [ ] Fyrir utan kóðaþekjuna, fjarlægði ég einnig kröfuþekjuna.
- [ ] Ég skoraði eiginleikana eftir líkum × áhrifum og raðaði þeim eftir áhættu.
- [ ] Ég beindi prófunarviðleitni í hæstu áhættu.
- [ ] Ég hef skráð svæði sem ekki hafa verið prófuð meðvitað og viðurkennd áhættu.
- [ ] Ég fór yfir áhættustig gervigreindar út frá samhengi vörunnar.