Qligħ:
- Kapaċità li taqra metriċi bħal kopertura ta' linja, fergħa u kundizzjoni bħala mappa, mhux fiduċja, u tifhem li kopertura għolja tista' tagħti psewdo-fiduċja
- Kapaċità li tpoġġi l-ambitu tar-rekwiżiti ħdejn l-ambitu tal-kodiċi u tagħmel nuqqasijiet fit-traċċabilità viżibbli b'intelliġenza artifiċjali
- Kapaċità li tiskurja l-karatteristiċi bil-formula riskju = probabbiltà × impatt, tidderieġi l-isforz tal-ittestjar limitat għall-ogħla riskju, u tiddokumenta deliberatament barra mill-ambitu
Ma tistax tittestja kull softwer għal dejjem; Il-ħin u r-riżorsi huma limitati. Allura l-mistoqsija vera hija: fejn tpoġġi l-isforz limitat tal-ittestjar? Żewġ kunċetti jwieġbu din il-mistoqsija. Il-kopertura tat-test—metrika li tkejjel kemm il-kodiċi jew ir-rekwiżiti jintmessu mit-testijiet—jirrappreżenta dak li qed jiġi ttestjat. Ittestjar ibbażat fuq ir-riskju - l-approċċ li jiddetermina l-prijorità tat-test skond il-probabbiltà ta 'deterjorazzjoni ta' żona u l-ħsara li tikkawża meta tiddeterjora - jidderieġi l-isforz lejn l-aktar riskju. L-intelliġenza artifiċjali (AI) hija sieħba ta' analiżi b'saħħitha fit-tnejn: tagħmel viżibbli lakuni fil-kopertura, tissuġġerixxi oqsma ta' riskju. Iżda l-twissija ċentrali tibqa ': in-numru ta' ambiti li l-AI tara jista 'jkun qarrieqi; Anke kopertura ta 'ringiela ta' 100% tista 'tinkiseb b'testijiet li ma jivverifikaw xejn. Ix-xogħol tiegħek huwa li taqra l-ambitu bħala mappa, mhux trust.
Qari tal-metriċi tal-kopertura b'mod korrett
Hemm diversi tipi ta 'kamp ta' applikazzjoni, u mhux kollha huma ugwalment sinifikanti:
- Kopertura tal-linja: Kemm-il linji ta' kodiċi ġew esegwiti mill-inqas darba. L-aktar kriterju komuni iżda l-iktar dgħajjef; Sempliċement għax linja taħdem mhix prova li ġġib ruħha b'mod korrett.
- Kopertura tal-fergħa: Jekk kull fergħa if (kemm vera kif ukoll falza) ġietx ittestjata. Aktar sinifikanti minn linja.
- Kopertura tal-kundizzjoni: Ittestja kull subkundizzjoni f'kundizzjonijiet kumplessi separatament.
- Kopertura tal-mogħdija: Kombinazzjonijiet ta 'mogħdijiet loġiċi fi ħdan il-kodiċi. Huwa l-aktar komprensiv iżda diffiċli biex jintlaħaq bis-sħiħ fil-prattika.
Attenzjoni: Il-perċentwal ta' kopertura mhuwiex "punteġġ ta' kwalità". Kopertura ta 'ringiela ta' 100% tgħidlek li r-ringieli qed jaħdmu; mhux li tipproduċi r-riżultat korrett (il-psewdo-pass fl-unità 1). Uża l-ambitu bħala tweġiba għall-mistoqsija "fejn qatt ma ħarist", mhux bħala assigurazzjoni li "kollox ġie ttestjat".
Skop blind spots
Il-metriċi tal-kopertura jkejlu biss kemm il-kodiċi ġie esegwit; ma tistax tara: (1) rekwiżiti mhux ittestjati (kodiċi jeżisti iżda r-regola tan-negozju hija żbaljata), (2) kodiċi nieqes (l-ebda skop għal kontroll li qatt ma nkiteb), (3) kombinazzjonijiet ta 'dejta/stat, (4) użabilità, prestazzjoni, sigurtà. Għalhekk, il-kopertura tar-rekwiżiti (kull kriterju ta' aċċettazzjoni għandu jiġi sodisfatt b'mill-inqas test wieħed) għandha titqiegħed ħdejn il-kopertura tal-kodiċi. L-AI hija utli ħafna biex tipproduċi l-immappjar tat-test tar-rekwiżiti (matriċi tat-traċċabilità).
Ittestjar ibbażat fuq ir-riskju: fejn inpoġġu l-isforz?
Riskju = probabbiltà (ċans ta 'ksur) × impatt (ħsara jekk ksur). Bl-AI, tista 'tikseb lista ta' karatteristiċi fuq dawn iż-żewġ assi u toħloq mappa tas-sħana. Probabbiltà għolja × oqsma għolja (ħlas, awtentikazzjoni, integrità tad-dejta) jistħoqqilhom l-aktar ittestjar intens; żoni baxxi × baxxi (skrin tal-preferenza użat rarament) ittestjar tad-dawl huwa biżżejjed.
żona
probabbiltà
Impatt
Riskju
Densità tat-test
Fluss tal-ħlas
medju
għolja ħafna
għolja
Awtomazzjoni profonda +
awtentikazzjoni
medju
għolja ħafna
għolja
Deep + sigurtà
Tfittxija tal-prodott
għolja
medju
Medju-Għoli
Awtomazzjoni + skoperta
Ritratt tal-profil
baxx
baxx
baxx
kontroll tad-dawl
Paġna ta’ għajnuna
baxx
baxx wisq
baxx wisq
reviżjoni
In-nassa tal-ġiri tal-ambitu
Li tagħmel il-perċentwal ta' kopertura mira (eż. ir-regola "it-tim irid jgħaddi kopertura ta' 90%)" għandu effett sekondarju perikoluż: l-iżviluppaturi u t-testers jiffokaw fuq iż-żieda tal-perċentwali aktar milli jindirizzaw ir-riskju attwali. Ir-riżultat huwa spiss ambitu minfuħ mingħajr affermazzjonijiet jew testijiet trivjali - in-numru jidher sabiħ iżda m'hemm l-ebda protezzjoni. Dan huwa l-fenomenu li l-kriterju jiġi korrott meta hu stess isir l-għan: "meta miżura ssir mira, ma tibqax miżura tajba." Uża l-ambitu bħala għodda dijanjostika, mhux karta tar-rapport tal-prestazzjoni.
Approċċ aktar b'saħħtu huwa li taqra l-ambitu b'mod direzzjonali: "Għaliex il-kopertura tal-fergħat hija mwaħħla f'40% fil-modulu tal-ħlas kritiku?" Il-mistoqsija hija "il-kopertura ġenerali hija 90%?" Huwa ħafna aktar siewi mill-mistoqsija. Ħalli l-AI tkisser ir-rapport tal-ambitu skont il-modulu u l-livell tar-riskju; Enfasizza żoni ta' riskju għoli b'kopertura baxxa. Għalhekk, l-iskop isir kumpass li jidderieġi x-xogħol aktar milli persentaġġ għomja.
Attenzjoni: Is-slogan "100% coverage" huwa nassa. L-ittestjar ta 'xi kodiċi (aċċessorji sempliċi, partijiet iġġenerati awtomatikament) huwa ta' valur baxx; l-isforz li jsir hemm jinsteraq minn regoli tan-negozju ta’ riskju għoli. L-għan huwa li tittestja kull imġieba u riskju importanti, mhux kull linja.
Pront dgħajjef / Pront qawwi
Dgħajjef: "Żid il-kopertura tal-ittestjar tiegħi."
Qawwija: "Minħabba din il-lista ta 'kriterji ta' aċċettazzjoni u dawn il-każijiet tat-test eżistenti. (1) Tabulari liema kriterji ta 'aċċettazzjoni ma ġewx sodisfatti mill-ebda testijiet (vojt fil-kopertura tar-rekwiżit). kriterju prijoritizza r-riskju tan-negozju: [...] Testijiet: [...]"
Pront qawwija; jgħaqqad l-ambitu mar-riskju tan-negozju u jipprijoritizza xogħol limitat.
Erba' mudelli li jistgħu jiġu kkupjati
1) Diskrepanza fl-ambitu tar-rekwiżit:
Minħabba l-kriterji ta 'aċċettazzjoni li ġejjin u dawn il-każijiet tat-test. Ipproduċi tabella tat-traċċabilità: kull kriterju -> test(i) li jissodisfawha. Kriterji li m'għandhom l-ebda testijiet jissejħu "KOPERTURA GAP" u testijiet li ma jorbtu ma' l-ebda kriterji jissejħu "NEĊESSARJI?" Mark: Kriterji: [...] / Testijiet: [...]
2) Punteġġ tar-riskju:
Punteġġ din il-lista ta 'karatteristiċi/moduli 1-5 fuq il-probabbiltà (probabbiltà ta' tkissir) u l-impatt (ħsara jekk miksur) assi. Riskju = probabbiltà × impatt. Issortja f'tabella u speċifika t-tip ta' ttestjar rakkomandat (unità / API / UI / għarfien / sigurtà) għal kull żona ta 'riskju għoli. Lista: [...]
3) Interpretazzjoni tal-ambitu:
Ingħata r-rapport ta' kopertura li ġej (linja %, fergħa %). Għidli dan:- X'ma jipprovawx dawn in-numri?- X'inhuma l-oqsma li jistgħu jkunu f'riskju minkejja kopertura għolja ta' ringiela?- Liema ttestjar addizzjonali tirrakkomanda għal lakuni li l-kopertura ma tarax (rekwiżit, kombinazzjoni tad-dejta, sigurtà)?Rapport: [paste]
4) Pjan ta' żmien limitat:
Fadal [X sigħat] għax-xandira. Jingħataw il-klassifikazzjoni tar-riskju u l-lakuni fil-kopertura li ġejjin. Matul dan il-perjodu, il-pjan tat-test li se jnaqqas ir-riskju massimu jitħejja f'ordni ta' prijorità. Iddikjara b'mod ċar dak li MHUX biex tittestja konxjament u r-riskju aċċettat li tagħmel hekk.Data: [...]
tliet każijiet żgħar
Każ 1 — kopertura 100%, fiduċja żero. Tim wieħed jiftaħar kopertura tal-linja ta '94%. L-analiżi tal-"Interpretazzjoni tal-ambitu" wriet li l-biċċa l-kbira tat-testijiet kienu assert-less, jiġifieri ħarġu linji iżda ma vverifikaw xejn. Il-kopertura protettiva attwali kienet ħafna aktar baxxa. It-tim iffoka mhux fuq in-numri iżda fuq l-ittestjar tal-mutazzjoni (unità 10); ir-rata attwali ta' qbid ta' żball irdoppja.
Każ 2 — Mappa tar-riskju korretta prijorità. Tim wieħed kien jonfoq 40% tal-isforz tal-ittestjar tiegħu fuq skrin ta 'rappurtar li rarament jintuża, jaqbeż il-fluss tal-ħlas għax "jaħdem biss". Il-punteġġ tar-riskju tal-AI wera dan l-iżbilanċ. Ix-xogħol ġie mqassam mill-ġdid; Ġimagħtejn wara instab bug ta 'impatt għoli fil-fluss tal-ħlas u ngħalaq qabel il-ħajja.
Każ 3 — Konxju barra mill-ambitu. 4 sigħat f'rilaxx, it-tim iddeċieda x'għandu jittestja u x'għandu jaqbeż konxjament mal-mudell ta '"skeda limitata". Żewġ flussi ta 'riskju għoli ġew ittestjati fil-fond; skrin ta 'preferenza ta' riskju baxx ġie dokumentat bħala "riskju aċċettat" u maqbuż. Id-deċiżjoni kienet trasparenti u raġunata; Il-verżjoni ħarġet mingħajr periklu.
Żbalji komuni
- Żbaljat perċentwal ta 'kopertura għall-kwalità. Qari ta 'kopertura ta' ringiela għolja bħala assigurazzjoni "ttestjata".
- Ħarsa biss lejn il-kopertura tal-kodiċi. Kopertura tar-rekwiżiti ta' qbiż (ttestjar ta' kull kriterji ta' aċċettazzjoni).
- Ittestjar bl-istess mod mingħajr ma jitqies ir-riskju. L-allokazzjoni tax-xogħol għal żoni b'riskju baxx u t-traskurazzjoni tal-flussi kritiċi.
- Ħabi barra mill-ambitu. Mhux dokumentat dak li ma kienx ittestjat meta ma kienx hemm biżżejjed ħin; Sorpriżi ta’ wara r-rilaxx.
- Jaċċettaw il-punteġġ tar-riskju tal-AI mingħajr dubju. AI ma tafx bis-sħiħ il-kuntest tal-prodott; Aġġusta l-punteġġi b'għajn esperta.
Fil-qosor
Il-kopertura tat-test u l-ittestjar ibbażat fuq ir-riskju huma żewġ għodod biex jidderieġu l-isforz limitat lejn il-post it-tajjeb. Il-metriċi tal-kopertura (linja, fergħa, kundizzjoni, mogħdija) juru dak li ntmess iżda ma jurux li ġab ruħu b'mod korrett; L-ambitu huwa mappa, il-fiduċja mhix. Poġġi l-kopertura tar-rekwiżiti ħdejn il-kopertura tal-kodiċi. Score l-karatteristiċi bil-formula riskju = probabbiltà × impatt u sforz dirett għall-aktar riskju. AI tagħmel nuqqasijiet viżibbli, punteġġi riskju, tippjana żmien limitat; iżda l-prijorità finali u d-deċiżjoni ta '"opt-out konxja" tinsab f'idejn l-espert li jaf il-kuntest tan-negozju.
Kompitu ta' applikazzjoni
Agħżel modulu mill-proġett tiegħek stess. Mexxi l-"requirements scope gap" bl-AI u sib liema kriterji ta' aċċettazzjoni mhumiex ittestjati. Imbagħad ikklassifika s-sub-karatteristiċi tal-modulu fuq il-probabbiltà × assi tal-impatt bi "punteġġ tar-riskju". Qassam it-3 sigħat (ipotetiċi) ta' ħin ta' ttestjar li għandek bl-"iskeda limitata"; Ikteb dak li konxjament mhux se tittestja u r-riskju aċċettat. Żid test konkret li jagħlaq id-distakk tal-kopertura bl-ogħla riskju li ssib.
lista ta' kontroll
- [ ] Naqra l-persentaġġ tal-kopertura bħala mappa, mhux kwalità.
- [ ] Minbarra l-kopertura tal-kodiċi, neħħejt ukoll il-kopertura tar-rekwiżit.
- [ ] Jien tajt il-karatteristiċi skont il-probabbiltà × l-impatt u kklassifikajthom skont ir-riskju.
- [ ] Iddrejtajt l-isforz tal-ittestjar lejn l-ogħla riskju.
- [ ] Għandi żoni dokumentati mhux ittestjati konxjament u r-riskju rikonoxxut.
- [ ] Irrevejt il-punteġġi tar-riskju tal-AI abbażi tal-kuntest tal-prodott tiegħi.