Faida:
- Uwezo wa kusoma vipimo kama vile mstari, tawi, na ufunikaji wa hali kama ramani, sio uaminifu, na kuelewa kuwa habari ya juu inaweza kutoa uaminifu wa uwongo.
- Uwezo wa kuweka wigo wa mahitaji karibu na wigo wa nambari na kufanya mapungufu ya ufuatiliaji yaonekane na akili ya bandia.
- Uwezo wa kupata alama kwa vipengele vilivyo na hatari ya fomula = uwezekano × athari, kuelekeza juhudi chache za majaribio kwa hatari kubwa zaidi, na kuweka hati kimakusudi nje ya upeo.
Huwezi kujaribu kila programu milele; Wakati na rasilimali ni mdogo. Kwa hivyo swali la kweli ni: wapi kuweka juhudi ndogo za upimaji? Dhana mbili hujibu swali hili. Ufikiaji wa majaribio—kipimo ambacho hupima ni kiasi gani cha msimbo au mahitaji yanayoguswa na majaribio—huwakilisha kile kinachojaribiwa. Upimaji unaozingatia hatari - mbinu ya kubainisha kipaumbele cha mtihani kulingana na uwezekano wa kuzorota kwa eneo na uharibifu utakaosababisha wakati unaharibika - huelekeza juhudi kwenye hatari zaidi. Akili Bandia (AI) ni mshirika mwenye nguvu wa uchanganuzi katika zote mbili: hufanya mianya ya ufunikaji kuonekana, inapendekeza maeneo ya hatari. Lakini pango kuu linabaki: idadi ya mawanda ambayo AI inaona inaweza kupotosha; Hata ufikiaji wa safu mlalo 100% unaweza kupatikana kwa majaribio ambayo hayathibitishi chochote. Kazi yako ni kusoma upeo kama ramani, sio uaminifu.
Kusoma vipimo vya chanjo kwa usahihi
Kuna aina kadhaa za upeo, na sio zote zina maana sawa:
- Chanjo ya mstari: Ni mistari mingapi ya msimbo iliyotekelezwa angalau mara moja. Kigezo cha kawaida lakini dhaifu; Kwa sababu tu mstari hufanya kazi sio dhibitisho kwamba inatenda ipasavyo.
- Ushughulikiaji wa tawi: Ikiwa kila tawi ikiwa (la kweli na si kweli) limejaribiwa. Maana zaidi ya mstari.
- Ufunikaji wa hali: Kujaribu kila hali ndogo katika hali ngumu tofauti.
- Chanjo ya njia: Mchanganyiko wa njia za kimantiki ndani ya msimbo. Ni pana zaidi lakini ngumu kufikia kikamilifu katika mazoezi.
Tahadhari: Asilimia ya chanjo sio "alama ya ubora". Chanjo ya safu mlalo 100% inakuambia kuwa safu zinafanya kazi; sio kwamba hutoa matokeo sahihi (pitisho la uwongo katika kitengo 1). Tumia wigo kama jibu la swali "wapi sijawahi kuangalia", sio kama hakikisho kwamba "kila kitu kimejaribiwa".
Maeneo ya upofu ya upeo
Vipimo vya huduma hupima tu ni kiasi gani cha msimbo umetekelezwa; haiwezi kuona: (1) mahitaji ambayo hayajajaribiwa (msimbo upo lakini sheria ya biashara si sahihi), (2) kukosa msimbo (hakuna upeo wa udhibiti ambao haujawahi kuandikwa), (3) mchanganyiko wa data/hali, (4) utumiaji, utendakazi, usalama. Kwa hivyo, ufunikaji wa mahitaji (kila kigezo cha kukubalika lazima kifikiwe na angalau jaribio moja) lazima kiwekwe karibu na chanjo ya msimbo. AI inasaidia sana katika kutengeneza ramani ya majaribio ya mahitaji (matrix ya ufuatiliaji).
Upimaji unaotegemea hatari: tunaweka wapi juhudi?
Hatari = uwezekano (nafasi ya kuvunjika) × athari (madhara ikiwa kuvunjika). Ukiwa na AI, unaweza kupata orodha ya vipengele kwenye shoka hizi mbili na kuunda ramani ya joto. Uwezekano mkubwa × vikoa vya juu (malipo, uthibitishaji, uadilifu wa data) vinastahili majaribio makali zaidi; maeneo ya chini × chini (skrini ya upendeleo ambayo haitumiki sana) kupima mwanga kunatosha.
eneo
uwezekano
Athari
Hatari
Uzito wa mtihani
Mtiririko wa malipo
kati
juu sana
juu
Deep + automatisering
uthibitishaji
kati
juu sana
juu
Usalama wa kina +
Utafutaji wa bidhaa
juu
kati
Kati-Juu
Otomatiki + ugunduzi
Picha ya wasifu
chini
chini
chini
udhibiti wa mwanga
Ukurasa wa usaidizi
chini
chini sana
chini sana
hakiki
Mtego wa kufukuza upeo
Kufanya asilimia ya chanjo kuwa lengo (k.m. sheria ya "timu lazima ipitishe ufikiaji wa 90%) kuna athari hatari: wasanidi programu na wanaojaribu huzingatia kuongeza asilimia badala ya kushughulikia hatari halisi. Matokeo yake mara nyingi ni wigo uliojaa bila madai au majaribio madogo - nambari inaonekana nzuri lakini hakuna ulinzi. Hili ni jambo la kigezo kuharibiwa wakati yenyewe inakuwa lengo: "wakati kipimo kinakuwa lengo, kinaacha kuwa kipimo kizuri." Tumia upeo kama zana ya uchunguzi, si kadi ya ripoti ya utendaji.
Mbinu bora zaidi ni kusoma upeo kwa uelekeo: "Kwa nini huduma ya tawi imekwama kwa 40% katika moduli muhimu ya malipo?" Swali ni "je chanjo ya jumla ni 90%?" Ni muhimu zaidi kuliko swali. Kuwa na AI kuvunja ripoti ya upeo kwa moduli na kiwango cha hatari; Angazia maeneo yenye hatari kubwa na chanjo ya chini. Kwa hivyo, upeo unakuwa dira inayoelekeza nguvu kazi badala ya asilimia kipofu.
Tahadhari: Kauli mbiu "100% chanjo" ni mtego. Kujaribu baadhi ya kanuni (vifaa rahisi, sehemu zinazozalishwa kiotomatiki) kuna thamani ya chini; juhudi zinazotumika huko huibiwa kutoka kwa sheria za hatari za biashara. Lengo ni kupima kila tabia muhimu na hatari, si kila mstari.
Mwongozo dhaifu / Mwongozo thabiti
Dhaifu: "Ongeza huduma yangu ya majaribio."
Imara: "Kwa kuzingatia orodha hii ya vigezo vya kukubalika na kesi hizi za majaribio zilizopo. (1) Jedwali ni vigezo vipi vya kukubalika ambavyo havijatimizwa na majaribio yoyote (pengo la ufunikaji wa mahitaji). (2) Weka alama kwa kila kipengele 1-5 kwenye mhimili wa uwezekano na athari; safu kwa hatari = uwezekano × athari. (3) Kwa muda wangu mdogo, pendekeza ni mapengo 5 yapi, nisifunge mstari wa juu zaidi wa kufidia. kigezo weka kipaumbele cha hatari ya biashara: [...] Majaribio: [...]"
Agizo lenye nguvu; inachanganya wigo na hatari ya biashara na kuweka kipaumbele cha kazi ndogo.
Violezo vinne vinavyoweza kunakiliwa
1) Pengo la upeo wa mahitaji:
Kwa kuzingatia vigezo vifuatavyo vya kukubalika na kesi hizi za majaribio. Tengeneza jedwali la ufuatiliaji: kila kigezo -> majaribio yanayokidhi. Vigezo ambavyo havina majaribio yoyote huitwa "COVERAGE GAP" na vipimo ambavyo haviunganishi na vigezo vyovyote vinaitwa "LAZIMA?" Alama: Vigezo: [...] / Vipimo: [...]
2) Alama ya hatari:
Weka orodha hii ya vipengele/moduli 1-5 kwenye uwezekano (uwezekano wa kuvunjika) na athari (uharibifu ikiwa imevunjwa) shoka. Hatari = uwezekano × athari. Panga katika jedwali na ubainishe aina ya majaribio inayopendekezwa (kitengo/API/UI/upelelezi/usalama) kwa kila eneo lenye hatari kubwa. Orodha: [...]
3) Tafsiri ya upeo:
Ripoti ifuatayo ya chanjo ilitolewa (line %, tawi %). Niambie hili:- Nambari hizi HAZINATHIBITISHA nini?- Je, ni maeneo gani ambayo yanaweza kuwa hatarini licha ya kuwepo kwa safu ya juu ya safu?- Je, ungependekeza upimaji gani wa ziada kwa mapengo ambayo chanjo hayaoni (sharti, mchanganyiko wa data, usalama)?Ripoti: [bandika]
4) Mpango wa muda mfupi:
[Saa X] zimesalia hadi itangazwe. Kiwango cha hatari kifuatacho na mapungufu ya chanjo yanatolewa. Katika kipindi hiki, mpango wa mtihani ambao utapunguza hatari kubwa huandaliwa kwa utaratibu wa kipaumbele. Eleza kwa uwazi kile ambacho SIO cha kujaribu kwa uangalifu na hatari inayokubalika ya kufanya hivyo.Data: [...]
kesi tatu ndogo
Kesi ya 1 — 100% chanjo, sifuri uaminifu. Timu moja ilijivunia asilimia 94 ya huduma ya mstari. Uchanganuzi wa "ufafanuzi wa wigo" ulionyesha kuwa majaribio mengi yalikuwa ya chini, kumaanisha yaliendesha mistari lakini hayakuthibitisha chochote. Chanjo halisi ya kinga ilikuwa chini sana. Timu haikuzingatia nambari bali majaribio ya mabadiliko (kitengo cha 10); kiwango halisi cha kukamata makosa kiliongezeka maradufu.
Kesi ya 2 - Ramani ya hatari ilisahihisha kipaumbele. Timu moja ilikuwa ikitumia 40% ya juhudi zao za majaribio kwenye skrini ya kuripoti ambayo haitumiki sana, na kuruka mtiririko wa malipo kwa sababu "inafanya kazi tu". Bao la hatari la AI lilionyesha usawa huu. Kazi iligawanywa tena; Wiki mbili baadaye hitilafu ya athari kubwa ilipatikana katika mtiririko wa malipo na ilifungwa kabla ya moja kwa moja.
Kesi ya 3 - Kufahamu nje ya upeo. Saa 4 baada ya kutolewa, timu iliamua nini cha kujaribu na kile cha kuruka kwa uangalifu kwa kutumia kiolezo cha "ratiba ndogo". Mito miwili ya hatari kubwa ilijaribiwa kwa kina; skrini ya mapendeleo ya hatari ndogo ilirekodiwa kama "hatari inayokubalika" na kurukwa. Uamuzi huo ulikuwa wa uwazi na wenye hoja; Toleo lilitoka salama.
Makosa ya kawaida
- Inakosea asilimia ya chanjo kwa ubora. Kusoma habari juu ya safu mlalo kama uhakikisho "uliojaribiwa".
- Kuangalia tu chanjo ya msimbo. Kuruka mahitaji ya chanjo (kupima kila kigezo cha kukubalika).
- Kupima kwa usawa bila kuzingatia hatari. Kugawa kazi kwa maeneo yenye hatari ndogo na kupuuza mtiririko muhimu.
- Kujificha nje ya upeo. Kutoandika kile ambacho hakijajaribiwa wakati hapakuwa na muda wa kutosha; Maajabu ya baada ya kutolewa.
- Kukubali alama ya hatari ya AI bila swali. AI haijui kikamilifu muktadha wa bidhaa; Rekebisha alama kwa jicho la kitaalam.
Kwa muhtasari
Chanjo ya majaribio na majaribio ya msingi wa hatari ni zana mbili za kuelekeza juhudi ndogo mahali panapofaa. Vipimo vya chanjo (mstari, tawi, hali, njia) huonyesha kile kilichoguswa lakini haionyeshi kuwa kilitenda ipasavyo; Upeo ni ramani, uaminifu sio. Weka chanjo ya mahitaji karibu na chanjo ya msimbo. Alama vipengele kwa kutumia formula hatari = uwezekano × athari na juhudi moja kwa moja kwa hatari zaidi. AI hufanya mapungufu kuonekana, alama za hatari, mipango ya muda mdogo; lakini kipaumbele cha mwisho na uamuzi wa "kujiondoa" uko kwa mtaalamu ambaye anajua muktadha wa biashara.
Jukumu la maombi
Chagua moduli kutoka kwa mradi wako mwenyewe. Tekeleza kiolezo cha "pengo la upeo wa mahitaji" ukitumia AI na ujue ni vigezo vipi vya kukubalika ambavyo havijajaribiwa. Kisha panga vipengele vidogo vya moduli kwenye uwezekano × mihimili ya athari kwa "alama za hatari". Sambaza (ya dhahania) ya saa 3 za muda wa majaribio ulio nao na "ratiba iliyopunguzwa"; Andika kile ambacho hautajaribu kwa uangalifu na hatari inayokubalika. Ongeza jaribio madhubuti ambalo litaziba pengo la chanjo la hatari zaidi unalopata.
orodha ya ukaguzi
- [ ] Nilisoma asilimia ya chanjo kama ramani, si ubora.
- [ ] Kando na chanjo ya msimbo, pia niliondoa ufunikaji wa mahitaji.
- [ ] Nilifunga vipengele kwa uwezekano × athari na kuviweka kulingana na hatari.
- [ ] Nilielekeza upya juhudi za majaribio kwenye hatari kubwa zaidi.
- [ ] Nimehifadhi maeneo ambayo hayajajaribiwa kwa uangalifu na kutambuliwa hatari.
- [ ] Nilikagua alama za hatari za AI kulingana na muktadha wa bidhaa yangu.