Faida:
- Kuwa na uwezo wa kutofautisha ambapo akili bandia huokoa muda halisi katika mchakato wa QA na ambapo maamuzi ya ubora kama vile 'tayari kuchapishwa' yanaachiwa wanadamu, kulingana na kiwango cha hatari ya kazi.
- Uwezo wa kutambua hatari ya pasi za uwongo na kutekeleza nidhamu ya uthibitishaji ambayo hujaribu kila jaribio la AI kwa kuvunja kanuni kimakusudi.
- Uwezo wa kulinda data ya jaribio, data ya kibinafsi na funguo, na kupata tabia ya kufanya majaribio ya usalama ndani ya idhini na kwa madhumuni ya kujihami pekee.
Fikiria usiku wa kutolewa. Mamia ya majaribio yaliendeshwa, wote walipata mwanga wa kijani, timu ilifarijiwa na programu ikawa hai. Asubuhi iliyofuata, mteja aliripoti kuwa skrini ya malipo ilianguka. Vipimo vilikuwa vya kijani lakini hakuona kosa. Hili ndilo jinamizi la siri zaidi la taaluma ya uhakikisho wa ubora (QA), yaani, nidhamu ambayo inahakikisha kwamba programu ni ya ubora unaotakiwa: jaribio ambalo linang'aa kijani lakini halithibitishi chochote. Wakati akili bandia (AI - programu inayochota ruwaza kutoka kwa data ya kihistoria na kutoa maandishi na msimbo) inapoingia kwenye taaluma hii, kunakuwa na kasi kubwa na ukuzaji wa jinamizi hili haswa. Ahadi ya awali ya moduli hii ni wazi: AI ni msaidizi wa majaribio, jenereta ya ramani na kizidishi mawazo; Wewe ndiye mtumiaji anayejaribu ambaye hutia saini kwenye uamuzi wa "programu hii iko tayari kutolewa".
Katika kitengo hiki cha kwanza tutazingatia nidhamu, sio chombo. Utajifunza ni wapi AI inaokoa muda halisi katika mchakato wa QA, ambapo ni hatari, kwa nini kijani kibichi kinachojulikana kama "pasi ya uwongo" ni hatari kubwa zaidi, jinsi ya kuthibitisha kila pato, na ni data gani unaweza kutoa kwa chombo gani. Bila kuweka msingi huu, vitengo vifuatavyo vitabaki hewani.
Je, AI inasaidia wapi katika mchakato wa majaribio?
Wacha tugawanye kazi za upimaji katika vikundi viwili vikubwa. Kundi la kwanza: kazi zinazorudiwa, zinazozalishwa, rasimu. Kuandaa kesi ya jaribio kutoka kwa hitaji, kuorodhesha sehemu za kuvunja, kuandika kiunzi cha msimbo wa kiotomatiki kwa skrini, kutafsiri kesi changamano ya hitilafu katika ripoti safi ya hitilafu, kufupisha mamia ya mistari ya faili za kumbukumbu, kutoa schema kutoka kwa jibu la API. Katika kazi hizi, AI inapunguza dakika hadi sekunde na haina uchovu.
Kundi la pili: maamuzi ambayo matokeo yake ni ubora, uaminifu na uwajibikaji. Maamuzi kama vile "je, toleo hili linaweza kuchapishwa", "hitilafu hii ni muhimu au inaweza kuahirishwa", "je, uchunguzi huu unatosha", "je, hali hii inaweza kukamata hatari halisi ya mtumiaji" n.k. inahitaji muktadha, ujuzi wa bidhaa na wajibu. Hapa AI hutengeneza chaguo, rasimu - lakini unaamua "kupita/feli" na "go/no go."
Wacha tufafanue tofauti katika sentensi moja: AI ina nguvu katika "hali gani zinaweza kujaribiwa na jinsi ya kuandika nambari inayoijaribu"; Uamuzi ni wako linapokuja suala la swali "Je, programu hii inafanya kazi kweli na ni nani anayeithibitisha?"
Kidokezo: Kabla ya kukabidhi kazi kwa AI, uliza: "Ni nini kitatokea ikiwa matokeo haya si sahihi na sitambui?" Ikiwa jibu ni "Nitapoteza dakika chache", gawa kwa urahisi. Ikiwa jibu ni "programu mbovu itapatikana", acha AI itoe rasimu na wewe ufanye uamuzi na uthibitishaji.
Pasi ya uwongo: hatari nambari moja ya AI katika QA
Jaribio linapowasha kijani, linaweza kumaanisha mambo mawili: ama programu inafanya kazi ipasavyo, au haioni hitilafu kwa sababu jaribio liliandikwa vibaya. Ya pili inaitwa pasi ya uwongo - jaribio linasema "pita" lakini haithibitishi chochote. Hatari hii huongezeka sana katika majaribio yanayotolewa na AI, kwa sababu AI inafanikiwa sana katika kuandika majaribio ya ufasaha, yenye sura laini lakini tupu.
Njia tatu za kawaida za kupita bandia ni: (1) Kujaribu bila madai - msimbo huendeshwa, hauna madai, hupita kila wakati. (2) Mtihani wa kujithibitisha - thamani inayotarajiwa ya jaribio imehesabiwa kutoka kwa matokeo ya nambari iliyo chini ya jaribio; Hiyo ni, chochote nambari hutoa, mtihani unakubali kama "sahihi". (3) Jaribio ambalo huthibitisha jambo lisilo sahihi — dai lipo, lakini hukagua jambo dogo (k.m. "jibu si batili"), si kanuni halisi ya biashara.
Tahadhari: Jopo la mtihani wa kijani sio uthibitisho wa ubora; Bora zaidi inasema "vidhibiti tulivyoandika havijavunjwa hivi sasa". Usifarijike kwa kuona "kupita" kwenye jaribio ambalo AI hutoa - swali la kweli ni: je, jaribio hili litakuwa jekundu ikiwa nitavunja kanuni kwa makusudi? Ikiwa haina mzunguko, mtihani huo ni mapambo.
Kanuni ya dhahabu inayojirudia katika sehemu hii yote: jaribu kila jaribio la AI kwa kuvunja msimbo kimakusudi. Ikiwa mtihani bado ni kijani, mtihani huo haufanyi kazi. (Tutaongeza wazo hili kama jaribio la mabadiliko katika kitengo cha 10.)
Nidhamu ya uthibitishaji: hatua tatu
AI inazungumza kwa ujasiri; Hiyo haimaanishi kuwa ni kweli. Tengeneza kielelezo cha hatua tatu cha kutumia kwa kila matokeo:
- Kuifunga kwa mahitaji. Kila kesi ya majaribio na madai ambayo AI inazalisha lazima yazingatie mahitaji halisi au vigezo vya kukubalika (masharti ambayo kazi lazima izingatiwe ili kuzingatiwa kuwa "imefanywa"). "Tukio hili linathibitisha sheria gani?" uliza.
- Angalia nyekundu. Endesha jaribio lililotolewa mara moja, ukivunja msimbo. Ikiwa haina rangi nyekundu, mtihani ni batili. Hii ni hatua isiyoweza kujadiliwa katika majaribio ya AI.
- Ipitishe kupitia kichujio cha muktadha. Matokeo yanalingana na kile unachojua ni tabia ya bidhaa, usanifu, mtiririko halisi wa watumiaji? Maarifa ya kikoa chako ndicho kichujio cha mwisho.
Faragha na usalama wa data: ni nini kinakwenda wapi?
Data unayofanya kazi nayo katika mazingira ya majaribio mara nyingi ni nyeti: rekodi halisi za wateja, nakala za hifadhidata ya uzalishaji, funguo za API, anwani za mfumo wa ndani, vipengele ambavyo bado havijatangazwa. Fanya uainishaji rahisi: Data wazi (iliyohifadhiwa, inapatikana kwa umma) inaweza kuingiza gari lolote. Data ya ndani (vipande vya msimbo wa chanzo, hati za ndani) kwa zana zilizoidhinishwa na wakala pekee. Data ya siri (data halisi ya mteja, taarifa ya utambulisho, maelezo ya uwezekano, funguo) huingia tu kwenye zana za kandarasi za taasisi, ambazo data yake haiendi kwenye mafunzo ya kielelezo, ikiwezekana kufunikwa.
Kuna kikomo cha ziada katika muktadha wa majaribio ya usalama: kila kitu ulichojifunza katika sehemu hii ni kwa madhumuni ya kujihami - kujaribu kwa mamlaka usalama wa bidhaa yako mwenyewe. Kutumia AI kujipenyeza kwenye mfumo wa mtu mwingine bila ruhusa, kuwa na athari za kiuhalisia, au kujaribu mfumo ambao huna mamlaka nao ni kinyume cha maadili na uhalifu. Hakuna majaribio ya kukera yatafanywa bila idhini (upeo na ruhusa).
Kidokezo: Tumia data ya majaribio ya syntetisk (iliyotengenezwa bandia) badala ya data halisi ya mteja. Kuuliza AI "kutoa data ya majaribio ya kweli lakini ya kubuni" yote mawili huhifadhi faragha na kutofautisha matukio makali.
kesi tatu ndogo
Kesi ya 1 - Kiokoa wakati mahali pazuri. Mjaribio wa timu ya Ekomerce alitumia saa 6 mwenyewe kuunda hali ya jaribio kutoka kwa hati ya mahitaji ya kurasa 30 kwa kila toleo. Alitoa hati (sehemu ambayo haikuwa na siri za biashara) kwa YZ na akaomba rasimu ya hali iliyopangwa; Muda ulipunguzwa hadi dakika 90. Alitumia muda uliohifadhiwa kuthibitisha yeye mwenyewe akiongeza kesi za kanuni za biashara ambazo AI ilikosa. AI iliondoa kazi inayojirudia, ikiacha hukumu kwa mwanadamu.
Kesi ya 2 - Njia za uwongo zimenaswa. Msanidi programu alikuwa na AI kuandika vipimo 12 vya kitengo kwa kazi ya kuhesabu; wote walikuwa kijani. Kijaribu kilitekeleza hatua ya "ona nyekundu": kwa kubadilisha kimakusudi ishara ya kuongeza ndani ya chaguo za kukokotoa hadi kuzidisha. Ni vipimo 3 tu kati ya 12 vilivyorejesha nyekundu. Vipimo vingine 9 havikutoa uthibitisho wa kweli; Ilisema tu "haikufanya makosa". Majaribio 9 ya mapambo yalifutwa na majaribio 5 halisi yakaandikwa badala yake.
Kesi ya 3 - Kurudi kutoka kwa uvunjaji wa faragha. Mwanafunzi alibandika logi ya hitilafu iliyo na barua pepe halisi za wateja na tarakimu nne za mwisho za kadi kutoka hifadhidata ya uzalishaji kwenye zana ya umma na kusema "eleza kosa hili." Kiongozi wa QA aliingilia kati: hii ilikuwa data ya kibinafsi nje ya udhibiti na ukiukaji wa KVKK (Sheria ya Ulinzi wa Data ya Kibinafsi). Kazi sawa ilifanyika katika gari iliyoidhinishwa na taasisi, masking maeneo ya kibinafsi na kuacha tu ufuatiliaji wa stack.
Violezo vinne vinavyoweza kunakiliwa
1) Tathmini ya ufaafu wa kazi:
Jukumu lako: kiongozi mkuu wa QA. Nitakuelezea kazi ya majaribio. Niambie (1) ikiwa kazi hii ni ya kuandaa/kuchanganua ambayo inaweza kukabidhiwa kwa AI kwa usalama au uamuzi wa ubora ambao mwanadamu lazima afanye, (2) gharama inayoweza kutokea ya pato lisilo sahihi, (3) uthibitishaji ninaopaswa kufanya kabla ya kukabidhi kazi. Job: [weka kazi hapa]
2) Udhibiti wa kupita kwa uwongo:
Angalia mtihani hapa chini. Niambie:- Je, mtihani huu unathibitisha tabia gani? (sentensi moja)- Ninawezaje kuvunja msimbo chini ya mtihani ili mtihani ugeuke RED?- Je, kuna udhaifu unaoweza kusababisha mtihani huu kupita kila wakati (hakuna madai, uthibitisho wa kibinafsi, ukaguzi mdogo)?Jaribio: [bandika mtihani hapa]
3) Jaribu udhibiti wa ufichaji data:
Logi/data nitakayokupa inaweza kuwa na sehemu za kibinafsi au za siri (barua pepe, jina, kadi, ufunguo, anwani ya ndani). Kwanza, orodhesha mashamba ambayo yanahitaji kufunikwa; Nitaificha na kuituma tena. Usichanganue jinsi ilivyo.
4) Uzalishaji wa data ya jaribio la syntetisk:
Tengeneza safu mlalo 20 za data ya majaribio ya kubuniwa, ya kweli kwa ajili ya [muundo wa uga ufuatao]. Usitumie data halisi ya mtu/shirika. Pia ni pamoja na matukio makali: nafasi tupu, maandishi marefu sana, thamani za kikomo, umbizo batili.
Mwongozo dhaifu / Mwongozo thabiti
Dhaifu: "Andika majaribio kwenye msimbo huu."
Imara: "Kokotoa majaribio ya kitengo hiki cha chaguo za kukokotoa punguzo. Vigezo vya kukubalika kwa chaguo hili la kukokotoa: Punguzo la 10% zaidi ya 1000 TL, punguzo la 20% zaidi ya 5000 TL; kiasi hasi kinapaswa kutupa hitilafu. Bainisha kwa mstari wa maoni ni sheria gani unaithibitisha kwa kila jaribio. Jaribu viwango vya juu (999, 1000, 000, 100, tenganisha) . madai ambayo yatakuwa mekundu nikivunja msimbo tupu au nisiandike madai madogo."
Agizo lenye nguvu; Inatoa vigezo vya kukubalika, viwango vya kikomo, matarajio ya uthibitishaji, na maagizo ya wazi ya kupinga ulaghai. Uharaka dhaifu hualika AI kuandika mtihani wa mapambo.
Makosa ya kawaida
- Kuamini kijani. Kufikiri kwamba kupita mtihani ni ushahidi. Swali la kweli ni: je, inakuwa nyekundu unapovunja kanuni?
- Kuomba mtihani bila kutoa sababu yoyote. AI hutoa vipimo vya kawaida, mara nyingi visivyo na maana bila kujua ni nini kinachohitaji kuthibitishwa.
- Inaruka uthibitishaji. Kusema "AI iliandika, labda ni kweli". Wajibu ni wa mtu anayetumia pato.
- Kubandika data halisi/nyeti kwenye zana. Kufanya kazi na data ya uzalishaji, funguo au data ya kibinafsi.
- Jaribio la usalama lisiloidhinishwa. Kujaribu majaribio ya kukera bila upeo na ruhusa.
- Kutumia AI kukabidhi maamuzi. Kuuliza swali "Je, toleo hili linaweza kutolewa?" kwa AI na kuweka jibu kwenye saini.
Kwa muhtasari
AI ni msaidizi mwenye nguvu katika mchakato wa QA ambao huharakisha kazi ya kurudia na inayozalishwa; Lakini jukumu la uamuzi wa ubora liko kwa mwanadamu. Hatari kuu ya AI katika taaluma hii ni kupitisha uwongo: majaribio ya kijani ambayo yanaonekana safi lakini hayathibitishi chochote. Jaribu kila jaribio la AI kwa kuvunja msimbo kwa makusudi; Ikiwa haina rangi nyekundu, mtihani huo ni mapambo. Kuifunga kwa mahitaji, angalia nyekundu, uipitishe kupitia chujio cha muktadha. Funika data ya siri, fanya majaribio ya usalama kwa madhumuni yaliyoidhinishwa na ya kujihami pekee.
Jukumu la maombi
Fanya majaribio 5 ya kitengo kinachozalishwa na AI (au AI) kutoka kwa mradi wako mwenyewe. Kwa kila moja: (1) andika katika sentensi moja ni tabia gani inathibitisha, (2) vunja na kuendesha msimbo kimakusudi chini ya jaribio na kumbuka ni ngapi zinageuka kuwa nyekundu, (3) weka alama kwenye zile ambazo hazibadiliki kuwa nyekundu kama "majaribio ya mapambo" na uyaandike upya kwa madai halisi. Weka matokeo kwenye jedwali: jina la jaribio / sheria ilithibitishwa / ilivunjwa wakati imevunjwa / kitendo.
orodha ya ukaguzi
- [ ] Kabla ya kukabidhi kazi hiyo, niliuliza swali "nitapoteza nini ikiwa itaenda vibaya?"
- [ ] Nilijaribu kila jaribio la AI kwa kuvunja msimbo; Nilibadilisha ile ambayo haikugeuka kuwa nyekundu na jaribio la kweli.
- [ ] Niliunganisha kesi za majaribio na vigezo halisi vya mahitaji/kukubalika.
- [ ] Nilificha data nyeti/halisi bila kuipa zana; Nilitumia data ya syntetisk ikiwezekana.
- [ ] Nilizingatia upimaji wa usalama ndani ya mamlaka na kwa madhumuni ya kujihami pekee.
- [ ] Niliacha uamuzi wa "ikiwa toleo litatolewa" kwangu, si kwa AI.