Qligħ:
- Li tkun kapaċi tiddistingwi fejn l-intelliġenza artifiċjali tiffranka l-ħin reali fil-proċess tal-QA u fejn deċiżjonijiet ta’ kwalità bħal ‘lest għall-pubblikazzjoni’ jitħallew f’idejn il-bnedmin, skont il-livell tar-riskju tal-kompitu
- Kapaċità li tirrikonoxxi r-riskju ta 'passes foloz u timplimenta dixxiplina ta' verifika li tittestja kull test AI billi tikser il-kodiċi deliberatament
- Kapaċità li tipproteġi d-dejta tat-test, id-dejta personali u ċ-ċwievet, u takkwista l-vizzju li twettaq testijiet tas-sigurtà biss f'awtorizzazzjoni u għal skopijiet difensivi.
Ikkunsidra lejl ta 'rilaxx. Twettqu mijiet ta’ testijiet, kollha ħadu d-dawl aħdar, it-tim ġie meħlus u s-software beda jaħdem. L-għada filgħodu, il-klijent irrapporta li l-iskrin tal-ħlas kien iġġarraf. It-testijiet kienu ħodor iżda ma rax l-iżball. Dan huwa l-aktar ħmar il-lejl insidjuż tal-professjoni tal-assigurazzjoni tal-kwalità (QA), jiġifieri, id-dixxiplina li tiżgura b'mod sistematiku li s-softwer huwa tal-kwalità mixtieqa: it-test li jixgħel aħdar iżda fil-fatt ma jikkonferma xejn. Meta l-intelliġenza artifiċjali (AI — softwer li jiġbed mudelli minn data storika u jiġġenera test u kodiċi) tidħol f'din il-professjoni, hemm kemm aċċelerazzjoni enormi kif ukoll ingrandiment ta 'eżatt dan il-ħmar il-lejl. Il-wegħda inizjali ta 'dan il-modulu hija ċara: AI hija assistent tal-ittestjar, ġeneratur tal-blueprint u multiplikatur tal-idea; Int it-tester li jiffirma d-deċiżjoni "dan is-software huwa lest għar-rilaxx".
F'din l-ewwel unità se niffukaw fuq id-dixxiplina, mhux l-għodda. Int ser titgħallem fejn l-AI jiffranka l-ħin reali fil-proċess tal-QA, fejn huwa perikoluż, għaliex l-aħdar qarrieqi hekk imsejjaħ "false-pass" huwa l-akbar riskju, kif tivverifika kull output, u liema data tista 'tagħti lil liema għodda. Mingħajr ma jitqiegħed din il-pedament, unitajiet sussegwenti se jibqgħu fl-arja.
Fejn l-AI tiġi utli fil-proċess tal-ittestjar?
Ejja naqsmu l-impjiegi tal-ittestjar f'żewġ gruppi kbar. L-ewwel raggruppament: impjiegi ripetittivi, produttivi, abbozzati. Abbozzar ta 'każ ta' test minn rekwiżit, jelenka ta 'punti ta' waqfien, kitba ta 'skeletru ta' kodiċi ta 'awtomazzjoni għal skrin, tittraduċi każ ta' żball kumpless f'rapport ta 'żball pulit, tiġbor fil-qosor mijiet ta' linji ta 'fajls log, estrazzjoni ta' skema minn rispons API. F'dawn il-kompiti, l-AI tnaqqas il-minuti għal sekondi u ma tgħejjax.
It-tieni raggruppament: deċiżjonijiet li r-riżultat tagħhom huwa kwalità, fiduċja u responsabbiltà. Deċiżjonijiet bħal "din il-verżjoni tista 'tgħix", "dan il-bug huwa kritiku jew jista' jiġi pospost", "din il-kopertura tat-test hija biżżejjed", "dan ix-xenarju jaqbad ir-riskju reali tal-utent" eċċ jeħtieġu kuntest, għarfien tal-prodott u responsabbiltà. Hawnhekk l-AI tiġġenera għażliet, abbozzi - imma int tiddeċiedi "tgħaddi/falla" u "mmur/ma tmurx."
Ejja niċċaraw id-distinzjoni f'sentenza waħda: AI hija b'saħħitha f'"liema sitwazzjonijiet jistgħu jiġu ttestjati u kif tikteb kodiċi li tittestjah"; Id-deċiżjoni hija tiegħek meta niġu għall-mistoqsija "Dan is-software verament jaħdem u min jagħti garanzija għalih?"
Tip: Qabel ma tagħti xogħol lill-AI, staqsi: "X'jiġri jekk dan l-output huwa ħażin u ma nindunax?" Jekk it-tweġiba hija "Jien nitlef ftit minuti", iddelega faċilment. Jekk it-tweġiba hija "softwer difettuż jibda jaħdem", ħalli l-AI tipproduċi l-abbozz u int tieħu d-deċiżjoni u l-verifika.
Pass falz: ir-riskju numru wieħed ta 'AI fil-QA
Meta test jixgħel aħdar, jista 'jfisser żewġ affarijiet: jew is-softwer fil-fatt qed jaħdem b'mod korrett, jew mhux qed jara l-bug minħabba li t-test inkiteb ħażin. It-tieni jissejjaħ pass falz — it-test jgħid "pass" iżda fil-fatt ma jikkonferma xejn. Dan ir-riskju jiżdied b'mod sinifikanti fit-testijiet prodotti bl-AI, minħabba li l-AI tirnexxi ħafna biex tikteb testijiet fluwenti, li jidhru bla xkiel iżda vojta.
It-tliet forom l-aktar komuni ta 'psewdo-pass huma: (1) Ittestjar mingħajr asserzjoni - il-kodiċi jaħdem, ma fihx asserzjonijiet, dejjem jgħaddi. (2) Test li jivverifika lilu nnifsu — il-valur mistenni tat-test huwa kkalkulat mill-output tal-kodiċi taħt test; Jiġifieri, ikun xi jkun il-kodiċi jipproduċi, it-test jaċċetta bħala "korrett". (3) Test li jivverifika l-ħaġa ħażina — assert teżisti, iżda jiċċekkja xi ħaġa trivjali (eż. "rispons mhuwiex null"), mhux ir-regola tan-negozju attwali.
Attenzjoni: Panel tat-test aħdar mhuwiex prova ta 'kwalità; Fl-aħjar jgħid "il-kontrolli li ktibna mhumiex miksura bħalissa". Tkunx ikkonfortata billi tara "jgħaddi" mit-test li tipproduċi l-AI - il-mistoqsija reali hija: dan it-test se jsir aħmar jekk niksir il-kodiċi deliberatament? Jekk ma jdurx, dak it-test huwa dekorazzjoni.
Ir-regola tad-deheb li tirrepeti tul dan il-modulu: ittestja kull test tal-AI billi tikser il-kodiċi deliberatament. Jekk it-test għadu aħdar, dak it-test mhux qed jaħdem. (Se napprofondixxu din l-idea bħala ttestjar tal-mutazzjoni fl-unità 10.)
Id-dixxiplina tal-verifika: tliet passi
AI titkellem b'kunfidenza; Dan ma jfissirx li huwa veru. Żviluppa rifless fi tliet passi biex tapplika għal kull riżultat:
- Orbot mar-rekwiżit. Kull każ tat-test u jasserixxi li l-AI tipproduċi għandha tkun ibbażata fuq rekwiżit reali jew kriterji ta’ aċċettazzjoni (kundizzjonijiet li xogħol irid jissodisfa sabiex jitqies bħala "lest"). "Dan ix-xenarju liema regola jikkonferma?" staqsi.
- Ara aħmar. Mexxi t-test iġġenerat darba, billi tikser il-kodiċi. Jekk ma jsirx aħmar, it-test huwa invalidu. Dan huwa l-pass mhux negozjabbli fl-ittestjar tal-AI.
- Għaddiha mill-filtru tal-kuntest. L-output jaqbel ma' dak li taf hija l-imġieba tal-prodott, l-arkitettura, il-fluss attwali tal-utent? L-għarfien tad-dominju tiegħek huwa l-filtru finali.
Privatezza u sigurtà tad-dejta: x'jmur fejn?
Id-dejta li taħdem magħha fl-ambjent tat-test hija ħafna drabi sensittiva: rekords reali tal-klijenti, kopji tad-database tal-produzzjoni, ċwievet API, indirizzi tas-sistema interna, karatteristiċi li għad iridu jiġu mħabbra. Agħmel klassifikazzjoni sempliċi: Id-dejta miftuħa (dokumentata, disponibbli għall-pubbliku) tista' tidħol f'kull vettura. Data interna (frammenti tal-kodiċi tas-sors, dokumentazzjoni interna) biss għal għodod approvati mill-aġenzija. Id-dejta kunfidenzjali (dejta tal-klijenti reali, informazzjoni dwar l-identità, dettalji tal-vulnerabbiltà, ċwievet) tidħol biss fl-għodod kuntrattati tal-istituzzjoni, li d-dejta tagħha ma tmurx għat-taħriġ tal-mudelli, preferibbilment mgħottija.
Hemm limitu addizzjonali fil-kuntest tal-ittestjar tas-sigurtà: dak kollu li tgħallem f'dan il-modulu huwa għal skopijiet difensivi — biex tittestja b'mod awtorevoli s-sigurtà tal-prodott tiegħek stess. L-użu tal-AI biex jinfiltra s-sistema ta' xi ħadd ieħor mingħajr permess, jiġi armat vulnerabbiltajiet reali, jew tittestja sistema li għaliha m'għandek l-ebda awtorità m'huwiex kemm etiku kif ukoll kriminali. L-ebda ttestjar offensiv mhu se jsir mingħajr awtorizzazzjoni (ambitu u permess).
Tip: Uża data tat-test sintetika (prodotta artifiċjalment) minflok data reali tal-klijent. It-talba lill-AI biex "jiġġenera data tat-test realistika iżda kompletament fittizju" kemm tippreserva l-privatezza kif ukoll tiddiversifika l-każijiet tat-tarf.
tliet każijiet żgħar
Każ 1 — Iffrankar tal-ħin fil-post it-tajjeb. It-tester ta 'tim Ekomerce qatta' 6 sigħat manwalment joħloq xenarju tat-test mid-dokument tar-rekwiżiti ta' 30 paġna għal kull rilaxx. Huwa ta d-dokument (il-parti li ma kienx fiha sigrieti kummerċjali) lil YZ u talab għal abbozz ta’ xenarju strutturat; Il-ħin tnaqqas għal 90 minuta. Huwa ddedika l-ħin iffrankat biex jivverifika minnu nnifsu jżid każijiet ta’ tarf tar-regoli tan-negozju li l-AI kienet tilfet. L-AI neħħiet ix-xogħol ripetittiv, u ħalliet il-ġudizzju f'idejn il-bniedem.
Każ 2 — Mogħdija falza maqbuda. Żviluppatur kellu l-AI jikteb 12-il test ta 'unità għal funzjoni ta' komputazzjoni; kienu kollha ħodor. It-tester implimenta l-pass "ara aħmar": deliberatament ibiddel is-sinjal taż-żieda ġewwa l-funzjoni għall-multiplikazzjoni. 3 biss minn 12-il test irritornaw aħmar. Id-9 testijiet l-oħra ma pprovdew l-ebda konferma reali; Huwa qal biss "ma tarmi żball". Tħassru 9 testijiet dekorattivi u minflok inkitbu 5 testijiet reali.
Każ 3 — Ritorn minn ksur tal-privatezza. Intern waħħal log ta 'żbalji li fih emails reali tal-klijenti u l-aħħar erba' ċifri tal-karta mid-database tal-produzzjoni f'għodda pubblika u qal "spjega dan l-iżball." Il-mexxej tal-QA intervjena: din kienet data personali barra mill-kontroll u ksur tal-KVKK (Liġi dwar il-Protezzjoni tad-Data Personali). L-istess xogħol sar f’vettura approvata mill-istituzzjoni, li ħabat iż-żoni personali u ħalliet biss traċċa ta’ munzell.
Erba' mudelli li jistgħu jiġu kkupjati
1) Valutazzjoni tal-adegwatezza tal-impjieg:
Ir-rwol tiegħek: mexxej anzjan tal-QA. Jien ser niddeskrivilek xogħol ta' ttestjar. Għidli (1) jekk dan ix-xogħol hux xogħol ta' abbozzar/analiżi li jista' jiġi delegat b'mod sikur lill-AI jew deċiżjoni ta' kwalità li l-bniedem irid jieħu, (2) l-ispiża potenzjali ta' output mhux korrett, (3) il-verifika li għandi nagħmel qabel ma niddelega. Xogħol: [daħħal ix-xogħol hawn]
2) Kontroll psewdo-pass:
Iċċekkja t-test hawn taħt. Għidli:- X'imġieba tikkonferma dan it-test? (sentenza waħda)- Kif nista' nkisser il-kodiċi taħt test sabiex it-test isir AĦMAR?- Hemm xi dgħjufija li tista' tikkawża li dan it-test jgħaddi dejjem (assert nieqes, awtovalidazzjoni, kontroll trivjali)?Test: [it-test tal-pejst hawn]
3) Kontroll tal-maskra tad-dejta tat-test:
Ir-reġistru/data li se nagħtikom jista’ jkun fiha oqsma personali jew kunfidenzjali (e-mail, isem, karta, ċavetta, indirizz intern). L-ewwel, elenka l-oqsma li jeħtieġ li jiġu mgħottija; Se naħbiha u nerġa’ nibgħatha. M'għandekx tanalizza kif inhu.
4) Ġenerazzjoni ta' data tat-test sintetiku:
Iġġenera 20 ringiela ta' dejta tat-test kompletament fittizja u realistika għal [l-istruttura tal-qasam li ġejja]. Tużax data reali ta' persuna/organizzazzjoni. Inkludi wkoll każijiet tat-tarf: spazju vojt, test twil wisq, valuri ta' limitu, format invalidu.
Pront dgħajjef / Pront qawwi
Dgħajjef: "Ikteb testijiet fuq dan il-kodiċi."
Qawwija: "Ikkalkula dan Ikteb it-testijiet tal-unità għall-funzjoni ta' skont. Kriterji ta' aċċettazzjoni għall-funzjoni: skont ta' 10% fuq 1000 TL, skont ta' 20% fuq 5000 TL; ammont negattiv għandu jitfa' żball. Speċifika b'linja ta' kumment liema regola qed tivvalida għal kull test. Ittestja l-valuri tal-limitu (999, 100, 100, 100, 100, 100, 100, 100, 100, 100, 99 separatament. Uża asserzjonijiet reali li jsiru ħomor jekk niksir il-kodiċi jew ma niktebx assert trivjali.
Pront qawwija; Jipprovdi kriterji ta' aċċettazzjoni, valuri ta' limitu, aspettattivi ta' validazzjoni, u struzzjonijiet espliċiti kontra l-ispoofing. Il-pront dgħajjef jistieden lill-AI biex tikteb test dekorattiv.
Żbalji komuni
- Fidu aħdar. Taħseb li tgħaddi mit-test hija prova. Il-mistoqsija reali hija: tiddawwar aħmar meta tikser il-kodiċi?
- Li titlob test mingħajr ma tagħti ebda raġuni. L-AI tipproduċi testijiet ġeneriċi, ħafna drabi inutli mingħajr ma tkun taf x'għandu jiġi vverifikat.
- Taqbeż il-verifika. Tgħid "AI kitebha, huwa probabbilment veru". Ir-responsabbiltà hija tal-persuna li tuża l-output.
- Twaħħal data reali/sensittiva fl-għodda. Ħidma b'dejta tal-produzzjoni, ċwievet jew dejta personali.
- Ittestjar tas-sigurtà mhux awtorizzat. Jippruvaw testijiet offensivi mingħajr skop u permess.
- L-użu tal-AI biex tiddelega t-teħid tad-deċiżjonijiet. Tistaqsi l-mistoqsija "Tista 'tiġi rilaxxata din il-verżjoni?" lill-AI u tpoġġi t-tweġiba fil-firma.
Fil-qosor
AI hija assistent b'saħħtu fil-proċess tal-QA li tħaffef ix-xogħol ripetittiv u produttiv; Iżda r-responsabbiltà għad-deċiżjoni tal-kwalità hija tal-bniedem. Ir-riskju numru wieħed tal-AI f'din il-professjoni huwa psewdo-pass: testijiet ħodor li jidhru puliti iżda ma jikkonfermaw xejn. Ittestja kull test AI billi tikser il-kodiċi deliberatament; Jekk ma jsirx aħmar, dak it-test huwa dekorazzjoni. Orbotha mar-rekwiżit, ara l-aħmar, għaddih mill-filtru tal-kuntest. Maskra data kunfidenzjali, wettaq ittestjar tas-sigurtà biss għal skopijiet awtorizzati u difensivi.
Kompitu ta' applikazzjoni
Ħu 5 testijiet unitarji iġġenerati mill-AI (jew iġġenerati mill-AI) mill-proġett tiegħek stess. Għal kull wieħed: (1) ikteb f'sentenza waħda liema imġieba tivverifika, (2) deliberatament tikser u mexxi l-kodiċi taħt test u nnota kemm isiru ħomor, (3) immarka dawk li ma jsirux ħomor bħala "testijiet tad-dekorazzjoni" u erġgħu iktebhom bl-asserzjoni reali. Poġġi r-riżultat f'tabella: isem tat-test / regola li vverifikat / kien miksur meta miksur / azzjoni.
lista ta' kontroll
- [ ] Qabel ma ngħaddi x-xogħol, staqsejt il-mistoqsija "x'se nitlef jekk tmur ħażin?"
- [ ] Ittestjajt kull test tal-AI billi kisser il-kodiċi; Bdejt dik li ma daritx aħmar bit-test reali.
- [ ] Irrabt il-każijiet tat-test mal-kriterji ta' rekwiżit/aċċettazzjoni attwali.
- [ ] I maskra data sensittiva/reali mingħajr ma tajtha lill-għodda; Jien użajt data sintetika jekk possibbli.
- [ ] Jien ikkunsidrajt l-ittestjar tas-sigurtà biss fi ħdan l-awtorità u għal skopijiet difensivi.
- [ ] Ħallejt id-deċiżjoni ta '"jekk il-verżjoni se tiġi rilaxxata" għalija nnifsi, mhux għall-AI.