Aonad 10 / 11

Riosca Bréagach-Iontaobhais, Cáilíocht Tástála, agus Tástáil Shóchán: Trialacha Tástála

Gnóthachain:

  • Cumas na trí aghaidh a bhaineann le muinín bhréige a aithint (neamhdhearbhaithe, féindhearbhaithe, dearbhú fánach) agus frithnimheanna a chur i bhfeidhm
  • Cumas tástáil sóchán agus scór sóchán a úsáid mar thomhas cáilíochta níos cruinne ná an clúdach faoin gcéad le huirlis nó de láimh
  • Cumas AI a shuíomh mar fhoireann dhearg i gcoinne tástála agus cuardach a dhéanamh ar bhealaí éalaithe a thástáil gan titim isteach sa gaiste molta

Ag croílár an mhodúil seo tá rabhadh athfhillteach: ní fianaise ar cháilíocht é painéal tástála glowing glas. Má thugann do thástálacha muinín duit, ní mór duit fios a bheith agat cé acu an bhfuil an mhuinín sin fíor nó bréagach. In aois na hintleachta saorga (AI), tá an cheist seo níos tábhachtaí ná riamh, toisc go bhfuil AI inniúil ar thástálacha sreabhán, míne ach log a tháirgeadh. Muinín bréagach — creidiúint go bhfuil na bogearraí ceart mar go bhfuil na tástálacha glas, nuair nach bhfíoraíonn na tástálacha rud ar bith—is é an rud is contúirtí a d’fhéadfadh tarlú d’fhoireann QA; mar ní chuireann sé i bhfolach nach bhfuil aon earráidí ann, ach nach féidir leat na hearráidí a fheiceáil. Tugann an t-aonad seo fealsúnacht bailíochtaithe an mhodúil iomláin le chéile in aon disciplín amháin: do thrialacha a thástáil.

An caighdeán óir chun cáilíocht na tástála a thomhas: tástáil sócháin

Is é an bealach is cumhachtaí chun a thuiscint cé acu an gcosnaíonn nó nach gcosnaíonn tástáil i ndáiríre ná tástáil sócháin (tástáil sócháin - teicníocht a tháirgeann saobhadh/sócháin bheaga d'aon ghnó sa chód foinse agus a thomhaiseann cibé an n-aimsíonn na tástálacha na saobhadh seo). Tá an loighic simplí: má bhriseann tú an cód d'aon ghnó (+ a dhéanamh isteach -, a > isteach >=, fíor go bréagach), ba cheart go dtarraingeodh sraith tástála maith an éilliú sin agus go n-iompódh sé dearg. Mura ndéanann sé, is tsóiteáin mhair an cur isteach sin - mar sin níl do thástálacha ag caomhnú an iompair sin i ndáiríre.

Scór sóchán = sóchán maraithe / sóchán iomlán. D’fhéadfadh scór sóchán 40% a bheith ag pacáiste le clúdach líne 90%; Léiríonn sé seo go bhfuil na línte ag obair ach nach bhfuil an iompar a fhíorú. Is tomhas i bhfad níos macánta cáilíochta é scór sóchán ná clúdach céatadáin.

Leid: Tá uirlisí sóchán uathoibríocha (PIT/Pitest do Java, Stryker le haghaidh JavaScript/TypeScript, Stryker.NET le haghaidh .NET, mutmut do Python). Gineann agus tástálann siad seo na céadta sóchán go huathoibríoch. Mura bhfuil uirlis agat, tá fiú an modh láimhe "briseadh an cód tástála" fíor-luachmhar le haghaidh feidhmeanna ríthábhachtacha.

Na trí aghaidh ar mhuinín bréige agus a frithcheann

Foirm pseudo-iontaobhais

symptom

frithcheann

Tástáil gan dearbhú

Oibríonn an cód, ní dhéantar aon rud a bhailíochtú

Dearbhú fíor i ngach tástáil; tástáil le sóchán

tástáil féin-dhearbhaithe

Bhíothas ag súil leis = aschur an chóid

Ríomh an luach ionchais go neamhspleách

Dearbhú fánach

"ní null", "fhill 200"

Bailíochtaigh riail ghnó/toradh iarbhír

Fallacy raon feidhme ard

Línte 90%, cosaint íseal

Féach ar an scór sóchán

Caoinfhulaingt tástála leochaileach

"Fuaite arís, pas"

Bunchúis + tástáil cinntitheach

Úsáid AI mar “fhoireann dhearg”

Is féidir le AI muinín bhréige a ghiniúint agus a bheith ina chomhghuaillí cumhachtach chun é a sheilg. Bain úsáid as AI mar fhoireann dhearg in aghaidh do thástálacha féin: fiafraigh “scríobh cód a éiríonn leis na tástálacha seo ach atá mícheart” nó “tabhair faoi seach a lorgóidh na tástálacha seo.” Má aimsíonn AI bealaí éalaithe i do thástálacha, is rioscaí dáiríre iad na bealaí éalaithe sin.

Rabhadh: Ná cuir ceist ar an AI "An bhfuil mo cháilíocht tástála go maith?" agus an freagra "tá, go hiontach" a ghlacadh mar dhearbhú. Is gnách go mbíonn AI cineálta. Ina áit sin, tabhair dúshlán don AI le tasc nithiúil: “fabht a tháirgeadh a shásóidh na tástálacha seo.” Más féidir é a tháirgeadh, tá do thástálacha dall ar an earráid sin.

Sócháin coibhéiseacha agus teorainneacha an scór

Tá tástáil sócháin cumhachtach, ach tá gabháil leis: ní athraíonn roinnt sócháin iompar an chóid ar chor ar bith. Tugtar sócháin choibhéiseacha orthu seo (sóiteáin coibhéiseach - cód truaillithe, sóchán a tháirgeann an toradh díreach céanna leis an mbunleagan). Mar shampla, ní chuireann athrú ar luach tosaigh athróige nach n-úsáidtear riamh isteach ar an aschur; Ní féidir agus níor cheart go bhfaigheadh ​​aon tástáil é seo. Mar sin, is minic nach féidir scór sóchán 100% a bhaint amach go praiticiúil agus ní hé an sprioc é. Tá sé dian ar shaothar chun sócháin choibhéiseacha a bhaint de láimh; Mar sin, ná léigh an scór sóchán mar scór scrúdaithe absalóideach, ach mar tháscaire macánta ar "an gcosnaíonn mo chuid tástálacha i ndáiríre?"

Is é seo an cur chuige praiticiúil: in ionad tástáil sócháin a bheith ar siúl i gcónaí ar fud an bhoinn chóid iomláin, é a reáchtáil ar na modúil ina bhfuil na rialacha gnó is airde riosca agus is casta. Scrúdaigh na sócháin a mhaireann sna modúil seo ceann ar cheann; Más bearna fíor é, cuir tástáil leis; más sóchán coibhéiseach é, marcáil le bonn cirt é agus pas a fháil. Is féidir le AI scagadh tosaigh a dhéanamh chun measúnú a dhéanamh an bhfuil sóchán marthanach comhionann; ach is tusa a bhfuil a fhios agat cad a dhéanann an cód a dhéanann an cinneadh deiridh.

Aire: Tá tástáil sóchán costasach ó thaobh ríomha (déantar na tástálacha ábhartha go léir a athreáchtáil do gach sóchán). Mar sin is straitéis choiteann agus réasúnta é a sceidealú mar sheic dhomhain sheachtainiúil nó réamh-eisithe do mhodúil ríthábhachtacha, seachas gach cumasc.

Leid lag / Pras láidir

Lag: "An leor mo thástálacha?"
Láidir: "Gníomh mar fhoireann dhearg don fheidhm seo agus sraith tástála. (1) Gin 8 sóchán sa chód is féidir a maraíodh (ionadaí oibreora, aistriú teorann, inbhéartú riocht, ionadú luach tuairisceáin). (2) I gcás gach sóchán, sonraigh cé acu de na tástálacha atá ann cheana féin a ghabháil air agus NACH mbeidh. sháraíonn sé an riail ghnó.

Pras cumhachtach; Seasann sé AI mar scrúdaitheoir tástála-bhriseadh, ní mar mheaisín molta.

Ceithre theimpléad inchóipeála

1) Rialú sóchán láimhe:

Gin 8 sóchán suntasach (mionchur isteach d’aon ghnó) don chód seo: ionadú oibreora uimhríochtúil, teorainn chomparáide (> vs >=), inbhéartú loighciúil, filleadh/ionadú leanúnach, gan bacadh le riocht. Maidir le gach sóchán, déan tuar cé acu de na tástálacha atá ar fáil a ghabhfaidh nó nach bhfaighidh. Cód+tástálacha: [greamaigh]

2) An sóchán a mhaireann a mharú:

Tá sócháin marthanacha (neamhghafa) sa tuarascáil tástála sóchán seo a leanas: [liosta/tuarascáil]. I gcás gach ceann díobh, scríobh triail íosta a mharóidh an sóchán sin (beidh an cód dearg nuair a bhrisfear é ar an mbealach sin). Déan trácht ar an iompar a dhearbhaíonn an tástáil.

3) Foireann dhearg - fuil an tástáil:

An féidir leat cód a scríobh a iompaíonn GACH ceann de na tástálacha seo a leanas, ach a sháraíonn an riail ghnó seo a leanas: [riail ghnó]. Más ea, cén bealach éalaithe sna tástálacha seo a cheadaíonn é seo? Cuir leis an tástáil a dhúnfaidh an bealach éalaithe sin. Tástálacha: [greamaigh]

4) Cigireacht cáilíochta tástála:

Seiceáil an tsraith tástála seo le haghaidh cáilíochta. Cuir tic le haghaidh gach tástála:- An bhfuil dearbhú fíor ann nó an bhfuil frapaí ann?- An bhfuil an luach ionchais neamhspleách, díorthaithe ón gcód?- An fíoraíonn sé riail an ghnó nó rud éigin fánach? Ar deireadh tabhair “fíorscór dearbhaithe” measta agus na 3 thástáil is laige. Tástálacha: [greamaigh]

trí chás mion

Cás 1 — Clúdach 92%, scór sóchán 38%. Bhí foireann amháin ag brath ar chlúdach ard. Nuair a reáchtáladh tástáil sóchán le Stryker, ba é 38% an scór: tháinig an chuid is mó de na sócháin a táirgeadh slán. Ba chruthúnas é seo nach raibh na tástálacha ag rith na línte agus ag fíorú an iompair. D'infheistigh an fhoireann trí seachtaine i dtástáil cáilíochta; Mhéadaigh an scór sóchán go 81%, agus thángthas ar dhá fhíorearráid ríomha sna trialacha cothaithe mairteola seo sa chéad eisiúint eile.

Cás 2 - bhain AI an triail as. Le teimpléad “foireann dhearg”, d’iarr saineolaí ar an AI cód a sháraigh tástálacha reatha ach a sháraigh riail na lascaine. Scríobh an AI cód a thug lascaine nialasach ar ais i gcónaí - agus d'fhan na tástálacha go léir glas toisc nach raibh aon tástálacha ag fíorú an luach lascaine iarbhír. Feictear bearna, dearbhuithe fíor curtha leis.

Cás 3 - An gaiste moladh. D'fhiafraigh tástálaí sóisearach den AI, "An bhfuil mo chuid tástálacha go maith?" agus bhí faoiseamh air an freagra a chloisteáil, "An-chuimsitheach." Rinne a chomhghleacaí sinsearach iniúchadh ar na tástálacha céanna ag baint úsáide as an teimpléad "iniúchadh cáilíochta tástála"; Iompaigh sé amach go raibh 12 as 20 tástálacha maisiúchán (gan dearbhú nó junk). Thug an cheist cheart an freagra ceart.

Botúin choitianta

  • Scóip earráideach maidir le cáilíocht. Ag brath ar chlúdach ró-ard agus gan breathnú ar an scór sóchán ar chor ar bith.
  • Ag muinín moladh an AI. Ag fiafraí de "An bhfuil do thástálacha go maith?" agus an freagra dearfach a bhreithniú mar dhearbhú.
  • Ag díorthú an luach ionchais ón gcód. Tástálacha féinfhíoraithe a dhearbhaíonn cód lochtach.
  • Bí sásta le dearbhuithe fánach. Seiceálacha nach ndéanann bailíochtú ar an riail iarbhír, mar shampla "ní null", "ar ais 200".
  • Neamhaird a thabhairt ar shócháin a mhaireann. Ag déanamh neamhairde de na rudaí nach raibh gafa sa tuairisc ar shóchán.
  • Gan fiú ag iarraidh cód criticiúil a mutate de láimh. Gan bacadh leis an gcéim "briseadh an cód agus tástáil" mura bhfuil an uirlis ar fáil.

Go hachomair

Creideann pseudo-trust go bhfuil bogearraí ceart toisc go bhfuil na tástálacha glas; ach ní fhéadfaidh na tástálacha rud ar bith a dhearbhú. Is é an caighdeán óir chun é seo a thomhas ná tástáil sócháin: an cód a bhriseadh d'aon ghnó agus a thomhas cibé an nglacann na tástálacha leis. Is tomhas i bhfad níos macánta cáilíochta é scór sóchán ná clúdach céatadáin. Táirgeann AI bréige muinín agus bíonn sé ina fhoireann chumhachtach dhearg chun é a sheilg – fiafraigh “fabht a tháirgeadh a shásóidh na tástálacha seo.” Déan do thástálacha a thástáil: dearbhú fíor, luach ionchais neamhspleách, bailíochtú rialacha gnó, agus sócháin maraithe.

Tasc feidhmchláir

Iompórtáil feidhm ina bhfuil riail ghnó agus a tástálacha ó do thionscadal féin. Más féidir, rith uirlis sóchán (Stryker/Pitest/mutmut) agus tomhais an scór sóchán; Mura bhfuil aon uirlis ann, gin ar a laghad 8 sóchán leis an teimpléad "rialú sócháin láimhe" agus bain triail as de láimh iad. Maidir le gach sóchán marthanach, scríobh triail nua leis an teimpléad "maraigh sóchán marthanach". Ar deireadh, leis an bpatrún “foireann dhearg”, féach an féidir leis an AI cód a tháirgeadh a mheallann do thástálacha. Tuairiscigh do scór sóchán tosaigh agus dar críoch (nó ráta sócháin iomlán/gafa).

seicliosta

  • [ ] Rinne mé measúnú ar cháilíocht na tástála de réir scór sóchán, ní clúdach.
  • [ ] Rith mé tástáil sóchán (trí uirlis nó de láimh) le haghaidh cód criticiúil.
  • [ ] Scríobh mé trialacha nua do gach sóchán a tháinig slán.
  • [ ] Bhain mé úsáid as AI mar an fhoireann dhearg agus chuardaigh mé bealaí éalaithe i mo thástálacha.
  • [ ] Níor ghlac mé moladh an AI "tá do thástálacha go maith" mar athdhearbhú.
  • [ ] Sheiceáil mé go bhfíoraíonn gach tástáil an dearbhú iarbhír, an luach ionchasach neamhspleách, agus an riail ghnó.