Awọn anfani:
- Ni anfani lati ṣe iyatọ nibiti itetisi atọwọda ti fipamọ akoko gidi ni ilana QA ati nibiti awọn ipinnu didara bii 'ṣetan fun atẹjade' ti fi silẹ fun eniyan, da lori ipele eewu iṣẹ-ṣiṣe
- Agbara lati ṣe idanimọ eewu ti awọn kọja eke ati imuse ibawi ijẹrisi ti o ṣe idanwo gbogbo idanwo AI nipa fifọ koodu naa mọọmọ
- Agbara lati daabobo data idanwo, data ti ara ẹni ati awọn bọtini, ati gba ihuwasi ti ṣiṣe idanwo aabo nikan laarin aṣẹ ati fun awọn idi igbeja.
Ro kan Tu night. Awọn ọgọọgọrun awọn idanwo ni a ṣiṣẹ, gbogbo wọn ni ina alawọ ewe, ẹgbẹ naa ni itunu ati sọfitiwia naa lọ laaye. Ni owurọ ọjọ keji, alabara royin pe iboju isanwo ti kọlu. Awọn idanwo jẹ alawọ ewe ṣugbọn ko rii aṣiṣe naa. Eyi jẹ alaburuku ti o buruju julọ ti iṣẹ idaniloju didara (QA), iyẹn ni, ibawi ti o ni idaniloju ni ọna ṣiṣe pe sọfitiwia jẹ didara ti o fẹ: idanwo ti o tan alawọ ewe ṣugbọn ko jẹrisi ohunkohun. Nigbati itetisi atọwọda (AI — sọfitiwia ti o yọ awọn ilana jade lati data itan ati ipilẹṣẹ ọrọ ati koodu) wọ inu iṣẹ yii, isare nla mejeeji wa ati imudara ti alaburuku gangan. Ileri akọkọ ti module yii jẹ kedere: AI jẹ oluranlọwọ idanwo, olupilẹṣẹ alaworan ati isodipupo ero; Iwọ ni idanwo ti o forukọsilẹ lori “sọfitiwia yii ti ṣetan fun itusilẹ” ipinnu.
Ninu ẹyọ akọkọ yii a yoo dojukọ si ibawi, kii ṣe ohun elo. Iwọ yoo kọ ẹkọ nibiti AI ṣe fipamọ akoko gidi ni ilana QA, nibiti o ti lewu, idi ti alawọ ewe ẹtan ti a pe ni “eke-pass” jẹ ewu ti o tobi julọ, bii o ṣe le rii daju abajade kọọkan, ati iru data ti o le fun iru ọpa. Laisi fifi ipilẹ yii silẹ, awọn ẹya ti o tẹle yoo wa ninu afẹfẹ.
Nibo ni AI wa ni ọwọ ninu ilana idanwo naa?
Jẹ ki a pin awọn iṣẹ idanwo si awọn iṣupọ nla meji. Iṣupọ akọkọ: atunwi, iṣelọpọ, awọn iṣẹ iyasilẹ. Yilọ ọran idanwo kan lati ibeere kan, kikojọ awọn aaye fifọ, kikọ koodu adaṣe adaṣe fun iboju kan, titumọ ọran aṣiṣe eka kan sinu ijabọ aṣiṣe afinju, akopọ awọn ọgọọgọrun awọn laini ti awọn faili log, yiyo ero kan lati idahun API kan. Ninu awọn iṣẹ ṣiṣe wọnyi, AI dinku iṣẹju si iṣẹju-aaya ati pe ko rẹwẹsi.
Iṣupọ keji: awọn ipinnu ti abajade jẹ didara, igbẹkẹle ati ojuse. Awọn ipinnu bii “ṣe ikede yii le gbe laaye”, “jẹ kokoro yii ṣe pataki tabi o le sun siwaju”, “Ṣe agbegbe idanwo yii ti to”, “ṣe oju iṣẹlẹ yii gba eewu olumulo gidi” ati bẹbẹ lọ nilo ipo, imọ ọja ati ojuse. Nibi AI ṣe ipilẹṣẹ awọn aṣayan, awọn iyaworan - ṣugbọn o pinnu “kọja / kuna” ati “lọ / ko lọ.”
Jẹ ki a ṣe alaye iyatọ ninu gbolohun kan: AI lagbara ni "awọn ipo wo ni a le ṣe idanwo ati bi a ṣe le kọ koodu ti o ṣe idanwo"; Ipinnu naa jẹ tirẹ nigbati o ba de ibeere naa "Ṣe sọfitiwia yii ṣiṣẹ gaan ati tani o jẹri rẹ?”
Imọran: Ṣaaju ki o to fi iṣẹ kan fun AI, beere: “Kini yoo ṣẹlẹ ti iṣelọpọ yii ko tọ ati pe Emi ko ṣe akiyesi?” Ti idahun ba jẹ "Emi yoo padanu iṣẹju diẹ", ṣe aṣoju ni rọọrun. Ti idahun ba jẹ “sọfitiwia aṣiṣe n gbe laaye”, jẹ ki AI ṣe agbejade apẹrẹ naa ati pe o ṣe ipinnu ati ijẹrisi.
Pass eke: ewu nọmba kan ti AI ni QA
Nigbati idanwo kan ba tan alawọ ewe, o le tumọ si ohun meji: boya sọfitiwia naa n ṣiṣẹ ni deede, tabi ko rii kokoro nitori pe idanwo naa ti kọ ni aṣiṣe. Awọn keji ni a npe ni a eke kọja - igbeyewo wí pé "kọja" sugbon ko ni kosi jẹrisi ohunkohun. Ewu yii pọ si ni pataki ninu awọn idanwo ti a ṣe pẹlu AI, nitori AI ṣaṣeyọri pupọ ni kikọ didan, didan ṣugbọn awọn idanwo ofo.
Awọn ọna mẹta ti o wọpọ julọ ti pseudo-pass ni: (1) Idanwo laisi idaniloju — koodu naa nṣiṣẹ, ko ni awọn ifisilẹ, nigbagbogbo kọja. (2) Idanwo ti ara ẹni - iye ti a nireti ti idanwo naa jẹ iṣiro lati inu abajade ti koodu labẹ idanwo; Iyẹn ni, ohunkohun ti koodu ba gbejade, idanwo naa gba bi “ti o tọ”. (3) Idanwo ti o jẹri ohun ti ko tọ — sọ pe o wa, ṣugbọn o ṣayẹwo nkan ti ko ṣe pataki (fun apẹẹrẹ “idahun kii ṣe asan”), kii ṣe ofin iṣowo gangan.
Išọra: Ayẹwo idanwo alawọ ewe kii ṣe ẹri didara; Ni o dara julọ o sọ pe “awọn iṣakoso ti a kowe ko baje ni bayi”. Maṣe ni itunu nipa wiwo “kọja” lori idanwo ti AI ṣe - ibeere gidi ni: Njẹ idanwo yii yoo di pupa ti MO ba mọọmọ fọ koodu naa? Ti ko ba yi pada, idanwo naa jẹ ohun ọṣọ.
Ofin goolu ti o tun ṣe jakejado module yii: ṣe idanwo gbogbo idanwo AI nipa fifọ koodu naa mọọmọ. Ti idanwo naa ba tun jẹ alawọ ewe, idanwo yẹn ko ṣiṣẹ. (A yoo jinlẹ si imọran yii bi idanwo iyipada ni ẹyọ 10.)
Ijẹrisi ibawi: awọn igbesẹ mẹta
AI sọrọ pẹlu igboiya; Iyẹn ko tumọ si otitọ. Ṣe agbekalẹ isọdọtun-igbesẹ mẹta lati kan si gbogbo abajade:
- Di o si ibeere naa. Gbogbo ọran idanwo ati sọ pe awọn iṣelọpọ AI gbọdọ da lori ibeere gidi tabi awọn ibeere gbigba (awọn ipo ti iṣẹ kan gbọdọ pade lati le gba “ṣe”). "Ofin wo ni oju iṣẹlẹ yii jẹrisi?" beere.
- Wo pupa. Ṣiṣe idanwo ti ipilẹṣẹ ni ẹẹkan, fifọ koodu naa. Ti ko ba tan pupa, idanwo naa ko wulo. Eyi jẹ igbesẹ ti kii ṣe idunadura ni idanwo AI.
- Ṣe o nipasẹ awọn ti o tọ àlẹmọ. Ṣe iṣẹjade ṣe ibaamu ohun ti o mọ pe ihuwasi ọja, faaji, ṣiṣan olumulo gangan bi? Imọ agbegbe rẹ jẹ àlẹmọ ikẹhin.
Aṣiri data ati aabo: kini o nlo nibo?
Awọn data ti o ṣiṣẹ pẹlu ni agbegbe idanwo jẹ ifarabalẹ nigbagbogbo: awọn igbasilẹ alabara gidi, awọn ẹda data iṣelọpọ, awọn bọtini API, awọn adirẹsi eto inu, awọn ẹya ti a kede sibẹsibẹ. Ṣe isọdi ti o rọrun: Ṣii data (ti o ni iwe aṣẹ, ti o wa ni gbangba) le tẹ ọkọ eyikeyi sii. Awọn data inu (awọn ajẹkù koodu orisun, iwe inu) nikan si awọn irinṣẹ ti a fọwọsi ni ile-ibẹwẹ. Awọn data aṣiri (data alabara gidi, alaye idanimọ, awọn alaye ailagbara, awọn bọtini) wọ inu awọn irinṣẹ adehun ti ile-ẹkọ nikan, ti data rẹ ko lọ si ikẹkọ awoṣe, ni iboji boju-boju.
Iwọn afikun wa ni aaye ti idanwo aabo: ohun gbogbo ti a kọ ni module yii jẹ fun awọn idi igbeja - lati ṣe idanwo aabo ọja tirẹ ni aṣẹ. Lilo AI lati wọ inu eto elomiran laisi igbanilaaye, ṣe ohun ija awọn ailagbara gidi, tabi ṣe idanwo eto kan ti o ko ni aṣẹ fun jẹ aiṣedeede ati ọdaràn. Ko si idanwo ibinu yoo ṣee ṣe laisi aṣẹ (agbegbe ati igbanilaaye).
Imọran: Lo data idanwo sintetiki (ti iṣelọpọ ti iṣelọpọ) dipo data alabara gidi. Bibeere AI lati “ṣe ipilẹṣẹ ojulowo ṣugbọn data idanwo itan-itan patapata” mejeeji ṣe itọju aṣiri ati ṣe iyatọ awọn ọran eti.
mẹta mini igba
Ọran 1 - Ipamọ akoko ni aye to tọ. Oluyẹwo ti ẹgbẹ Ekomerce kan lo awọn wakati 6 pẹlu ọwọ ṣiṣẹda oju iṣẹlẹ idanwo lati iwe ibeere oju-iwe 30 fun itusilẹ kọọkan. O fun iwe-ipamọ naa (apakan ti ko ni awọn aṣiri iṣowo) si YZ ati beere fun apẹrẹ oju iṣẹlẹ ti a ṣeto; Akoko ti dinku si awọn iṣẹju 90. O ya akoko ti o fipamọ si ijẹrisi nipasẹ ararẹ fifi awọn ọran eti-ofin iṣowo ti AI ti padanu. AI mu iṣẹ atunwi kuro, nlọ idajọ si eniyan.
Ọran 2 - Iro-gbaja mu. Olùgbéejáde kan ni AI kọ awọn idanwo ẹyọkan 12 fun iṣẹ iṣiro kan; gbogbo wọn jẹ alawọ ewe. Oludanwo naa ṣe imuse igbesẹ “wo pupa”: ni imọra yiyipada ami afikun inu iṣẹ naa si isodipupo. Nikan 3 ninu awọn idanwo 12 pada pupa. Awọn idanwo 9 miiran ko pese ijẹrisi gidi; O kan sọ pe "ko jabọ aṣiṣe". Awọn idanwo ohun ọṣọ 9 paarẹ ati awọn idanwo gidi 5 ni a kọ dipo.
Ọran 3 - Pada lati irufin aṣiri. Akọṣẹ kan lẹẹmọ akọọlẹ aṣiṣe kan ti o ni awọn imeeli alabara gidi ati awọn nọmba mẹrin ti o kẹhin ti kaadi lati ibi ipamọ data iṣelọpọ sinu ọpa ti gbogbo eniyan o sọ “ṣalaye aṣiṣe yii.” Olori QA ṣe idasi: eyi jẹ data ti ara ẹni ni iṣakoso ati irufin KVKK (Ofin Idaabobo Data Ti ara ẹni). Iṣẹ kan naa ni a ṣe ni ọkọ ayọkẹlẹ ti ile-iṣẹ ti a fọwọsi, ti o bo awọn agbegbe ti ara ẹni ati fifisilẹ akopọ kan nikan.
Mẹrin daakọ awọn awoṣe
1) Ayẹwo ibamu iṣẹ:
Rẹ ipa: oga QA olori. Emi yoo ṣe apejuwe iṣẹ idanwo fun ọ. Sọ fun mi (1) boya iṣẹ yii jẹ kikọ / iṣẹ itupalẹ ti o le ṣe ni aabo lailewu si AI tabi ipinnu didara ti eniyan gbọdọ ṣe, (2) idiyele ti o pọju ti abajade ti ko tọ, (3) ijẹrisi ti MO yẹ ki o ṣe ṣaaju aṣoju.Iṣẹ: [fi sii iṣẹ nibi]
2) Iṣakoso afarape:
Ṣayẹwo idanwo ni isalẹ. Sọ fun mi:- Iwa wo ni idanwo yii jẹrisi? (gbolohun gbolohun kan) - Bawo ni MO ṣe le fọ koodu naa labẹ idanwo ki idanwo naa yipada RED? - Ṣe ailera kan wa ti o le fa idanwo yii nigbagbogbo kọja (asọtẹlẹ ti o padanu, ijẹrisi ara ẹni, ayẹwo kekere)? Idanwo: [lẹẹmọ idanwo nibi]
3) Idanwo iṣakoso masking data:
Akọsilẹ/data ti Emi yoo fun ọ le ni awọn aaye ti ara ẹni tabi awọn aaye aṣiri (imeeli, orukọ, kaadi, bọtini, adirẹsi inu). Ni akọkọ, ṣe atokọ awọn aaye ti o nilo lati boju-boju; Emi yoo boju-boju ati firanṣẹ lẹẹkansi. Maṣe ṣe itupalẹ rẹ bi o ti jẹ.
4) iran data idanwo sintetiki:
Ṣe ina awọn ori ila 20 ti itan-itan patapata, data idanwo ojulowo fun [igbekalẹ aaye atẹle]. Ma ṣe lo eniyan gidi / data agbari. Paapaa pẹlu awọn ọran eti: aaye ofo, ọrọ ti o gun ju, awọn iye idiwọn, ọna kika aitọ.
Ailagbara kiakia / Alagbara kiakia
Alailagbara: "Kọ awọn idanwo lori koodu yii."
Alagbara: "Ṣiṣiro awọn idanwo Kọwewe yii fun iṣẹ ẹdinwo. Awọn ibeere gbigba fun iṣẹ naa: 10% ẹdinwo lori 1000 TL, 20% ẹdinwo lori 5000 TL; iye odi yẹ ki o jabọ aṣiṣe kan. Pato pẹlu laini asọye eyiti ofin ti o fọwọsi fun idanwo kọọkan. Idanwo awọn iye opin (999), 10000, 10000, 10000, 10000, 10000, 10000, 10000, 10000, 10000, 5ly awọn idaniloju gidi ti yoo di pupa ti MO ba ṣẹ koodu naa ṣofo tabi ko kọ ọrọ ti o kere."
Imudani ti o lagbara; O pese awọn ibeere gbigba, awọn iye idiwọn, awọn ireti afọwọsi, ati awọn itọnisọna egboogi-spoofing ti o han gbangba. Iyara ti ko lagbara pe AI lati kọ idanwo ohun ọṣọ kan.
Awọn aṣiṣe ti o wọpọ
- Gbẹkẹle alawọ ewe. Ni ero pe gbigbe idanwo naa jẹ ẹri. Ibeere gidi ni: ṣe o di pupa nigbati o ba ṣẹ koodu naa?
- Nbeere idanwo laisi fifun eyikeyi idi. AI ṣe agbejade jeneriki, nigbagbogbo awọn idanwo asan laisi mimọ ohun ti o nilo lati rii daju.
- Ijerisi fofo. Wipe "AI kowe rẹ, o ṣee ṣe otitọ". Ojuse wa pẹlu eniyan ti o nlo iṣẹjade.
- Lilọ data gidi / ifarako sinu ọpa naa. Ṣiṣẹ pẹlu data iṣelọpọ, awọn bọtini tabi data ti ara ẹni.
- Idanwo aabo laigba aṣẹ. Gbiyanju idanwo ibinu laisi iwọn ati igbanilaaye.
- Lilo AI lati ṣe ipinnu ipinnu. Bibeere ibeere naa "Ṣe ikede yii le ṣe idasilẹ?" si AI ati fifi idahun sinu ibuwọlu naa.
Ni soki
AI jẹ oluranlọwọ ti o lagbara ni ilana QA ti o ṣe iyara iṣẹ atunwi ati iṣelọpọ; Ṣugbọn ojuse fun ipinnu didara wa pẹlu eniyan. Ewu nọmba kan ti AI ni iṣẹ yii jẹ pseudo-pass: awọn idanwo alawọ ewe ti o dabi afinju ṣugbọn ko jẹrisi ohunkohun. Ṣe idanwo gbogbo idanwo AI nipasẹ koto ṣẹ koodu; Ti ko ba tan pupa, idanwo naa jẹ ohun ọṣọ. Di o si ibeere naa, wo pupa, kọja nipasẹ àlẹmọ ọrọ-ọrọ. Boju data igbekele, ṣe idanwo aabo nikan fun aṣẹ ati awọn idi igbeja.
Ohun elo iṣẹ-ṣiṣe
Ya 5 AI-ipilẹṣẹ (tabi AI-ipilẹṣẹ) awọn igbeyewo kuro lati ara rẹ ise agbese. Fun ọkọọkan: (1) kọ silẹ ni gbolohun kan eyiti ihuwasi ti o jẹrisi, (2) mọọmọ fọ ati ṣiṣẹ koodu naa labẹ idanwo ati ṣakiyesi iye ti o yipada pupa, (3) samisi awọn ti ko tan pupa bi “awọn idanwo ọṣọ” ki o tun kọ wọn pẹlu idaniloju gidi. Fi abajade sinu tabili kan: orukọ idanwo / ofin ti o rii daju / o bajẹ nigbati o bajẹ / iṣe.
akojọ ayẹwo
- [] Ṣaaju ki o to fifun iṣẹ naa, Mo beere ibeere naa "kini emi yoo padanu ti o ba jẹ aṣiṣe?"
- [] Mo ṣe idanwo gbogbo idanwo AI nipa fifọ koodu naa; Mo rọpo eyi ti ko ni pupa pẹlu idanwo gidi.
- [] Mo ti so awọn ọran idanwo pọ si ibeere gangan/awọn ibeere gbigba.
- [] Mo ti ko boju mu kókó / gidi data lai fifun o si awọn ọpa; Mo lo data sintetiki ti o ba ṣeeṣe.
- [] Mo gbero idanwo aabo nikan laarin aṣẹ ati fun awọn idi igbeja.
- [] Mo fi ipinnu ti “boya ẹya naa yoo tu silẹ” fun ara mi, kii ṣe si AI.