Hagnaður:
- Að geta greint hvar gervigreind sparar rauntíma í QA ferlinu og hvar gæðaákvarðanir eins og „tilbúnar til birtingar“ eru skildar eftir mönnum, allt eftir áhættustigi verkefnisins
- Geta til að viðurkenna hættuna á fölskum brautum og innleiða sannprófunargrein sem prófar hvert gervigreindarpróf með því að brjóta kóðann vísvitandi
- Hæfni til að vernda prófunargögn, persónuupplýsingar og lykla og tileinka sér þá venju að framkvæma öryggisprófanir eingöngu innan heimildar og í varnartilgangi.
Íhugaðu útgáfukvöld. Hundruð prófa voru keyrð, þau fengu öll grænt ljós, liðinu var létt og hugbúnaðurinn fór í loftið. Morguninn eftir tilkynnti viðskiptavinurinn að greiðsluskjárinn hefði hrunið. Prófin voru græn en hann sá ekki villuna. Þetta er lævíslegasta martröð gæðatryggingastéttarinnar (QA), það er fræðigreinin sem tryggir markvisst að hugbúnaðurinn sé í æskilegum gæðum: prófið sem glóir grænt en staðfestir í raun ekki neitt. Þegar gervigreind (AI — hugbúnaður sem dregur út mynstur úr sögulegum gögnum og býr til texta og kóða) kemur inn í þessa starfsgrein, er bæði mikil hröðun og stækkun á nákvæmlega þessari martröð. Upphafleg loforð um þessa einingu er skýr: AI er prófunaraðstoðarmaður, teikning rafall og hugmynda margfaldari; Þú ert prófunaraðilinn sem kvittar fyrir ákvörðunina „er þessi hugbúnaður tilbúinn til útgáfu“.
Í þessari fyrstu einingu munum við einbeita okkur að aga, ekki verkfærinu. Þú munt læra hvar gervigreind sparar rauntíma í QA ferlinu, hvar það er hættulegt, hvers vegna blekkjandi græna svokallaða „false-passið“ er stærsta áhættan, hvernig á að sannreyna hverja útkomu og hvaða gögn þú getur gefið hvaða tól. Án þess að leggja þennan grunn verða síðari einingar áfram í loftinu.
Hvar kemur gervigreind að góðum notum í prófunarferlinu?
Skiptum prófunarstörfunum í tvo stóra klasa. Fyrsti klasi: endurtekin, framleiðanleg, drög að störfum. Að semja prófunartilvik út frá kröfu, skrá brotpunkta, skrifa beinagrind sjálfvirknikóða fyrir skjá, þýða flókið villutilvik í snyrtilega villuskýrslu, draga saman hundruð línur af logskrám, draga skema úr API-svari. Í þessum verkefnum minnkar gervigreind mínútur í sekúndur og þreytist ekki.
Annar klasi: ákvarðanir sem eru gæði, traust og ábyrgð. Ákvarðanir eins og „getur þessi útgáfa farið í loftið“, „er þessi villa mikilvæg eða er hægt að fresta henni“, „er þessi prófun nægjanleg“, „fangar þessi atburðarás raunveruleg notendaáhættu“ o.s.frv. krefjast samhengis, vöruþekkingar og ábyrgðar. Hér býr gervigreindin til valmöguleika, drög - en þú ákveður „standast/mistakið“ og „fara/ekki fara.
Við skulum skýra greinarmuninn í einni setningu: gervigreind er sterk í "hvaða aðstæður er hægt að prófa og hvernig á að skrifa kóða sem prófar það"; Ákvörðunin er þín þegar kemur að spurningunni "Virkar þessi hugbúnaður virkilega og hver ábyrgist hann?"
Ábending: Áður en þú afhendir gervigreindinni vinnu skaltu spyrja: „Hvað gerist ef þessi framleiðsla er röng og ég tek ekki eftir því? Ef svarið er „Ég tapa nokkrum mínútum“ skaltu úthluta auðveldlega. Ef svarið er „gallaður hugbúnaður fer í loftið“, láttu gervigreindina framleiða drögin og þú tekur ákvörðunina og sannprófunina.
Fals pass: hættan númer eitt á gervigreind í QA
Þegar próf logar grænt getur það þýtt tvennt: annað hvort er hugbúnaðurinn í raun að virka rétt eða hann sér ekki villuna vegna þess að prófið var rangt skrifað. Annað er kallað rangt framhjá - prófið segir "staðið" en staðfestir í raun ekki neitt. Þessi áhætta eykst verulega í prófum sem framleidd eru með gervigreind, vegna þess að gervigreind gengur mjög vel í að skrifa reiprennandi, slétt útlit en tóm próf.
Þrjár algengustu gerðir gervi-passa eru: (1) Próf án fullyrðinga - kóðinn keyrir, inniheldur engar fullyrðingar, stenst alltaf. (2) Sjálfssannprófun — væntanlegt gildi prófsins er reiknað út frá úttak kóðans sem verið er að prófa; Það er, hvað sem kóðinn framleiðir, prófið samþykkir sem "rétt". (3) Próf sem sannreynir rangan hlut - fullyrðing er til, en það athugar eitthvað léttvægt (t.d. "svar er ekki núll"), ekki raunverulega viðskiptareglan.
Varúð: Grænt prófunarborð er ekki sönnun um gæði; Í besta falli stendur "stýringarnar sem við skrifuðum eru ekki brotnar núna". Ekki hugga þig við að sjá „passa“ á prófinu sem gervigreindin framleiðir - raunverulega spurningin er: verður þetta próf rautt ef ég brýt vísvitandi kóðann? Ef það snýst ekki er það próf skraut.
Gullna reglan sem endurtekur sig í þessari einingu: prófaðu hvert gervigreindarpróf með því að brjóta kóðann vísvitandi. Ef prófið er enn grænt virkar það próf ekki. (Við munum dýpka þessa hugmynd sem stökkbreytingapróf í einingu 10.)
Sannprófunargrein: þrjú skref
AI talar af öryggi; Það þýðir ekki að það sé satt. Þróaðu þriggja þrepa viðbragð til að eiga við um hverja niðurstöðu:
- Bindið það við kröfuna. Sérhver próftilvik og fullyrðing sem gervigreindin framleiðir verður að byggjast á raunverulegri kröfu eða viðurkenningarviðmiðum (skilyrði sem starf verður að uppfylla til að teljast "lokið"). "Hvaða regla staðfestir þessi atburðarás?" spyrja.
- Sjá rautt. Keyrðu útbúna prófið einu sinni, brjóta kóðann. Ef það verður ekki rautt er prófið ógilt. Þetta er hið óviðræðanlega skref í gervigreindarprófunum.
- Farðu í gegnum samhengissíuna. Passar framleiðslan við það sem þú veist að er vöruhegðun, arkitektúr, raunverulegt notendaflæði? Lénsþekking þín er lokasían.
Persónuvernd og öryggi gagna: hvað fer hvert?
Gögnin sem þú vinnur með í prófunarumhverfinu eru oft viðkvæm: raunveruleg viðskiptamannaskrár, afrit af framleiðslugagnagrunni, API lyklar, innri kerfisföng, eiginleikar sem enn á eftir að tilkynna. Gerðu einfalda flokkun: Opin gögn (skjalfest, aðgengileg almenningi) geta farið inn í hvaða farartæki sem er. Innri gögn (bútar frumkóða, innri skjöl) aðeins til verkfæra sem stofnunin hefur samþykkt. Trúnaðargögn (raunveruleg gögn viðskiptavina, auðkennisupplýsingar, varnarleysisupplýsingar, lyklar) fara aðeins inn í verkfæri stofnunarinnar sem samningsbundin er, en gögn þeirra fara ekki í módelþjálfun, helst grímuklædd.
Það eru viðbótartakmörk í samhengi við öryggisprófanir: allt sem lært er í þessari einingu er í varnartilgangi - til að prófa öryggi eigin vöru þinnar. Að nota gervigreind til að síast inn í kerfi einhvers annars án leyfis, beita raunverulegum veikleikum með vopnum eða prófa kerfi sem þú hefur enga heimild fyrir er bæði siðlaust og glæpsamlegt. Engin móðgandi próf verða gerð án leyfis (umfang og leyfi).
Ábending: Notaðu tilbúið (tilbúið framleitt) prófunargögn í stað raunverulegra viðskiptavinagagna. Að biðja gervigreindina um að „búa til raunhæf en algjörlega skálduð prófgögn“ varðveitir bæði friðhelgi einkalífsins og eykur fjölbreytileikann.
þrjú smámál
Tilfelli 1 — Tímasparnaður á réttum stað. Prófandi Ekomerce teymisins eyddi 6 klukkustundum í að búa til prófunaratburðarás handvirkt úr 30 blaðsíðna kröfuskjali fyrir hverja útgáfu. Hann gaf YZ skjalið (þann hluta sem ekki innihélt viðskiptaleyndarmál) og bað um skipulögð atburðarás; Tíminn var styttur í 90 mínútur. Hann varði þeim tíma sem sparaðist til að sannreyna sjálfur að bæta við viðskiptareglum sem gervigreindin hafði misst af. AI tók burt endurtekna vinnuna og skildi dómgreindina eftir hjá manninum.
Mál 2 — Fölsuð framhjáhald tekin. Hönnuður lét gervigreindina skrifa 12 einingapróf fyrir tölvuaðgerð; þeir voru allir grænir. Prófandinn útfærði skrefið „sjá rautt“: vísvitandi breytti samlagningarmerkinu inni í fallinu í margföldun. Aðeins 3 af 12 prófum skiluðu rauðu. Hin 9 prófin gáfu enga raunverulega staðfestingu; Það sagði bara "það kastaði ekki villu". 9 skrautleg próf voru eytt og 5 raunpróf voru skrifuð í staðinn.
Tilfelli 3 - Heimkoma eftir brot á friðhelgi einkalífs. Nemi límdi villuskrá sem innihélt raunverulegan tölvupóst viðskiptavina og síðustu fjóra tölustafi kortsins úr framleiðslugagnagrunninum í opinbert tól og sagði "útskýrðu þessa villu." QA leiðtoginn greip inn í: þetta voru persónuupplýsingar úr böndunum og brot á KVKK (Persónuverndarlögum). Sama vinna var unnin í viðurkenndum ökutækjum á vegum stofnunarinnar, þar sem persónuleg svæði voru duluð og aðeins skilin eftir spor.
Fjögur afritanleg sniðmát
1) Starfshæfismat:
Hlutverk þitt: háttsettur QA leiðtogi. Ég skal lýsa prófunarvinnu fyrir þér. Segðu mér (1) hvort þessi vinna sé drög/greiningarvinna sem hægt er að framselja á öruggan hátt til gervigreindar eða gæðaákvörðun sem manneskjan verður að taka, (2) hugsanlegan kostnað við ranga framleiðslu, (3) sannprófunina sem ég ætti að gera áður en ég úthluta. Starf: [setja inn starf hér]
2) Gervipassastýring:
Skoðaðu prófið hér að neðan. Segðu mér: - Hvaða hegðun staðfestir þetta próf? (ein setning)- Hvernig get ég brotið kóðann sem er í prófun þannig að prófið verði RAUTT?- Er einhver veikleiki sem gæti valdið því að þetta próf standist alltaf (vantar fullyrðingu, sjálfsstaðfestingu, léttvæg eftirlit)?Próf: [líma próf hér]
3) Prófunargagnastýring:
Skráin/gögnin sem ég mun gefa þér geta innihaldið persónulega eða trúnaðarreitir (tölvupóstur, nafn, kort, lykill, innra heimilisfang). Fyrst skaltu skrá þá reiti sem þarf að gríma; Ég mun gríma það og senda það aftur. Ekki greina það eins og það er.
4) Framleiðsla á tilbúnum prófunargögnum:
Búðu til 20 raðir af algjörlega skálduðum, raunhæfum prófunargögnum fyrir [eftirfarandi svæðisskipulag]. Ekki nota raunveruleg manneskju/stofnunargögn. Látið einnig fylgja brúntilvik: tómt rými, of langur texti, viðmiðunarmörk, ógilt snið.
Veik kvaðning / Sterk kvaðning
Veik: "Skrifaðu próf á þennan kóða."
Strong: "Reiknaðu þetta Skrifaðu einingapróf fyrir afsláttarfallið. Samþykkisviðmið fyrir fallið: 10% afsláttur yfir 1000 TL, 20% afsláttur yfir 5000 TL; neikvæð upphæð ætti að gefa villu. Tilgreindu með athugasemdarlínu hvaða reglu þú ert að staðfesta fyrir hvert próf. Prófaðu viðmiðunarmörkin (999, 10000, 50000, 500 - raunverulegt). fullyrðingar sem verða rauðar ef ég brýt kóðann tóman eða skrifa ekki léttvægar fullyrðingar."
Öflug hvetja; Það veitir viðurkenningarviðmið, viðmiðunarmörk, væntingar um staðfestingu og skýrar leiðbeiningar gegn spoofi. Veika vísbendingin býður gervigreindinni að skrifa skrautlegt próf.
Algeng mistök
- Að treysta grænu. Að halda að það sé sönnun að standast prófið. Raunverulega spurningin er: verður það rautt þegar þú brýtur kóðann?
- Að biðja um próf án þess að gefa upp neina ástæðu. Gervigreind framleiðir almenn, oft gagnslaus próf án þess að vita hvað þarf að sannreyna.
- Sleppir staðfestingu. Að segja "AI skrifaði það, það er líklega satt". Ábyrgðin liggur hjá þeim sem notar úttakið.
- Líma raunveruleg/viðkvæm gögn inn í tólið. Vinna með framleiðslugögn, lykla eða persónuleg gögn.
- Óviðkomandi öryggisprófun. Að reyna móðgandi próf án umfangs og leyfis.
- Notkun gervigreindar til að fela ákvarðanatöku. Að spyrja spurningarinnar "Er hægt að gefa út þessa útgáfu?" til gervigreindar og setja svarið í undirskriftina.
Í stuttu máli
Gervigreind er öflugur aðstoðarmaður í QA ferlinu sem flýtir fyrir endurtekinni og framleiðanlegri vinnu; En ábyrgðin á gæðaákvörðuninni liggur hjá manninum. Áhættan númer eitt af gervigreind í þessari starfsgrein er gervi-pass: græn próf sem líta snyrtileg út en staðfesta ekki neitt. Prófaðu hvert gervigreindarpróf með því að brjóta kóðann vísvitandi; Ef það verður ekki rautt er það próf skraut. Binddu það við kröfuna, sjáðu rauðu, farðu í gegnum samhengissíuna. Fellið trúnaðargögn, framkvæmið aðeins öryggisprófanir í viðurkenndum og varnarlegum tilgangi.
Umsóknarverkefni
Taktu 5 AI-mynduð (eða AI-mynduð) einingapróf úr þínu eigin verkefni. Fyrir hverja: (1) skrifaðu niður í einni setningu hvaða hegðun það sannreynir, (2) brjóttu vísvitandi og keyrðu kóðann sem þú prófar og athugaðu hversu margir verða rauðir, (3) merktu þá sem verða ekki rauðir sem "skreytingarpróf" og endurskrifaðu þá með raunverulegu fullyrðingunni. Settu niðurstöðuna í töflu: prófunarnafn / regla það staðfest / var það bilað þegar það var brotið / aðgerð.
gátlisti
- [ ] Áður en ég afhenti verkið spurði ég spurningarinnar "hverju mun ég tapa ef það fer úrskeiðis?"
- [ ] Ég prófaði hvert gervigreindarpróf með því að brjóta kóðann; Ég skipti þeim sem varð ekki rauður út fyrir alvöru prófið.
- [ ] Ég tengdi próftilvikin við raunveruleg kröfu/samþykkisviðmið.
- [ ] Ég dulaði viðkvæm/raunveruleg gögn án þess að gefa þau tólinu; Ég notaði tilbúið gögn ef mögulegt var.
- [ ] Ég taldi öryggisprófanir eingöngu innan valds og í varnarskyni.
- [ ] Ég lét ákvörðunina um "hvort útgáfan verður gefin út" eftir sjálfum mér, ekki gervigreindinni.