Ẹyọ 3 / 11

Idanwo Exploratory ati Igbeyewo Iran Iran: Ṣiṣẹda Bug Sode pẹlu AI

Awọn anfani:

  • Agbara lati loye ẹda ti o da lori iwariiri eniyan ti idanwo iwadii ati lo oye atọwọda bi alabaṣiṣẹpọ lati ṣe agbekalẹ awọn iwe-ẹri idanwo ati awọn amọran oye
  • Agbara lati ṣe iyatọ awọn aake awari gẹgẹbi titẹ sii, akoko, ọna kika, aṣẹ ati idalọwọduro ati gbasilẹ anomaly kọọkan pẹlu igbesẹ iṣelọpọ lẹẹkansii
  • Agbara lati lo opin lilo AI nikan ni igbaradi ati ipari-soke lakoko igba wiwa funrararẹ jẹ adaṣe nipasẹ eniyan

Gbogbo ọran idanwo ti a kọ sọwedowo nkan ti o ti ronu tẹlẹ. Ṣugbọn awọn aṣiṣe ti o lewu julọ nigbagbogbo tọju ni awọn aaye ti ẹnikan ko ronu tẹlẹ. Idanwo iwadii - ọna idanwo kan ninu eyiti oluyẹwo nigbakanna kọ ẹkọ, ṣe apẹrẹ ati ṣiṣe ọja nipasẹ ṣiṣewadii rẹ, laisi gbigbekele iwe afọwọkọ ti a ti kọ tẹlẹ - fojusi aafo yii ni deede. Ni idanwo iwadii, amoye naa ṣere larọwọto pẹlu ọja naa, beere “kini ti MO ba ṣe eyi,” ati mu ihuwasi airotẹlẹ ti eto naa. Eyi ni iru idanwo ti o gbẹkẹle pupọ julọ lori intuition ati iwariiri eniyan - ati pe iyẹn ni idi ti ipa ti oye atọwọda (AI) nibi kii ṣe lati “rọpo” ṣugbọn lati mu iwariiri pọ si, fa awọn aaye afọju, ati ipilẹṣẹ awọn imọran.

Ninu ẹyọ yii iwọ yoo kọ ẹkọ bi o ṣe le lo AI bi alabaṣepọ idanwo iwadii: lati titẹ awọn iwe-aṣẹ idanwo, evoking heuristics, si akopọ awọn akọsilẹ lẹhin-ipejọ.

Kini idi ti idanwo iwadii ṣi jẹ iṣẹ eniyan?

Idanwo iwe-kikọ - idanwo pẹlu awọn igbesẹ ti a kọ ni ilosiwaju ati tun ọrọ-ọrọ - jẹrisi ohun ti a mọ; Ṣiṣayẹwo idanwo fun ohun aimọ. Iye ti o wa ninu idanwo iwadii wa lati akoko ti oluyẹwo naa rii ọja naa ati ni oye “ohun kan wa nibi.” AI ko le rii ọja naa ni ọna ti o rii, ko le ni oye ohun ti yoo yọ olumulo gidi lẹnu, ko le ṣe idamu nipa sisọ “bọtini yii wa ni aye ti ko tọ”. Ṣugbọn AI jẹ iranlọwọ ti o lagbara pupọ ni awọn ọna mẹta: (1) ṣiṣe awọn atokọ eto ti awọn imọran idanwo, (2) leti ọ ti awọn aake idanwo ti o ti gbagbe, (3) yiyi awọn akọsilẹ awari tuka rẹ sinu ijabọ iṣeto.

Imọran: Beere AI fun “igbona ero idanwo” ṣaaju ki o to bẹrẹ igba wiwa; Maṣe fi iboju silẹ si AI lakoko igba naa. AI ṣe iranlọwọ ṣaaju ati lẹhin igba; Awọn igba ara wa ni ìṣó nipasẹ rẹ iwariiri.

Heuristics ati AI

Awọn oludanwo aṣawakiri lo awọn heuristics, eyiti o jẹ awọn olurannileti kukuru ti o pese itọsọna ni isode kokoro. AI le ran ọ leti nipa iwọnyi nipa mimu wọn muu si ọrọ-ọrọ rẹ. Awọn kilasika diẹ:

  • CRUD: Gbiyanju Ṣẹda, Ka, Imudojuiwọn, Paarẹ sisan fun data kọọkan; da ẹnikan duro.
  • Goldilocks (kekere / kikun / Pupo): Tẹ diẹ sii, kikun ati data pupọ ni aaye kan (awọn ohun kikọ 0, kikọ 1, awọn ohun kikọ 10,000).
  • Eto CRUD +: Ṣatunkọ igbasilẹ kanna ni awọn taabu meji ni ẹẹkan, lẹhinna fi mejeeji pamọ.
  • Idilọwọ: Sọ oju-iwe ni aarin-igbesẹ, ge asopọ nẹtiwọki, tẹ aaye ẹhin.
  • Ilana yiyipada: Ṣe awọn igbesẹ ni ọna yiyipada (sanwo akọkọ, lẹhinna ṣafikun si rira).

Nigbati o ba sọ fun AI lati “dabaa awọn idanwo onijagidijagan nipa lilo awọn ifọkansi ogbon inu fun iboju yẹn,” o gba atokọ ayẹwo aaye kan.

Kikọ ipo idanwo kan (charter)

Idanwo aṣawakiri kii ṣe nipa lilọ kiri; O wa ni idojukọ lori iwe-aṣẹ idanwo (itọsọna kukuru kan ti o ṣalaye kini igba iwadii yoo ṣawari ati fun idi wo). Iwe adehun to dara tẹle ilana yii: “Ṣawari [agbegbe ibi-afẹde], ni lilo [awọn irinṣẹ/data], lati ṣii [kini alaye/ewu].” AI ni kiakia ṣe agbekalẹ awọn ofin wọnyi.

Iwontunwosi idanwo iwe afọwọkọ pẹlu idanwo iwadii

Ilana idanwo ohun kan nlo apapo ti iwe afọwọkọ (aiṣedeede, atunwi) idanwo ati idanwo iwadii. Scripted igbeyewo cheaply mọ daju wipe mọ awọn iwa ko baje, version lẹhin ti ikede; Idanwo iwadii, ni apa keji, n wa awọn eewu tuntun ti awọn iwe afọwọkọ wọnyi ko tii ronu rara. Awọn meji kii ṣe awọn oludije, ṣugbọn awọn afikun. Aṣiṣe ti o wọpọ ni lati ronu “jẹ ki a ṣe adaṣe ohun gbogbo ki ko si iwulo fun wiwa”; lakoko ti adaṣe nikan n ṣayẹwo fun ohun ti o ti mọ tẹlẹ, ko le rii ohun ti o ko mọ. Aṣiṣe miiran jẹ idakeji: gbigbekele wiwa afọwọṣe pẹlu itusilẹ kọọkan laisi iṣeto adaṣe eyikeyi - eyi yori si awọn idun ipilẹ kanna ti nrakò leralera.

AI ṣe iranlọwọ lati fi idi iwọntunwọnsi yii mulẹ: o le yi anomaly ti o rii ninu igba wiwa rẹ sinu idanwo ifasilẹ iwe afọwọkọ ayeraye nipa fifunni si AI. Nitorinaa, aṣiṣe ni kete ti a ṣe awari ni wiwa ko le pada wa lai ṣe awari lẹẹkansi. Awari gba itoju ti "ri titun ewu", adaṣiṣẹ gba itoju ti "maṣe jẹ ki lọ ti awọn ri"; AI accelerates awọn Afara laarin awọn meji.

Imọran: Yatọjade abajade ti igba wiwa kọọkan si awọn garawa meji: “awọn idun lati ṣatunṣe lẹsẹkẹsẹ” ati “awọn oju iṣẹlẹ lati yipada si adaṣe ayeraye.” Awọn garawa keji gbejade iye igba pipẹ ti iṣawari sinu package ipadasẹhin rẹ.

Ailagbara kiakia / Alagbara kiakia

Alailagbara: "Kini o yẹ ki n danwo lori iboju yii?"
Alagbara: "Fun ẹya 'igberuwo fọto profaili', pin akoko idanwo iwadii iṣẹju 90-iṣẹju sinu awọn ipo idanwo 3. Fun ipo kọọkan: fun ibi-afẹde naa, awọn amọran intuitive lati lo (iwọn faili / ọna kika/goldilocks / truncation), Awọn iṣe 5 nja lati gbiyanju, ati awọn ifihan agbara ewu lati wa jade fun (fa fifalẹ, aworan ti bajẹ, aabo awọn faili ti ko tọ si, paapaa koju awọn eewu faili ti ko tọ). ni igbeja."

Imudani ti o lagbara; yoo fun iye akoko, be, awọn amọran ati ewu idojukọ. Abajade jẹ maapu opopona ti iwọ yoo tọju ni ọwọ jakejado igba.

Exploration axes tabili

ipo

ibeere lati beere

apẹẹrẹ esee

Awọn ifilelẹ ti awọn igbewọle

Kini aaye naa ṣe ni awọn iye to gaju?

10.000 ohun kikọ orukọ

akoko

Kini o ṣẹlẹ ni igbakanna/fipin processing?

Fi igbasilẹ kanna pamọ si awọn taabu meji

Ọna kika

Bawo ni lati mu awọn airotẹlẹ kika?

Emoji, ọrọ ọtun-si-osi, HTML

aṣẹ

Le laigba aṣẹ wiwọle olumulo?

Yi URL pada pẹlu ọwọ

Ipo

Ṣe iyipada ipinle ti ko tọ ṣee ṣe bi?

Gbiyanju lati sanwo fun aṣẹ ti o fagile

iyokuro

Njẹ data naa wa ni ibamu nigbati nẹtiwọọki / igba ti wa ni idilọwọ bi?

Ge nẹtiwọki nigba gbigbasilẹ

Mẹrin daakọ awọn awoṣe

1) Olupilẹṣẹ ipo idanwo:

Rẹ ipa: oga exploratory tester. Pin [akoko] igba iwakiri iṣẹju si awọn ipo idanwo 3-4 fun ẹya: [ẹya]. Ipo kọọkan: ibi-afẹde, awọn amọran oye lati lo, awọn iṣe nja 5 lati gbiyanju, awọn ifihan agbara ewu lati wo. Àpẹẹrẹ ipo: "Ṣawari [ašẹ] pẹlu [irinṣẹ/data] fun [ewu/alaye]."

2) Ohun ti nmu badọgba ifẹnukonu:

Tumọ awọn itọka ogbon inu wọnyi sinu awọn adanwo nja fun iboju atẹle: CRUD, goldicks (kere/kikun/diẹ sii), idalọwọduro, aṣẹ yiyipada, aṣẹ fori. Iboju: [iboju/apejuwe sisan]. Kọ awọn adanwo-iboju kan pato 2 fun olobo kọọkan.

3) Iranti iranran afọju:

Mo n ṣe idanwo ẹya wọnyi: [ẹya]. Ṣe atokọ awọn ọran 10 nibiti awọn oluyẹwo ti o ni iriri pupọ julọ padanu iru ẹya yii. Fi iraye si, isọdibilẹ (ede/ọjọ/owo), owo-owo, aabo ati awọn aake iṣẹ.

4) Akopọ akọsilẹ igba:

Ni isalẹ ni awọn akọsilẹ aise lati igba wiwa mi. Ṣeto wọn ni ọna yii: - Awọn aiṣedeede ti a rii (pẹlu idiyele ifoju) - Awọn ti o ni igbesẹ ẹda ti a mọ - Awọn ti o nilo iwadii siwaju - Imọran fun igba atẹle Awọn akọsilẹ Raw: [paste awọn akọsilẹ]

mẹta mini igba

Ọran 1 - Olurannileti iranran afọju ni iṣe. Onimọran kan n ṣe idanwo ẹya wiwa ni ohun elo multilingual kan. Lori olurannileti AI lati “maṣe gbagbe ipo isọdi agbegbe”, o gbiyanju iyipada lẹta “i / I” kan pato ti Tọki. Wiwa fun "Istanbul" ko so esi eyikeyi; Aṣiṣe iyipada kekere kan ti ri. AI axis leti, iwé gbiyanju ati ki o ri o.

Ọran 2 - Idojukọ ti iwe-aṣẹ. Oluyẹwo tuntun lo awọn wakati 2 “liho” nipasẹ iboju isanwo ṣugbọn o ṣe awọn akọsilẹ kekere 2 nikan nitori pe ko ni eto. Lẹhin igbero igba kan pẹlu AI ti pin si awọn ipo idanwo 3, o gbasilẹ awọn asemase 11 ni akoko kanna; meji ninu wọn wà pataki. Akoko kanna jẹ awọn akoko 5 daradara siwaju sii ọpẹ si eto naa.

Ọran 3 - Igbeyewo ikojọpọ faili igbeja. Ẹgbẹ kan gbiyanju “atẹsiwaju ti ko tọ/faili ti o tobi ju” ti a daba nipasẹ YZ ni ikojọpọ fọto profaili kan, laarin awọn ọja tiwọn. Ti rii pe faili 50 MB kan ti kọlu olupin naa fun awọn aaya 40 ati ṣafikun iwọn iwọn ati ipari akoko. Idanwo naa ni a ṣe nikan lori awọn ọja tirẹ, fun awọn idi igbeja.

Awọn aṣiṣe ti o wọpọ

  • Rirọpo AI pẹlu igba. Awọn iye ti Awari jẹ ninu rẹ akiyesi ati intuition; AI ṣe iranlọwọ pẹlu igbaradi ati imularada.
  • Ṣawakiri laisi ifiṣura. Lilo awọn wakati laisi idojukọ ati wiwa diẹ. Ipo idanwo n funni ni idojukọ.
  • Ko gbigba awọn akọsilẹ. Ti o ko ba ṣafipamọ anomaly ti a rii ninu iṣawari pẹlu igbesẹ iṣelọpọ lẹẹkansi, wiwa yẹn yoo padanu.
  • Di lori ọkan ipo. Ṣe idanwo awọn opin ti titẹ sii nigbagbogbo; Aṣẹ ti o kọja, ṣiṣe eto, awọn aarẹ agbegbe.
  • Ṣiṣe awọn idanwo aabo laigba aṣẹ. Gbiyanju faili nikan/ifọwọyi URL lori ọja tirẹ ati pẹlu igbanilaaye.

Ni soki

Idanwo aṣawakiri jẹ iru idanwo ti o gbẹkẹle pupọ julọ lori iwariiri eniyan, wiwa fun eyiti a ko kọ. AI kii yoo rọpo rẹ nibi; O ṣe atọka awọn ipo idanwo, ṣe adaṣe awọn amọran oye si ọrọ-ọrọ rẹ, leti rẹ ti awọn aaye afọju, ati yi awọn akọsilẹ igba idoti rẹ pada si ijabọ ti a ṣeto. Iye wa lati akiyesi rẹ ati intuition; AI fojusi ati isodipupo iye yii. Kọ awọn ipo, yatọ awọn aake, ṣe igbasilẹ awọn awari pẹlu igbesẹ iṣelọpọ lẹẹkansi, ṣe awọn idanwo aabo nikan laarin aṣẹ.

Ohun elo iṣẹ-ṣiṣe

Yan ẹya kan lati ọja tirẹ. Pin igba iṣẹju 60 si awọn ipo 3 nipa lilo awoṣe “ipilẹṣẹ ipo idanwo” pẹlu AI. Ṣe igba naa (laisi AI, ṣawari nipasẹ ọwọ), tọju awọn akọsilẹ aise. Nigbati o ba ti pari, ṣeto awọn akọsilẹ pẹlu awoṣe "akopọ akọsilẹ igba". Abajade: o kere ju awọn asemase 5, igbesẹ isọdọtun fun ọkọọkan ati iṣiro iwuwo. Ṣe akiyesi ipo idanwo wo ati oye oye ti o yọrisi anomaly ti o niyelori julọ ti o rii.

akojọ ayẹwo

  • [] Ṣaaju igba naa, Mo ṣẹda awọn ipo idanwo pẹlu AI ati pinnu idojukọ naa.
  • [] Mo gbiyanju o kere ju 4 oriṣiriṣi awọn aake ti iṣawari (igbewọle, akoko, ọna kika, aṣẹ, idalọwọduro).
  • [] Mo ṣe apejọ naa pẹlu ọwọ, pẹlu iwariiri ti ara mi; Emi ko ropo AI.
  • [] Mo ṣe igbasilẹ anomaly kọọkan pẹlu igbesẹ ẹda rẹ ati iṣiro iwuwo.
  • [] Mo yi awọn akọsilẹ mi pada si ijabọ deede pẹlu AI.
  • [] Mo ti gbiyanju aabo/ifọwọyi nikan lori ọja ti ara mi ati pẹlu aṣẹ.