Fitimet:
- Aftësia për të kuptuar shtresat funksionale, të regresionit, të rasteve anësore dhe të provës së përplasjes dhe të prodhojë skenarë testimi dhe lista të rasteve anësore me inteligjencë artificiale
- Aftësia për të përshpejtuar korrigjimin duke shkruar kodin automatik të provës me inteligjencë artificiale dhe duke nxjerrë modele në analizën e regjistrave dhe përplasjeve
- Duke qenë në gjendje të kuptoni se diagnoza e gabimit të inteligjencës artificiale nuk është provë, por hipotezë, shkaku duhet të vërtetohet me regjistra dhe riprodhim, dhe rëndësia e të qenit të riprodhueshëm të raportit të gabimit.
Kur një lojë lëshohet, lojtarët e luajnë atë në mënyra që zhvilluesi nuk e kishte imagjinuar: duke u ngecur në mure, duke shfrytëzuar inventarin, duke arritur në vende të pamundura, duke shkaktuar përplasje. Sigurimi i cilësisë (QA — sigurimi i cilësisë); Është procesi i testimit sistematik të lojës përpara lëshimit dhe gjetjes dhe rregullimit të gabimeve (gabimeve), përplasjeve, paqëndrueshmërive dhe përvojave të këqija. Kjo është një nga lidhjet më të vështira, por kritike në prodhimin e lojërave. AI përshpejton sigurimin e cilësisë në shumë pika: gjenerimi i rasteve të testimit, analiza e raportit të gabimeve, rishikimi i regjistrave, shkrimi automatik i kodit të testimit, korrigjimi dhe rafinimi i hapave të prodhimit. Por AI nuk zëvendëson intuitën e një testuesi njerëzor dhe vlerësimin e ndjenjës së lojës.
Në këtë njësi do të mësoni se si të përdorni AI në QA dhe korrigjimin e gabimeve; Do të mësoni hartimin e skenarit të testimit, analizën e regjistrave, shkrimin automatik të testit dhe disiplinën e raportimit të gabimeve.
Shtresat e QA dhe vendi i AI
QA është me shumë shtresa. Testimi funksional: funksionon funksioni (a hapet dera, a bën ngarkesën e regjistrimit). Testimi i regresionit: a prishi ndryshimi i ri atë që funksiononte më parë? Testimi i rastit të skajit: hyrje të pazakonta (rivendosja e inventarit, dy çelësa njëherësh, vlerat kufitare). Performanca/testimi i përplasjes: a është loja e qëndrueshme. Testi i lojës/përvojës: argëtues, intuitiv. AI është i fortë në katër të parat: gjenerimi i skenarëve, renditja e rasteve të skajshme, shkrimi i kodit të testimit, analizimi i regjistrave. E fundit - përvoja - i përket njeriut.
Rrjedha e SC-së hap pas hapi:
- Gjeneroni raste testimi (lista funksionale dhe e rasteve anësore me AI).
- Shkruani testimin e automatizuar (kodin për kontrolle të përsëritura).
- Ekzekutoni dhe mblidhni (gabimet e regjistrave, regjistrat, rrëzimet).
- Analizoni (ekzaminoni regjistrin dhe modelin e gabimeve me AI).
- Raporto dhe verifiko (raport i qartë dhe i riprodhueshëm i gabimeve; rregullim i testimit).
Këshillë: Është e vështirë të gjesh kutitë e skajeve sepse stilisti e luan lojën e tij "të drejtë". Pyete inteligjencën artificiale "çfarë do të provonte një lojtar nëse do të dëshironte të prishte këtë sistem?" Listoni shfrytëzimet dhe rastet e skajeve.
Testimi automatik: ia lini përsëritjen makinës
Testimi manual i të njëjtave gjëra në çdo version është i lodhshëm dhe i prirur ndaj gabimeve. Testimi i automatizuar i vendos këto kontrolle në kod: a e kthen një funksion rezultatin e saktë sa herë që thirret, është një sistem në gjendjen e pritur. Unity dhe Unreal ofrojnë korniza testimi; AI është i shpejtë në shkrimin e këtyre testeve. Është veçanërisht e vlefshme për regresionin: nëse një ndryshim thyen diçka që funksiononte më parë, testi shkon në të kuqe. Rishikoni testet që prodhon AI, duke u siguruar që ata të kontrollojnë atë që është me të vërtetë kuptimplotë – një test bosh është më i keq se pa test.
Kujdes: Në korrigjimin e gabimeve, AI ndonjëherë prodhon një shpjegim të sajuar si një "shkak i mundshëm" (halucinacion). Mos e pranoni shkakun e një defekti vetëm sepse kështu ju ka thënë AI; Provoni shkakun duke regjistruar, riprodhuar dhe testuar. Diagnoza e gabuar vonon gjetjen e të duhurit.
Riprodhimi: zemra e korrigjimit
Kërkesa e parë për të rregulluar një gabim është ta riprodhoni atë në mënyrë të besueshme. Një gabim i përshkruar si "ndodh ndonjëherë" nuk mund të rregullohet sepse nuk mund të verifikoni nëse rregullimi funksionoi. Pra, puna më e vlefshme e korrigjimit është ngushtimi i kushteve të sakta në të cilat ndodh defekti (cilat hapa, cila situatë, çfarë kohe). AI ndihmon në ngushtimin e kësaj: ju mund të jepni simptomat dhe hapat e riprodhimit të pjesshëm dhe të thoni "sugjeroni kushte dhe strategji ngushtuese që mund të shkaktojnë këtë sjellje". Por ju në fakt e bëni ngushtimin duke drejtuar lojën; AI gjeneron hipoteza, ju i eliminoni ato.
Sidomos gabimet e lidhura me kohën (gjendja e garës) dhe gabimet e lidhura me gjendjen e kujtesës janë tinëzare; këto ndodhin vetëm në një sekuencë ose ngarkesë të caktuar. Për gabime të tilla, është thelbësore të shtoni informacionin e stampës kohore dhe statusit në regjistër; AI mund të analizojë këtë regjistër të pasur dhe të shohë modelin ("gabimi ndodh gjithmonë kur këto dy ngjarje ndodhin së fundmi"). Mos harroni rregullin e artë të korrigjimit: së pari kuptoni, pastaj rregulloni. Korrigjimi pa kuptuar e fsheh gabimin por nuk e zgjidh dhe shpeshherë krijon një gabim të ri diku tjetër.
tre mini kuti
Rasti 1 - Gjuetia e kafazit. Në një RPG, ekipi testoi sistemin e inventarit në lojën "normale" dhe mendoi se ishte solid. Ata kishin thënë se AI-ja "përpiqu të prishësh këtë inventar" dhe gjeneruan 30 skenarë të rasteve të skajshme; 4 prej tyre ishin gabime të vërteta (ndarja e 0 artikujve në peshë, njëpërdorimshme e njëkohshme). Korrigjuar para publikimit.
Rasti 2 - Analiza e regjistrave zgjidhi përplasjen. Një lojë po përplasej rastësisht; regjistrat e përplasjeve ishin qindra rreshta. Kur AI-së iu dhanë regjistrat dhe iu kërkua modeli, u zbulua se përplasja ndodhte gjithmonë në një tranzicion të veçantë të skenës dhe memorie të ulët. Me këtë të dhënë, programuesi gjeti rrjedhjen e kujtesës; Shkalla e përplasjes ra në zero.
Rasti 3 - Kthimi nga diagnoza e gabuar. Një programues i besoi shpjegimit të AI se "ky gabim është shkaktuar nga ky funksion" dhe e ngatërroi atë për gjysmë dite; nuk doli asnjë rezultat. Kur ai sqaroi dhe regjistroi përsëri hapat e prodhimit, gabimi ishte në një vend krejtësisht tjetër. Mësimi: Diagnostifikimi i AI janë hipoteza, jo prova.
Katër shabllone të kopjueshëm
1) Gjenerimi i rastit të skajshëm/skenari i shfrytëzimit:
Roli juaj: testues me qëllim të keq të cilësisë. Unë përshkruaj sistemin e mëposhtëm: [sistemi, rregullat]. Detyrë: listoni 20 skenarë të rasteve të skajshme që do të përpiqen të thyejnë, shfrytëzojnë ose hedhin këtë sistem në një gjendje të papritur. Për secilin: çfarë të provoni, rezultati i pritur, gabim i mundshëm.
2) Shkrimi i automatizuar i testit:
Motori: [Unity 2022.3 / Unreal 5.3]. Korniza e testimit: [specifikoni]. Shkruani teste të automatizuara për funksionin/sistemin e mëposhtëm: [përshkrimi/kodi]. Përfshini rastin normal, rastin kufi dhe hyrjen e gabuar. Sigurohuni që çdo test të verifikojë diçka vërtet domethënëse; Shkrimi i testeve boshe/pa kuptim.
3) Analiza e regjistrit/përplasjes:
Më poshtë janë regjistrat e përplasjeve/gabimeve të lojës: [log]. Detyra: shënoni modelet e përsëritura, kushtet e zakonshme (skena, kujtesa, koha) dhe shkaqet e mundshme rrënjësore. Paraqisni çdo shkak si një "hipotezë për t'u provuar"; flisni qartë. Më tregoni gjithashtu si të verifikoj.
4) Sqarimi i raportit të gabimeve:
Bëni raportin e mëposhtëm të paqartë të gabimit të qartë dhe të riprodhueshëm: [raport i papërpunuar]. Produkti: titulli, riprodhimi hap pas hapi, rezultati i pritur, rezultati aktual, frekuenca, mjedisi. Nëse mungon informacioni, rendisni se çfarë informacioni nevojitet.
Prompt i dobët / Prompt i fortë
Njoftim i dobët:
Ka një gabim në lojën time, rregullojeni.
Pa kontekst, pa regjistër, pa riprodhim; Inteligjenca artificiale është parashikuese dhe rreziku i halucinacioneve është i lartë.
Njoftim i fuqishëm:
Ekziston një gabim në lojën time Unity 2022.3: inventari ndonjëherë dyfishohet kur lojtari kryen një ngarkesë të shpejtë të kursimit. Riprodhimi: [hapa].Kodi i ngjashëm: [ngjit]. Log: [ngjit].Detyrë: listoni shkaqet e mundshme rrënjësore si hipoteza për t'u vërtetuar, jepni mënyrën e verifikimit dhe rregullimin e mundshëm për secilën. Krijoni një shkak që nuk ekziston; Nëse nuk jeni të sigurt, më njoftoni.
Riprodhimi, kodi, log dhe kërkesa "paraqitja si hipotezë" e bëjnë diagnozën të besueshme.
Tabela e shtresave QA
shtresë
Çfarë teston?
Kontributi i AI
pjesë njerëzore
funksionale
A funksionon funksioni?
Skript, kod testimi
Vendimi i pranimit
regresioni
A është prishur gjëja e vjetër?
test automatik
Vendimi i fushëveprimit
rast ekstrem
hyrje e pazakontë
Prodhimi i skenarit
prioritet
Përplasje/performancë
vendosmëri
Analiza e regjistrit
Konfirmimi i shkakut rrënjësor
Përvoja
argëtim, intuitë
kufizuar
krejtësisht njerëzore
Gabimet e zakonshme
- Vetëm testimi i lojës "normale". Kutitë e skajeve shpërthejnë pas lëshimit.
- Gabimi i diagnozës së AI si provë. Pse vërtetohet me log dhe testim.
- Shkrimi i testeve të automatizuara boshe. Testimi i pakuptimtë jep iluzionin e besimit.
- Raport i paqartë i defekteve në kod. Një gabim jo i riprodhueshëm nuk mund të korrigjohet.
- Anashkalimi i testimit të regresionit. Çdo korrigjim mund të shkaktojë gabime të reja.
Në përmbledhje
QA është disiplina që e bën lojën gati për lojtarin. AI; gjeneron skenarë të rasteve, shkruan teste të automatizuara, analizon regjistrat dhe sqaron raportet e gabimeve. Por diagnozat e tyre janë hipoteza, vlerësimi i përvojës është njerëzor dhe çdo korrigjim kërkon ritestim. Përsëritni refleksin "kush mund ta thyejë këtë dhe si" me AI; Ju mblidhni provat.
Detyra e aplikimit
Zgjidhni një sistem nga loja juaj. Keni 20 skenarë të krijuar me shabllonin "prodhimi i rasteve të skajshme/skenari i shfrytëzimit" dhe testoni në të vërtetë 5 më të rrezikshmit. Krijoni një raport të riprodhueshëm për një gabim që gjeni me shabllonin "Përmirësimi i raportit të defekteve".
listë kontrolli
- [ ] Kam krijuar një rast të skajit me "Kush mund ta thyejë këtë dhe si?"
- [ ] Shkroi dhe rishikoi testimin e automatizuar për kontrolle të përsëritura.
- [ ] Unë e konsiderova diagnozën e AI si një hipotezë dhe e vërtetova atë me log/test.
- [ ] Kam raportuar gabime në mënyrë të riprodhueshme.
- [ ] Kam ritestuar çdo rregullim për regresion.