Girdeji:
- Emeli intellektiň QA işinde hakyky wagty nirede tygşytlaýandygyny we mesele töwekgelçiliginiň derejesine baglylykda 'neşir edilmäge taýyn' ýaly hil kararlarynyň adamlara galdyrylýandygyny tapawutlandyrmak.
- Falsealňyş geçişleriň töwekgelçiligini tanamak we her AI synagyny kody bilgeşleýin bozup barlaýan barlag düzgünini durmuşa geçirmek ukyby
- Synag maglumatlaryny, şahsy maglumatlary we açarlary goramak we howpsuzlyk synaglaryny diňe ygtyýarnamanyň çäginde we goranyş maksatly amala aşyrmak endigi.
Çykyş gijesini gözden geçiriň. Testüzlerçe synag geçirildi, hemmesi ýaşyl yşyk aldy, topar rahatlandy we programma üpjünçiligi göni ýaýlymda boldy. Ertesi gün irden müşderi töleg ekranynyň çökendigini habar berdi. Synaglar ýaşyl boldy, ýöne ýalňyşlygy görmedi. Bu hiliň kepili (QA) hünäriniň iň gizlin düýşi, ýagny programma üpjünçiliginiň islenýän hiline yzygiderli kepil geçýän düzgün: ýaşyl öwüsýän, ýöne aslynda hiç zady tassyklamaýan synag. Emeli intellekt (AI - taryhy maglumatlardan nagyşlary alýan we tekst we kod döredýän programma üpjünçiligi) bu hünäre girende, bu tizligiň hem ulalmagy, hem ulalmagy bolýar. Bu modulyň başlangyç wadasy düşnüklidir: AI synag kömekçisi, meýilnama dörediji we ideýa köpeldiji; "Bu programma üpjünçiligi goýberilmäge taýynmy" kararyna gol çeken synagçy.
Bu birinji bölümde gural däl-de, tertip-düzgüne üns bereris. AI-iň QA prosesinde hakyky wagty nirede tygşytlaýandygyny, nirede howplydygyny, "ýalan-geçiş" diýilýän aldawçy ýaşyllygyň iň uly töwekgelçilikdigini, her çykyşy nädip barlamalydygyny we haýsy gurala haýsy maglumatlary berip biljekdigiňizi öwrenersiňiz. Bu binýady goýmazdan, indiki bölümler howada galar.
Synag prosesinde AI nirede peýdaly?
Synag işlerini iki uly topara böleliň. Birinji klaster: gaýtalanýan, öndürip bolýan, taýýarlanan iş. Talapdan synag synagyny taýýarlamak, nokatlaryň sanawyny düzmek, ekrana awtomatlaşdyryş kody skeletini ýazmak, çylşyrymly ýalňyşlyk ýagdaýyny arassa ýalňyşlyk hasabatyna terjime etmek, ýüzlerçe setir faýllaryny jemlemek, API jogaplaryndan shema çykarmak. Bu meselelerde AI birnäçe minutdan sekuntlara çenli azalýar we ýadamaýar.
Ikinji topar: netijesi hil, ynam we jogapkärçilik bolan kararlar. “Bu wersiýa göni ýaýlymda bolup bilermi?”, “Bu näsazlyk möhümmi ýa-da yza süýşürilip bilnermi?”, “Bu synag synagy ýeterlikmi?”, “Bu ssenariýa hakyky ulanyjy töwekgelçiligini alýarmy?” Aly kararlar kontekst, önüm bilimleri we jogapkärçiligi talap edýär. Bu ýerde AI opsiýalary, garalamalary döredýär - ýöne “geçmek / şowsuz” we “gitmek / gitmek” kararyna gelýärsiňiz.
Geliň, bir sözlemdäki tapawudy aýdyňlaşdyralyň: AI "haýsy ýagdaýlary synagdan geçirip boljakdygyny we ony barlaýan kody nädip ýazmalydygyna" güýçli; "Bu programma üpjünçiligi hakykatdanam işleýärmi we kim oňa goldaw berýär?" Diýen soraga gezek gelende karar size degişlidir.
Maslahat: AI-e iş tabşyrmazdan ozal soraň: "Bu çykyş nädogry bolsa we duýmasam näme bolýar?" Jogap "Birnäçe minut ýitirerin" bolsa, aňsatlyk bilen tabşyryň. Jogap "nädogry programma üpjünçiligi göni ýaýlymda" bolsa, AI taslamany taýýarlasyn we karar beriň we tassyklaň.
Sealňyş geçiş: QA-da AI-iň birinji töwekgelçiligi
Synag ýaşyl öwüsse, iki zady aňladyp biler: ýa-da programma üpjünçiligi dogry işleýär, ýa-da synag nädogry ýazylandygy sebäpli näsazlygy görenok. Ikinjisine ýalňyş pas diýilýär - synag "pass" diýýär, ýöne aslynda hiç zady tassyklamaýar. AI bilen öndürilen synaglarda bu töwekgelçilik ep-esli ýokarlanýar, sebäbi AI arassa, göze dürtülip duran, ýöne boş synaglary ýazmakda örän üstünlikli.
Pseudo-passyň iň köp ýaýran üç görnüşi: (1) tassyklamazdan synag - kod işleýär, hiç hili tassyklama ýok, hemişe geçýär. (2) Öz-özüňi barlamak synagy - synagyň garaşylýan bahasy synag astyndaky koduň çykyşyndan hasaplanýar; Codeagny, kod näme öndürse-de, synag "dogry" hökmünde kabul edilýär. (3) Nädogry zady barlaýan synag - tassyklamanyň bardygyny tassyklaň, ýöne hakyky iş düzgüni däl-de, ownuk bir zady barlaýar (meselem, "jogap ýok").
Üns beriň: greenaşyl synag paneli hiliň subutnamasy däl; Iň gowusy, "ýazan dolandyryşlarymyz häzir bozulmaýar" diýilýär. AI-iň öndürýän synagynda "geçiş" görmek bilen teselli tapmaň - asyl sorag: kody bilgeşleýin bozsam, bu synag gyzarmy? Eger aýlanmasa, bu synag bezegdir.
Bu modulyň dowamynda gaýtalanýan altyn düzgün: her AI synagyny bilkastlaýyn bozup synap görüň. Synag henizem ýaşyl bolsa, bu synag işlemeýär. (Bu pikiri 10-njy bölümde mutasiýa synagy hökmünde çuňlaşdyrarys.)
Barlamak tertibi: üç ädim
AI ynam bilen gürleýär; Bu hakykat diýmek däl. Her netijä ulanmak üçin üç basgançakly refleks dörediň:
- Talaba baglaň. Synaglaryň her biri we AI-iň öndürýän önümleriniň hakyky talaplara ýa-da kabul ediş kriteriýalaryna esaslanmalydygyny tassyklamaly ("ýerine ýetirilen" hasap edilmek üçin bir işiň ýerine ýetirmeli şertleri). "Bu ssenariýa haýsy düzgüni tassyklaýar?" sora.
- Gyzyl serediň. Döredilen synagy kody bozup, bir gezek işlediň. Gyzyl öwrülmese, synag nädogry. Bu AI synagynda gepleşik geçirip bolmajak ädim.
- Kontekst süzgüçinden geçiriň. Çykyş önümiň özüni alyp barşyna, arhitekturasyna, hakyky ulanyjy akymyna laýyk gelýärmi? Domen bilimiňiz iň soňky süzgüçdir.
Maglumatlaryň gizlinligi we howpsuzlygy: nirä gidýär?
Synag gurşawynda işleýän maglumatlaryňyz köplenç duýgur: hakyky müşderi ýazgylary, önümçilik maglumatlar bazasynyň nusgalary, API açarlary, içerki ulgam salgylary, entek yglan edilmeli aýratynlyklar. Simpleönekeý klassifikasiýa ediň: Açyk maglumatlar (resminamalaşdyrylan, köpçülige açyk) islendik ulaga girip biler. Içerki maglumatlar (deslapky kod bölekleri, içerki resminamalar) diňe edara tarapyndan tassyklanan gurallara. Gizlin maglumatlar (hakyky müşderi maglumatlary, şahsyýet maglumatlary, gowşak goralanlyk jikme-jiklikleri, açarlar) diňe edaranyň şertnamalaýyn gurallaryna girýär, olaryň maglumatlary model okuwyna gitmeýär, has gowusy maskalanýar.
Howpsuzlyk synagynyň çäginde goşmaça çäk bar: bu modulda öwrenilen zatlaryň hemmesi goranyş maksatly - öz önümiňiziň howpsuzlygyny abraýly barlamak üçin. AI-ni rugsatsyz başga biriniň ulgamyna aralaşmak, hakyky gowşak goralan ýerleri ýaraglandyrmak ýa-da ygtyýaryňyz ýok ulgamy synagdan geçirmek üçin ahlaksyz we jenaýat. Rugsat berilmezden (çäk we rugsat) hiç hili kemsidiji synag geçirilmez.
Maslahat: Hakyky müşderi maglumatlarynyň ýerine sintetiki (emeli öndürilen) synag maglumatlaryny ulanyň. AI-den “real, ýöne düýbünden toslama synag maglumatlary döretmegi” haýyş etmek, şahsy durmuşyň eldegrilmesizligini saklaýar we gyradaky ýagdaýlary diwersifikasiýa edýär.
üç sany kiçi halat
1-nji waka - gerek ýerinde wagt tygşytlaýjy. “Ekomerce” toparynyň synagçysy, her neşir üçin 30 sahypalyk talap resminamasyndan synag ssenarisini döretmek üçin 6 sagat sarp etdi. Resminamany (söwda syrlaryny öz içine almaýan bölegi) YZ-a berdi we düzülen ssenariýa taslamasyny sorady; Wagt 90 minuta çenli azaldyldy. Tygşytlanan wagty, AI-iň ýitiren iş düzgünlerini goşmak bilen, özüni barlamak üçin sarp etdi. AI gaýtalanýan eseri alyp, hökümi adama galdyrdy.
2-nji waka - Galp ýol bilen tutulanlar. Bir dörediji, hasaplama funksiýasy üçin 12 birlik synagyny ýazdy; hemmesi ýaşyl. Synagçy "gyzyl gör" ädimini amala aşyrdy: funksiýanyň içindäki goşma belgini bilkastlaýyn köpeltmek. 12 synagdan diňe 3-si gyzyl gaýdyp geldi. Beýleki 9 synag hakyky tassyklamany bermedi; Diňe "ýalňyşlyk goýbermedi" diýilýär. 9 sany bezeg synagy pozuldy we ýerine 5 sany hakyky synag ýazyldy.
3-nji waka - Şahsy durmuşyň bozulmagyndan gaýdyp gelmek. Tejribeli hakyky müşderi e-poçtalaryny we kartoçkanyň soňky dört belgisini öz içine alýan säwlik gündeligini önümçilik guralyna köpçülige gurady we "bu ýalňyşlygy düşündiriň" diýdi. QA ýolbaşçysy muňa goşuldy: bu şahsy maglumatlar gözegçilikden çykdy we KVKK (Şahsy maglumatlary goramak kanuny). Edil şol bir iş edara tarapyndan tassyklanan ulagda edilip, şahsy ýerleri maskalap, diňe yz galdyrdy.
Göçürip boljak dört şablon
1) Işe laýyklygy bahalandyrmak:
Siziň roluňyz: ýokary derejeli QA ýolbaşçysy. Synag işini size düşündirerin. Maňa (1) bu eseriň AI-e ygtybarly tabşyrylyp bilinjek ýa-da adamyň bermeli hil karary, (2) nädogry önümiň bolup biljek bahasy, (3) tabşyrmazdan ozal etmeli barlagym. Iş: [şu ýere iş giriziň]
2) Pseudo-pass gözegçiligi:
Aşakdaky synagy gözden geçiriň. Maňa aýdyň: - Bu synag haýsy häsiýeti tassyklaýar? (bir sözlem) - Synag RED öwrülmegi üçin nädip kody döwüp bilerin? - Bu synagyň elmydama geçmegine sebäp bolup biljek gowşaklyk barmy (tassyklama, öz-özüni barlamak, ownuk barlag)? Synag: [testi şu ýere goýuň]
3) Maglumatlaryň maskalanmagyna gözegçilik:
Size berjek gündeligim / maglumatlary şahsy ýa-da gizlin meýdanlary (e-poçta, ady, kartoçkasy, açary, içerki salgysy) öz içine alyp biler. Ilki bilen maskalanmaly meýdanlary sanaň; Men ony maska ederin we täzeden ibererin. Bolşy ýaly analiz etme.
4) Sintetiki synag maglumatlary döretmek:
[Aşakdaky meýdan gurluşy] üçin 20 hatar düýbünden toslama, hakyky synag maglumatlary dörediň. Hakyky adam / gurama maglumatlaryny ulanmaň. Şeýle hem gyradaky ýagdaýlary goşuň: boş ýer, gaty uzyn tekst, bahalary çäklendiriň, nädogry format.
Gowşak haýyş / Güýçli haýyş
Gowşak: "Bu koda synag ýazyň."
Güýçli: "arzanladyş funksiýasy üçin bu ýazuw bölüminiň synaglaryny hasaplaň. Funksiýa üçin kabul ediş kriteriýalary: 1000 TL-den 10% arzanladyş, 5000 TL-den 20% arzanladyş; negatiw mukdar ýalňyşlyk goýbermeli. Her synag üçin tassyklaýan bellik setirini görkeziň. Çäk bahalaryny synap görüň (999, 1000, 1001, 5000, 0, -1).
Güýçli haýyş; Kabul ediş ölçeglerini, bahalary çäklendirýär, tassyklamalara garaşýar we aç-açan garalama garşy görkezmeleri berýär. Gowşak isleg AI-ni bezeg synagy ýazmaga çagyrýar.
Adaty ýalňyşlyklar
- Greenaşyl ynam. Synagdan geçmegiň subutnamasydygyny pikir etmek. Asyl sorag: kody bozanyňyzda gyzyl öwrülermi?
- Hiç hili sebäp bermezden synag talap etmek. AI nämäni barlamalydygyny bilmän umumy, köplenç peýdasyz synaglary öndürýär.
- Barlamakdan geçmek. "AI ýazdy, belki dogry" diýmek. Jogap, çykyşy ulanýan adamyň üstüne düşýär.
- Hakyky / duýgur maglumatlary guralyň içine goýmak. Önümçilik maglumatlary, açarlar ýa-da şahsy maglumatlar bilen işlemek.
- Rugsat berilmedik howpsuzlyk synagy. Göwrüm we rugsatsyz kemsidiji synaga synanyşmak.
- AI-den karar bermek. "Bu wersiýa çykyp bolarmy?" Diýen soragy bermek AI-e we jogaby goluň içine goýmak.
Gysgaça
AI, gaýtalanýan we öndürijilikli işi çaltlaşdyrýan QA prosesinde güýçli kömekçi; Qualityöne hil karary üçin jogapkärçilik adamda. Bu hünärde AI-iň birinji töwekgelçiligi pseudo-pass: arassa görünýän, ýöne hiç zady tassyklamaýan ýaşyl synaglar. Her AI synagyny bilkastlaýyn bozup synap görüň; Gyzyl öwrülmese, bu synag bezegdir. Talaba baglaň, gyzyl reňk görüň, kontekst süzgüçinden geçiriň. Gizlin maglumatlary maskalaň, diňe ygtyýarly we gorag maksatly howpsuzlyk synaglaryny geçiriň.
Programma meselesi
Öz taslamaňyzdan 5 sany AI (ýa-da AI öndürilen) birlik synagyny alyň. Her biri üçin: (1) özüni alyp barşyny tassyklaýan bir sözlemde ýazyň, (2) bilkastlaýyn synagdan geçiriň we näçesiniň gyzyl reňkde bolandygyny belläň, (3) gyzyl öwrülmedikleri "bezeg synaglary" diýip belläň we hakyky tassyklama bilen täzeden ýazyň. Netijäni tablisa goýuň: synagyň ady / tassyklanan düzgüni / döwülende / hereket edilende döwüldi.
gözegçilik sanawy
- [] Eseri tabşyrmazdan ozal "ýalňyş bolsa näme ýitirerin?" Diýen soragy berdim.
- [] Kody bozup, her AI synagyny synagdan geçirdim; Gyzyl öwrülmedik birini hakyky synag bilen çalyşdym.
- [] Synag hadysalaryny hakyky talap / kabul ediş ölçegleri bilen baglanyşdyrdym.
- [] Gurala bermezden duýgur / hakyky maglumatlary maskaladym; Mümkin bolsa sintetiki maglumatlary ulandym.
- [] Howpsuzlyk synagyny diňe ygtyýaryň içinde we goranyş maksatly hasapladym.
- [] "Wersiýanyň çykaryljakdygy" kararyny AI-e däl-de, özüme goýdum.