Daromadlar:
- Sun'iy intellekt QA jarayonida real vaqtni qayerda tejashini va vazifaning xavf darajasiga qarab, "nashrga tayyor" kabi sifatli qarorlar odamlarga qoldirilishini ajrata olish.
- Noto'g'ri o'tish xavfini tan olish va kodni ataylab buzish orqali har bir AI testini sinovdan o'tkazadigan tekshirish intizomini amalga oshirish qobiliyati
- Sinov ma'lumotlarini, shaxsiy ma'lumotlarni va kalitlarni himoya qilish qobiliyati va xavfsizlik testlarini faqat avtorizatsiya doirasida va mudofaa maqsadlarida o'tkazish odatiga ega bo'lish.
Chiqarilish kechasini ko'rib chiqing. Yuzlab sinovlar o'tkazildi, ularning barchasi yashil chiroq yondi, jamoa yengillashdi va dasturiy ta'minot jonli ishga tushdi. Ertasi kuni ertalab mijoz to'lov ekrani ishdan chiqqani haqida xabar berdi. Sinovlar yashil edi, lekin u xatoni ko'rmadi. Bu sifat kafolati (QA) kasbining eng makkor dahshatli tushidir, ya'ni dasturiy ta'minotning kerakli sifatga ega bo'lishini muntazam ravishda ta'minlaydigan intizom: yashil rangda yonadigan, lekin aslida hech narsani tasdiqlamaydigan sinov. Sun'iy intellekt (AI - tarixiy ma'lumotlardan naqshlarni chiqaradigan va matn va kodni yaratuvchi dasturiy ta'minot) ushbu kasbga kirganda, aynan shu dahshatli tushning katta tezlashishi va kattalashishi mavjud. Ushbu modulning dastlabki va'dasi aniq: AI - bu sinov yordamchisi, loyiha ishlab chiqaruvchisi va g'oyalarni ko'paytirish; Siz “bu dasturiy taʼminot chiqarishga tayyormi” qarorini imzolagan sinovchisiz.
Ushbu birinchi bo'limda biz vositaga emas, balki intizomga e'tibor qaratamiz. QA jarayonida AI real vaqtni qayerda tejashini, qayerda xavfli ekanligini, nima uchun “yolg‘on o‘tish” deb ataladigan aldamchi yashil rang eng katta xavf ekanligini, har bir natijani qanday tekshirishni va qaysi vositaga qanday ma’lumotlarni berishingiz mumkinligini bilib olasiz. Ushbu poydevor qo'ymasdan, keyingi birliklar havoda qoladi.
Sinov jarayonida AI qayerda yordam beradi?
Sinov ishlarini ikkita katta klasterga ajratamiz. Birinchi klaster: takrorlanuvchi, ishlab chiqariladigan, qoralama ishlar. Talabdan test ishini tuzish, to'xtash nuqtalarini sanab o'tish, ekran uchun avtomatlashtirish kodining skeletini yozish, murakkab xato holatini aniq xato hisobotiga tarjima qilish, yuzlab qator jurnal fayllarini umumlashtirish, API javobidan sxemani ajratib olish. Ushbu vazifalarda AI daqiqalarni soniyalarga qisqartiradi va charchamaydi.
Ikkinchi klaster: natijasi sifat, ishonch va mas'uliyat bo'lgan qarorlar. “Ushbu versiyani ishga tushirish mumkinmi”, “bu xato muhimmi yoki uni keyinga qoldirish mumkinmi”, “bu sinov qamrovi yetarlimi”, “ushbu stsenariy real foydalanuvchi xavfini qamrab oladimi” va hokazo kabi qarorlar kontekst, mahsulot bilimi va masʼuliyatni talab qiladi. Bu erda AI variantlarni, qoralamalarni yaratadi - lekin siz "o'tish / muvaffaqiyatsiz" va "ketish / yo'q" ga qaror qilasiz.
Farqni bitta jumlada aniqlab olaylik: AI "qanday vaziyatlarni sinab ko'rish mumkin va uni sinab ko'radigan kodni qanday yozish kerak"da kuchli; “Ushbu dastur haqiqatan ham ishlaydimi va unga kim kafolat beradi?” degan savolga kelganda qaror sizniki.
Maslahat: Ishni sun'iy intellektga topshirishdan oldin, so'rang: "Agar bu chiqish noto'g'ri bo'lsa va men buni sezmasam nima bo'ladi?" Agar javob "Men bir necha daqiqani yo'qotaman" bo'lsa, delegatsiyani osongina topshiring. Agar javob "noto'g'ri dasturiy ta'minot ishga tushsa" bo'lsa, AI qoralama ishlab chiqarsin va siz qaror qabul qilasiz va tekshirishingiz mumkin.
Noto'g'ri o'tish: QAda AIning birinchi raqamli xavfi
Sinov yashil rangda yonsa, bu ikki narsani anglatishi mumkin: yo dasturiy ta'minot haqiqatan ham to'g'ri ishlayapti, yoki test noto'g'ri yozilganligi sababli xatoni ko'rmayapti. Ikkinchisi noto'g'ri o'tish deb ataladi - test "o'tish" deb aytadi, lekin aslida hech narsani tasdiqlamaydi. AI bilan ishlab chiqarilgan testlarda bu xavf sezilarli darajada oshadi, chunki AI ravon, silliq, ammo bo'sh testlarni yozishda juda muvaffaqiyatli.
Pseudo-pasning uchta eng keng tarqalgan shakllari quyidagilardir: (1) Tasdiqlashsiz test - kod ishlaydi, tasdiqlar yo'q, har doim o'tadi. (2) O'z-o'zini tekshirish testi - testning kutilayotgan qiymati sinovdan o'tgan kodning chiqishidan hisoblanadi; Ya'ni, kod nima hosil qilsa, test "to'g'ri" deb qabul qiladi. (3) Noto'g'ri narsani tasdiqlovchi test - tasdiqlash mavjud, lekin u haqiqiy biznes qoidasini emas, balki ahamiyatsiz narsani (masalan, "javob nol emas") tekshiradi.
Diqqat: Yashil sinov paneli sifatni tasdiqlamaydi; Eng yaxshi holatda "biz yozgan boshqaruvlar hozir buzilmagan" deb yozilgan. AI ishlab chiqaradigan testda "o'tish" ni ko'rib, taskin topmang - haqiqiy savol: agar kodni ataylab buzsam, bu test qizil rangga aylanadimi? Agar u aylanmasa, bu sinov bezakdir.
Ushbu modul davomida takrorlanadigan oltin qoida: kodni ataylab buzish orqali har bir AI testini sinab ko'ring. Agar test hali ham yashil bo'lsa, bu test ishlamayapti. (Biz bu fikrni 10-bo'limda mutatsiya testi sifatida chuqurlashtiramiz.)
Tekshirish intizomi: uch bosqich
AI ishonch bilan gapiradi; Bu haqiqat degani emas. Har bir natijaga qo'llash uchun uch bosqichli refleksni ishlab chiqing:
- Uni talabga bog'lang. Har bir sinov holati va AI ishlab chiqaradigan haqiqiy talab yoki qabul qilish mezonlariga (ish "bajarildi" deb hisoblash uchun javob berishi kerak bo'lgan shartlarga) asoslangan bo'lishi kerakligini tasdiqlaydi. "Ushbu stsenariy qaysi qoidani tasdiqlaydi?" so'rang.
- Qizil rangga qarang. Yaratilgan testni kodni buzgan holda bir marta bajaring. Agar u qizil rangga aylanmasa, test haqiqiy emas. Bu sun'iy intellektni sinovdan o'tkazishda muzokaralar olib bo'lmaydigan qadamdir.
- Uni kontekst filtri orqali o'tkazing. Chiqarish siz bilgan mahsulotning xatti-harakati, arxitekturasi, haqiqiy foydalanuvchi oqimiga mos keladimi? Sizning domen bilimingiz yakuniy filtrdir.
Ma'lumotlar maxfiyligi va xavfsizligi: nima qaerga ketadi?
Sinov muhitida ishlayotgan ma'lumotlar ko'pincha sezgir: haqiqiy mijozlar yozuvlari, ishlab chiqarish ma'lumotlar bazasi nusxalari, API kalitlari, ichki tizim manzillari, hali e'lon qilinmagan xususiyatlar. Oddiy tasnif qiling: Ochiq ma'lumotlar (hujjatlangan, hamma uchun ochiq) har qanday transport vositasiga kirishi mumkin. Ichki ma'lumotlar (manba kodi bo'laklari, ichki hujjatlar) faqat agentlik tomonidan tasdiqlangan vositalarga. Maxfiy ma'lumotlar (haqiqiy mijoz ma'lumotlari, identifikatsiya ma'lumotlari, zaiflik tafsilotlari, kalitlar) faqat muassasaning shartnomaviy vositalariga kiradi, ularning ma'lumotlari namunaviy treningga o'tmaydi, afzalroq maskalanadi.
Xavfsizlik sinovi kontekstida qo'shimcha cheklov mavjud: ushbu modulda o'rganilgan hamma narsa mudofaa maqsadlarida - o'z mahsulotingiz xavfsizligini ishonchli tarzda sinab ko'rish uchun. Birovning tizimiga ruxsatsiz kirish, haqiqiy zaifliklarni qurollantirish yoki sizda hech qanday vakolatga ega bo'lmagan tizimni sinab ko'rish uchun sun'iy intellektdan foydalanish axloqiy va jinoiydir. Hech qanday tajovuzkor test ruxsatsiz (ko'lami va ruxsatisiz) o'tkazilmaydi.
Maslahat: Haqiqiy mijoz ma'lumotlari o'rniga sintetik (sun'iy ravishda ishlab chiqarilgan) test ma'lumotlaridan foydalaning. AIdan "haqiqiy, ammo to'liq xayoliy sinov ma'lumotlarini yaratish" ni so'rash ham maxfiylikni saqlaydi, ham eng yaxshi holatlarni diversifikatsiya qiladi.
uchta mini holat
1-holat - Vaqtni tejash to'g'ri joyda. Ekomerce jamoasining sinovchisi har bir nashr uchun 30 sahifalik talablar hujjatidan test stsenariysini qo'lda yaratish uchun 6 soat vaqt sarfladi. U hujjatni (tijorat sirlarini o'z ichiga olmagan qismini) Y.Z.ga berdi va tuzilgan stsenariy loyihasini so'radi; Vaqt 90 daqiqaga qisqartirildi. U tejalgan vaqtini AI o'tkazib yuborgan biznes qoidalarini qo'shish orqali tekshirishga bag'ishladi. AI takroriy ishni olib tashladi va hukmni insonga qoldirdi.
2-holat - Soxta o'tish paytida ushlandi. Ishlab chiquvchiga AI hisoblash funksiyasi uchun 12 ta test sinovini yozishi kerak edi; ularning hammasi yashil edi. Sinovchi "qizilni ko'ring" bosqichini amalga oshirdi: funktsiya ichidagi qo'shish belgisini ataylab ko'paytirishga o'zgartirdi. 12 testdan faqat 3 tasi qizil rangga qaytdi. Qolgan 9 ta test haqiqiy tasdiqni bermadi; Faqat "xato yo'q" deb yozilgan. 9 ta dekorativ test o'chirildi va o'rniga 5 ta haqiqiy test yozildi.
3-holat - Maxfiylik buzilishidan qaytish. Stajyor ishlab chiqarish bazasidagi haqiqiy mijozlar elektron pochtalari va kartaning oxirgi to‘rtta raqamini o‘z ichiga olgan xato jurnalini umumiy vositaga joylashtirdi va “bu xatoni tushuntirib bering” dedi. QA rahbari aralashdi: bu shaxsiy ma'lumotlar nazoratdan tashqarida va KVKK (Shaxsiy ma'lumotlarni himoya qilish to'g'risidagi qonun) buzilishi edi. Xuddi shu ish muassasa tomonidan tasdiqlangan transport vositasida amalga oshirildi, shaxsiy joylarni maskalash va faqat stek izini qoldirdi.
To'rt nusxa ko'chirish shablonlari
1) Ishga yaroqliligini baholash:
Sizning rolingiz: yuqori darajadagi QA rahbari. Men sizga sinov ishini tasvirlab beraman. (1) bu ish AIga ishonchli topshirilishi mumkin bo'lgan loyihalash/tahlil ishimi yoki inson qabul qilishi kerak bo'lgan sifatli qarormi, (2) noto'g'ri mahsulotning potentsial narxi, (3) vakolat berishdan oldin bajarishim kerak bo'lgan tekshirishmi?
2) Pseudo-pas nazorati:
Quyidagi testni tekshiring. Ayting-chi: - Ushbu test qanday xatti-harakatni tasdiqlaydi? (bitta jumla)- Sinovdagi kodni qanday sindirishim mumkin, shunda test QIZIL rangga aylanadi?- Bu test har doim o‘tib ketishiga sabab bo‘ladigan zaiflik bormi (tasdiqlash, o‘z-o‘zini tekshirish, ahamiyatsiz tekshirish)? Test: [testni shu yerga qo‘ying]
3) Sinov ma'lumotlarini maskalash nazorati:
Men sizga beradigan jurnal/ma'lumotlar shaxsiy yoki maxfiy maydonlarni (elektron pochta, ism, karta, kalit, ichki manzil) o'z ichiga olishi mumkin. Birinchidan, maskalanishi kerak bo'lgan maydonlarni sanab o'ting; Men uni niqoblab, yana yuboraman. Uni qanday bo'lsa, shunday tahlil qilmang.
4) Sintetik test ma'lumotlarini yaratish:
[Quyidagi maydon tuzilishi] uchun 20 qator toʻliq xayoliy, real sinov maʼlumotlarini yarating. Haqiqiy shaxs/tashkilot ma'lumotlaridan foydalanmang. Shuningdek, chekka holatlar ham kiradi: bo'sh joy, juda uzun matn, chegara qiymatlari, noto'g'ri format.
Zaif taklif / Kuchli taklif
Zaif: "Ushbu kod bo'yicha testlarni yozing."
Kuchli: "Chegirma funksiyasi uchun ushbu yozish birligi testlarini hisoblang. Funktsiyani qabul qilish mezonlari: 1000 TL dan 10% chegirma, 5000 TL dan 20% chegirma; manfiy miqdor xatoga yo'l qo'yishi kerak. Har bir test uchun qaysi qoidani tasdiqlayotganingizni izoh qatori bilan belgilang. Cheklangan qiymatlarni sinab ko'ring (999, 50, 100, 100 -1) agar kodni bo'sh qilsam, qizil rangga aylanadigan haqiqiy tasdiqlardan foydalaning."
Kuchli tezkor; U qabul qilish mezonlari, chegaraviy qiymatlar, tekshirish kutishlari va aniq anti-spoofing ko'rsatmalarini beradi. Zaif taklif AIni dekorativ test yozishga taklif qiladi.
Umumiy xatolar
- Yashilga ishonish. Sinovdan o'tish dalil deb o'ylash. Haqiqiy savol: kodni buzganingizda qizil rangga aylanadimi?
- Hech qanday sabab ko'rsatmasdan test talab qilish. AI nimani tekshirish kerakligini bilmasdan umumiy, ko'pincha foydasiz testlarni ishlab chiqaradi.
- Tasdiqlash oʻtkazib yuborilmoqda. "AI yozgan, bu haqiqatdir" deyish. Mas'uliyat natijadan foydalanadigan shaxsga tegishli.
- Asbobga haqiqiy/sezgir ma'lumotlarni joylashtirish. Ishlab chiqarish ma'lumotlari, kalitlar yoki shaxsiy ma'lumotlar bilan ishlash.
- Ruxsatsiz xavfsizlik sinovlari. Ko'lami va ruxsatisiz haqoratli test o'tkazishga urinish.
- Qaror qabul qilish vakolatini berish uchun AIdan foydalanish. “Ushbu versiya chiqarilishi mumkinmi?” degan savolni berish. AIga va javobni imzoga qo'ying.
qisqa bayoni; yakunida
AI - takroriy va ishlab chiqarish ishni tezlashtiradigan QA jarayonida kuchli yordamchi; Lekin sifatli qaror uchun javobgarlik insonga tegishli. Ushbu kasbda AIning birinchi raqamli xavfi psevdo-passdir: toza ko'rinadigan, ammo hech narsani tasdiqlamaydigan yashil testlar. Kodni ataylab buzish orqali har bir AI testini sinab ko'ring; Agar u qizil rangga aylanmasa, bu sinov bezakdir. Uni talabga bog'lang, qizil rangga qarang, kontekst filtridan o'tkazing. Maxfiy ma'lumotlarni maskalash, xavfsizlik testlarini faqat ruxsat etilgan va mudofaa maqsadlarida amalga oshirish.
Ilova vazifasi
O'z loyihangizdan AI tomonidan yaratilgan (yoki AI tomonidan yaratilgan) 5 ta test sinovini o'tkazing. Har biri uchun: (1) qaysi xatti-harakatni tekshirayotganini bitta jumlada yozing, (2) sinalayotgan kodni ataylab buzing va ishga tushiring va qanchasi qizil rangga aylanganiga e'tibor bering, (3) qizil rangga aylanmaganlarini "dekor testlari" deb belgilang va ularni haqiqiy tasdiq bilan qayta yozing. Natijani jadvalga qo'ying: test nomi / qoida tasdiqladi / buzilganda buzilganmi / harakat.
nazorat ro'yxati
- [ ] Ishni topshirishdan oldin, men "xato bo'lsa, nima yo'qotaman?"
- [ ] Men har bir AI testini kodni buzish orqali sinab ko'rdim; Men qizil rangga aylanmaganini haqiqiy sinov bilan almashtirdim.
- [ ] Men test holatlarini haqiqiy talab/qabul qilish mezonlari bilan bog‘ladim.
- [ ] Men nozik/haqiqiy maʼlumotlarni vositaga bermasdan maskaladim; Iloji bo'lsa sintetik ma'lumotlardan foydalanardim.
- [ ] Men xavfsizlik sinovini faqat vakolat doirasida va mudofaa maqsadlarida ko'rib chiqdim.
- [ ] "Versiya chiqadimi yoki yo'qmi" degan qarorni AIga emas, o'zimga qoldirdim.