சோதனை கவரேஜ் பகுப்பாய்வு மற்றும் இடர் அடிப்படையிலான சோதனை: AI உடன் சரியான இலக்கு

ஆதாயங்கள்:

• வரி, கிளை மற்றும் நிபந்தனை கவரேஜ் போன்ற அளவீடுகளை ஒரு வரைபடமாகப் படிக்கும் திறன், ஒரு நம்பிக்கை அல்ல
• குறியீட்டு நோக்கத்திற்கு அடுத்ததாக தேவை நோக்கத்தை வைக்கும் திறன் மற்றும் செயற்கை நுண்ணறிவு மூலம் கண்டறியக்கூடிய இடைவெளிகளை தெரியும்
• ஆபத்து = நிகழ்தகவு × தாக்கம், அதிக ஆபத்துக்கான நேரடி வரையறுக்கப்பட்ட சோதனை முயற்சி மற்றும் வேண்டுமென்றே நோக்கம் இல்லாததை ஆவணப்படுத்துவதற்கான சூத்திரத்துடன் அம்சங்களைப் பெறுவதற்கான திறன்

ஒவ்வொரு மென்பொருளையும் நீங்கள் எப்போதும் சோதிக்க முடியாது; நேரம் மற்றும் வளங்கள் குறைவாக உள்ளன. எனவே உண்மையான கேள்வி: வரையறுக்கப்பட்ட சோதனை முயற்சியை எங்கு வைப்பது? இந்த கேள்விக்கு இரண்டு கருத்துக்கள் பதிலளிக்கின்றன. சோதனைக் கவரேஜ்—சோதனைகளால் எவ்வளவு குறியீடு அல்லது தேவைகள் தொடப்படுகின்றன என்பதை அளவிடும் மெட்ரிக்—சோதனை செய்யப்படுவதைக் குறிக்கிறது. இடர் அடிப்படையிலான சோதனை - ஒரு பகுதியின் சீரழிவின் நிகழ்தகவு மற்றும் அது மோசமடையும் போது அது ஏற்படுத்தும் சேதத்தின் நிகழ்தகவு ஆகியவற்றின் அடிப்படையில் சோதனை முன்னுரிமையை தீர்மானிக்கும் அணுகுமுறை - முயற்சியை மிகவும் அபாயத்திற்கு வழிநடத்துகிறது. செயற்கை நுண்ணறிவு (AI) இரண்டிலும் ஒரு சக்திவாய்ந்த பகுப்பாய்வு பங்காளியாகும்: இது கவரேஜ் இடைவெளிகளைக் காணக்கூடியதாக ஆக்குகிறது, ஆபத்து பகுதிகளை பரிந்துரைக்கிறது. ஆனால் மைய எச்சரிக்கை உள்ளது: AI பார்க்கும் நோக்கங்களின் எண்ணிக்கை தவறாக வழிநடத்தும்; எதையும் சரிபார்க்காத சோதனைகள் மூலம் 100% வரிசை கவரேஜ் கூட அடைய முடியும். ஸ்கோப்பை வரைபடமாகப் படிப்பதே உங்கள் வேலை, நம்பிக்கையாக அல்ல.

கவரேஜ் அளவீடுகளை சரியாகப் படித்தல்

பல வகையான நோக்கங்கள் உள்ளன, மேலும் அனைத்தும் சமமாக அர்த்தமுள்ளவை அல்ல:

• வரி கவரேஜ்: குறைந்தபட்சம் ஒரு முறை எத்தனை கோடுகளின் குறியீடு செயல்படுத்தப்பட்டது. மிகவும் பொதுவான ஆனால் பலவீனமான அளவுகோல்; ஒரு வரி வேலை செய்வதால் அது சரியாக செயல்படுகிறது என்பதற்கு சான்றாகாது.
• கிளை கவரேஜ்: ஒவ்வொரு கிளையும் (உண்மை மற்றும் தவறு) சோதிக்கப்பட்டதா. ஒரு வரியை விட அர்த்தமுள்ளது.
• நிபந்தனை கவரேஜ்: சிக்கலான நிலைகளில் ஒவ்வொரு துணை நிலையையும் தனித்தனியாக சோதித்தல்.
• பாதை கவரேஜ்: குறியீட்டில் உள்ள தருக்க பாதைகளின் சேர்க்கைகள். இது மிகவும் விரிவானது ஆனால் நடைமுறையில் முழுமையாக அடைய கடினமாக உள்ளது.

எச்சரிக்கை: கவரேஜ் சதவீதம் என்பது "தரமான மதிப்பெண்" அல்ல. 100% வரிசை கவரேஜ், வரிசைகள் செயல்படுகின்றன என்று கூறுகிறது; அது சரியான முடிவைத் தரவில்லை (அலகு 1ல் உள்ள போலி-பாஸ்). "நான் எங்கு பார்த்ததில்லை" என்ற கேள்விக்கான விடையாக நோக்கத்தைப் பயன்படுத்தவும், "எல்லாம் சோதிக்கப்பட்டது" என்பதற்கான உத்தரவாதமாக அல்ல.

ஸ்கோப் குருட்டு புள்ளிகள்

கவரேஜ் அளவீடுகள் குறியீடு எவ்வளவு செயல்படுத்தப்பட்டது என்பதை மட்டுமே அளவிடும்; பார்க்க முடியாது: (1) சோதிக்கப்படாத தேவைகள் (குறியீடு உள்ளது, ஆனால் வணிக விதி தவறானது), (2) விடுபட்ட குறியீடு (எழுதப்படாத கட்டுப்பாட்டுக்கான வாய்ப்பு இல்லை), (3) தரவு/நிலை சேர்க்கைகள், (4) பயன்பாடு, செயல்திறன், பாதுகாப்பு. எனவே, குறியீடு கவரேஜுக்கு அடுத்ததாக தேவை கவரேஜ் (ஒவ்வொரு ஏற்றுக்கொள்ளும் அளவுகோலும் குறைந்தது ஒரு சோதனை மூலம் பூர்த்தி செய்யப்பட வேண்டும்). தேவை-சோதனை மேப்பிங்கை (டிரேசபிலிட்டி மேட்ரிக்ஸ்) உருவாக்க AI மிகவும் உதவியாக உள்ளது.

இடர் அடிப்படையிலான சோதனை: நாம் எங்கு முயற்சி செய்கிறோம்?

ஆபத்து = நிகழ்தகவு (உடைப்பு வாய்ப்பு) × தாக்கம் (உடைந்தால் தீங்கு). AI மூலம், இந்த இரண்டு அச்சுகளிலும் அம்சப் பட்டியலை நீங்கள் ஸ்கோர் செய்யலாம் மற்றும் வெப்ப வரைபடத்தை உருவாக்கலாம். அதிக நிகழ்தகவு × அதிக டொமைன்கள் (கட்டணம், அங்கீகாரம், தரவு ஒருமைப்பாடு) மிகவும் தீவிரமான சோதனைக்குத் தகுதியானவை; குறைந்த × தாழ்வான பகுதிகளில் (அரிதாகப் பயன்படுத்தப்படும் விருப்பத் திரை) ஒளி சோதனை போதுமானது.

பகுதி

நிகழ்தகவு

தாக்கம்

ஆபத்து

சோதனை அடர்த்தி

கட்டண ஓட்டம்

நடுத்தர

மிக உயர்ந்தது

உயர்

ஆழமான + ஆட்டோமேஷன்

அங்கீகாரம்

நடுத்தர

மிக உயர்ந்தது

உயர்

ஆழமான + பாதுகாப்பு

தயாரிப்பு தேடல்

உயர்

நடுத்தர

நடுத்தர-உயர்

ஆட்டோமேஷன் + கண்டுபிடிப்பு

சுயவிவரப் புகைப்படம்

குறைந்த

குறைந்த

குறைந்த

ஒளி கட்டுப்பாடு

உதவி பக்கம்

குறைந்த

மிகவும் குறைவு

மிகவும் குறைவு

மதிப்பாய்வு

நோக்கத்தைத் துரத்தும் பொறி

கவரேஜ் சதவீதத்தை ஒரு குறிக்கோளாக ஆக்குவது (எ.கா. "அணி 90% கவரேஜில் தேர்ச்சி பெற வேண்டும்" விதி) ஆபத்தான பக்க விளைவைக் கொண்டுள்ளது: டெவலப்பர்களும் சோதனையாளர்களும் உண்மையான ஆபத்தை நிவர்த்தி செய்வதற்குப் பதிலாக சதவீதத்தை அதிகரிப்பதில் கவனம் செலுத்துகிறார்கள். இதன் விளைவாக, எந்த உறுதிப்பாடுகள் அல்லது அற்ப சோதனைகள் இல்லாத ஒரு வீங்கிய நோக்கம் - எண் அழகாக இருக்கிறது ஆனால் பாதுகாப்பு இல்லை. இதுவே இலக்காக மாறும்போது அளவுகோல் சிதைக்கப்படும் நிகழ்வு: "ஒரு அளவீடு ஒரு இலக்காக மாறும்போது, ​​​​அது ஒரு நல்ல நடவடிக்கையாக நின்றுவிடுகிறது." ஸ்கோப்பை ஒரு கண்டறியும் கருவியாகப் பயன்படுத்தவும், செயல்திறன் அறிக்கை அட்டை அல்ல.

ஒரு ஆரோக்கியமான அணுகுமுறை, நோக்கத்தை திசையில் படிப்பதாகும்: "முக்கியமான கட்டணத் தொகுதியில் கிளைக் கவரேஜ் ஏன் 40% இல் சிக்கியுள்ளது?" கேள்வி "ஒட்டுமொத்த கவரேஜ் 90%?" கேள்வியை விட இது மிகவும் மதிப்புமிக்கது. தொகுதி மற்றும் இடர் நிலை மூலம் ஸ்கோப் அறிக்கையை AI உடைக்க வேண்டும்; குறைந்த பாதுகாப்புடன் அதிக ஆபத்துள்ள பகுதிகளை முன்னிலைப்படுத்தவும். எனவே, நோக்கம் குருட்டு சதவீதத்தை விட உழைப்பை இயக்கும் திசைகாட்டியாக மாறுகிறது.

எச்சரிக்கை: "100% கவரேஜ்" என்ற முழக்கம் ஒரு பொறி. சில குறியீட்டைச் சோதிப்பது (எளிய அணுகல்கள், தானாக உருவாக்கப்பட்ட பாகங்கள்) குறைந்த மதிப்புடையது; அங்கு செலவழித்த முயற்சி அதிக ஆபத்துள்ள வணிக விதிகளிலிருந்து திருடப்பட்டது. ஒவ்வொரு வரியையும் அல்ல, ஒவ்வொரு முக்கியமான நடத்தையையும் ஆபத்தையும் சோதிப்பதே குறிக்கோள்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமானது: "எனது சோதனைக் கவரேஜை அதிகரிக்கவும்."

வலிமையானது: "இந்த ஏற்றுக்கொள்ளும் அளவுகோல்களின் பட்டியல் மற்றும் தற்போதுள்ள இந்த சோதனை நிகழ்வுகள். (1) எந்த சோதனைகளாலும் ஏற்றுக்கொள்ளும் அளவுகோல்கள் பூர்த்தி செய்யப்படாத அட்டவணை (தேவையான கவரேஜ் இடைவெளி). (2) நிகழ்தகவு மற்றும் தாக்க அச்சுகளில் ஒவ்வொரு அம்சத்திற்கும் 1-5 மதிப்பெண்கள்; இடர் அடிப்படையில் வரிசை = நிகழ்தகவு × தாக்கம். (3) எனது குறைந்த கால இடைவெளியில், நான் 5 நிமிடங்களில், அதிக ரிஸ்க் எடுக்கக் கூடாது. ஒரே அளவுகோலாக குறியீடு வரி கவரேஜ்: [...] சோதனைகள்: [...]"

சக்திவாய்ந்த உடனடி; வணிக அபாயத்துடன் நோக்கத்தை ஒருங்கிணைக்கிறது மற்றும் வரையறுக்கப்பட்ட தொழிலாளர்களுக்கு முன்னுரிமை அளிக்கிறது.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) தேவை நோக்கம் இடைவெளி:

பின்வரும் ஏற்றுக்கொள்ளும் அளவுகோல்கள் மற்றும் இந்த சோதனை நிகழ்வுகள் கொடுக்கப்பட்டுள்ளன. கண்டுபிடிக்கக்கூடிய அட்டவணையை உருவாக்கவும்: ஒவ்வொரு அளவுகோலும் -> சோதனை(கள்) அதை சந்திக்கும். எந்த சோதனைகளும் இல்லாத அளவுகோல்கள் "கவரேஜ் கேப்" என்றும், எந்த அளவுகோலுடனும் இணைக்கப்படாத சோதனைகள் "தேவையா?" குறி: அளவுகோல்கள்: [...] / சோதனைகள்: [...]

2) இடர் மதிப்பெண்:

இந்த அம்சங்கள்/தொகுதிகளின் பட்டியலை 1-5 நிகழ்தகவு (உடைவதற்கான வாய்ப்பு) மற்றும் தாக்கம் (உடைந்தால் சேதம்) அச்சுகளில் மதிப்பெண். ஆபத்து = நிகழ்தகவு × தாக்கம். ஒரு அட்டவணையில் வரிசைப்படுத்தி, ஒவ்வொரு அதிக ஆபத்துள்ள பகுதிக்கும் பரிந்துரைக்கப்பட்ட சோதனை வகையை (யூனிட்/ஏபிஐ/யுஐ/உளவுத்துறை/பாதுகாப்பு) குறிப்பிடவும். பட்டியல்: [...]

3) நோக்கம் விளக்கம்:

பின்வரும் கவரேஜ் அறிக்கை கொடுக்கப்பட்டது (வரி %, கிளை %). இதை என்னிடம் சொல்லுங்கள்:- இந்த எண்கள் எதை நிரூபிக்கவில்லை?- அதிக வரிசை கவரேஜ் இருந்தாலும் ஆபத்தில் இருக்கக்கூடிய பகுதிகள் எவை?- கவரேஜ் பார்க்காத இடைவெளிகளுக்கு (தேவை, தரவு சேர்க்கை, பாதுகாப்பு) என்ன கூடுதல் சோதனையை பரிந்துரைக்கிறீர்கள்? அறிக்கை: [ஒட்டு]

4) வரையறுக்கப்பட்ட நேரத் திட்டம்:

ஒளிபரப்புவதற்கு [X மணிநேரம்] மீதமுள்ளது. பின்வரும் இடர் தரவரிசை மற்றும் கவரேஜ் இடைவெளிகள் கொடுக்கப்பட்டுள்ளன. இந்த காலகட்டத்தில், அதிகபட்ச அபாயத்தைக் குறைக்கும் சோதனைத் திட்டம் முன்னுரிமையின் வரிசையில் தயாரிக்கப்படுகிறது. மனப்பூர்வமாகச் சோதிக்கக் கூடாதவற்றைத் தெளிவாகக் குறிப்பிடவும் மற்றும் அவ்வாறு செய்வதால் ஏற்றுக்கொள்ளப்பட்ட ஆபத்து. தரவு: [...]

மூன்று சிறிய வழக்குகள்

வழக்கு 1 — 100% கவரேஜ், பூஜ்ஜிய நம்பிக்கை. ஒரு குழு 94% வரி கவரேஜை பெருமையாகக் கொண்டுள்ளது. "ஸ்கோப் விளக்கம்" பகுப்பாய்வு பெரும்பாலான சோதனைகள் உறுதியற்றவை என்பதைக் காட்டுகிறது, அதாவது அவை வரிகளை இயக்கின, ஆனால் எதையும் சரிபார்க்கவில்லை. உண்மையான பாதுகாப்பு கவரேஜ் மிகவும் குறைவாக இருந்தது. குழு எண்களில் கவனம் செலுத்தவில்லை மாறாக பிறழ்வு சோதனையில் கவனம் செலுத்தியது (அலகு 10); உண்மையான பிழை பிடிப்பு விகிதம் இரட்டிப்பாகும்.

வழக்கு 2 - இடர் வரைபடம் திருத்தப்பட்ட முன்னுரிமை. ஒரு குழு தங்களது சோதனை முயற்சியில் 40% அரிதாகப் பயன்படுத்தப்படும் அறிக்கையிடல் திரையில் செலவழித்து, பணம் செலுத்துவதைத் தவிர்க்கிறது, ஏனெனில் அது "செயல்படுகிறது". AI ஆபத்து மதிப்பெண் இந்த ஏற்றத்தாழ்வைக் காட்டியது. உழைப்பு மறுபகிர்வு செய்யப்பட்டது; இரண்டு வாரங்களுக்குப் பிறகு, பணம் செலுத்தும் ஓட்டத்தில் அதிக தாக்கப் பிழை கண்டறியப்பட்டது மற்றும் நேரலைக்கு முன் மூடப்பட்டது.

வழக்கு 3 - நோக்கம் இல்லை. வெளியிடப்பட்ட 4 மணிநேரத்தில், "வரையறுக்கப்பட்ட அட்டவணை" டெம்ப்ளேட்டுடன் எதைச் சோதிக்க வேண்டும் மற்றும் எதைத் தவிர்க்க வேண்டும் என்பதை குழு முடிவு செய்தது. இரண்டு அதிக ஆபத்துள்ள நீரோடைகள் ஆழமாக சோதிக்கப்பட்டன; குறைந்த ஆபத்துள்ள விருப்பத் திரை "ஏற்றுக்கொள்ளப்பட்ட ஆபத்து" என ஆவணப்படுத்தப்பட்டு தவிர்க்கப்பட்டது. முடிவு வெளிப்படையானது மற்றும் நியாயமானது; பதிப்பு பாதுகாப்பாக வெளிவந்தது.

பொதுவான தவறுகள்

• தரத்திற்கான கவரேஜ் சதவீதத்தை தவறாகப் புரிந்துகொள்வது. உயர் வரிசை கவரேஜை "சோதனை செய்யப்பட்ட" உத்தரவாதமாகப் படித்தல்.
• குறியீடு கவரேஜைப் பார்க்கிறேன். தேவைகள் கவரேஜைத் தவிர்ப்பது (ஒவ்வொரு ஏற்றுக்கொள்ளும் அளவுகோல்களின் சோதனை).
• ஆபத்தை கணக்கில் எடுத்துக் கொள்ளாமல் சமமாக சோதனை செய்தல். குறைந்த ஆபத்துள்ள பகுதிகளுக்கு தொழிலாளர்களை ஒதுக்கீடு செய்தல் மற்றும் முக்கியமான ஓட்டங்களை புறக்கணித்தல்.
• நோக்கத்திற்கு வெளியே மறைகிறது. போதுமான நேரம் இல்லாதபோது சோதனை செய்யப்படாததை ஆவணப்படுத்தவில்லை; வெளியீட்டுக்குப் பிந்தைய ஆச்சரியங்கள்.
• கேள்வியின்றி AI இன் அபாய மதிப்பெண்ணை ஏற்றுக்கொள்வது. AI ஆனது தயாரிப்பு சூழலை முழுமையாக அறியவில்லை; ஒரு நிபுணர் கண் கொண்டு மதிப்பெண்களை சரிசெய்யவும்.

சுருக்கமாக

சோதனைக் கவரேஜ் மற்றும் இடர் அடிப்படையிலான சோதனை ஆகியவை வரையறுக்கப்பட்ட முயற்சியை சரியான இடத்திற்கு இயக்குவதற்கான இரண்டு கருவிகள். கவரேஜ் அளவீடுகள் (வரி, கிளை, நிலை, பாதை) தொட்டதைக் காட்டுகின்றன, ஆனால் அது சரியாக நடந்துகொண்டதை நிரூபிக்கவில்லை; நோக்கம் ஒரு வரைபடம், நம்பிக்கை இல்லை. குறியீடு கவரேஜுக்கு அடுத்து தேவைகள் கவரேஜை வைக்கவும். ஆபத்து = நிகழ்தகவு × தாக்கம் மற்றும் அதிக ஆபத்துக்கான நேரடி முயற்சியுடன் அம்சங்களைப் பெறவும். AI இடைவெளிகளைக் காணக்கூடியதாக ஆக்குகிறது, ஆபத்தை மதிப்பிடுகிறது, வரையறுக்கப்பட்ட நேரத்தைத் திட்டமிடுகிறது; ஆனால் இறுதி முன்னுரிமை மற்றும் "நனவான விலகல்" முடிவு வணிக சூழலை அறிந்த நிபுணரிடம் உள்ளது.

விண்ணப்ப பணி

உங்கள் சொந்த திட்டத்திலிருந்து ஒரு தொகுதியைத் தேர்ந்தெடுக்கவும். AI உடன் "தேவைகள் ஸ்கோப் இடைவெளி" டெம்ப்ளேட்டை இயக்கவும் மற்றும் எந்த ஏற்றுக்கொள்ளும் அளவுகோல்கள் சோதிக்கப்படவில்லை என்பதைக் கண்டறியவும். பின்னர் தொகுதியின் துணை அம்சங்களை நிகழ்தகவு × தாக்க அச்சுகளில் "ஆபத்து மதிப்பெண்" மூலம் தரவரிசைப்படுத்தவும். "வரையறுக்கப்பட்ட அட்டவணையுடன்" உங்களிடம் உள்ள (கருமான) 3 மணிநேர சோதனை நேரத்தை விநியோகிக்கவும்; நீங்கள் உணர்வுபூர்வமாக சோதிக்காததையும் ஏற்றுக்கொள்ளப்பட்ட அபாயத்தையும் எழுதுங்கள். நீங்கள் கண்டறியும் அதிக ஆபத்துள்ள கவரேஜ் இடைவெளியை மூடும் உறுதியான சோதனையைச் சேர்க்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் கவரேஜ் சதவீதத்தை வரைபடமாகப் படித்தேன், தரம் அல்ல.
• [ ] குறியீடு கவரேஜ் தவிர, தேவை கவரேஜையும் அகற்றினேன்.
• [ ] நான் அம்சங்களை நிகழ்தகவு × தாக்கத்தின் அடிப்படையில் மதிப்பீடு செய்தேன் மற்றும் அபாயத்தின் அடிப்படையில் அவற்றை வரிசைப்படுத்தினேன்.
• [ ] நான் சோதனை முயற்சியை அதிக ஆபத்துக்கு திருப்பிவிட்டேன்.
• [ ] உணர்வுபூர்வமாக சோதிக்கப்படாத மற்றும் அபாயத்தை ஒப்புக்கொள்ளாத பகுதிகளை ஆவணப்படுத்தியுள்ளேன்.
• [ ] எனது தயாரிப்பு சூழலின் அடிப்படையில் AI இன் ஆபத்து மதிப்பெண்களை மதிப்பாய்வு செய்தேன்.