அலகு சோதனை உருவாக்கம் மற்றும் சோதனைத்திறன்: AI உடன் வலுவான சோதனை

ஆதாயங்கள்:

• ஏற்பு விதியிலிருந்து சுயாதீனமாக யூனிட் சோதனைகளில் எதிர்பார்க்கப்படும் மதிப்பைக் கணக்கிடுவதன் மூலம் செயற்கை நுண்ணறிவு தவறான நடத்தையை 'சரியானது' என ஏற்றுக்கொள்வதைத் தடுக்கும் திறன்
• AAA மற்றும் FIRST கொள்கைகளைப் பயன்படுத்துவதன் மூலமும் வெளிப்புற சார்புகளை கேலி செய்வதன் மூலமும் வேகமான, சுயாதீனமான மற்றும் மீண்டும் மீண்டும் செய்யக்கூடிய சோதனைகளை அச்சிடும் திறன்
• பிறழ்வு (குறியீடு உடைத்தல்) மூலம் சோதனைகளைச் சோதிக்கும் திறன் மற்றும் சோதனைக்கு கடினமான குறியீட்டை வடிவமைப்பு வாசனையாக அங்கீகரிக்கும் திறன்

சோதனை பிரமிட்டின் மிகப்பெரிய மற்றும் வேகமான அடுக்கு அலகு சோதனை ஆகும் - இது ஒரு செயல்பாடு அல்லது சிறிய குறியீட்டை மற்ற எல்லாவற்றிலிருந்தும் தனித்தனியாக சரிபார்க்கிறது. டெவலப்பரின் திரையில் குறியீடு இருக்கும்போதே ஆயிரக்கணக்கான யூனிட் சோதனைகள் நொடிகளில் இயங்கி பிழையைப் பிடிக்கும். செயற்கை நுண்ணறிவு (AI) ஒருவேளை யூனிட் சோதனைகளை தயாரிப்பதில் மிகவும் திறமையானது: நீங்கள் அதற்கு ஒரு செயல்பாட்டைக் கொடுக்கிறீர்கள், AI டஜன் கணக்கான சோதனைகளை உருவாக்குகிறது. ஆனால் இந்த வசதியே மிகப்பெரிய பொறியை உருவாக்குகிறது: AI எளிதாக "பச்சை நிறத்தில் ஒளிரும் ஆனால் எதையும் சரிபார்க்காது" அல்லது குறியீட்டின் தற்போதைய (ஒருவேளை தவறான) நடத்தையை "சரியானது" என்று ஏற்றுக்கொள்ளும் சோதனைகளை உருவாக்குகிறது. இந்த யூனிட்டில் நீங்கள் AI உடன் உண்மையான பாதுகாப்பு அலகு சோதனைகளை எவ்வாறு எழுதுவது மற்றும் சோதிக்கக்கூடிய குறியீடு மற்றும் AI ஆகியவற்றுக்கு இடையேயான தொடர்பைக் கற்றுக்கொள்வீர்கள்.

ஒரு நல்ல அலகு சோதனையின் தரங்கள்: FIRST

நல்ல அலகு சோதனைகள் முதல் கொள்கைகளைப் பின்பற்றுகின்றன: வேகமான, சுயாதீனமான (சோதனைகள் ஒன்றையொன்று சார்ந்து இருக்கக்கூடாது), மீண்டும் மீண்டும் செய்யக்கூடிய (எந்த சூழலிலும் அதே முடிவு), சுய சரிபார்ப்பு (தெளிவான பாஸ்/தோல்வி), சரியான நேரத்தில் (சரியான நேரத்தில்). AI தயாரிப்பு சோதனைகளை மேற்கொள்ளும்போது இந்தக் கொள்கைகளை உங்களுக்கு நினைவூட்டுங்கள்; சோதனையானது "சுயாதீனமானது" மற்றும் "மீண்டும் மீண்டும் செய்யக்கூடியது" என்று வெளி உலகத்தை (உண்மையான தரவுத்தளம், நெட்வொர்க், கடிகாரம்) சார்ந்து இருக்கக்கூடாது என்று குறிப்பாகக் கேட்கவும்.

AAA முறை மற்றும் வெளிப்படையான உறுதிப்பாடு

ஒரு திடமான அலகு சோதனை AAA கட்டமைப்பைப் பின்பற்றுகிறது: ஏற்பாடு (தயார் - உள்ளீடுகள் மற்றும் சார்புகளை அமைக்கவும்), சட்டம் (செயல்படுத்து - சோதனையின் கீழ் செயல்பாட்டை அழைக்கவும்), உறுதிப்படுத்தவும் (சரிபார்க்கவும் - எதிர்பார்த்த மதிப்புடன் முடிவை ஒப்பிடவும்). முக்கியமான ஒன்று உறுதிப்பாடு. AI செய்யும் மிகவும் பொதுவான தவறு, சோதனையின் கீழ் உள்ள குறியீட்டின் வெளியீட்டிலிருந்து வலியுறுத்தலைப் பெறுவதாகும் - "குறியீடு எதுவோ அது உண்மையாக இருக்கும்" தர்க்கம். இது சோதனையை அர்த்தமற்றதாக்குகிறது. எதிர்பார்த்த மதிப்பை சுயாதீனமாக தீர்மானிப்பதே சரியான வழி (ஏற்றுக்கொள்ளும் அளவுகோலில் இருந்து, அதை கைமுறையாக கணக்கிடுங்கள்).

கவனம்: AIயிடம் "இந்தச் செயல்பாட்டிற்கு ஒரு சோதனையை எழுது" என்று நீங்கள் கூறினால், AI செயல்பாட்டை இயக்கி அதன் வெளியீட்டை "எதிர்பார்த்தது" என எழுதலாம். செயல்பாடு தவறாக இருந்தாலும் இந்த சோதனை கடந்து செல்லும். அதற்கு பதிலாக, "இந்த விதிகளின்படி எதிர்பார்க்கப்படும் முடிவுகளை நீங்கள் கணக்கிடுகிறீர்கள், செயல்பாட்டின் தற்போதைய வெளியீட்டைக் குறிப்பிட வேண்டாம்" என்று கூறவும்.

கேலிகள், ஸ்டப்கள் மற்றும் சார்புகள்

அலகு சோதனைக்கு தனிமைப்படுத்தல் தேவை. உங்கள் செயல்பாடு ஒரு தரவுத்தளம் அல்லது API ஐச் சார்ந்து இருந்தால், சோதனையில் அவை போலிப் பொருள்களால் (mock/stub - கட்டுப்படுத்தப்பட்ட, உண்மையான சார்புக்கான போலி மாற்று) மாற்றப்படும். இது சோதனையை விரைவாகவும், சுதந்திரமாகவும், மீண்டும் உருவாக்கக்கூடியதாகவும் ஆக்குகிறது. AI போலி நிறுவலை உருவாக்க முடியும்; ஆனால் அதிகப்படியான கேலி செய்வதில் ஜாக்கிரதை: நீங்கள் எல்லாவற்றையும் கேலி செய்தால், சோதனையானது "என்ன திரும்புகிறது" என்பதை மட்டுமே சரிபார்க்கும், உண்மையான தர்க்கம் அல்ல. இருப்பு: வெளி உலகத்தைப் பின்பற்றவும், சோதனையின் கீழ் உண்மையான தர்க்கத்தை செயல்படுத்தவும்.

சோதனைத்திறன் மற்றும் AI

ஒரு சுவாரஸ்யமான பின்னூட்டம் உள்ளது: சோதிக்க கடினமாக இருக்கும் குறியீடு பெரும்பாலும் மோசமாக வடிவமைக்கப்பட்ட குறியீடு. AI க்கு ஒரு செயல்பாட்டிற்கு சோதனைகளை எழுதுவதில் சிக்கல் இருந்தால் (அதிகமான சார்புகள், மறைக்கப்பட்ட உலகளாவிய நிலை, பக்க விளைவுகள்), அது ஒரு வடிவமைப்பு வாசனை. AI யிடம் “இந்தக் குறியீட்டை சோதனைக்குட்படுத்தும் வகையில் எவ்வாறு மறுபரிசீலனை செய்வீர்கள்” என்று கேட்பது சிறந்த சோதனை மற்றும் சிறந்த குறியீடு ஆகிய இரண்டிற்கும் வழிவகுக்கும்.

அளவுரு சோதனைகள் மற்றும் தரவு பன்முகத்தன்மை

வெவ்வேறு உள்ளீடுகள் மூலம் ஒரே விதியை சரிபார்க்க ஒவ்வொரு முறையும் தனித் தேர்வை எழுதுவது கடினமானது மற்றும் பராமரிப்பது கடினம். அளவுருவாக்கப்பட்ட சோதனை - உள்ளீடுகள் மற்றும் எதிர்பார்க்கப்படும் முடிவுகளின் பட்டியலில் ஒரே சோதனை தர்க்கத்தை மீண்டும் மீண்டும் இயக்கும் ஒரு அமைப்பு - இந்த மறுநிகழ்வை நீக்குகிறது: ஒரு சோதனை உடல் டஜன் கணக்கான உள்ளீட்டு ஜோடிகளுடன் உணவளிக்கப்படுகிறது. நீங்கள் ஏற்றுக்கொள்ளும் விதிகளை வழங்கும்போது, ​​இந்த உள்ளீடு-எதிர்பார்க்கப்பட்ட விளைவு அட்டவணைகளை உருவாக்குவதில் AI மிகவும் திறமையானது; குறிப்பாக, இது வரம்பு மதிப்புகள் மற்றும் சமமான வகுப்புகளை முறையாக அட்டவணைப்படுத்துகிறது.

ஆனால் இங்கேயும் ஒரு பொறி உள்ளது: AI ஆனது சோதனையில் உள்ள குறியீட்டிலிருந்து உருவாக்கப்பட்ட அட்டவணையில் எதிர்பார்க்கப்படும் முடிவுகளைப் பெற முனைகிறது. இந்த பிழை அளவுரு சோதனையில் மிகவும் ஆபத்தானது, ஏனெனில் ஒரு தவறான தர்க்கம் டஜன் கணக்கான வரிகளை செல்லாது. எனவே, ஏற்றுக்கொள்ளும் விதியின்படி எப்போதும் எதிர்பார்க்கப்படும் முடிவு நெடுவரிசையை சுயாதீனமாக கணக்கிட்டு, குறைந்தது சில வரிசைகளை கைமுறையாக சரிபார்க்கவும். "ஒவ்வொரு வரிசையும் எதைக் குறிக்கிறது" என்ற விளக்க நெடுவரிசையையும் கேட்கவும்; எனவே ஒரு வரிசை உடைந்தால், எந்த நிலை உடைந்தது என்பதை உடனடியாகப் பார்க்கலாம்.

உதவிக்குறிப்பு: அளவுருவாக்கப்பட்ட சோதனை அட்டவணையில் வேண்டுமென்றே "பொறி வரிசையை" சேர்க்கவும் - அதாவது, தெரிந்தே முடிவை தவறாக உள்ளிடவும். நீங்கள் சோதனையை இயக்கும்போது அந்த வரி சிவப்பு நிறமாக மாறவில்லை என்றால், உங்கள் சோதனை உண்மையில் அந்த சூழ்நிலையை சரிபார்க்கவில்லை. இது விரைவான போலி-பாஸ் சோதனை.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமானது: "இந்தச் செயல்பாட்டிற்கு ஒரு யூனிட் சோதனையை எழுதுங்கள்."

வலிமையானது: "வரி கணக்கீடு (தொகை, விகிதம்) செயல்பாட்டிற்கான [மொழி/கட்டமைப்பு] அலகு சோதனைகளை எழுதவும். ஏற்றுக்கொள்ளும் விதி: முடிவு = தொகை * வீதம், 2 தசமங்களாக வட்டமிடப்பட்டது; எதிர்மறைத் தொகை அல்லது விகிதம் பிழையை எறிகிறது; வீதம் 0 ஆக இருந்தால், 0 ஐ வழங்குகிறது. AAA கட்டமைப்பைப் பயன்படுத்தவும். இந்த குறிப்பு விதிகளின்படி எதிர்பார்க்கப்படும் மதிப்புகளை கைமுறையாகக் கணக்கிடவும். (0, எதிர்மறை, மிகப் பெரியது, தசமங்கள் வரை) ஒவ்வொரு சோதனையின் பெயரும் அது "இல்லை" என்பதைச் சரிபார்க்கும் விதியை விவரிக்கட்டும்.

சக்திவாய்ந்த உடனடி; இது ஏற்றுக்கொள்ளும் விதி, சுயாதீன எதிர்பார்க்கப்படும் மதிப்பு எதிர்பார்ப்பு, கட்டமைப்பு மற்றும் விளிம்பு நிலைகளை வழங்குகிறது. எனவே, சோதனை விதியின் பாதுகாவலராக மாறுகிறது, குறியீட்டின் கண்ணாடி அல்ல.

அலகு சோதனை தர அட்டவணை

அறிகுறி

மோசமான சோதனை (போலி நம்பிக்கை)

நல்ல சோதனை

வலியுறுத்துகின்றனர்

எதுவும் இல்லை அல்லது "பூஜ்யமாக இல்லை"

எதிர்பார்க்கப்படும் உறுதியான மதிப்பு

எதிர்பார்க்கப்படும் மதிப்பு ஆதாரம்

செயல்பாட்டின் வெளியீடு

ஏற்றுக்கொள்ளும் விதி / கைமுறை கணக்கீடு

போதை

உண்மையான DB/நெட்வொர்க்/மணிநேரம்

மாக்/ஸ்டப் மூலம் காப்பிடப்பட்டது

விளிம்பு வழக்கு

மகிழ்ச்சியான பாதை மட்டுமே

வரம்பு, எதிர்மறை, பிழை

நீங்கள் குறியீட்டை உடைக்கும்போது

பசுமையாக உள்ளது

சிவப்பு நிறமாக மாறும்

பெயர்

test1, testMethod

அது உறுதிப்படுத்தும் விதியை விவரிக்கிறது

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) விதி சார்ந்த அலகு சோதனை:

உங்கள் பங்கு: மூத்த மென்பொருள் சோதனைப் பொறியாளர். பின்வரும் செயல்பாட்டில் ஒரு யூனிட் சோதனையை [மொழி/கட்டமைப்பு] மூலம் எழுதவும்: [கையொப்பம்]. ஏற்றுக்கொள்ளும் விதிகள்: [விதிகள்].- AAA கட்டமைப்பைப் பயன்படுத்தவும்.- இந்த விதிகளின்படி எதிர்பார்க்கப்படும் மதிப்புகளை கைமுறையாகக் கணக்கிடுங்கள்; செயல்பாட்டின் தற்போதைய வெளியீட்டைக் குறிப்பிட வேண்டாம். - தனி சோதனைகள் மூலம் வரம்பு, எதிர்மறை, பிழை மற்றும் மகிழ்ச்சியான பாதையை மறைக்கவும். - ஒவ்வொரு சோதனைப் பெயரும் அது சரிபார்க்கும் விதியை விவரிக்கட்டும். - போலி வெளிப்புற சார்புகள்; உண்மையான தர்க்கத்தை வேலை செய்யுங்கள்.

2) பிறழ்வு எதிர்ப்பு கட்டுப்பாடு:

இந்த அலகு சோதனைகளைப் பாருங்கள். சோதனையின் கீழ் உள்ள குறியீட்டில் நான் செய்யக்கூடிய 5 சிறிய மாற்றங்களைப் பட்டியலிடுங்கள் (a - என்பதற்குப் பதிலாக +, a >= என்பதற்குப் பதிலாக, ஒரு எல்லை மாற்றம்) மற்றும் இந்த சோதனைகளில் எது சிவப்பு நிறமாக மாறும்? எதுவும் திரும்பப் பெறவில்லை என்றால், சோதனை போதுமானதாக இருக்காது. குறியீடு + சோதனைகள்: [ஒட்டு]

3) சோதனைத்திறன் மதிப்பாய்வு:

இந்த செயல்பாட்டிற்கு யூனிட் தேர்வு எழுதுவது ஏன் கடினம்? மறைக்கப்பட்ட போதை, உலகளாவிய நிலை, பக்க விளைவுகள், பல பொறுப்புகள் உள்ளதா? அதை சோதிக்கக்கூடியதாக மாற்ற குறைந்தபட்ச மறுசீரமைப்பை பரிந்துரைக்கவும்; நடத்தையை மாற்ற வேண்டாம். குறியீடு: [ஒட்டு]

4) முழுமையற்ற சூழ்நிலை நிறைவு:

பின்வரும் செயல்பாடு மற்றும் கிடைக்கக்கூடிய சோதனைகள் கொடுக்கப்பட்டுள்ளன. எந்த நடத்தை/எட்ஜ்கேஸ் சோதனை செய்யப்படவில்லை (ஸ்கோப் இடைவெளி) மற்றும் ஒவ்வொன்றிற்கும் ஒரு சோதனையைச் சேர்க்கவும். செயல்பாடு+சோதனைகள்: [ஒட்டு]

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - குறியீட்டை பிரதிபலிக்கும் சோதனை. ஒரு டெவலப்பர் ரவுண்டிங் செயல்பாட்டிற்கான சோதனையை AI எழுத வைத்தார்; 10 சோதனைகள் பச்சையாக இருந்தன. உண்மையில், செயல்பாடு தவறான திசையில் சுற்றிக் கொண்டிருந்தது, ஆனால் செயல்பாட்டின் வெளியீட்டில் இருந்து AI எதிர்பார்த்த மதிப்புகளை எடுத்தது, எனவே சோதனைகள் பிழையை "உண்மை" என்று கருதின. "விதி-உந்துதல்" டெம்ப்ளேட் மூலம் எதிர்பார்க்கப்படும் மதிப்புகள் கைமுறையாக கணக்கிடப்பட்டபோது, ​​4 சோதனைகள் சிவப்பு நிறமாக மாறியது மற்றும் உண்மையான பிழை தெரியவந்தது.

வழக்கு 2 - பிறழ்வு கட்டுப்பாட்டின் மதிப்பு. ஒரு குழு 45 அலகு சோதனைகளை நம்பியிருந்தது. "பிறழ்வு வலிமை சரிபார்ப்பு" மூலம் குறியீட்டில் 20 சிறிய மாற்றங்களை முயற்சித்தேன்; சோதனையில் அவர்களில் 11 பேர் மட்டுமே சிக்கியுள்ளனர். மீதமுள்ள 9 இடையூறுகள் அமைதியாக கடந்துவிட்டன. அணி பலவீனமான சோதனைகளை வலுப்படுத்தியது; அடுத்த வெளியீட்டில் இந்த மேம்படுத்தப்பட்ட சோதனைகளால் உண்மையான கணக்கீட்டுப் பிழை கண்டறியப்பட்டது.

வழக்கு 3 - சோதனையின்மை ஒரு வடிவமைப்பு வாசனை. ஆர்டர் செய்யும் செயல்பாட்டிற்கான சோதனைகளை AI ஆல் எழுத முடியவில்லை, அதற்கு உண்மையான தரவுத்தளம் தொடர்ந்து தேவைப்படுகிறது. "சோதனை திறனாய்வு" டெம்ப்ளேட் செயல்பாடு உட்பொதிக்கப்பட்ட தரவுத்தள அணுகலைக் காட்டியது. சார்பு ஊசி அகற்றப்பட்டபோது, ​​​​சோதனைகள் எழுதப்படலாம் மற்றும் குறியீடு சுத்தமாக மாறியது.

பொதுவான தவறுகள்

• குறியீட்டிலிருந்து எதிர்பார்க்கப்படும் மதிப்பைப் பெறுதல். AI செயல்பாட்டு வெளியீட்டை "சரியானது" என்று ஏற்றுக்கொள்கிறது; தவறான குறியீட்டை உறுதிப்படுத்தும் சோதனை.
• வலியுறுத்தல் இல்லாமல் அல்லது அற்பமான உறுதியுடன் சோதிக்கவும். "அவர் ஒரு பிழையை வீசவில்லை, அவர் தேர்ச்சி பெற்றார்" தர்க்கம்; இது எதையும் உறுதிப்படுத்தவில்லை.
• தீவிர கேலி. எல்லாவற்றையும் கேலி செய்வது மற்றும் கேலி திரும்புவதை மட்டும் சோதிப்பது; உண்மையான தர்க்கம் சோதிக்கப்படவில்லை.
• மகிழ்ச்சியான பாதை மட்டுமே. வரம்பு, எதிர்மறை மற்றும் பிழை நிலைகளை கடந்து செல்கிறது.
• குறியீட்டை உடைத்து சோதனை செய்யவில்லை. பிறழ்வைச் சரிபார்க்காமல் பச்சை நிறத்தை நம்புதல்.
• உறுதியற்ற தன்மையைப் புறக்கணித்தல். கடினமான சோதனையைத் தள்ளுவதற்குப் பதிலாக மோசமான வடிவமைப்பைக் கண்டறிந்து சரிசெய்யவில்லை.

சுருக்கமாக

அலகு சோதனைகள் சோதனை பிரமிட்டின் வேகமான மற்றும் மிகப்பெரிய அடுக்கு ஆகும்; இது மலிவான தருணத்தில் தவறைப் பிடிக்கிறது. AI ஆனது யூனிட் சோதனைகளை உருவாக்கும் திறன் கொண்டது, ஆனால் அதன் மிகப்பெரிய குறைபாடானது, குறியீட்டிலிருந்தே எதிர்பார்க்கப்படும் மதிப்பைப் பெறுவதன் மூலம் தவறான நடத்தையை "சரியானது" எனக் கருதும் சோதனைகளை எழுதுவதாகும். தீர்வு: ஏற்றுக்கொள்ளும் விதிகளை வழங்கவும், எதிர்பார்க்கப்படும் மதிப்புகளை கைமுறையாக கணக்கிடவும், AAA மற்றும் FIRST கொள்கைகளை செயல்படுத்தவும், வெளி உலகத்தை கேலி செய்யவும் மற்றும் உண்மையான தர்க்கத்தை இயக்கவும், மேலும் ஒவ்வொரு சோதனையையும் பிறழ்வு மூலம் சோதிக்கவும் (குறியீட்டை உடைத்தல்). சோதனை செய்ய கடினமாக இருக்கும் குறியீடு வடிவமைப்பு அடையாளமாகும், அதை சரிசெய்ய வேண்டும்.

விண்ணப்ப பணி

உங்கள் சொந்த திட்டத்திலிருந்து வணிக விதியைக் கொண்ட செயல்பாட்டைத் தேர்ந்தெடுக்கவும். ஏற்றுக்கொள்ளும் விதிகளை எழுதவும் மற்றும் "விதி-உந்துதல் அலகு சோதனை" டெம்ப்ளேட்டுடன் AI சோதனைகளை எழுதவும்; எதிர்பார்க்கப்படும் மதிப்புகளை கைமுறையாகக் கணக்கிடுங்கள். பின்னர் "பிறழ்வு வலிமை சரிபார்ப்பை" பயன்படுத்தவும்: குறியீட்டில் குறைந்தது 5 சிறிய இடைவெளிகளைச் செய்து, எத்தனை சோதனைகள் சிவப்பு நிறமாக மாறுகின்றன என்பதை அளவிடவும். பிடிபடாத ஊழல்களுக்கான புதிய சோதனையைச் சேர்க்கவும். எத்தனை இடையூறுகள் பிடிபட்டன (பிறழ்வு மதிப்பெண் போன்றவை) புகாரளிக்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் ஏற்றுக்கொள்ளும் விதிகளைக் கொடுத்தேன் மற்றும் எதிர்பார்த்த மதிப்புகளை கைமுறையாகக் கணக்கிட்டேன்.
• [ ] சோதனைகள் குறியீட்டிலிருந்து எதிர்பார்த்த மதிப்பைப் பெறவில்லை என்பதை நான் உறுதிசெய்தேன்.
• [ ] நான் AAA மற்றும் FIRST வழிகாட்டுதல்களைப் பின்பற்றி சுயாதீன சோதனையை நிறுவியுள்ளேன்.
• [ ] நான் வெளிப்புற சார்புகளை கேலி செய்தேன் மற்றும் உண்மையான தர்க்கத்தை இயக்கினேன்.
• [ ] நான் வரம்பு, எதிர்மறை மற்றும் பிழை வழக்குகளை உள்ளடக்கினேன்.
• [ ] குறியீட்டை (பிறழ்வு) உடைப்பதன் மூலம், சோதனைகள் உண்மையில் பாதுகாக்கின்றன என்பதை நிரூபித்தேன்.