திறன் மற்றும் செயல்திறன் கண்காணிப்பு: அளவீடுகளைப் படித்தல் மற்றும் எதிர்காலத்திற்கான திட்டமிடல்

ஆதாயங்கள்:

• சராசரிக்கு பதிலாக பெர்சென்டைல் (p95/p99) மற்றும் பேஸ்லைனைப் பயன்படுத்தி செயற்கை நுண்ணறிவு ஆதரவுடன் அளவீடுகளை சரியாகப் புரிந்துகொள்ளும் திறன்
• பருவநிலையை போக்கிலிருந்து பிரிக்கும் திறன் மற்றும் ஒற்றை எண்ணை விட நம்பிக்கையான-அவநநம்பிக்கை வரம்பாக திறன் முன்கணிப்பை உருவாக்கும் திறன்
• வள முதலீடு மற்றும் அலாரம் வரம்பு முடிவுகள் மனிதனுடையவை என்பதைப் புரிந்துகொள்வது, வள முன்னணி நேரம் மற்றும் வணிகச் சூழலுடன்.

திறன் மற்றும் செயல்திறன் கண்காணிப்பு: AI உடன் அளவீடுகளைப் படித்தல் மற்றும் எதிர்காலத்தைத் திட்டமிடுதல்

ஒரு அமைப்பின் ஆரோக்கியத்தை உங்கள் கண்களால் பார்க்க முடியாது; நீங்கள் அதை அளவீடுகள் மூலம் புரிந்துகொள்கிறீர்கள். ஒரு மெட்ரிக் என்பது ஒரு கணினியின் அளவிடக்கூடிய பண்புகளின் நேரத்தைச் சார்ந்த எண் மதிப்பாகும்: CPU பயன்பாடு, நினைவக ஆக்கிரமிப்பு, வட்டு இலவச இடம், நெட்வொர்க் தாமதம், வினாடிக்கான கோரிக்கைகள். செயல்திறன் கண்காணிப்பு இந்த அளவீடுகளை தொடர்ந்து சேகரித்து "இப்போது சிஸ்டம் சரியாக உள்ளதா?" என்ற கேள்விக்கு பதிலளிக்கிறது. திறன் திட்டமிடல் ஒரு படி மேலே செல்கிறது: இது "இந்த விகிதத்தில், நான் எப்போது போதாது, எப்போது புதிய ஆதாரங்களை வாங்க வேண்டும்?" என்ற கேள்விக்கு பதிலளிக்கிறது. இங்கே, AI என்பது அளவீடுகளின் குவியல்களை விளக்குவது, முரண்பாடுகளைக் குறிப்பது, போக்கைப் படிப்பது மற்றும் எதிர்காலத் திட்டத்தை உருவாக்குவது ஆகியவற்றில் மிகவும் திறமையான உதவியாளராக உள்ளது. ஆனால் எல்லாவற்றிற்கும் மேலாக ஒரு எச்சரிக்கை நிலவுகிறது: AI வரலாற்றுத் தரவுகளிலிருந்து வடிவங்களைப் பிரித்தெடுக்கிறது; நீங்கள் வள முதலீடு, அளவிடுதல் மற்றும் சூழலுடன் கூடிய எச்சரிக்கை வாசல் முடிவுகளை எடுப்பவர்.

இந்த அலகில், அடிப்படை (சாதாரண நடத்தைக் கோடு), ஒழுங்கின்மை (இயல்பிலிருந்து விலகல்), சதவிகிதம் (சதவீதம்); AI உடன் மெட்ரிக் விளக்கம்; போக்கு மற்றும் வளர்ச்சி முன்னறிவிப்பு; சரியான அலாரம் வாசலை அமைக்க நீங்கள் கற்றுக் கொள்வீர்கள்.

சராசரி பொய்கள்: ஏன் சதவீதம்?

கண்காணிப்பதில் மிகவும் பொதுவான தவறு எல்லாவற்றையும் சராசரியாக அளவிடுவது. உங்கள் மறுமொழி நேரம் சராசரியாக 200 மி.எஸ் என்று வைத்துக் கொள்வோம். நன்றாக இருக்கிறது. ஆனால் 5% பயனர்கள் 8 வினாடிகள் காத்திருக்கலாம்; சராசரி இதை மறைக்கிறது. அதனால்தான் தொழில் வல்லுநர்கள் சதவிகிதத்தைப் பயன்படுத்துகின்றனர்: p95 = "95% கோரிக்கைகள் இந்தக் காலத்திற்குக் கீழே உள்ளன." p95 மறுமொழி நேரம் 8 வினாடிகள் எனில், இருபது பயனர்களில் ஒருவருக்கு பயங்கரமான அனுபவம் உள்ளது - சராசரி அதைக் காட்டாது. AIக்கு அளவீடுகளை வழங்கும்போது, ​​எந்தப் புள்ளிவிவரத்தை நீங்கள் விரும்புகிறீர்கள் என்பதைத் தெளிவாகக் கூறவும்: "எனக்கு p50, p95 மற்றும் p99 ஐப் புரிந்துகொள், சராசரியை அல்ல." இந்த ஒரு பழக்கம் மறைந்திருக்கும் பிரச்சனைகளை வெளிப்படுத்துகிறது.

உதவிக்குறிப்பு: பயனர் அனுபவத்தைப் பற்றிய ஒவ்வொரு அளவீட்டிற்கான சதவீதத்தைப் பார்க்கவும் (பதிலளிப்பு நேரம், தாமதம்); சராசரிக்கு பதிலாக p95/p99 உங்களை சிறுபான்மையினரின் உண்மையான துன்பத்திற்கு அழைத்துச் செல்கிறது. ஆதார அளவீடுகளில் (CPU, நினைவகம்), உச்ச மற்றும் நீடித்த மதிப்புகள் இரண்டையும் பார்க்கவும்.

அடிப்படை இல்லாமல் எந்த ஒழுங்கின்மையும் இல்லை

மெட்ரிக் "அசாதாரணமானது" என்பதை நீங்கள் கூறுவதற்கு முன், "இயல்பானது" என்பதை நீங்கள் தெரிந்து கொள்ள வேண்டும். பேஸ்லைன் என்பது ஆரோக்கியமான நாட்களில் அமைப்பின் வழக்கமான நடத்தை வரம்பாகும்: "இந்தச் சேவை வாரநாள் நண்பகல் CPU பொதுவாக 40-60% ஆகும்". அடிப்படை இல்லாமல், 70% மதிப்பு பயங்கரமானதா அல்லது இயல்பானதா என்பதை நீங்கள் அறிய முடியாது. AIக்கு வரலாற்று ஆரோக்கியமான தரவைக் கொடுத்து, "இந்த அளவீட்டின் இயல்பான வரம்பு மற்றும் தினசரி/வாராந்திர பேட்டர்னைப் பிரித்தெடுக்கவும்" என்று கூறி நீங்கள் ஒரு அடிப்படையை அமைக்கலாம். இந்த அடிப்படையின்படி புதிய தரவை நீங்கள் விளக்குகிறீர்கள்: "இந்த மதிப்பு சாதாரணமாக எங்கே?" ஒரு ஒழுங்கின்மை என்பது அடிப்படையிலிருந்து குறிப்பிடத்தக்க மற்றும் நீடித்த விலகலாகும் - ஒரு திடீர் ஜம்ப் பெரும்பாலும் சத்தம்.

படிப்படியாக: திறன் கணிப்பு

1. சுத்தமான மற்றும் போதுமான வரலாற்றை சேகரிக்கவும். ஒரு போக்குக்கு குறைந்தபட்சம் சில வாரங்களாவது தரவு தேவைப்படுகிறது, முன்னுரிமை மாதந்தோறும். சிறிய தரவுகளுடன் செய்யப்பட்ட ஒரு கணிப்பு ஒரு யூகம், ஒரு கணிப்பு அல்ல.
2. தனி பருவநிலை. வார இறுதியில் போக்குவரத்து குறைகிறது, மாத இறுதியில் அதிகரிக்கிறது, பிரச்சாரத்தின் போது வெடிக்கிறது. பருவகால ஏற்ற இறக்கத்துடன் வளர்ச்சியை குழப்பாமல் இருக்க இந்த சுழற்சிகளை AI க்கு சொல்லுங்கள்.
3. போக்கை அகற்றவும். "கடந்த 8 வாரங்களில் இந்த டிஸ்க் ஒரு வாரத்திற்கு சராசரியாக எத்தனை ஜிபி வளர்ந்துள்ளது?" AI வளர்ச்சி விகிதத்தை கணக்கிடுகிறது.
4. ப்ரொஜெக்ஷனைக் கேட்கவும், அதை வெளியே வைக்கவும். "இந்த விகிதத்தில், வட்டு 90% எப்போது நிரம்பும்?" — ஆனால் ஒரு நம்பிக்கையான/அவநம்பிக்கையான வரம்பைக் கேட்கவும், ஒரு தேதி கூட இல்லை. எதிர்காலம் நிச்சயமற்றது; ஒற்றைப்படை எண் தவறான துல்லியம்.
5. மக்களுடன் முடிவெடுக்கும் வரம்பை தீர்மானிக்கவும். "இது 6 வாரங்களில் முடிவடையும்" என்று ப்ரொஜெக்ஷன் கூறினால், நீங்கள் ஆதார நேரத்தை (வாங்குதல், ஒப்புதல்) கருத்தில் கொண்டு, இன்றே நடவடிக்கை எடுக்கலாமா என்பதை முடிவு செய்யுங்கள்.
6. அலாரத்தை சரியாக அமைக்கவும். மிகவும் உணர்திறன் அலாரம் சத்தம் மற்றும் அலாரம் சோர்வை உருவாக்குகிறது; மிகவும் தளர்வான அலாரம் நிகழ்வைத் தவறவிடும். AI இலிருந்து த்ரெஷோல்ட் பரிந்துரையைப் பெறுங்கள், ஆனால் உங்கள் சொந்த இடர் சகிப்புத்தன்மையுடன் இறுதி வரம்பை தீர்மானிக்கவும்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - சராசரி மறைக்கப்பட்டது, p99 காட்டப்பட்டது. ஒரு குழு அவர்களின் API "சராசரியாக 180 ms, நன்றாக உள்ளது" என்று நினைத்தது. நான் AIக்கு அளவீடுகளை அளித்து, சதவீத விளக்கத்தைக் கேட்டபோது, ​​​​p99 6,400 ms - ஒவ்வொரு நூறு கோரிக்கைகளில் ஒன்று 6 வினாடிகளை விட மெதுவாக இருந்தது. மெதுவான தரவுத்தள வினவல் மூல காரணம். சராசரியாக ஆரோக்கியமாகத் தோன்றினாலும், சிறுபான்மையினருக்கு பயங்கரமான அனுபவம் இருந்தது.

வழக்கு 2 - முன்கணிப்பு 3 வாரங்களுக்கு முன்பே எச்சரிக்கப்பட்டது. ஒரு நிர்வாகி பதிவு வட்டு ஆக்கிரமிப்புத் தரவை AIக்கு வழங்கினார். AI ஆனது வாராந்திர வளர்ச்சிப் போக்கை ~7 GB என ஊகித்து, தற்போதைய விகிதத்தில், 90% 19 நாட்களுக்குள் எட்டப்படும் என்றும், 16-23 நாட்களுக்கு ஒரு நம்பிக்கையான-அவநநம்பிக்கை வரம்பில் இருக்கும் என்றும் கணித்துள்ளது. புதிய டிஸ்க்குகளை சப்ளை செய்ய 10 நாட்கள் ஆனதால், குழுவினர் உடனடியாக ஆர்டர் செய்து, மின்தடை ஏற்படாமல் தடுத்து நிறுத்தினர்.

வழக்கு 3 - தவறான ஒழுங்கின்மையிலிருந்து திரும்புதல். ஒவ்வொரு ஞாயிற்றுக்கிழமை இரவும் CPU 95% ஆக இருப்பதாக கண்காணிப்பு அலாரம் ஒலித்தது. பீதி அடைவதற்கு முன், பொறியாளர் AI ஐ அடிப்படையை உயர்த்தச் செய்தார்: இந்த ஜம்ப் ஒவ்வொரு வாரமும் ஒரே நேரத்தில் நடக்கும் ஒரு திட்டமிட்ட காப்புப் பணியாகும், எனவே இது விதிமுறையின் ஒரு பகுதியாகும். இது ஒரு ஒழுங்கின்மை அல்ல; அடிப்படை இல்லை. அந்த நேரத்தில் அலாரம் த்ரெஷோல்ட் சரி செய்யப்பட்டது மற்றும் தேவையற்ற இரவு விழிப்புக்கள் போய்விட்டன.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) மெட்ரிக் விளக்கம் (சதவீதம்):

கீழே [சேவை] மறுமொழி நேர அளவீடுகள் (முகமூடி) உள்ளன. p50, p95 மற்றும் p99 என எனக்கு கருத்து தெரிவிக்கவும், சராசரி அல்ல. p99 மற்றும் p50 இடையே உள்ள வேறுபாடு என்ன, எந்த பயனர் அனுபவச் சிக்கலைக் குறிக்கிறது? உருவாக்கப்பட்ட மதிப்புகளைச் சேர்க்க வேண்டாம், நான் உங்களுக்குக் கொடுக்கும் தரவை மட்டும் விளக்கவும். தரவு: [அளவீடுகள்]

2) அடிப்படை கழித்தல்:

கடந்த 4 வாரங்களுக்கான ஆரோக்கியமான [மெட்ரிக்] தரவு கீழே உள்ளது. இந்த அளவீட்டின் (1) இயல்பான வரம்பு (2) தினசரி மற்றும் வாராந்திர முறை (எ.கா. இரவு குறைவு, நண்பகல் அதிக) பிரித்தெடுக்கவும். பின்னர் நான் ஒரு புதிய மதிப்பைக் கொடுப்பேன்; இந்த அடிப்படையின் அடிப்படையில் "சாதாரண/எச்சரிக்கை/அசாதாரண" என வகைப்படுத்தவும். தரவு: [வரலாற்று அளவீடு]

3) கொள்ளளவு ப்ரொஜெக்ஷன் (வரம்புடன்):

கடந்த 8 வாரங்கள் [வள] ஆக்கிரமிப்புத் தரவு கீழே உள்ளது. (1) வாராந்திர சராசரி வளர்ச்சி விகிதத்தைக் கணக்கிடவும், (2) பருவகால விளைவுகளைக் குறிப்பிடவும், (3) தற்போதைய விகிதத்தில் 90% வரம்பை எட்டுவதற்கான நேரத்தை, OPTIMISTIC மற்றும் PESIMISTICAL வரம்புகளுடன் மதிப்பிடவும். ஒரு தேதியைக் கொடுங்கள், வரம்பைக் கொடுங்கள் மற்றும் உங்கள் அனுமானங்களை எழுதுங்கள். தரவு: [நேரத் தொடர்]

4) அலாரம் வரம்பு பரிந்துரை:

[மெட்ரிக்]க்கான எனது அடிப்படையானது [வரம்பு]. உண்மையான சிக்கல்களைத் தவறவிடாமல் தவறான அலாரங்களைக் குறைப்பதே எனது குறிக்கோள். (1) எச்சரிக்கை மற்றும் (2) முக்கியமான வரம்பு, ஒவ்வொன்றையும் நியாயப்படுத்தி, அலாரம் சோர்வு அபாயத்தை மதிப்பிடுவதற்கான பரிந்துரையை எனக்கு வழங்கவும். இறுதிக் கட்டத்தை நான் தீர்மானிப்பேன்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனமான உடனடி:

எனது சர்வர் மெதுவாக உள்ளதா?

சூழல் இல்லை, அளவீடுகள் இல்லை மற்றும் அடிப்படை இல்லை. AI க்கு "மெதுவாக" என்பதன் வரையறை தெரியாது அல்லது அதை ஒப்பிடுவதற்கான இயல்பான மதிப்பு இல்லை. பதில் ஒரு செயலற்ற யூகம்.

சக்திவாய்ந்த தூண்டுதல்:

உங்கள் பங்கு: திறன் திட்டமிடல் நிபுணர். P95 மறுமொழியின் கடைசி 14 நாட்கள் மற்றும் API இன் கோரிக்கைகள்/இரண்டாவது தரவு (முகமூடி) கீழே உள்ளது. p95க்கான எனது அடிப்படை 250-400 ms ஆகும். சொல்லுங்கள் (1) கடந்த 14 நாட்களில் பேஸ்லைன் இல்லாத நாட்களைக் குறிக்கவும், (2) மறுமொழி நேரத்திற்கும் கோரிக்கை ஏற்றலுக்கும் இடையே தெரியும் தொடர்பு இருந்தால் சொல்லுங்கள் (ஒரு கருதுகோளாக), (3) இந்தப் போக்கு தொடர்ந்தால் 30 நாட்களில் p95 எங்கு செல்லும் என்று கணிக்கவும். தரவு: [நேரத் தொடர்]

மெட்ரிக் வகை

தவறான அளவீடு

துல்லியமான அளவீடு

பதில் நேரம்

வெறும் சராசரி

p50, p95, p99

CPU/நினைவக

உடனடி மதிப்பு

உச்சம் + நீடித்த + அடிப்படை

வட்டு வளர்ச்சி

இன்றைய ஆக்கிரமிப்பு

வாராந்திர போக்கு + முன்கணிப்பு

ஒழுங்கின்மை

ஒற்றை துள்ளல்

அடிப்படையிலிருந்து தொடர்ச்சியான விலகல்

எச்சரிக்கை

தன்னிச்சையான ஒற்றை வாசல்

நியாயமான எச்சரிக்கை + முக்கியமான வரம்பு

பொதுவான தவறுகள்

• எல்லாவற்றையும் சராசரியாக அளவிடுதல். சராசரி ஒரு சிலரின் மோசமான அனுபவத்தை மறைக்கிறது; See சதவீதம்.
• அடிப்படை இல்லாமல் முரண்பாடுகளைத் தேடுகிறது. எது இயல்பானது என்பதை அறியாமல் ஒரு மதிப்பு அசாதாரணமானது என்று சொல்ல முடியாது; நீங்கள் தவறான அலாரத்தை உருவாக்குகிறீர்கள்.
• பருவநிலையை ஒரு போக்காக தவறாகப் புரிந்துகொள்வது. பிரச்சாரத்தின் உச்சத்தை நிரந்தர வளர்ச்சியாகக் கருதுவது மற்றும் தேவையற்ற ஆதாரங்களை எடுத்துக்கொள்வது பணம் செலவாகும்.
• ஒற்றைப்படை எண் கணிப்பு சார்ந்து. "சரியாக 19 நாட்கள்" என்பது தவறான துல்லியம்; நம்பிக்கை மற்றும் அவநம்பிக்கை வரம்பைப் பயன்படுத்தவும்.
• ஆதார நேரத்தை மறந்து விடுகிறோம். ப்ராஜெக்ஷன் த்ரெஷோல்ட் மற்றும் வாங்கும் நேரத்தை ஒன்றாகக் கருத்தில் கொள்ளாத குழு குறுக்கீட்டில் சிக்கிக் கொள்ளும்.

எச்சரிக்கை: கடந்த காலம் எதிர்காலத்தில் தொடரும் என்று AI இன் போக்கு முன்கணிப்பு கருதுகிறது. ஒரு புதிய தயாரிப்பு வெளியீடு, வாடிக்கையாளர் இடம்பெயர்வு அல்லது கட்டடக்கலை மாற்றம் இந்த அனுமானத்தை சீர்குலைக்கிறது. உங்கள் சூழலுக்கு ஏற்ப ப்ரொஜெக்ஷனை சரிசெய்வது உங்கள் வேலை.

சுருக்கமாக

செயல்திறன் கண்காணிப்பு "இப்போது நன்றாக இருக்கிறதா?" என்ற கேள்விக்கு பதிலளிக்கிறது. மற்றும் திறன் திட்டமிடல் "எப்போது போதாது?" என்ற கேள்விக்கு பதிலளிக்கிறது. அளவீடுகளை விளக்குதல், அடிப்படைகளை நிறுவுதல், முரண்பாடுகளைக் கொடியிடுதல் மற்றும் போக்குகளை முன்னிறுத்துதல் ஆகியவற்றில் AI ஒரு சக்திவாய்ந்த பங்காளியாகும். ஆனால் சராசரி பொய்கள் - சதவீதத்தைப் பயன்படுத்துங்கள்; அடிப்படை இல்லாமல் எந்த ஒழுங்கின்மையும் இல்லை - முதலில் இயல்பானதை நிறுவுங்கள்; போக்கிலிருந்து தனி பருவநிலை; மற்றும் ப்ரொஜெக்ஷனை ஒரு வரம்பாக எடுத்துக் கொள்ளுங்கள், ஒரு எண்ணாக அல்ல. வள முதலீடு மற்றும் விழிப்பூட்டல் வரம்பு முடிவுகள் மனிதனுடையவை, வள முன்னணி நேரம் மற்றும் வணிகச் சூழலுடன்.

விண்ணப்ப பணி

உங்கள் சொந்த கணினிகள் மற்றும் முகமூடி உணர்திறன் பகுதிகளிலிருந்து ஆதாரத்திற்கான (வட்டு, நினைவகம், மறுமொழி நேரம்) கடந்த சில வாரங்களின் தரவை எடுத்துக் கொள்ளுங்கள். மேலே உள்ள "அடிப்படை கழித்தல்" டெம்ப்ளேட்டுடன் சாதாரண வரம்பையும் வடிவத்தையும் கழிக்கவும். பின்னர் "திறன் ப்ரொஜெக்ஷன்" டெம்ப்ளேட்டை நீங்கள் எப்போது ஒரு வாசலை அடைவீர்கள் என்பதை, நம்பிக்கையான-அவநம்பிக்கையான வரம்புடன் கணிக்க வேண்டும். மேலும், "சதவீதம்" டெம்ப்ளேட்டைப் பயன்படுத்தி உங்கள் மறுமொழி நேர அளவீட்டை விளக்கி, சராசரி மறைந்துள்ளதா எனப் பார்க்கவும். உங்கள் கண்டுபிடிப்புகள் மற்றும் நீங்கள் எடுக்கும் நடவடிக்கையை 5 உருப்படிகளில் எழுதுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] மறுமொழி நேர அளவீடுகளில் சராசரிக்கு பதிலாக p95/p99 ஐப் பார்த்தேனா?
• [ ] முரண்பாடுகளைத் தேடும் முன் ஆரோக்கியமான தரவுகளில் இருந்து ஒரு அடிப்படையை நான் நிறுவியுள்ளேனா?
• [ ] நிரந்தரப் போக்கிலிருந்து பருவகால ஏற்ற இறக்கத்தை நான் வேறுபடுத்திப் பார்த்திருக்கிறேனா?
• [ ] நான் ஒரே தேதியை விட நம்பிக்கையான-அவநநம்பிக்கை வரம்பாக ப்ரொஜெக்ஷனை எடுத்துக் கொண்டேனா?
• [ ] நான் ப்ரொஜெக்ஷன் த்ரெஷோல்டுடன் சேர்ந்து ஆதார நேரத்தை மதிப்பீடு செய்துள்ளேனா?
• [ ] நான் எனது சொந்த இடர் சகிப்புத்தன்மையின் அடிப்படையில் அலாரம் வரம்பை அமைத்தேன் மற்றும் AI பரிந்துரையின் அடிப்படையில் அல்லவா?