கண்காணிப்பு மற்றும் கவனிப்பு: மெட்ரிக், பதிவு, ட்ரேஸ் மற்றும் அலாரம் விதிகள்

ஆதாயங்கள்:

• அவதானிக்கக்கூடிய மூன்று தூண்கள் (மெட்ரிக், பதிவு, சுவடு) மற்றும் நான்கு கோல்டன் சிக்னல்களைப் புரிந்து கொள்ளும் திறன் மற்றும் செயற்கை நுண்ணறிவு PromQL வினவல்கள், எச்சரிக்கை விதிகள் மற்றும் டாஷ்போர்டுகளை உருவாக்குகிறது
• அலாரம் சோர்வு ஏற்படுவதைத் தடுக்கும் திறன், அலாரம் செயல்-சார்ந்த மற்றும் சரியான அவசரத்தில் மற்றும் உங்கள் சொந்த அமைப்பின் வரலாற்றுத் தரவுகளுக்கு எதிரான சோதனை வரம்புகளை வைத்திருப்பதன் மூலம்
• செயற்கை நுண்ணறிவுக்கு பதிவுகளை வழங்குவதற்கு முன், உணர்திறன் வாய்ந்த பகுதிகளை மறைப்பதன் மூலம் தனியுரிமை மற்றும் ரகசிய கசிவைத் தடுக்கும் திறன்

ஒரு சிஸ்டம் வேலை செய்வதாகத் தோன்றினாலும், அது உள்ளே இறக்கக்கூடும்: நினைவகம் மெதுவாக நிரப்பப்படுகிறது, பதிலளிக்கும் நேரம் அதிகரிக்கிறது, பிழை விகிதம் அதிகரிக்கிறது. கணினியை தொடர்ந்து கண்காணிப்பதே இதை கவனிக்க ஒரே வழி. மிகவும் மேம்பட்ட கருத்து கவனிக்கத்தக்கது: கணினியின் வெளிப்புற அறிகுறிகளைப் பார்த்து அதன் உள்ளே என்ன நடக்கிறது என்பதைப் புரிந்துகொள்ளும் திறன். கவனிக்கக்கூடிய மூன்று தூண்கள் உள்ளன, மேலும் DevOps தொழில்முறை மூன்றையும் பயன்படுத்துகிறது:

• மெட்ரிக்: காலப்போக்கில் அளவிடப்படும் எண் மதிப்புகள் — CPU பயன்பாடு, கோரிக்கைகளின் எண்ணிக்கை, பதில் நேரம், பிழை விகிதம். "எவ்வளவு?" என்ற கேள்விக்கு பதிலளிக்கிறது.
• பதிவு: கணினியால் உருவாக்கப்பட்ட உரை நிகழ்வு பதிவுகள்- "பயனர் உள்நுழைந்துள்ளார்", "தரவுத்தள இணைப்பு துண்டிக்கப்பட்டது". "சரியாக என்ன நடந்தது?" என்ற கேள்விக்கு பதிலளிக்கிறது.
• ட்ரேஸ்: கணினியில் சேவையிலிருந்து சேவைக்கு செல்லும் போது ஒரு கோரிக்கை பின்பற்றும் பாதை மற்றும் ஒவ்வொரு அடியின் கால அளவும். "எங்கே தாமதம்?" என்ற கேள்விக்கு பதிலளிக்கிறது.

மிகவும் பொதுவான கருவிகள்: அளவீடுகளுக்கான ப்ரோமிதியஸ், காட்சிப்படுத்தலுக்கான கிராஃபானா, பதிவிற்கான லோகி/எல்கே, டிரேஸுக்கு ஜெகர்/ஓபன் டெலிமெட்ரி. இந்த கருவிகளுக்கான வினவல் மொழிகள் (குறிப்பாக Prometheus' PromQL), எச்சரிக்கை விதிகள் மற்றும் டாஷ்போர்டு உள்ளமைவுகளை எழுதுவதில் AI மிகவும் திறமையானது. AI அதன் வலிமையான இடத்தில் உள்ளது: பதிவுகள் மற்றும் அளவீடுகள் மற்றும் கொடியிடுதல் முரண்பாடுகளின் பெரிய துண்டுகளை சுருக்கவும்.

ஒரு வாக்கியத்தில் கண்காணிப்புக்கும் அவதானிக்கும் தன்மைக்கும் உள்ள வித்தியாசத்தை தெளிவுபடுத்துவோம்: கண்காணிப்பு என்பது உங்களுக்கு ஏற்கனவே தெரிந்த கேள்விகளைக் கேட்பது (“CPU 90% கடந்ததா?”); கவனிப்பு என்பது உங்களுக்கு ஏற்கனவே தெரியாத கேள்விகளைக் கேட்க முடியும் ("ஏன் இந்த வித்தியாசமான தாமதம் ஒரு குறிப்பிட்ட நேரத்தில் ஒரு குறிப்பிட்ட வாடிக்கையாளருக்கு மட்டும் நிகழ்கிறது?"). நவீன அமைப்புகள் மிகவும் சிக்கலானவை, தோல்வியின் அனைத்து முறைகளையும் நீங்கள் கணிக்க முடியாது; எனவே, செழுமையான அளவீடுகள், பதிவுகள் மற்றும் தடயங்களைச் சேகரித்து, பின்னர் அவற்றை ஆழமாக வினவுவதற்கான திறன் - அதாவது, கவனிப்பு - முக்கியமானதாகிறது. "முன்பு அறியப்படாத கேள்விக்கு" பதிலளிக்கும் போது AI செயல்படும் இடம் இதுதான்: இது உங்களிடம் உள்ள மூலத் தரவை விரைவாக ஸ்கேன் செய்கிறது, வடிவங்கள் மற்றும் முரண்பாடுகளைப் பரிந்துரைக்கிறது, மேலும் இந்த தடயங்களைச் சரிபார்ப்பதன் மூலம் மூல காரணத்தை நீங்கள் பெறுவீர்கள்.

படிப்படியாக: என்ன, எப்படி கண்காணிக்க வேண்டும்?

1. சரியான அளவீடுகளைத் தேர்ந்தெடுக்கவும். தொழில்துறையில், "நான்கு கோல்டன் சிக்னல்கள்" அடிப்படையாக எடுத்துக் கொள்ளப்படுகின்றன: தாமதம், போக்குவரத்து, பிழைகள், செறிவு - வளம் எவ்வளவு நிரம்பியுள்ளது. இவை பெரும்பாலான சேவைகளின் ஆரோக்கியத்தை சுருக்கமாகக் கூறுகின்றன.
2. அளவீடுகளை சேகரிக்கவும். ப்ரோமிதியஸ் படிக்கக்கூடிய ஒரு இறுதிப் புள்ளியை விண்ணப்பம் முன்வைக்கட்டும்.
3. டாஷ்போர்டுகளை அமைக்கவும். இந்த அளவீடுகளை கிராஃபானாவில் காட்சிப்படுத்தவும்.
4. எச்சரிக்கை விதிகளை எழுதுங்கள். வரம்பு மீறப்பட்டால் யார் எச்சரிக்கப்படுவார்கள், எப்படி?
5. பதிவுகளை மையப்படுத்தவும். அனைத்து சேவைப் பதிவுகளையும் ஒரே இடத்தில் தேடக்கூடியதாக மாற்றவும்.
6. சத்தத்தைக் குறைக்கவும். அதிக அலாரம் "எச்சரிக்கை சோர்வை" உருவாக்குகிறது; முக்கியமான அலாரம் மறைந்துவிடும்.

உதவிக்குறிப்பு: ஒரு நல்ல அலாரம் இரண்டு விஷயங்களைச் சந்திக்கிறது: இது செயல்படக்கூடியது மற்றும் சரியான அவசரத்தைக் கொண்டுள்ளது. அதிகாலை 3 மணிக்கு ஒருவரை எழுப்பும் அலாரம் உண்மையில் இரவுநேர தலையீடு தேவைப்படும் ஒன்றாக இருக்க வேண்டும். "CPU 70%" போன்ற செயல் தேவையில்லாத ஒன்றுக்காக யாரையும் எழுப்ப வேண்டாம்; அதை பலகையில் காட்டவும்.

அலாரம் விதியை எழுதுவது எப்படி?

விழிப்பூட்டல் மூன்று கூறுகளைக் கொண்டுள்ளது: நிபந்தனை (எந்த மெட்ரிக் எந்த வரம்பை மீறுகிறது மற்றும் எவ்வளவு காலம்), கால அளவு (தற்போதைய ஏற்ற இறக்கங்களைத் தூண்டுவதைத் தவிர்க்க "5 நிமிடங்களுக்கு"), மற்றும் முக்கியத்துவம்/செயல் (யாருக்கு, எந்த சேனல் மூலம்). AI இந்த மூன்றையும் சரியான சூழலுடன் சிறப்பாக நிறுவுகிறது. எடுத்துக்காட்டாக, "பிழை விகிதம் 5% ஐத் தாண்டினால் முக்கியமான அலாரம்" போன்ற விதியை PromQL க்கு மொழிபெயர்ப்பது AIக்கான பிளவு-இரண்டாவது பணியாகும் - ஆனால் உங்கள் கணினிக்கு வரம்பு சரியானதா என்பதை நீங்கள் தீர்மானிக்கிறீர்கள்.

எச்சரிக்கை: AI ஆல் பரிந்துரைக்கப்படும் அலாரம் வரம்புகள் பொதுவான அனுமானங்கள். உங்கள் கணினியின் இயல்பான சுமை, சகிப்புத்தன்மை மற்றும் வேலை தாக்கம் ஆகியவை வேறுபட்டவை. நீங்கள் நேரடியாக தயாரிப்பில் நுழைவதற்கு முன், உங்கள் வரலாற்றுத் தரவைப் பார்த்து, "கடந்த காலத்தில் இந்த வரம்பு எத்தனை முறை தூண்டப்பட்டது, அவற்றில் எத்தனை உண்மையான பிரச்சனைகள்?" கேள்விக்கு பதில் சொல்லுங்கள்.

பதிவு தனியுரிமை: முக்கியமான எச்சரிக்கை

கசிவுகளின் அடிக்கடி கவனிக்கப்படாத ஆதாரமாக பதிவுகள் உள்ளன. பதிவு வரியில் தற்செயலாக கடவுச்சொல், கிரெடிட் கார்டு எண் அல்லது தனிப்பட்ட தரவு (KVKK/GDPR கீழ்) இருக்கலாம். பகுப்பாய்வுக்காக AI இல் பதிவுகளை ஒட்டும்போது:

1. முகமூடி உணர்திறன் பகுதிகள். டோக்கன், கடவுச்சொல், மின்னஞ்சல், அடையாள எண் போன்ற மதிப்புகளை <REDACTED> என மாற்றவும்.
2. உதாரணங்களை கொடுங்கள், அனைத்தையும் அல்ல. ஒரு மில்லியன் வரிகளுக்குப் பதிலாக, சில நூறு பிரதிநிதி வரிகள் போதுமானதாக இருக்கும்.
3. நிறுவனத்தால் அங்கீகரிக்கப்பட்ட வாகனத்தைத் தேர்வு செய்யவும். குறிப்பாக உற்பத்திப் பதிவுகளுக்கு, தரவு பயிற்சிக்கு செல்லாத ஒரு கருவியைப் பயன்படுத்தவும்.

நான்கு கோல்டன் சிக்னல்கள் மற்றும் அலாரம் டேபிள்கள்

சமிக்ஞை

மூலம் அளவிடப்படுகிறது

எடுத்துக்காட்டு அலாரம் வரம்பு

அவசரம்

தாமதம்

பதில் நேரம்

p95 > 800 ms, 5 நிமிடம்

உயர்

போக்குவரத்து

கோரிக்கை/வினாடி

திடீர் 300% அதிகரிப்பு/குறைவு

நடுத்தர

பிழை

கோரிக்கை விகிதம் தோல்வியடைந்தது

> 5%, 5 நிமிடம்

முக்கியமான

செறிவு

வள ஆக்கிரமிப்பு

வட்டு > 85%

உயர்

மூன்று சிறிய வழக்குகள்

வழக்கு 1 — 400 வரிகள் 30 வினாடிகளில் சுருக்கமாக. ஒரு சேவை மெதுவாக இருந்தது. பொறியாளர் முகமூடி அணிந்த 400 வரி பதிவை AIக்கு கொடுத்து, "தொடர்ச்சியான பிழை முறைகள் மற்றும் நேர தீவிரத்தை சுருக்கவும்" என்றார். ஒவ்வொரு 30 வினாடிகளுக்கும் ஒரு குறிப்பிட்ட வெளிப்புற API அழைப்பு நேரம் முடிவடைவதை AI காட்டியது. 30 வினாடிகளில் மூல காரணம் கண்டுபிடிக்கப்பட்டது; பதிவுகளை கைமுறையாக ஸ்கேன் செய்ய அரை மணி நேரம் ஆகும்.

வழக்கு 2 - அலாரம் சோர்வு தீர்க்கப்பட்டது. ஒரு குழு ஒரு நாளைக்கு 200 அலாரங்களைப் பெறுகிறது மற்றும் அவை அனைத்தையும் புறக்கணித்தது - உண்மையான செயலிழப்பு அலாரமும் கவனிக்கப்படாத வரை. AI க்கு அனைத்து விழிப்பூட்டல் விதிகளையும் கொடுத்து, "எவை செயல்பட முடியாதவை மற்றும் எவற்றை இணைக்கலாம்?" என்று கேட்டனர். அலாரங்களின் எண்ணிக்கை ஒரு நாளைக்கு 12 ஆக குறைந்தது; ஒவ்வொரு அலாரமும் இப்போது தீவிரமாக எடுத்துக் கொள்ளப்பட்டது.

வழக்கு 3 - தவறான வாசல் ஆரம்பத்தில் பிடிக்கப்பட்டது. YZ வட்டுக்கு "95% நிரம்பியவுடன் எச்சரிக்கவும்" பரிந்துரைத்தது. பொறியாளர் வரலாற்றுத் தரவைப் பார்த்தார்: வட்டு 95% ஐ அடைந்தவுடன் தலையீட்டிற்கு சிறிது நேரம் இல்லை. இது வரம்பை 80% ஆகக் குறைத்து, "வளர்ச்சி விகிதத்தின்" அடிப்படையில் இரண்டாவது அலாரத்தைச் சேர்த்தது. சரிபார்ப்பு உண்மையான நள்ளிரவு செயலிழப்பைத் தடுத்தது.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) பதிவு சுருக்கம் (முகமூடி):

கீழே உள்ள பதிவு உதாரணத்தை பகுப்பாய்வு செய்யவும் (நான் <REDACTED> உடன் முக்கிய மதிப்புகளை மறைத்துள்ளேன்). எனக்குக் கொடுங்கள்: (1) தொடர்ச்சியான பிழை வடிவங்கள், (2) காலப்போக்கில் கவனம் செலுத்துதல், (3) பெரும்பாலும் மூல காரணம், மற்றும் (4) சரிபார்க்க 3 அளவீடுகள். பதிவு: [LINES]

2) எச்சரிக்கை விதி உருவாக்கம்:

Prometheus/Alertmanagerக்கான எச்சரிக்கை விதியை எழுதவும்: [THRESHOLD] [METRIC][DURATION]ஐ விட அதிகமாக இருந்தால் [SEVERITY] அலாரத்தை உருவாக்கவும். விதி செயல் சார்ந்ததாக இருக்க வேண்டும் மற்றும் சிறுகுறிப்பு மற்றும் ரன்புக் இணைப்புப் புலத்தை உள்ளடக்கியதாக இருக்க வேண்டும். PromQL ஐ விளக்கி, இந்த வரம்பு ஏன் நியாயமானது என்பதை எழுதவும்.

3) PromQL வினவலை எழுதுதல்/அறிவித்தல்:

அளவிடும் ஒரு PromQL வினவலை எழுதவும்: [EX. கடந்த 5 நிமிடங்களில் 5xxerror விகிதம் சதவீதம்]. வினவலை படிப்படியாக விளக்கவும். இந்த மதிப்புக்கான ஆரோக்கியமான வரம்பு என்னவாக இருக்க வேண்டும் என்று சொல்லுங்கள்.

4) டாஷ்போர்டு வடிவமைப்பு:

[சேவை]க்கான கிராஃபானா டாஷ்போர்டை வடிவமைக்கவும்: எந்த பேனல்களில் நான்கு கோல்டன் சிக்னல்களை (தாமதம், ட்ராஃபிக், பிழை, செறிவு) காட்ட வேண்டும்? ஒவ்வொரு பேனலுக்கும் மெட்ரிக், காட்சிப்படுத்தல் வகை மற்றும் நியாயமான வரம்பை பரிந்துரைக்கவும். நோக்கம்: ஒரு காவலரின் உடல்நிலையை 10 வினாடிகளில் பார்ப்பது.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனம்: "அந்தப் பதிவில் என்ன இருக்கிறது?" (அதைத் தொடர்ந்து 5000 வரிகள் மூலப் பதிவு, அதில் டோக்கன்கள்)

முடிவு: நீங்கள் ரகசியங்களை கசியவிடுகிறீர்கள், மேலும் AI இலக்கற்ற, மேலோட்டமான சுருக்கத்தை அளிக்கிறது.

வலிமையானது: "கீழே உள்ள 300-வரி முகமூடி செய்யப்பட்ட பதிவு உதாரணத்தில் தொடர்ச்சியான பிழை வடிவங்கள் மற்றும் நேர தீவிரத்தைக் கண்டறியவும்; மிகவும் சாத்தியமான மூல காரணத்தையும் நான் சரிபார்க்கும் அளவீடுகளையும் என்னிடம் கூறுங்கள். நான் டோக்கன்களை <REDACTED> செய்துள்ளேன்."

வேறுபாடு: இரண்டாவது ப்ராம்ட் ஒரு முகமூடி மற்றும் கவனம் செலுத்திய உதாரணத்தை அளிக்கிறது, தெளிவான பகுப்பாய்வு வெளியீட்டைக் கேட்கிறது; இது பாதுகாப்பானது மற்றும் பயனுள்ளது.

பொதுவான தவறுகள்

• முகமூடி இல்லாமல் AI இல் பதிவை ஒட்டுதல். மிகவும் பொதுவான ரகசியம்/தனிப்பட்ட தரவு கசிவு.
• எல்லாவற்றிற்கும் அலாரங்களை அமைக்கிறது. அலாரம் சோர்வு உண்மையான அலாரத்தைப் புதைக்கிறது.
• செயல்பட முடியாத அலாரம். யாராலும் ஒன்றும் செய்ய முடியாது என்ற எச்சரிக்கை சத்தம்.
• கேள்வியின்றி AI இன் வரம்பை ஏற்றுக்கொள்வது. உங்கள் கணினியின் வரலாற்றின் படி வரம்பு அமைக்கப்பட வேண்டும்.
• மெட்ரிக்கை மட்டும் பார்க்கிறேன். பதிவு மற்றும் தடயங்கள் இல்லாமல், மூல காரணத்தை பெரும்பாலான நேரங்களில் கண்டுபிடிக்க முடியாது.
• அலாரம் நேரத்தை அமைக்கவில்லை (இதற்கு). கணநேர ஏற்ற இறக்கங்கள் தவறான அலாரங்களை உருவாக்குகின்றன.

சுருக்கமாக

கவனிக்கக்கூடிய தன்மை; அளவீடுகள், பதிவுகள் மற்றும் தடயங்கள் மூலம் கணினியின் உட்புறத்தை வெளியில் இருந்து புரிந்து கொள்ளும் திறன் இது. நான்கு கோல்டன் சிக்னல்கள் (தாமதம், போக்குவரத்து, பிழை, செறிவு) பெரும்பாலான சேவைகளின் ஆரோக்கியத்தை சுருக்கமாகக் கூறுகின்றன. PromQL வினவல்கள், எச்சரிக்கை விதிகள் மற்றும் டாஷ்போர்டுகளை எழுதுவதிலும், பெரிய அளவிலான பதிவுகளை சுருக்கி, முரண்பாடுகளைக் கண்டறிவதிலும் AI மிகவும் சக்தி வாய்ந்தது. ஆனால், உங்கள் சொந்த அமைப்பின் வரலாற்றிற்கு எதிரான அலாரம் வரம்புகளைச் சரிபார்ப்பது, அலாரங்களைச் செயல் சார்ந்ததாக வைத்திருப்பது மற்றும் பதிவுகளை மறைக்காமல் அவற்றைப் பகிர வேண்டாம் என்பது உங்கள் பொறுப்பு.

விண்ணப்ப பணி

ஒரு சேவைக்கு (அல்லது ஒரு மாதிரி சேவை): (1) "அலாரம் விதி உருவாக்கம்" டெம்ப்ளேட்டுடன் பிழை விகிதத்திற்காக ஒரு அலாரம் விதியை உருவாக்கி, "கடந்த காலத்தில் இது எத்தனை முறை தூண்டப்பட்டது?" என பரிந்துரைக்கப்பட்ட வரம்பை அமைக்கவும். கேள்வியுடன் அதை சோதிக்கவும்; (2) உங்களிடம் உள்ள பதிவு மாதிரியை மறைத்து, அதை "பதிவு சுருக்கம்" டெம்ப்ளேட்டுடன் பகுப்பாய்வு செய்யுங்கள்; (3) மிகவும் சாத்தியமான மூல காரணத்தை உறுதிப்படுத்த எந்த அளவீட்டைப் பார்க்க வேண்டும் என்பதைக் கவனியுங்கள்.

சரிபார்ப்பு பட்டியல்

• [ ] நான்கு கோல்டன் சிக்னல்களின் அடிப்படையில் கண்காணிக்க அளவீடுகளைத் தேர்ந்தெடுத்தேன்.
• [ ] நான் AI க்கு வழங்கிய அனைத்து பதிவுகளையும் உணர்திறன் பகுதிகளின் அடிப்படையில் மறைத்தேன்.
• [ ] ஒவ்வொரு அலாரமும் செயல் சார்ந்தது மற்றும் சரியான அவசரம் என்பதை நான் சரிபார்த்தேன்.
• [ ] எனது கணினியின் வரலாற்றுத் தரவுகளுக்கு எதிராக அலாரம் வரம்புகளைச் சோதித்தேன்.
• [ ] அலாரங்களில் (காலம்) சேர்ப்பதன் மூலம் உடனடி ஏற்ற இறக்கங்களை வடிகட்டினேன்.
• [ ] மூல காரணத்திற்காக மெட்ரிக் + பதிவு + ட்ரேஸ் ஆகியவற்றை ஒன்றாகப் பயன்படுத்தினேன்.