சம்பவ மேலாண்மை மற்றும் பிரேத பரிசோதனை: செயற்கை நுண்ணறிவுடன் மூல காரண பகுப்பாய்வு

ஆதாயங்கள்:

• ஒரு சம்பவத்தின் வாழ்க்கைச் சுழற்சியைப் புரிந்து கொள்ளும் திறன் (கண்டறிதல், சோதனை, தணிப்பு, தீர்மானம், பிரேத பரிசோதனை), MTTD/MTTR அளவீடுகள் மற்றும் 'முதலில் தணிக்கவும், பின்னர் விசாரிக்கவும்' கொள்கை
• சம்பவத்தின் போது கருதுகோள்களை சுருக்கவும் மற்றும் குற்றமற்ற பிரேத பரிசோதனை ஓவியத்தை உருவாக்கவும் AI ஐப் பயன்படுத்தும் திறன், ஒவ்வொரு மூல காரணத்தையும் தரவு மூலம் சரிபார்க்கிறது
• பிரேத பரிசோதனையை குற்றம் சொல்லாத மொழியில் எழுதும் ஒழுக்கத்தைப் பிரயோகிக்கும் திறன் மற்றும் நிகழ்வின் தரவை மறைப்பதன் மூலம் பகிர்தல்.

ஒவ்வொரு அமைப்பும் இறுதியில் உடைந்து விடும். இந்த தவிர்க்க முடியாத நிகழ்வுக்கு நல்ல அணிகள் எவ்வாறு தயாராகின்றன மற்றும் அவர்கள் எவ்வாறு கற்றுக்கொள்கிறார்கள் என்பதுதான் வித்தியாசம். சம்பவம் என்பது எதிர்பாராத நிகழ்வாகும், இது சேவையை சீர்குலைக்கும் அல்லது இடையூறு விளைவிக்கும் அச்சுறுத்தலாகும்: ஒரு சேவை செயலிழப்பு, பதில் நேரங்கள் உயர்ந்து, தரவு இழப்பு. சம்பவ மேலாண்மை என்பது சம்பவத்தைக் கண்டறிதல், தணித்தல், முடிந்தவரை விரைவாகத் தீர்ப்பது, பின்னர் அதிலிருந்து கற்றுக்கொள்வது. DevOps மற்றும் SRE (தள நம்பகத்தன்மை பொறியியல்) நிபுணர்களை இரவும் பகலும் இயக்கும் ஒழுக்கம் இதுவாகும்.

இரண்டு முக்கியமான அளவீடுகள் நிகழ்வின் தரத்தை அளவிடுகின்றன: MTTD (கண்டறிதலுக்கான சராசரி நேரம்) மற்றும் MTTR (மீட்பதற்கான சராசரி நேரம்). இரண்டையும் சுருக்குவதே குறிக்கோள். AI இங்கே இரண்டு பெரிய மதிப்புகளைச் சேர்க்கிறது: சாத்தியமான மூல காரணத்தைக் குறைக்க நிகழ்வின் போது பதிவுகள் மற்றும் அளவீடுகளை விரைவாகச் சுருக்கி, நிகழ்வுக்குப் பிறகு பிரேத பரிசோதனையை (நிகழ்வுக்குப் பிந்தைய விசாரணை அறிக்கை) விரைவாக உருவாக்குகிறது. ஆனால் நிகழ்வுகளின் போக்கைப் பற்றிய முடிவுகள் - எந்த சேவையை முடக்குவது, திரும்பப் பெறுவது, வாடிக்கையாளரிடம் என்ன சொல்வது - உங்களுடையது.

ஒரு நிகழ்வின் வாழ்க்கைச் சுழற்சி

1. கண்டறிதல்: அலாரம் ஒலிக்கிறது அல்லது வாடிக்கையாளர் புகார் வருகிறது. சீக்கிரம் நல்லது.
2. சோதனை: இது எவ்வளவு தீவிரமானது? களம் என்றால் என்ன? தீவிர நிலைகள் ஒதுக்கப்படுகின்றன-பொதுவாக SEV1 (மிக முக்கியமான, முழு அமைப்பு) SEV4 (சிறியது).
3. உங்கள் பதில் குழுவைக் கூட்டவும். முக்கியமான சம்பவங்களில், ஒரு சம்பவ தளபதி ஒருங்கிணைப்பை ஏற்றுக்கொள்கிறார்.
4. தணிக்க: முதலில் இரத்தப்போக்கை நிறுத்துங்கள் - பெரும்பாலும் திரும்பப் பெறுதல் அல்லது கொடியை மூடுதல். மூல காரணத்தை நீங்கள் பின்னர் கண்டுபிடிப்பீர்கள்.
5. தீர்வு: நிரந்தர தீர்வைப் பயன்படுத்தவும்.
6. அறிக (போஸ்ட்மார்ட்டம்): என்ன நடந்தது, அது ஏன் நடந்தது, மீண்டும் நடக்காமல் தடுப்பது எப்படி?

உதவிக்குறிப்பு: சம்பவத்தின் போது மிகவும் விலையுயர்ந்த தவறுகளில் ஒன்று, இரத்தப்போக்கு நிறுத்தப்படுவதை தாமதப்படுத்துவதாகும், ஏனெனில் "முதலில் சரியான மூல காரணத்தைப் பெறுவோம்." விதி: முதலில் குறைப்பு (சேவையை மீட்டமை/மீட்டமை), பிறகு விசாரிக்கவும். அறியப்பட்ட-நல்ல பதிப்பிற்கு திரும்புவது பெரும்பாலும் விரைவான தணிப்பு ஆகும்.

குற்ற உணர்வு இல்லாத போஸ்ட்மார்ட்டம் கலாச்சாரம்

ஆரோக்கியமான அணிகளின் முதுகெலும்பு குற்றமற்ற போஸ்ட்மார்ட்டம் கலாச்சாரம் ஆகும்: இலக்கு "யார் செய்தது" என்பதல்ல, ஆனால் "இந்த தவறை எந்த அமைப்பு மற்றும் செயல்முறை அனுமதித்தது?" என்பது கேள்வி. மக்கள் தண்டிக்கப்படுவார்கள் என்று தெரிந்தால் தவறை மறைக்கிறார்கள்; மறைக்கப்பட்ட பிழை மீண்டும் மீண்டும் வருகிறது. போஸ்ட்மார்ட்டம் என்பது குற்றச்சாட்டு அறிக்கை அல்ல, ஆனால் ஒரு கற்றல் ஆவணம்.

ஒரு நல்ல பிரேத பரிசோதனையில் பின்வருவன அடங்கும்: சுருக்கம், தாக்கம் (எத்தனை பயனர்கள், எவ்வளவு காலம், எவ்வளவு பணம்), காலவரிசை, மூல காரணம்(கள்), எது நன்றாக/மோசமாக இருந்தது, மற்றும் செயல் உருப்படிகள்-ஒவ்வொன்றும் உரிமையாளர் மற்றும் தேதியுடன் கூடிய கான்கிரீட் நடவடிக்கைகள்.

எச்சரிக்கை: AI உடன் போஸ்ட்மார்ட்டம் எழுதும் போது, ​​குற்றஞ்சாட்டும் மொழியை (அதாவது "X நபர் ஒரு தவறு செய்தார்") தவிர்க்க வேண்டும். கிளையன்ட் ஐடிகள், இன்டர்னல் ஐபிகள் மற்றும் ரகசியங்களை மறைத்து, நிகழ்வுத் தரவை AIக்கு அளிக்கும் போது - பிரேத பரிசோதனைகள் பெரும்பாலும் பரவலாகப் பகிரப்படுகின்றன.

மூல காரண பகுப்பாய்வு: 5 ஏன் மற்றும் AI

ஒரு உன்னதமான நுட்பம் "5 ஏன்": "ஏன்?" ஒரு பிரச்சனைக்கு. மீண்டும் மீண்டும் கேட்பதன் மூலம், மேலோட்டமான அறிகுறியிலிருந்து உண்மையான மூலத்திற்கு நீங்கள் பெறுவீர்கள். "சேவை செயலிழந்தது. ஏன்? நினைவகம் இல்லை. ஏன்? கசிவு ஏற்பட்டது. ஏன்? நூலகப் புதுப்பிப்பு..." AI ஆனது இந்த சங்கிலியை விரைவாக உருவாக்கி, சாத்தியமான கிளைகளை பரிந்துரைக்கிறது - ஆனால் உங்கள் தரவு மூலம் ஒவ்வொரு "ஏன்" என்பதை நீங்கள் சரிபார்க்க வேண்டும்; AI ஒரு நியாயமான ஆனால் தவறான சங்கிலியை உருவாக்க முடியும்.

தீவிர அட்டவணை

நிலை

தாக்கம்

உதாரணம்

தலையீடு

SEV1

முழு அமைப்பு/முக்கியமான வணிக இழப்பு

கட்டணம் முற்றிலும் நிறுத்தப்பட்டது

உடனடியாக, முழு அணியும், தளபதி

SEV2

முக்கிய செயலிழப்பு

உள்நுழைவுகள் தோல்வியடைந்தன

வேகமான, அழைப்பு + ஆதரவு

SEV3

பகுதி/வரையறுக்கப்பட்ட விளைவு

அறிக்கை தாமதமாகிறது

வேலை நேரத்தில்

SEV4

சிறிய / ஒப்பனை

எழுத்துப்பிழை

சாதாரண வேலை வரிசை

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - MTTR 45 நிமிடங்களிலிருந்து 8 நிமிடங்கள் வரை. கட்டணச் சேவை செயலிழந்தது. பணியில் இருந்த பொறியாளர் முகமூடி அணிந்த பதிவுகள் மற்றும் கடைசி வரிசைப்படுத்தல் தகவலை AI க்கு அளித்து, "கடந்த 20 நிமிடங்களில் அதிகம் தூண்டக்கூடியது எது?" என்று கேட்டார். என்று கேட்டான். கடைசி வரிசைப்படுத்தலின் அதே நிமிடத்தில் சரிவு தொடங்கியது என்று AI காட்டியது. பொறியாளர் உடனடியாக அந்த பதிப்பை திரும்பப் பெற்றார்; சேவை 8 நிமிடங்களில் திரும்பியது. மூல காரணம் (புதிய பதிப்பில் உள்ள இணைப்புக் குளம் பிழை) பின்னர் வசதியாக ஆராயப்பட்டது.

வழக்கு 2-20 நிமிடங்களில் பிரேத பரிசோதனை ஓவியம். ஒரு SEV2 க்குப் பிறகு, குழு சோர்வாக இருந்தது மற்றும் ஒரு அறிக்கையை எழுதுவதற்கு வலிமை இல்லை; அடிக்கடி அறிக்கை வாரக்கணக்கில் தாமதமானது. இந்த நேரத்தில், அவர்கள் AI க்கு காலவரிசை மற்றும் சம்பவக் குறிப்புகளைக் கொடுத்தனர் மற்றும் குற்றம் இல்லாத போஸ்ட்மார்ட்டம் ஓவியத்தை உருவாக்கினர். தாக்கம், காலவரிசை மற்றும் செயல் உருப்படிகளுக்கு AI ஒரு நேர்த்தியான கட்டமைப்பை உருவாக்கியது; குழு அதை உண்மைகளால் நிரப்பி 20 நிமிடங்களில் வெளியிட்டது. பாடம் இழக்கவில்லை.

வழக்கு 3 - தவறான மூல காரணம் பிடிபட்டது. ஒரு சந்தர்ப்பத்தில், AI "ரூட் காஸ் டேட்டாபேஸ் ஓவர்லோட்" என்று கூறியது, அது நியாயமானதாகத் தோன்றியது. ஆனால் பொறியாளர் அளவீடுகளை உறுதிப்படுத்தினார்: சம்பவத்தின் போது தரவுத்தள சுமை சாதாரணமாக இருந்தது. உண்மையான காரணம் வெளிப்புற டிஎன்எஸ் பிரச்சனை. AI இன் ஆரம்ப கருதுகோள் திரவமானது ஆனால் தவறானது; தரவுகளுடன் சரிபார்ப்பு தவறான முடிவோடு அறிக்கை வெளியிடப்படுவதைத் தடுத்தது.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) சம்பவத்தின் போது விரைவான சோதனை:

நாங்கள் ஒரு தயாரிப்பு நிகழ்வை அனுபவித்து வருகிறோம். மறைக்கப்பட்ட அறிகுறிகள்: [SYMPTOM]. கடைசி மாற்றங்கள்: [கடைசி வரிசைப்படுத்தல்/மாற்றம்]. எனக்குக் கொடுங்கள்:(1) நிகழ்தகவு வரிசையில் 3 பெரும்பாலும் மூல காரணக் கருதுகோள்கள்,(2) ஒவ்வொன்றையும் 1 நிமிடத்தில் சரிபார்க்கும் கட்டளை/மெட்ரிக்,(3) வேகமான பாதுகாப்பான தணிப்பு படி (எ.கா. திரும்பப்பெறுதல்).கண்டிப்பாகச் சொன்னால்; ஒவ்வொரு கருதுகோளையும் நான் சரிபார்க்க வேண்டும் என்று கூறவும்.

2) குற்றமற்ற பிரேத பரிசோதனை ஓவியம்:

சம்பவக் குறிப்புகளிலிருந்து குற்றமற்ற போஸ்ட்மார்ட்டம் ஓவியத்தை கீழே எழுதவும். பிரிவுகள்: சுருக்கம், தாக்கம் (பயனர்/காலம்/செலவு), காலக்கெடு, மூல காரணம்(கள்), எது நன்றாக நடந்தது, எது மோசமாக இருந்தது, செயல் உருப்படிகள் (ஒவ்வொன்றும் உரிமையாளர் + தேதி புலத்துடன்). பெயரிடுதல், செயல்முறை மற்றும் அமைப்பில் கவனம் செலுத்துங்கள். குறிப்புகள்: [முகமூடி]

3) 5 ஏன் பகுப்பாய்வு:

பின்வரும் அறிகுறியுடன் தொடங்கி, "5 ஏன்" சங்கிலியை உருவாக்கவும்: [SYMPTOM]. ஒவ்வொரு படியிலும் ஒன்றுக்கு மேற்பட்ட கிளைகள் இருந்தால் காட்டவும். ஒவ்வொரு "ஏன்" என்பதற்கு அடுத்ததாக நான் சரிபார்க்கும் ஆதாரத்தை (பதிவு/மெட்ரிக்) எழுதவும். முடிவில், எந்தப் படிகள் இன்னும் சரிபார்க்கப்படவில்லை என்பதைக் குறிக்கவும்.

4) செயல்படக்கூடிய பொருட்களை உருவாக்குதல்:

இந்த மூல காரணத்தின்படி, அதே நிகழ்வு மீண்டும் நிகழாமல் தடுக்கும் செயலுக்குரிய பொருட்களை பரிந்துரைக்கவும். ஒவ்வொரு பொருளையும் வகைப்படுத்தவும்: (அ) தடுப்பு, கண்டறிதல் அல்லது குறைப்பு, (ஆ) மதிப்பிடப்பட்ட முயற்சி, (இ) தாக்கம். அதிக தாக்கம்/முயற்சி விகிதத்தின்படி வரிசைப்படுத்தவும். மூல காரணம்: [X]

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனம்: "சேவை செயலிழந்தது, நான் என்ன செய்ய வேண்டும்?"

முடிவு: சூழல் இல்லை; AI உங்கள் வழக்கிற்குப் பொருந்தாத பொதுவான பரிந்துரைகளை வழங்க முடியும், மேலும் ஒரு உறுதியான மூல காரணத்தைக் கூட கொண்டு வர முடியும்.

வலிமையானது: "தயாரிப்பு கட்டணச் சேவையானது 5 நிமிடங்களுக்கு 5xx தருகிறது. கடைசியாக 6 நிமிடங்களுக்கு முன்பு பயன்படுத்தப்பட்டது. நிகழ்தகவு வரிசையில் 3 சாத்தியமான மூல காரணக் கருதுகோள்களைக் கொடுங்கள், அவை ஒவ்வொன்றையும் சரிபார்க்கும் கட்டளையைச் சொல்லுங்கள், மேலும் விரைவான பாதுகாப்பான தணிப்பைப் பரிந்துரைக்கவும். குறிப்பாகச் சொல்ல வேண்டாம், நான் சரிபார்க்க வேண்டும் என்று கூறவும்."

வேறுபாடு: இரண்டாவது வரியில் அறிகுறி, நேரம் மற்றும் கடைசி மாற்றத்தை அளிக்கிறது; இது கருதுகோள் + சரிபார்ப்பு + குறைப்பு மற்றும் AI ஐ துல்லியமாக வைத்திருக்கிறது.

பொதுவான தவறுகள்

• குறைப்பதற்கு முன் சரியான மூல காரணத்தைத் தேடுங்கள். இது இரத்தப்போக்கு நிறுத்தப்படுவதை தாமதப்படுத்துகிறது மற்றும் MTTR ஐ அதிகரிக்கிறது.
• AI இன் முதல் கருதுகோளைச் சரிபார்க்காமல் வெளியிடுகிறது. திரவ ஆனால் தவறான மூல காரணங்கள் அறிக்கையில் கசிவு.
• குற்றச்சாட்டு மொழி. அநாமதேயமாக எழுதப்பட்ட பிரேதப் பரிசோதனையானது மறைத்தல் மற்றும் மீண்டும் பிழையை வளர்க்கிறது.
• புல்லட் புள்ளிகள் இல்லாத செயல் சார்ந்த அறிக்கை. உரிமையாளர் மற்றும் தேதி இல்லாத முன்மொழிவு ஒருபோதும் செயல்படுத்தப்படாது.
• நிகழ்வின் தரவை மறைக்காமல் பகிர்தல். போஸ்ட்மார்ட்டம் பரந்த பார்வையாளர்களுக்கு செல்கிறது; ரகசிய/தனிப்பட்ட தகவல்கள் கசிந்துள்ளன.
• திரும்பப் பெறுவதற்கான பாதையை முன்கூட்டியே தயார் செய்யவில்லை. தலைகீழ் மாற்றம் நடைமுறையில் இல்லை என்றால், குறைப்பு மெதுவாக உள்ளது.

சுருக்கமாக

சம்பவ மேலாண்மை என்பது தவிர்க்க முடியாத நிகழ்வுகளை விரைவாகக் கண்டறிதல், தணித்தல், தீர்ப்பது மற்றும் கற்றுக்கொள்வது; MTTD மற்றும் MTTR ஆகியவை முக்கிய அளவீடுகள். தங்க விதி "முதலில் தணிக்கவும், பின்னர் விசாரணை செய்யவும்" மற்றும் அறியப்பட்ட-நல்ல பதிப்பிற்கு மாற்றுவது பெரும்பாலும் விரைவான தணிப்பு ஆகும். நிகழ்வின் போது பதிவுகளை சுருக்கவும், கருதுகோள்களை சுருக்கவும், நிகழ்வுக்குப் பிறகு குற்றமற்ற போஸ்ட்மார்ட்டம் ஓவியங்களை உருவாக்கவும் AI விலைமதிப்பற்றது - ஆனால் ஒவ்வொரு மூல காரணக் கருதுகோளையும் தரவு மூலம் சரிபார்ப்பது, பழியின் மொழியை அகற்றுவது மற்றும் நிகழ்வுத் தரவை மறைப்பது உங்கள் பொறுப்பு.

விண்ணப்ப பணி

கடந்த கால (அல்லது கற்பனையான) நிகழ்வைக் கவனியுங்கள். (1) "ஆன்-தி-சீன் ரேபிட் ட்ரேஜ்" டெம்ப்ளேட்டுடன் AI கருதுகோள்கள் மற்றும் சரிபார்ப்பு படிகளை உருவாக்க வேண்டும்; எந்த கருதுகோளை தரவு மூலம் உறுதிப்படுத்த முடியும் என்பதைக் கவனியுங்கள். (2) "குற்றமற்ற பிரேத பரிசோதனை அவுட்லைன்" டெம்ப்ளேட்டைப் பயன்படுத்தி ஒரு அறிக்கையை வரைந்து அதை உண்மைகளுடன் நிரப்பவும். (3) குறைந்தது இரண்டு செயல்படக்கூடிய பொருட்களைக் கண்டறிந்து ஒவ்வொன்றிற்கும் ஒரு உரிமையாளரையும் தேதியையும் ஒதுக்கவும்.

சரிபார்ப்பு பட்டியல்

• [ ] சம்பவத்தின் போது, நான் முதலில் தணிக்க நினைத்தேன் (பின்வாங்குதல்/நிறுத்தம்) மற்றும் பின்னர் வரை மூல காரணத்தை விட்டுவிட்டேன்.
• AI இன் ஒவ்வொரு மூல காரணக் கருதுகோளையும் பதிவு/மெட்ரிக் மூலம் சரிபார்த்தேன்.
• [ ] நான் அதை ஒரு மொழியில் எழுதினேன், அது போஸ்ட்மார்ட்டம் மீது குற்றம் சாட்டவில்லை, செயல்முறை மற்றும் அமைப்பு மீது கவனம் செலுத்துகிறது.
• [ ] நான் செயல்படக்கூடிய ஒவ்வொரு பொருளுக்கும் ஒரு உரிமையாளரையும் தேதியையும் ஒதுக்கினேன்.
• [ ] நான் AI க்கு வழங்கிய நிகழ்வு தரவுகளிலிருந்து இரகசிய மற்றும் தனிப்பட்ட தகவலை மறைத்துவிட்டேன்.
• [ ] பாதிப்பின் படி தீவிர அளவை சரியாக ஒதுக்கினேன்.