సంఘటన నిర్వహణ మరియు పోస్ట్‌మార్టం: ఆర్టిఫిషియల్ ఇంటెలిజెన్స్‌తో మూలకారణ విశ్లేషణ

లాభాలు:

• ఒక సంఘటన యొక్క జీవిత చక్రం (డిటెక్షన్, ట్రయాజ్, మిటిగేషన్, రిజల్యూషన్, పోస్ట్‌మార్టం), MTTD/MTTR కొలమానాలు మరియు 'మొదట తగ్గించండి, తర్వాత దర్యాప్తు చేయండి' అనే సూత్రాన్ని అర్థం చేసుకోగల సామర్థ్యం
• సంఘటన సమయంలో పరికల్పనలను తగ్గించడానికి AIని ఉపయోగించగల సామర్థ్యం మరియు నిందలేని పోస్ట్‌మార్టం స్కెచ్‌ను రూపొందించడం, డేటాతో ప్రతి మూల కారణాన్ని ధృవీకరించడం
• పోస్ట్‌మార్టమ్‌ను నిందించని భాషలో రాయడం మరియు ఈవెంట్ డేటాను మాస్క్ చేయడం ద్వారా భాగస్వామ్యం చేయడం వంటి క్రమశిక్షణను వర్తింపజేయగల సామర్థ్యం.

ప్రతి వ్యవస్థ చివరికి విచ్ఛిన్నమవుతుంది. తేడా ఏమిటంటే, ఈ అనివార్య సంఘటన కోసం మంచి జట్లు ఎలా సిద్ధమవుతాయి మరియు వారు ఎలా నేర్చుకుంటారు. సంఘటన అనేది సేవకు అంతరాయం కలిగించే లేదా అంతరాయం కలిగించే ఒక ఊహించని సంఘటన: సర్వీస్ క్రాష్, ప్రతిస్పందన సమయాలు ఆకాశాన్ని తాకడం, డేటా నష్టం. ఇన్సిడెంట్ మేనేజ్‌మెంట్ అంటే సంఘటనను వీలైనంత త్వరగా గుర్తించడం, తగ్గించడం, పరిష్కరించడం, ఆపై దాని నుండి నేర్చుకోవడం. ఇది DevOps మరియు SRE (సైట్ రిలయబిలిటీ ఇంజనీరింగ్) నిపుణులను పగలు మరియు రాత్రి నడిపించే క్రమశిక్షణ.

రెండు క్లిష్టమైన కొలమానాలు ఈవెంట్ నాణ్యతను కొలుస్తాయి: MTTD (కనుగొనడానికి సగటు సమయం) మరియు MTTR (కోలుకోవడానికి సగటు సమయం). రెండింటినీ కుదించడమే లక్ష్యం. AI ఇక్కడ రెండు పెద్ద విలువలను జోడిస్తుంది: సాధ్యమయ్యే మూల కారణాన్ని తగ్గించడానికి ఈవెంట్ సమయంలో లాగ్‌లు మరియు మెట్రిక్‌లను త్వరగా సంగ్రహించడం మరియు ఈవెంట్ తర్వాత పోస్ట్‌మార్టం (పోస్ట్-ఈవెంట్ ఇన్వెస్టిగేషన్ రిపోర్ట్)ని త్వరగా రూపొందించడం. అయితే ఈవెంట్‌ల కోర్సు గురించి నిర్ణయాలు - ఏ సేవను ఆఫ్ చేయాలి, రోల్‌బ్యాక్ చేయాలి, కస్టమర్‌కి ఏమి చెప్పాలి - మీదే.

ఒక సంఘటన యొక్క జీవిత చక్రం

1. గుర్తింపు: అలారం మోగుతుంది లేదా కస్టమర్ ఫిర్యాదు వస్తుంది. ఎంత త్వరగా ఉంటే అంత మంచిది.
2. చికిత్స: ఇది ఎంత తీవ్రంగా ఉంది? డొమైన్ అంటే ఏమిటి? తీవ్రత స్థాయిలు కేటాయించబడతాయి-సాధారణంగా SEV1 (అత్యంత క్లిష్టమైన, మొత్తం వ్యవస్థ) SEV4 (మైనర్)కి.
3. మీ ప్రతిస్పందన బృందాన్ని సమీకరించండి. క్లిష్టమైన సంఘటనలలో, ఒక సంఘటన కమాండర్ సమన్వయాన్ని తీసుకుంటాడు.
4. తగ్గించండి: ముందుగా రక్తస్రావం ఆపండి — తరచుగా రోల్‌బ్యాక్ లేదా జెండాను కప్పి ఉంచడం. మీరు తర్వాత మూలకారణాన్ని కనుగొంటారు.
5. పరిష్కరించండి: శాశ్వత పరిష్కారాన్ని వర్తింపజేయండి.
6. నేర్చుకోండి (పోస్ట్‌మార్టం): ఏం జరిగింది, ఎందుకు జరిగింది, మళ్లీ అలా జరగకుండా ఎలా నిరోధించాలి?

చిట్కా: సంఘటన సమయంలో అత్యంత ఖరీదైన తప్పులలో ఒకటి రక్తస్రావం ఆపడం ఆలస్యం ఎందుకంటే "ముందు ఖచ్చితమైన మూల కారణాన్ని తెలుసుకుందాం." నియమం: మొదటి తగ్గింపు (సేవను పునరుద్ధరించు/పునరుద్ధరించండి), ఆపై విచారించండి. తెలిసిన-మంచి వెర్షన్‌కి తిరిగి వెళ్లడం తరచుగా త్వరిత ఉపశమనం.

అపరాధం లేని పోస్ట్‌మార్టం సంస్కృతి

ఆరోగ్యకరమైన జట్ల వెన్నెముక నిందలేని పోస్ట్‌మార్టం సంస్కృతి: లక్ష్యం "ఎవరు చేసారు" కాదు, కానీ "ఏ వ్యవస్థ మరియు ప్రక్రియ ఈ తప్పును అనుమతించింది?" అనేది ప్రశ్న. శిక్ష అనుభవిస్తారని తెలిస్తే ప్రజలు తప్పును దాచుకుంటారు; దాచిన లోపం పునరావృతమవుతుంది. పోస్ట్‌మార్టం అనేది ఆరోపణ నివేదిక కాదు, ఒక అభ్యాస పత్రం.

మంచి పోస్ట్‌మార్టంలో ఇవి ఉంటాయి: సారాంశం, ప్రభావం (ఎంత మంది వినియోగదారులు, ఎంత కాలం, ఎంత డబ్బు), టైమ్‌లైన్, మూల కారణం(లు), ఏది బాగా/చెడుగా ఉంది మరియు చర్య అంశాలు-ఒక్కొక్క యజమాని మరియు తేదీతో కూడిన కాంక్రీట్ కొలతలు.

హెచ్చరిక: AIతో పోస్ట్‌మార్టమ్‌లను వ్రాసేటప్పుడు, నిందారోపణలు చేసే భాషను (అంటే “వ్యక్తి X తప్పు చేసాడు”) తొలగించాలని నిర్ధారించుకోండి. ఈవెంట్ డేటాను AIకి అందించేటప్పుడు క్లయింట్ IDలు, అంతర్గత IPలు మరియు రహస్యాలను మాస్క్ చేయండి - పోస్ట్‌మార్టంలు తరచుగా విస్తృతంగా భాగస్వామ్యం చేయబడతాయి.

మూలకారణ విశ్లేషణ: 5 ఎందుకు మరియు AI

ఒక క్లాసిక్ టెక్నిక్ "5 ఎందుకు": అడగండి "ఎందుకు?" ఒక సమస్యకు. మళ్లీ మళ్లీ అడగడం ద్వారా, మీరు ఉపరితల లక్షణం నుండి నిజమైన మూలానికి చేరుకుంటారు. "సేవ క్రాష్ అయింది. ఎందుకు? మెమరీ లేదు. ఎందుకు? లీక్ ఉంది. ఎందుకు? లైబ్రరీ అప్‌డేట్..." AI ఈ గొలుసును త్వరగా నిర్మించి, సాధ్యమయ్యే శాఖలను సూచించింది - కానీ మీరు మీ డేటాతో ప్రతి "ఎందుకు" ధృవీకరించాలి; AI సహేతుకమైన కానీ తప్పు గొలుసును కూడా నిర్మించగలదు.

తీవ్రత పట్టిక

స్థాయి

ప్రభావం

ఉదాహరణ

జోక్యం

SEV1

మొత్తం సిస్టమ్/క్లిష్ట వ్యాపార నష్టం

చెల్లింపు పూర్తిగా పడిపోయింది

తక్షణమే, మొత్తం బృందం, కమాండర్

SEV2

ప్రధాన పనిచేయకపోవడం

లాగిన్‌లు విఫలమయ్యాయి

వేగవంతమైన, ఆన్-కాల్ + మద్దతు

SEV3

పాక్షిక/పరిమిత ప్రభావం

నివేదిక ఆలస్యమైంది

పని గంటల సమయంలో

SEV4

చిన్న/సౌందర్య

అక్షర దోషం

సాధారణ పని క్యూ

మూడు చిన్న కేసులు

కేసు 1 — MTTR 45 నిమిషాల నుండి 8 నిమిషాల వరకు. చెల్లింపు సేవ క్రాష్ అయింది. డ్యూటీలో ఉన్న ఇంజనీర్ ముసుగు లాగ్‌లను మరియు చివరి విస్తరణ సమాచారాన్ని AIకి అందించాడు మరియు "గత 20 నిమిషాల్లో ఎక్కువగా ట్రిగ్గర్ ఏది?" అని అడిగాడు. అని అడిగాడు. చివరి విస్తరణ జరిగిన అదే నిమిషంలో పతనం ప్రారంభమైందని AI చూపించింది. ఇంజనీర్ వెంటనే ఆ సంస్కరణను వెనక్కి తీసుకున్నాడు; సేవ 8 నిమిషాల్లో తిరిగి వచ్చింది. మూల కారణం (కొత్త సంస్కరణలో కనెక్షన్ పూల్ బగ్) తర్వాత సౌకర్యవంతంగా పరిశోధించబడింది.

కేసు 2-20 నిమిషాలలో పోస్ట్‌మార్టం స్కెచ్. SEV2 తర్వాత, బృందం అలసిపోయింది మరియు నివేదికను వ్రాయడానికి బలం లేదు; తరచుగా నివేదిక వారాలపాటు ఆలస్యం అవుతుంది. ఈసారి, వారు AIకి టైమ్‌లైన్ మరియు సంఘటన గమనికలను అందించారు మరియు క్రైమ్-ఫ్రీ పోస్ట్‌మార్టం స్కెచ్‌ను రూపొందించారు. ప్రభావం, కాలక్రమం మరియు చర్య అంశాల కోసం AI చక్కని ఫ్రేమ్‌వర్క్‌ను సృష్టించింది; బృందం దానిని వాస్తవాలతో నింపి 20 నిమిషాల్లో ప్రచురించింది. పాఠం కోల్పోలేదు.

కేస్ 3 - తప్పు మూల కారణం క్యాచ్ చేయబడింది. ఒక సందర్భంలో, AI "రూట్ కాజ్ డేటాబేస్ ఓవర్‌లోడ్" అని చెప్పింది మరియు ఇది సహేతుకమైనదిగా అనిపించింది. కానీ ఇంజనీర్ మెట్రిక్‌లను ధృవీకరించారు: సంఘటన జరిగిన సమయంలో డేటాబేస్ లోడ్ సాధారణంగా ఉంది. అసలు కారణం బాహ్య DNS సమస్య. AI యొక్క ప్రారంభ పరికల్పన ద్రవం కానీ తప్పు; డేటాతో ధ్రువీకరణ నివేదిక తప్పు ముగింపుతో ప్రచురించబడకుండా నిరోధించింది.

నాలుగు కాపీ చేయగల టెంప్లేట్‌లు

1) సంఘటన సమయంలో వేగవంతమైన చికిత్స:

మేము ప్రొడక్షన్ ఈవెంట్‌ను అనుభవిస్తున్నాము. ముసుగు లక్షణాలు: [SYMPTOM]. చివరి మార్పులు: [చివరి విస్తరణ/మార్పు]. నాకు ఇవ్వండి:(1) సంభావ్యత క్రమంలో 3 అత్యంత సంభావ్య మూల కారణ పరికల్పనలు,(2) ప్రతి ఒక్కటి 1 నిమిషంలో ధృవీకరించే కమాండ్/మెట్రిక్, (3) వేగవంతమైన సురక్షిత ఉపశమన దశ (ఉదా. రోల్‌బ్యాక్). ఖచ్చితంగా చెప్పాలంటే; నేను ప్రతి పరికల్పనను తప్పనిసరిగా ధృవీకరించాలని పేర్కొనండి.

2) అమాయక పోస్టుమార్టం స్కెచ్:

దిగువ సంఘటన నోట్స్ నుండి దోషరహిత పోస్ట్‌మార్టం స్కెచ్‌ను వ్రాయండి. విభాగాలు: సారాంశం, ప్రభావం (వినియోగదారు/వ్యవధి/ఖర్చు), కాలక్రమం, మూల కారణం(లు), ఏది బాగా జరిగింది, ఏది చెడుగా మారింది, యాక్షన్ అంశాలు (ఒక్కొక్కటి యజమాని + తేదీ ఫీల్డ్‌తో). పేరు పెట్టడం, ప్రక్రియ మరియు వ్యవస్థపై దృష్టి పెట్టండి. గమనికలు: [ముసుగు]

3) 5 ఎందుకు విశ్లేషణ:

కింది లక్షణంతో ప్రారంభించి, "5 వైస్" గొలుసును రూపొందించండి: [SYMPTOM]. ప్రతి దశలో ఒకటి కంటే ఎక్కువ శాఖలు ఉంటే చూపండి. ప్రతి "ఎందుకు" పక్కన నేను దానిని ధృవీకరించడానికి చూసే సాక్ష్యం (లాగ్/మెట్రిక్) వ్రాయండి. ముగింపులో, ఏ దశలు ఇంకా ధృవీకరించబడలేదని గుర్తించండి.

4) చర్య తీసుకోదగిన అంశాలను సృష్టించడం:

ఈ మూల కారణం ప్రకారం, అదే ఈవెంట్ పునరావృతం కాకుండా నిరోధించే చర్య తీసుకోగల అంశాలను సూచించండి. ప్రతి అంశాన్ని దీని ద్వారా వర్గీకరించండి: (ఎ) నివారణ, గుర్తింపు లేదా తగ్గింపు, (బి) అంచనా వేసిన కృషి, (సి) ప్రభావం. అత్యధిక ప్రభావం/ప్రయత్నాల నిష్పత్తి ప్రకారం క్రమబద్ధీకరించండి. మూల కారణం: [X]

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

బలహీనం: "సేవ క్రాష్ అయింది, నేను ఏమి చేయాలి?"

ఫలితం: సందర్భం లేదు; AI మీ కేసుకు సరిపోని సాధారణ సిఫార్సులను చేయగలదు మరియు ఖచ్చితమైన మూల కారణాన్ని కూడా అందించగలదు.

బలమైనది: "ఉత్పత్తి చెల్లింపు సేవ 5 నిమిషాలు 5xxని అందిస్తోంది. చివరి విస్తరణ 6 నిమిషాల క్రితం జరిగింది. సంభావ్యత క్రమంలో 3 అత్యంత సంభావ్య మూల కారణ పరికల్పనలను ఇవ్వండి, వాటిలో ప్రతిదాన్ని ధృవీకరించే ఆదేశాన్ని తెలియజేయండి మరియు వేగవంతమైన సురక్షిత ఉపశమనాన్ని సూచించండి. నిర్దిష్టంగా ఉండకండి, నేను ధృవీకరించాల్సిన అవసరం ఉందని పేర్కొనండి."

తేడా: రెండవ ప్రాంప్ట్ లక్షణం, సమయం మరియు చివరి మార్పును ఇస్తుంది; ఇది పరికల్పన + ధృవీకరణ + తగ్గింపును కోరుతుంది మరియు AI ని ఖచ్చితమైనదిగా ఉంచుతుంది.

సాధారణ తప్పులు

• తగ్గించడానికి ముందు ఖచ్చితమైన మూలకారణాన్ని వెతుకుతున్నాము. ఇది రక్తస్రావం ఆపడం ఆలస్యం మరియు MTTR ను పెంచుతుంది.
• AI యొక్క మొదటి పరికల్పనను ధృవీకరించకుండానే ప్రచురించడం. ద్రవం కానీ తప్పుడు మూల కారణాలు నివేదికలోకి లీక్ అవుతాయి.
• నిందించే భాష. అనామకంగా వ్రాసిన పోస్ట్‌మార్టం దాచడం మరియు పునరావృత దోషాన్ని ప్రోత్సహిస్తుంది.
• బుల్లెట్ పాయింట్లు లేకుండా యాక్షన్ ఓరియెంటెడ్ రిపోర్ట్. యజమాని మరియు తేదీ లేని ప్రతిపాదన ఎప్పటికీ అమలు చేయబడదు.
• ఈవెంట్ డేటాను మాస్క్ చేయకుండా షేర్ చేస్తోంది. పోస్ట్‌మార్టం విస్తృత ప్రేక్షకులకు వెళుతుంది; రహస్య/వ్యక్తిగత డేటా లీక్ చేయబడింది.
• రోల్‌బ్యాక్ మార్గాన్ని ముందుగానే సిద్ధం చేయడం లేదు. రివర్సల్ ఆచరణాత్మకంగా లేకపోతే, తగ్గింపు మందగిస్తుంది.

సారాంశంలో

సంఘటన నిర్వహణ అనేది అనివార్య సంఘటనలను త్వరగా గుర్తించడం, తగ్గించడం, పరిష్కరించడం మరియు నేర్చుకోవడం; MTTD మరియు MTTR కీలకమైన కొలమానాలు. గోల్డెన్ రూల్ అనేది "మొదట తగ్గించండి, తర్వాత దర్యాప్తు చేయండి" మరియు తెలిసిన-మంచి వెర్షన్‌కి తిరిగి వెళ్లడం తరచుగా వేగవంతమైన ఉపశమనం. ఈవెంట్ సమయంలో లాగ్‌లను సంగ్రహించడం, పరికల్పనలను తగ్గించడం మరియు ఈవెంట్ తర్వాత దోషరహిత పోస్ట్‌మార్టం స్కెచ్‌లను రూపొందించడంలో AI అమూల్యమైనది - అయితే ప్రతి మూల కారణ పరికల్పనను డేటాతో ధృవీకరించడం, నింద యొక్క ప్రక్షాళన భాష మరియు ఈవెంట్ డేటాను మాస్క్ చేయడం మీ బాధ్యత.

అప్లికేషన్ టాస్క్

గత (లేదా కల్పిత) సంఘటనను పరిగణించండి. (1) "ఆన్-ది-సీన్ రాపిడ్ ట్రయాజ్" టెంప్లేట్‌తో AI పరికల్పనలు మరియు ధృవీకరణ దశలను రూపొందించేలా చేయండి; డేటా ద్వారా ఏ పరికల్పనను నిర్ధారించవచ్చో గమనించండి. (2) "నాట్ దోషి కాదు పోస్ట్‌మార్టం అవుట్‌లైన్" టెంప్లేట్‌ని ఉపయోగించి నివేదికను రూపొందించండి మరియు దానిని వాస్తవాలతో పూరించండి. (3) కనీసం రెండు చర్య తీసుకోగల అంశాలను గుర్తించండి మరియు ప్రతిదానికి యజమాని మరియు తేదీని కేటాయించండి.

చెక్లిస్ట్

• [ ] సంఘటన జరిగినప్పుడు, నేను మొదట తగ్గించడం (రోల్‌బ్యాక్/షట్‌డౌన్) గురించి ఆలోచించాను మరియు తరువాత వరకు మూల కారణాన్ని వదిలిపెట్టాను.
• [ ] నేను లాగ్/మెట్రిక్‌తో AI యొక్క ప్రతి మూల కారణ పరికల్పనను ధృవీకరించాను.
• [ ] నేను ప్రక్రియ మరియు వ్యవస్థపై దృష్టి సారించి, పోస్ట్‌మార్టంను నిందించని భాషలో వ్రాసాను.
• [ ] నేను ప్రతి చర్య వస్తువుకు యజమాని మరియు తేదీని కేటాయించాను.
• [ ] నేను AIకి ఇచ్చిన ఈవెంట్ డేటా నుండి రహస్య మరియు వ్యక్తిగత సమాచారాన్ని దాచిపెట్టాను.
• [ ] నేను ప్రభావం ప్రకారం తీవ్రత స్థాయిని సరిగ్గా కేటాయించాను.