ઘટના વ્યવસ્થાપન અને પોસ્ટમોર્ટમ: આર્ટિફિશિયલ ઇન્ટેલિજન્સ સાથે રુટ કોઝ એનાલિસિસ

નફો:

• ઘટનાના જીવન ચક્રને સમજવાની ક્ષમતા (શોધ, ટ્રાયેજ, શમન, રિઝોલ્યુશન, પોસ્ટમોર્ટમ), MTTD/MTTR મેટ્રિક્સ અને 'પહેલા હળવા કરો, પછી તપાસ કરો' ના સિદ્ધાંત.
• ઘટના સમયે પૂર્વધારણાઓને સંકુચિત કરવા માટે AI નો ઉપયોગ કરવાની ક્ષમતા અને એક દોષરહિત પોસ્ટમોર્ટમ સ્કેચ બનાવવાની ક્ષમતા, ડેટા સાથે દરેક મૂળ કારણને માન્ય કરે છે.
• પોસ્ટમોર્ટમને દોષિત ન હોય તેવી ભાષામાં લખવાની શિસ્ત લાગુ કરવાની ક્ષમતા અને તેને માસ્ક કરીને ઇવેન્ટ ડેટા શેર કરવાની ક્ષમતા.

દરેક સિસ્ટમ આખરે તૂટી જાય છે. તફાવત એ છે કે સારી ટીમો આ અનિવાર્ય ઇવેન્ટ માટે કેવી રીતે તૈયારી કરે છે અને તેઓ કેવી રીતે શીખે છે. ઘટના એ એક અણધારી ઘટના છે જે સેવાને વિક્ષેપિત કરે છે અથવા તેને ખલેલ પહોંચાડવાની ધમકી આપે છે: સર્વિસ ક્રેશ, રિસ્પોન્સ ટાઈમ આસમાને પહોંચે છે, ડેટા ખોવાઈ જાય છે. આકસ્મિક વ્યવસ્થાપનનો અર્થ એ છે કે ઘટનાને શક્ય તેટલી ઝડપથી શોધવી, ઘટાડવી, તેનું નિરાકરણ કરવું અને પછી તેમાંથી શીખવું. આ તે શિસ્ત છે જે DevOps અને SRE (સાઇટ રિલાયબિલિટી એન્જિનિયરિંગ) વ્યાવસાયિકોને દિવસ-રાત ચલાવે છે.

બે જટિલ મેટ્રિક્સ ઇવેન્ટની ગુણવત્તાને માપે છે: MTTD (શોધવાનો સરેરાશ સમય) અને MTTR (પુનઃપ્રાપ્ત કરવાનો સરેરાશ સમય). ધ્યેય બંનેને સંકોચવાનું છે. AI અહીં બે મોટા મૂલ્યો ઉમેરે છે: સંભવિત મૂળ કારણને સંકુચિત કરવા માટે ઘટના સમયે લોગ અને મેટ્રિક્સનો ઝડપથી સારાંશ આપવો અને ઘટના પછી પોસ્ટમોર્ટમ (ઇવેન્ટ પછીની તપાસ અહેવાલ)નો ઝડપથી મુસદ્દો તૈયાર કરવો. પરંતુ ઇવેન્ટના કોર્સ વિશેના નિર્ણયો - કઈ સેવા બંધ કરવી, રોલબેક કરવી, ગ્રાહકને શું કહેવું - તમારા છે.

ઘટનાનું જીવન ચક્ર

1. તપાસ: એલાર્મ વાગે છે અથવા ગ્રાહકની ફરિયાદ આવે છે. વહેલા તેટલું સારું.
2. ટ્રાયજ: તે કેટલું ગંભીર છે? ડોમેન શું છે? ગંભીરતાના સ્તરો અસાઇન કરવામાં આવે છે-સામાન્ય રીતે SEV1 (સૌથી જટિલ, આખી સિસ્ટમ) ને SEV4 (નાના).
3. તમારી પ્રતિભાવ ટીમને એસેમ્બલ કરો. ગંભીર ઘટનાઓમાં, ઘટના કમાન્ડર સંકલન ધારે છે.
4. હળવો કરો: પહેલા રક્તસ્ત્રાવ બંધ કરો — ઘણી વખત રોલબેક અથવા ધ્વજને આવરી લેવો. તમે મૂળ કારણ પછીથી શોધી શકશો.
5. ઉકેલો: કાયમી સુધારા લાગુ કરો.
6. જાણો (પોસ્ટમોર્ટમ): શું થયું, શા માટે થયું, તેને ફરીથી બનતું કેવી રીતે અટકાવી શકાય?

ટીપ: ઘટના સમયે સૌથી મોંઘી ભૂલોમાંની એક રક્તસ્ત્રાવ બંધ કરવામાં વિલંબ થાય છે કારણ કે "ચાલો પહેલા ચોક્કસ મૂળ કારણ પર જઈએ." નિયમ: પ્રથમ ઘટાડો (રિસ્ટોર/રિસ્ટોર સર્વિસ), પછી પૂછપરછ કરો. જાણીતા-સારા સંસ્કરણ પર પાછા ફરવું એ ઘણીવાર ઝડપી શમન છે.

દોષમુક્ત પોસ્ટમોર્ટમ સંસ્કૃતિ

તંદુરસ્ત ટીમોની કરોડરજ્જુ એ દોષરહિત પોસ્ટમોર્ટમની સંસ્કૃતિ છે: ધ્યેય "આ કોણે કર્યું" નથી, પરંતુ "કઈ સિસ્ટમ અને પ્રક્રિયાએ આ ભૂલને મંજૂરી આપી?" પ્રશ્ન છે. લોકો ભૂલ છુપાવે છે જો તેઓ જાણતા હોય કે તેઓને સજા થશે; છુપાયેલ ભૂલ પુનરાવર્તિત થાય છે. પોસ્ટમોર્ટમ એ આરોપનો રિપોર્ટ નથી, પરંતુ શીખવા માટેનો દસ્તાવેજ છે.

સારા પોસ્ટમોર્ટમમાં નીચેનાનો સમાવેશ થાય છે: સારાંશ, અસર (કેટલા વપરાશકર્તાઓ, કેટલા સમય, કેટલા પૈસા), સમયરેખા, મૂળ કારણ(ઓ), શું સારું/ખરાબ થયું અને ક્રિયા આઇટમ્સ-નક્કર પગલાં, દરેક માલિક અને તારીખ સાથે.

સાવધાન: AI સાથે પોસ્ટમોર્ટમ લખતી વખતે, દોષારોપણની ભાષાને દૂર કરવાની ખાતરી કરો (એટલે ​​​​કે "વ્યક્તિ Xએ ભૂલ કરી"). AI ને ઇવેન્ટ ડેટા ફીડ કરતી વખતે ક્લાયંટ IDs, આંતરિક IPs અને રહસ્યોને પણ માસ્ક કરો — પોસ્ટમોર્ટમ ઘણીવાર વ્યાપકપણે શેર કરવામાં આવે છે.

મૂળ કારણ વિશ્લેષણ: 5 Whys અને AI

ક્લાસિક તકનીક "5 શા માટે" છે: પૂછો "શા માટે?" સમસ્યા માટે. વારંવાર પૂછવાથી, તમે ઉપરછલ્લા લક્ષણમાંથી વાસ્તવિક મૂળ સુધી પહોંચો છો. "સેવા ક્રેશ થઈ. શા માટે? મેમરીમાંથી બહાર. શા માટે? ત્યાં લીક હતી. શા માટે? લાઇબ્રેરી અપડેટ..." AI આ સાંકળ બનાવવા માટે ઝડપી છે અને શક્ય શાખાઓ સૂચવે છે — પરંતુ તમારે તમારા ડેટા સાથે દરેક "શા માટે" ચકાસવું આવશ્યક છે; AI વાજબી પરંતુ ખોટી સાંકળ પણ બનાવી શકે છે.

ગંભીરતા કોષ્ટક

સ્તર

અસર

ઉદાહરણ

હસ્તક્ષેપ

SEV1

સમગ્ર સિસ્ટમ/નિર્ણાયક વ્યવસાય નુકશાન

ચુકવણી સંપૂર્ણપણે ઘટી ગઈ

તરત જ, આખી ટીમ, કમાન્ડર

SEV2

મુખ્ય તકલીફ

લૉગિન નિષ્ફળ થયા

ઝડપી, ઓન-કોલ + સપોર્ટ

SEV3

આંશિક/મર્યાદિત અસર

રિપોર્ટમાં વિલંબ થયો છે

કામના કલાકો દરમિયાન

SEV4

નાના/કોસ્મેટિક

ટાઈપો

સામાન્ય કામની કતાર

ત્રણ નાના કેસો

કેસ 1 — MTTR 45 મિનિટથી 8 મિનિટ સુધી. ચુકવણી સેવા ક્રેશ થઈ. ફરજ પરના એન્જિનિયરે એઆઈને માસ્ક કરેલા લોગ અને છેલ્લી જમાવટની માહિતી આપી અને પૂછ્યું "છેલ્લી 20 મિનિટમાં સૌથી વધુ સંભવિત ટ્રિગર શું છે?" તેણે પૂછ્યું. AI એ બતાવ્યું કે છેલ્લી જમાવટની તે જ મિનિટે પતન શરૂ થયું. એન્જિનિયરે તરત જ તે સંસ્કરણ પાછું ફેરવ્યું; સેવા 8 મિનિટમાં પાછી આવી. મૂળ કારણ (નવા સંસ્કરણમાં જોડાણ પૂલ બગ) પછી સગવડતાપૂર્વક તપાસ કરવામાં આવી હતી.

કેસ 2 - 20 મિનિટમાં પોસ્ટમોર્ટમ સ્કેચ. SEV2 પછી, ટીમ થાકી ગઈ હતી અને રિપોર્ટ લખવાની તાકાત નહોતી; ઘણીવાર રિપોર્ટ અઠવાડિયા સુધી વિલંબિત થતો હતો. આ વખતે, તેઓએ એઆઈને સમયરેખા અને ઘટનાની નોંધ આપી અને ગુનામુક્ત પોસ્ટમોર્ટમ સ્કેચ તૈયાર કર્યો. AI એ અસર, સમયરેખા અને ક્રિયા વસ્તુઓ માટે એક સુઘડ માળખું બનાવ્યું; ટીમે તેને તથ્યોથી ભરીને 20 મિનિટમાં પ્રકાશિત કર્યું. પાઠ ખોવાઈ ગયો ન હતો.

કેસ 3 - ખોટું મૂળ કારણ પકડાયું. એક કિસ્સામાં, AI એ "મૂળ કારણ ડેટાબેઝ ઓવરલોડ" કહ્યું અને તે વાજબી લાગ્યું. પરંતુ એન્જિનિયરે મેટ્રિક્સની પુષ્ટિ કરી: ઘટના સમયે ડેટાબેઝ લોડ સામાન્ય હતો. વાસ્તવિક કારણ બાહ્ય DNS સમસ્યા હતી. AI ની પ્રારંભિક પૂર્વધારણા પ્રવાહી હતી પરંતુ ખોટી હતી; ડેટા સાથેની માન્યતાએ ખોટા નિષ્કર્ષ સાથે અહેવાલ પ્રકાશિત થતો અટકાવ્યો.

ચાર નકલ કરી શકાય તેવા નમૂનાઓ

1) ઘટના સમયે ઝડપી ટ્રાયજ:

અમે પ્રોડક્શન ઇવેન્ટનો અનુભવ કરી રહ્યા છીએ. માસ્ક કરેલા લક્ષણો: [SYMPTOM].છેલ્લા ફેરફારો: [છેલ્લું ડિપ્લોય/બદલો]. મને આપો:(1) સંભાવનાના ક્રમમાં 3 સૌથી સંભવિત મૂળ કારણની પૂર્વધારણાઓ, (2) આદેશ/મેટ્રિક જે દરેકને 1 મિનિટમાં ચકાસશે, (3) સૌથી ઝડપી સલામત શમન પગલું (દા.ત. રોલબેક). સખત રીતે કહીએ તો; જણાવો કે મારે દરેક પૂર્વધારણાને ચકાસવી જોઈએ.

2) નિર્દોષ પોસ્ટમોર્ટમ સ્કેચ:

નીચેની ઘટના નોંધોમાંથી એક દોષરહિત પોસ્ટમોર્ટમ સ્કેચ લખો. વિભાગો: સારાંશ, અસર (વપરાશકર્તા/સમયગાળો/ખર્ચ), સમયરેખા, મૂળ કારણ(ઓ), શું સારું થયું, શું ખરાબ થયું, એક્શન આઇટમ્સ (દરેક માલિક + તારીખ ફીલ્ડ સાથે). નામકરણ, પ્રક્રિયા અને સિસ્ટમ પર ધ્યાન આપો. નોંધો: [માસ્ક્ડ]

3) 5 શા માટે વિશ્લેષણ:

નીચેના લક્ષણથી શરૂ કરીને "5 Whys" સાંકળ બનાવો: [SYMPTOM]. દરેક પગલા પર એક કરતાં વધુ સંભવિત શાખાઓ હોય તો બતાવો. દરેક "શા માટે" ની બાજુમાં પુરાવા (લોગ/મેટ્રિક) લખો જેને હું ચકાસવા માટે જોઈશ. અંતે, ચિહ્નિત કરો કે કયા પગલાં હજુ સુધી ચકાસવામાં આવ્યા નથી.

4) ક્રિયા કરવા યોગ્ય વસ્તુઓ બનાવવી:

આ મૂળ કારણ મુજબ, ક્રિયાપાત્ર વસ્તુઓ સૂચવો જે સમાન ઘટનાને પુનરાવર્તિત થતા અટકાવશે. દરેક વસ્તુને આના દ્વારા વર્ગીકૃત કરો: (a) નિવારણ, શોધ અથવા ઘટાડો, (b) અંદાજિત પ્રયત્નો, (c) અસર. ઉચ્ચતમ અસર/પ્રયાસ ગુણોત્તર દ્વારા સૉર્ટ કરો. મૂળ કારણ: [X]

નબળા પ્રોમ્પ્ટ / મજબૂત પ્રોમ્પ્ટ

નબળા: "સેવા ક્રેશ થઈ ગઈ છે, મારે શું કરવું જોઈએ?"

પરિણામ: કોઈ સંદર્ભ નથી; AI સામાન્ય ભલામણો કરી શકે છે જે તમારા કેસમાં બંધબેસતી નથી, અને ચોક્કસ મૂળ કારણ સાથે પણ આવી શકે છે.

સશક્ત: "ઉત્પાદન ચુકવણી સેવા 5 મિનિટ માટે 5xx આપી રહી છે. છેલ્લી જમાવટ 6 મિનિટ પહેલા હતી. સંભવિતતાના ક્રમમાં 3 સંભવિત મૂળ કારણની પૂર્વધારણાઓ આપો, આદેશને કહો કે જે તે દરેકને ચકાસશે અને સૌથી ઝડપી સલામત શમન સૂચવે છે. ચોક્કસ બનો નહીં, જણાવો કે મારે ચકાસવાની જરૂર છે."

તફાવત: બીજો પ્રોમ્પ્ટ લક્ષણ, સમય અને છેલ્લો ફેરફાર આપે છે; તે પૂર્વધારણા + ચકાસણી + ઘટાડાની માંગ કરે છે અને એઆઈને અચોક્કસ રાખે છે.

સામાન્ય ભૂલો

• ઘટાડતા પહેલા ચોક્કસ મૂળ કારણ શોધી રહ્યા છીએ. તે રક્તસ્રાવ રોકવામાં વિલંબ કરે છે અને MTTR વધારે છે.
• AI ની પ્રથમ પૂર્વધારણા તેની ચકાસણી કર્યા વિના પ્રકાશિત કરવી. પ્રવાહી પરંતુ ખોટા મૂળ રિપોર્ટમાં લીક થવાનું કારણ બને છે.
• આક્ષેપાત્મક ભાષા. અજ્ઞાત રીતે લખાયેલ પોસ્ટમોર્ટમ છૂપાવવા અને પુનરાવર્તન ભૂલને પ્રોત્સાહન આપે છે.
• બુલેટ પોઈન્ટ વિના ક્રિયાલક્ષી અહેવાલ. માલિક અને તારીખ વિનાનો પ્રસ્તાવ ક્યારેય અમલમાં આવશે નહીં.
• ઇવેન્ટ ડેટાને માસ્ક કર્યા વિના શેર કરી રહ્યાં છે. પોસ્ટમોર્ટમ વિશાળ પ્રેક્ષકોને જાય છે; ગુપ્ત/વ્યક્તિગત ડેટા લીક થયો છે.
• રોલબેક પાથ અગાઉથી તૈયાર ન કરવો. જો રિવર્સલ વ્યવહારુ ન હોય, તો ઘટાડો ધીમો થાય છે.

સારાંશમાં

ઘટના વ્યવસ્થાપન એ અનિવાર્ય ઘટનાઓને ઝડપથી શોધવા, ઘટાડવા, ઉકેલવા અને શીખવા વિશે છે; MTTD અને MTTR મુખ્ય મેટ્રિક્સ છે. સુવર્ણ નિયમ છે "પહેલા હળવા કરો, પછી તપાસ કરો" અને જાણીતા-સારા સંસ્કરણ પર પાછા ફરવું એ ઘણીવાર સૌથી ઝડપી શમન છે. ઘટના સમયે લોગનો સારાંશ આપવા, પૂર્વધારણાઓને સંકુચિત કરવામાં અને ઘટના પછી દોષરહિત પોસ્ટમોર્ટમ સ્કેચ બનાવવા માટે AI અમૂલ્ય છે — પરંતુ દરેક મૂળ કારણની પૂર્વધારણાને ડેટા, દોષની ભાષા અને માસ્ક ઇવેન્ટ ડેટા સાથે માન્ય કરવાની જવાબદારી તમારી છે.

એપ્લિકેશન કાર્ય

ભૂતકાળની (અથવા કાલ્પનિક) ઘટનાનો વિચાર કરો. (1) AI પાસે "ઓન-ધ-સીન રેપિડ ટ્રાયજ" ટેમ્પલેટ સાથે પૂર્વધારણાઓ અને ચકાસણીના પગલાંઓ જનરેટ કરો; નોંધ કરો કે ડેટા દ્વારા કઈ પૂર્વધારણાની પુષ્ટિ કરી શકાય છે. (2) “નોટ ગિલ્ટી પોસ્ટમોર્ટમ રૂપરેખા” ટેમ્પ્લેટનો ઉપયોગ કરીને એક રિપોર્ટ સ્કેચ કરો અને તેને તથ્યોથી ભરો. (3) ઓછામાં ઓછી બે ક્રિયાપાત્ર વસ્તુઓને ઓળખો અને દરેકને માલિક અને તારીખ સોંપો.

ચેકલિસ્ટ

• [ ] ઘટના સમયે, મેં સૌપ્રથમ તેને ઘટાડવા (રોલબેક/શટડાઉન) કરવાનું વિચાર્યું અને પછી સુધી મૂળ કારણ છોડી દીધું.
• [ ] મેં લોગ/મેટ્રિક સાથે AI ના દરેક મૂળ કારણની પૂર્વધારણાની ચકાસણી કરી.
• [ ] મેં તેને એવી ભાષામાં લખ્યું છે કે જે પોસ્ટમોર્ટમને દોષ ન આપે, પ્રક્રિયા અને સિસ્ટમ પર ધ્યાન કેન્દ્રિત કરે.
• [ ] મેં દરેક ક્રિયાપાત્ર વસ્તુને માલિક અને તારીખ સોંપી છે.
• [ ] મેં AI ને આપેલા ઇવેન્ટ ડેટામાંથી ગુપ્ત અને વ્યક્તિગત માહિતીને ઢાંકી દીધી.
• [ ] મેં અસર અનુસાર ગંભીરતાનું સ્તર યોગ્ય રીતે સોંપ્યું છે.