ክትትል እና ታዛቢነት፡ ሜትሪክ፣ ሎግ፣ ዱካ እና ማንቂያ ህጎች

ትርፍ፡

• ሦስቱን የታዛቢነት ምሰሶዎች (ሜትሪክ ፣ ሎግ ፣ ዱካ) እና አራቱን ወርቃማ ምልክቶችን የመረዳት ችሎታ እና አርቲፊሻል ኢንተለጀንስ ያላቸው የPromQL ጥያቄዎችን ፣ የማንቂያ ደንቦችን እና ዳሽቦርዶችን ያመነጫሉ
• ማንቂያዎችን በድርጊት ተኮር እና በትክክለኛው አስቸኳይ ሁኔታ በመያዝ እና በራስዎ የስርዓት ታሪካዊ መረጃ ላይ ጣራዎችን በመሞከር የማንቂያ ደክሞትን የመከላከል ችሎታ
• ምዝግብ ማስታወሻዎቹን ለአርቴፊሻል ኢንተለጀንስ ከመስጠቱ በፊት ሚስጥራዊነት ያላቸውን ቦታዎችን በመደበቅ ግላዊነትን እና ሚስጥራዊ ፍሰትን የመከላከል ችሎታ

ስርዓቱ እየሰራ ቢመስልም በውስጡም እየሞተ ሊሆን ይችላል፡ የማስታወስ ችሎታ ቀስ በቀስ ይሞላል, የምላሽ ጊዜ ይጨምራል, የስህተት መጠን እየጨመረ ይሄዳል. ይህንን ለመገንዘብ ብቸኛው መንገድ ስርዓቱን በተከታታይ መከታተል ነው. የበለጠ የላቀ ፅንሰ-ሀሳብ ታዛቢነት ነው፡ ውጫዊ ምልክቶችን በማየት በስርአቱ ውስጥ ምን እየተካሄደ እንዳለ የመረዳት ችሎታ። ሶስት የታዛቢነት ምሰሶዎች አሉ፣ እና የዴቭኦፕስ ባለሙያ ሶስቱን ይጠቀማል።

• መለኪያ፡ በጊዜ ሂደት የሚለኩ ቁጥራዊ እሴቶች - የሲፒዩ አጠቃቀም፣ የጥያቄዎች ብዛት፣ የምላሽ ጊዜ፣ የስህተት መጠን። "ስንት ነው፣ ምን ያህል፧" የሚለውን ጥያቄ ይመልሳል.
• ምዝግብ ማስታወሻ፡ የጽሑፍ ክስተት መዝገቦች በስርአቱ የተዘጋጁ—"ተጠቃሚ ገብቷል", "የውሂብ ጎታ ግንኙነት ጠፍቷል"። " በትክክል ምን ሆነ?" የሚለውን ጥያቄ ይመልሳል.
• ዱካ፡- ከአገልግሎት ወደ አገልግሎት በሲስተሙ ውስጥ ሲያልፍ ጥያቄ የሚከተልበት መንገድ እና የእያንዳንዱ እርምጃ ቆይታ። "ዝግታ የት አለ?" የሚለውን ጥያቄ ይመልሳል.

በጣም የተለመዱ መሳሪያዎች፡- ፕሮሜቴየስ ለሜትሪክስ፣ ግራፋና ለእይታ፣ ሎኪ/ኤልኬ ለሎግ፣ ዣገር/ኦፕን ቴሌሜትሪ ለመከታተል። AI ለእነዚህ መሳሪያዎች የመጠይቅ ቋንቋዎችን (በተለይ የፕሮሜቲየስ ፕሮምQL)፣ የማንቂያ ደንቦችን እና የዳሽቦርድ ውቅሮችን በመጻፍ ረገድ በጣም የተካነ ነው። እንዲሁም AI በጣም ጠንካራ በሆነበት ቦታ ነው፡ ትላልቅ የምዝግብ ማስታወሻዎችን እና መለኪያዎችን ማጠቃለል እና ያልተለመዱ ነገሮችን መጠቆም።

በአንድ ዓረፍተ ነገር ውስጥ በክትትል እና በታዛቢነት መካከል ያለውን ልዩነት እናብራራ፡ ክትትል እርስዎ የሚያውቋቸውን ጥያቄዎች መጠየቅ ነው (“ሲፒዩ ከ90% አልፏል?”)። ታዛቢነት የማያውቁትን ጥያቄዎች መጠየቅ መቻል ነው ("ለምንድን ነው ይህ እንግዳ የሆነ ዝግታ ለተወሰነ ጊዜ ለተወሰነ ደንበኛ ብቻ የሚሆነው?")። ዘመናዊ ስርዓቶች በጣም ውስብስብ ከመሆናቸው የተነሳ ሁሉንም የውድቀት ሁነታዎች መተንበይ አይችሉም; ስለዚህ, የበለጸጉ መለኪያዎችን, ምዝግቦችን እና ዱካዎችን የመሰብሰብ ችሎታ እና ከዚያም በጥልቀት - ማለትም, ታዛቢነት - ወሳኝ ይሆናል. “ቀደም ሲል ያልታወቀ ጥያቄ” ሲመልስ AI ወደ ተግባር የሚገባው እዚህ ላይ ነው፡ ያለዎትን ጥሬ መረጃ በፍጥነት ይቃኛል፣ ስርዓተ-ጥለት እና ያልተለመዱ ነገሮችን ይጠቁማል እና እነዚህን ፍንጮች በማረጋገጥ ወደ ዋናው ምክንያት ይደርሳሉ።

ደረጃ በደረጃ: ምን እና እንዴት መከታተል እንደሚቻል?

1. ትክክለኛዎቹን መለኪያዎች ይምረጡ። በኢንዱስትሪው ውስጥ "አራት ወርቃማ ምልክቶች" እንደ መሰረት ይወሰዳሉ: መዘግየት, ትራፊክ, ስህተቶች, ሙሌት - ሀብቱ ምን ያህል ይሞላል. እነዚህ የአብዛኞቹን አገልግሎቶች ጤና ጠቅለል አድርገው ያቀርባሉ።
2. መለኪያዎችን ሰብስብ። አፕሊኬሽኑ ፕሮሜቲየስ ሊያነበው የሚችለውን የመጨረሻ ነጥብ ያቅርብ።
3. ዳሽቦርዶችን ያዘጋጁ. እነዚህን መለኪያዎች በግራፋና ውስጥ በዓይነ ሕሊናህ ተመልከት።
4. የማንቂያ ደንቦችን ይፃፉ. ገደብ ሲያልፍ ማን እና እንዴት?
5. የምዝግብ ማስታወሻዎችን ማዕከላዊ አድርግ። ሁሉንም የአገልግሎት ምዝግብ ማስታወሻዎች በአንድ ቦታ መፈለግ ይችላሉ።
6. ድምጽን ይቀንሱ. በጣም ብዙ ማንቂያ "የማስጠንቀቂያ ድካም" ይፈጥራል; አስፈላጊው ማንቂያው ይጠፋል.

ጠቃሚ ምክር: ጥሩ ማንቂያ ሁለት ነገሮችን ያሟላል: ሊተገበር የሚችል እና ትክክለኛ አጣዳፊ ነው. በጠዋቱ 3 ሰአት ላይ አንድን ሰው ከእንቅልፉ የሚነሳ ማንቂያ የሌሊት ጣልቃ ገብነትን የሚፈልግ መሆን አለበት። እንደ "ሲፒዩ 70%" በራሱ እርምጃ ለማይፈልገው ነገር ማንንም አትቀስቅስ; በቦርዱ ላይ አሳይ.

የማንቂያ ደንብ እንዴት እንደሚፃፍ?

ማንቂያ ሶስት አካላትን ያቀፈ ነው፡ ሁኔታ (ሜትሪክ ከየትኛው ገደብ እና ለምን ያህል ጊዜ ይበልጣል)፣ የቆይታ ጊዜ ("ለ5 ደቂቃ" የአፍታ መዋዠቅን ለማስወገድ) እና አስፈላጊነት/እርምጃ (ለማን ፣ በየትኛው ቻናል)። AI እነዚህን ሦስቱን ከትክክለኛው አውድ ጋር በብቃት አቋቁሟል። ለምሳሌ፣ እንደ “ወሳኝ ማንቂያ የስህተት መጠን ከ5% በላይ ከሆነ ለ5 ደቂቃ” የሚለውን ህግ ወደ PromQL መተርጎም ለ AI የተከፈለ ሰከንድ ተግባር ነው - ግን ጣራው ለስርዓትዎ ትክክል መሆኑን ይወስናሉ።

ጥንቃቄ፡ በ AI የተጠቆሙት የማንቂያ ገደቦች አጠቃላይ ግምቶች ናቸው። የስርዓትዎ መደበኛ ጭነት፣ መቻቻል እና የስራ ተጽእኖ የተለያዩ ናቸው። ደፍን በቀጥታ ወደ ፕሮድ ከማስቀመጥዎ በፊት፣ የታሪክ መረጃዎን ይመለከታሉ እና "ይህ ገደብ ቀደም ሲል ስንት ጊዜ ተቀስቅሷል፣ ከእነዚህ ውስጥ ምን ያህሉ እውነተኛ ችግሮች ነበሩ?" ጥያቄውን መልሱ።

ግላዊነትን ይመዝገቡ፡ ወሳኝ ማስጠንቀቂያ

ምዝግብ ማስታወሻዎች በጣም በተደጋጋሚ ችላ የሚባሉት የፍሳሽ ምንጮች ናቸው. የምዝግብ ማስታወሻ መስመር በድንገት የይለፍ ቃል፣ የክሬዲት ካርድ ቁጥር ወይም የግል መረጃ (በKVKK/GDPR ስር) ሊይዝ ይችላል። ምዝግብ ማስታወሻዎችን ለመተንተን ወደ AI ሲለጥፉ፡-

1. ስሜት የሚነኩ ቦታዎችን ጭንብል ያድርጉ። እንደ ማስመሰያ፣ የይለፍ ቃል፣ ኢሜይል፣ መታወቂያ ቁጥር ያሉ እሴቶችን በ<REDACTED> ይተኩ።
2. ምሳሌዎችን ስጥ, ሁሉንም አይደለም. ከአንድ ሚሊዮን መስመሮች ይልቅ, ጥቂት መቶ ወካይ መስመሮች ብዙውን ጊዜ በቂ ናቸው.
3. በተቋም የተረጋገጠ ተሽከርካሪ ይምረጡ። በተለይ ለምርት ምዝግብ ማስታወሻዎች ውሂቡ ወደ ስልጠና የማይሄድ መሳሪያ ይጠቀሙ.

አራት የወርቅ ምልክቶች እና የማንቂያ ጠረጴዛዎች

ምልክት

የሚለካው በ

የምሳሌ ማንቂያ ገደብ

አስቸኳይ

መዘግየት

የምላሽ ጊዜ

p95 > 800 ሚሴ፣ 5 ደቂቃ

ከፍተኛ

ትራፊክ

ጥያቄ/ሰከንድ

በድንገት 300% መጨመር / መቀነስ

መካከለኛ

ስህተት

ያልተሳካ የጥያቄ መጠን

> 5%፣ 5 ደቂቃ

ወሳኝ

ሙሌት

የሀብት መኖር

ዲስክ > 85%

ከፍተኛ

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 — በ 30 ሰከንድ ውስጥ የተጠቃለለ 400 የምዝግብ ማስታወሻዎች. አንድ አገልግሎት ቀንሷል። መሐንዲሱ ጭምብል የተደረገለትን 400 የሎግ መስመሮችን ለ AI ሰጠ እና "ተደጋጋሚ የስህተት ንድፎችን እና የጊዜ ጥንካሬን ጠቅለል አድርጉ." AI በየ30 ሰከንድ አንድ የተወሰነ የውጭ ኤፒአይ የጥሪ ጊዜ እንደሚያልቅ አሳይቷል። በ 30 ሰከንድ ውስጥ የተገኘ ሥር መንስኤ; የምዝግብ ማስታወሻዎችን በእጅ መቃኘት ግማሽ ሰዓት ይወስዳል።

ጉዳይ 2 - የማንቂያ ድካም ተፈቷል. አንድ ቡድን በቀን 200 ማንቂያዎችን ይቀበል ነበር እና ሁሉንም ችላ ይላቸው ነበር - የእውነተኛ መጥፋት ደወል እንዲሁ ችላ እስኪል ድረስ። ሁሉንም የማንቂያ ደንቦች ለ AI ይስጡ እና "የትኞቹ ሊተገበሩ የማይችሉ እና የትኞቹ ሊጣመሩ ይችላሉ?" ብለው ጠየቁ። የማንቂያዎች ቁጥር በቀን ወደ 12 ቀንሷል; እያንዳንዱ ማንቂያ አሁን በቁም ነገር ተወስዷል።

ጉዳይ 3 - የተሳሳተ ገደብ ቀደም ብሎ ተይዟል። YZ ለዲስክ "95% ሲሞላ አስጠንቅቅ" የሚል ሀሳብ አቅርቧል። መሐንዲሱ ታሪካዊ መረጃዎችን ተመልክቷል: አንዴ ዲስኩ 95% ሲደርስ ለጣልቃ ገብነት ትንሽ ጊዜ ነበር. ጣራውን ወደ 80% ዝቅ አደረገ እና በ"የእድገት መጠን" ላይ በመመስረት ሁለተኛ ማንቂያ ጨምሯል። ማረጋገጥ ትክክለኛ የእኩለ ሌሊት መቋረጥ ከልክሏል።

አራት ሊገለበጡ የሚችሉ አብነቶች

1) የምዝግብ ማስታወሻ ማጠቃለያ (ጭምብል)

ከታች ያለውን የምዝግብ ማስታወሻ ምሳሌ ይተንትኑ (ሚስጥራዊነት ያላቸውን እሴቶች በ<REDACTED> ሸፍኛለሁ)። ስጠኝ፡ (1) ተደጋጋሚ የስህተት ዘይቤዎች፣ (2) በጊዜ ሂደት ላይ ትኩረት ማድረግ፣ (3) ምናልባትም የስር መንስኤ፣ እና (4) 3 መለኪያዎች ለማረጋገጥ እመለከታለሁ። መዝገብ፡ [LINES]

2) የማንቂያ ደንብ ማመንጨት;

ለፕሮሜቴየስ/አለርትአስተዳዳሪ የማንቂያ ደውል ይጻፉ፡ [THRESHOLD] ከ[METRIC][DURATION] የሚበልጥ ከሆነ [SEVERITY] ማንቂያ ይፍጠሩ። ደንቡ በድርጊት ላይ ያተኮረ እና ማብራሪያ እና የ runbook አገናኝ መስክን ማካተት አለበት። PromQL ያብራሩ እና ይህ ገደብ ለምን ምክንያታዊ እንደሆነ ይፃፉ።

3) የPromQL ጥያቄን መጻፍ/ማወጅ፡-

የሚለካው የPromQL ጥያቄ ይጻፉ፡ [EX. ባለፉት 5 ደቂቃዎች ውስጥ 5xxerror ተመን መቶኛ]። መጠይቁን ደረጃ በደረጃ ያብራሩ። ከዚያ ለዚህ ዋጋ ጤናማ ክልል ምን መሆን እንዳለበት ንገረኝ.

4) ዳሽቦርድ ንድፍ;

የግራፋና ዳሽቦርድ ለ[SERVICE] ይንደፉ፡ አራቱን ወርቃማ ምልክቶች (በቆይታ፣ ትራፊክ፣ ስህተት፣ ሙሌት) በየትኛው ፓነሎች ማሳየት አለብኝ?ለእያንዳንዱ ፓነል ሜትሪክን፣ ምስላዊ አይነት እና ምክንያታዊ ጣራን ጠቁም። ዓላማው፡ የጠባቂውን የጤና ሁኔታ በ10 ሰከንድ ውስጥ ለማየት።

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ፡ "በዚያ መዝገብ ውስጥ ያለው ምንድን ነው?" (በ 5000 የጥሬ ምዝግብ ማስታወሻዎች ፣ በውስጡ ያሉ ቶከኖች ተከትሎ)

ውጤት፡ ሚስጥሮችን ታወጣላችሁ እና AI ያልታለመ፣ ላይ ላዩን ማጠቃለያ ይሰጣል።

ጠንካራ፡ "ከዚህ በታች ባለው ባለ 300-መስመር ጭምብል በተሸፈነው የምዝግብ ማስታወሻ ምሳሌ ውስጥ ተደጋጋሚ የስህተት ንድፎችን እና የጊዜ ጥንካሬን ፈልግ፤ በጣም ሊከሰት የሚችለውን የስር መንስኤ እና ለማረጋገጥ የምመለከታቸው መለኪያዎችን ንገረኝ። ምልክቶችን <REDACTED> አድርጌያለው።"

ልዩነት: ሁለተኛው ጥያቄ ግልጽ የሆነ የትንታኔ ውጤትን በመጠየቅ የተሸፈነ እና ተኮር ምሳሌ ይሰጣል; ሁለቱም አስተማማኝ እና ጠቃሚ ናቸው.

የተለመዱ ስህተቶች

• ምዝግብ ማስታወሻውን ሳይሸፍኑ ወደ AI መለጠፍ። በጣም የተለመደው ሚስጥራዊ/የግል መረጃ መፍሰስ።
• ለሁሉም ነገር ማንቂያዎችን በማዘጋጀት ላይ። የማንቂያ ድካም እውነተኛ ማንቂያ ይቀበራል።
• የማይንቀሳቀስ ማንቂያ። ማንም ሰው ምንም ማድረግ የማይችለው የማስጠንቀቂያ ድምጽ ነው.
• የ AI ገደብ ያለጥያቄ መቀበል። ጣራው በስርዓትዎ ታሪክ መሰረት መቀናበር አለበት።
• መለኪያውን በመመልከት ብቻ። ያለ መዝገብ እና ዱካ, ዋናው መንስኤ አብዛኛውን ጊዜ ሊገኝ አይችልም.
• የማንቂያ ጊዜን አለማዘጋጀት (ለ)። የአፍታ ውጣ ውረድ የውሸት ማንቂያዎችን ይፈጥራል።

በማጠቃለያው

ታዛቢነት; የስርዓቱን ውስጣዊ ሁኔታ ከውጪ በመለኪያዎች, ምዝግቦች እና ዱካዎች የመረዳት ችሎታ ነው. አራቱ ወርቃማ ምልክቶች (ዘግይቶ፣ ትራፊክ፣ ስህተት፣ ሙሌት) የአብዛኞቹን አገልግሎቶች ጤና ጠቅለል አድርገው ያሳያሉ። AI የPromQL መጠይቆችን፣ የማንቂያ ደንቦችን እና ዳሽቦርዶችን በመጻፍ እና ትላልቅ የምዝግብ ማስታወሻዎችን በማጠቃለል እና ያልተለመዱ ነገሮችን በመፈለግ ላይ በጣም ኃይለኛ ነው። ነገር ግን የማንቂያ ገደቦችን በራስዎ የስርዓት ታሪክ ላይ ማረጋገጥ፣ ማንቂያዎችን በድርጊት ተኮር ማድረግ እና ምዝግብ ማስታወሻዎችን ሳትሸፍኑ ማጋራት የእርስዎ ኃላፊነት ነው።

የመተግበሪያ ተግባር

ለአንድ አገልግሎት (ወይም ለናሙና አገልግሎት)፡ (1) ለስህተቱ መጠን የማንቂያ ደውል በ"የማንቂያ ደንብ ማመንጨት" አብነት ተፈጠረ እና የተጠቆመውን ገደብ "ባለፈው ምን ያህል ጊዜ ተቀስቅሷል?" በጥያቄው ይሞክሩት; (2) ያለዎትን የሎግ ናሙና ሸፍኖ በ"Log ማጠቃለያ" አብነት እንዲተነተን ያድርጉ። (3) በጣም ሊከሰት የሚችልበትን መንስኤ ለማረጋገጥ የትኛውን መለኪያ እንደሚመለከቱ ልብ ይበሉ።

የማረጋገጫ ዝርዝር

• [] በአራት ወርቃማ ምልክቶች ላይ በመመርኮዝ ለመከታተል መለኪያዎችን መርጫለሁ።
• [ ] ለ AI የሰጠኋቸውን ሁሉንም ምዝግብ ማስታወሻዎች ከስሱ አካባቢዎች አንፃር ሸፈንኳቸው።
• [ ] እያንዳንዱ ማንቂያ በድርጊት ላይ ያተኮረ እና ትክክለኛው አጣዳፊ መሆኑን አረጋግጣለሁ።
• [ ] የማንቂያ ገደቦችን በስርዓቴ ታሪካዊ መረጃ ላይ ሞከርኩ።
• [ ] ወደ ማንቂያዎቹ (የቆይታ ጊዜ) በማከል ቅጽበታዊ ውጣ ውረዶችን አጣርቻለሁ።
• [ ] ለስር መንስኤ ሜትሪክ + ሎግ + ዱካ አንድ ላይ ተጠቀምኩ።