పర్యవేక్షణ మరియు పరిశీలన: మెట్రిక్, లాగ్, ట్రేస్ మరియు అలారం నియమాలు

లాభాలు:

• పరిశీలన యొక్క మూడు స్తంభాలు (మెట్రిక్, లాగ్, ట్రేస్) మరియు నాలుగు గోల్డెన్ సిగ్నల్‌లను అర్థం చేసుకోగల సామర్థ్యం మరియు కృత్రిమ మేధస్సు PromQL ప్రశ్నలు, అలారం నియమాలు మరియు డాష్‌బోర్డ్‌లను ఉత్పత్తి చేస్తుంది
• మీ స్వంత సిస్టమ్ యొక్క చారిత్రక డేటాకు వ్యతిరేకంగా అలారాలను చర్య-ఆధారితంగా మరియు సరైన ఆవశ్యకత మరియు పరీక్ష థ్రెషోల్డ్‌లను ఉంచడం ద్వారా అలారం అలసటను నివారించగల సామర్థ్యం
• కృత్రిమ మేధస్సుకు లాగ్‌లను ఇచ్చే ముందు సున్నితమైన ప్రాంతాలను మాస్క్ చేయడం ద్వారా గోప్యత మరియు రహస్య లీకేజీని నిరోధించే సామర్థ్యం

సిస్టమ్ పని చేస్తున్నట్లు కనిపించినప్పటికీ, అది లోపల చనిపోతూ ఉండవచ్చు: మెమరీ నెమ్మదిగా నిండిపోతుంది, ప్రతిస్పందన సమయాలు పెరుగుతాయి, లోపం రేటు పెరుగుతోంది. దీన్ని గమనించడానికి ఏకైక మార్గం సిస్టమ్‌ను నిరంతరం పర్యవేక్షించడం. మరింత అధునాతన భావన అనేది పరిశీలనాత్మకత: దాని బాహ్య సంకేతాలను చూడటం ద్వారా సిస్టమ్ లోపల ఏమి జరుగుతుందో అర్థం చేసుకోగల సామర్థ్యం. పరిశీలనకు మూడు స్తంభాలు ఉన్నాయి మరియు DevOps ప్రొఫెషనల్ ఈ మూడింటిని ఉపయోగిస్తాడు:

• మెట్రిక్: కాలక్రమేణా కొలవబడిన సంఖ్యా విలువలు — CPU వినియోగం, అభ్యర్థనల సంఖ్య, ప్రతిస్పందన సమయం, లోపం రేటు. "ఎంత?" అనే ప్రశ్నకు సమాధానమిస్తుంది.
• లాగ్: సిస్టమ్ ద్వారా ఉత్పత్తి చేయబడిన టెక్స్ట్ ఈవెంట్ రికార్డ్‌లు- "వినియోగదారు లాగిన్ చేసారు", "డేటాబేస్ కనెక్షన్ కోల్పోయింది". "అసలు ఏం జరిగింది?" అనే ప్రశ్నకు సమాధానమిస్తుంది.
• ట్రేస్: సిస్టమ్‌లోని సేవ నుండి సేవకు వెళ్లేటప్పుడు అభ్యర్థన అనుసరించే మార్గం మరియు ప్రతి దశ వ్యవధి. "నెమ్మది ఎక్కడ ఉంది?" అనే ప్రశ్నకు సమాధానమిస్తుంది.

అత్యంత సాధారణ సాధనాలు: మెట్రిక్స్ కోసం ప్రోమేథియస్, విజువలైజేషన్ కోసం గ్రాఫానా, లాగ్ కోసం Loki/ELK, ట్రేస్ కోసం జేగర్/ఓపెన్ టెలీమెట్రీ. ఈ సాధనాల కోసం ప్రశ్న భాషలను (ముఖ్యంగా ప్రోమేథియస్ ప్రోమ్‌క్యూఎల్), అలారం నియమాలు మరియు డాష్‌బోర్డ్ కాన్ఫిగరేషన్‌లను వ్రాయడంలో AI చాలా నైపుణ్యం కలిగి ఉంది. AI అత్యంత బలంగా ఉన్న చోట కూడా ఇది ఉంది: లాగ్‌లు మరియు మెట్రిక్‌ల యొక్క పెద్ద భాగాలను సంగ్రహించడం మరియు అసాధారణతలను ఫ్లాగ్ చేయడం.

ఒక వాక్యంలో పర్యవేక్షణ మరియు పరిశీలన మధ్య వ్యత్యాసాన్ని స్పష్టం చేద్దాం: పర్యవేక్షణ అనేది మీకు ఇప్పటికే తెలిసిన ప్రశ్నలను అడుగుతోంది (“CPU 90% దాటిందా?”); పరిశీలన అనేది మీకు ఇప్పటికే తెలియని ప్రశ్నలను అడగడం ("ఈ విచిత్రమైన మందగమనం ఒక నిర్దిష్ట కస్టమర్‌కు మాత్రమే నిర్దిష్ట సమయంలో ఎందుకు జరుగుతుంది?"). ఆధునిక వ్యవస్థలు చాలా క్లిష్టమైనవి, మీరు వైఫల్యం యొక్క అన్ని రీతులను అంచనా వేయలేరు; అందువల్ల, రిచ్ మెట్రిక్‌లు, లాగ్‌లు మరియు ట్రేస్‌లను సేకరించి, వాటిని లోతుగా ప్రశ్నించే సామర్థ్యం — అంటే, పరిశీలన — క్లిష్టమైనది. "గతంలో తెలియని ప్రశ్న"కి సమాధానమిచ్చేటప్పుడు AI అమలులోకి వస్తుంది: ఇది మీ వద్ద ఉన్న ముడి డేటాను త్వరగా స్కాన్ చేస్తుంది, నమూనాలు మరియు క్రమరాహిత్యాలను సూచిస్తుంది మరియు ఈ ఆధారాలను ధృవీకరించడం ద్వారా మీరు మూల కారణాన్ని తెలుసుకుంటారు.

దశల వారీగా: ఏమి మరియు ఎలా పర్యవేక్షించాలి?

1. సరైన కొలమానాలను ఎంచుకోండి. పరిశ్రమలో, "నాలుగు గోల్డెన్ సిగ్నల్స్" ప్రాతిపదికగా తీసుకోబడతాయి: జాప్యం, ట్రాఫిక్, ఎర్రర్‌లు, సంతృప్తత — వనరు ఎంత పూర్తిగా ఉంది. ఇవి చాలా సేవల ఆరోగ్యాన్ని సంగ్రహిస్తాయి.
2. కొలమానాలను సేకరించండి. ప్రోమేతియస్ చదవగలిగే ముగింపు బిందువును అప్లికేషన్ అందించనివ్వండి.
3. డాష్‌బోర్డ్‌లను సెటప్ చేయండి. గ్రాఫానాలో ఈ కొలమానాలను దృశ్యమానం చేయండి.
4. అలారం నియమాలను వ్రాయండి. పరిమితిని అధిగమించినప్పుడు ఎవరు మరియు ఎలా హెచ్చరిస్తారు?
5. లాగ్‌లను కేంద్రీకరించండి. అన్ని సర్వీస్ లాగ్‌లను ఒకే చోట వెతకగలిగేలా చేయండి.
6. శబ్దాన్ని తగ్గించండి. చాలా అలారం "హెచ్చరిక అలసట" సృష్టిస్తుంది; ముఖ్యమైన అలారం అదృశ్యమవుతుంది.

చిట్కా: ఒక మంచి అలారం రెండు విషయాలను కలుస్తుంది: ఇది చర్య తీసుకోదగినది మరియు సరైన ఆవశ్యకతను కలిగి ఉంటుంది. ఒకరిని తెల్లవారుజామున 3 గంటలకు మేల్కొలిపే అలారం తప్పనిసరిగా రాత్రిపూట జోక్యం అవసరం. "CPU 70%" వంటి దాని స్వంత చర్య అవసరం లేని వాటి కోసం ఎవరినీ మేల్కొలపవద్దు; దానిని బోర్డు మీద ప్రదర్శించండి.

అలారం నియమాన్ని ఎలా వ్రాయాలి?

హెచ్చరిక మూడు భాగాలను కలిగి ఉంటుంది: షరతు (ఏ మెట్రిక్ ఏ థ్రెషోల్డ్‌ను మించి ఎంత కాలం ఉంటుంది), వ్యవధి (క్షణిక హెచ్చుతగ్గులను ప్రేరేపించకుండా ఉండటానికి "5 నిమిషాలు") మరియు ప్రాముఖ్యత/చర్య (ఎవరికి, ఏ ఛానెల్ ద్వారా). AI ఈ మూడింటిని సరైన సందర్భంతో అద్భుతంగా ఏర్పాటు చేసింది. ఉదాహరణకు, “5 నిమిషాలకు ఎర్రర్ రేటు 5% మించి ఉంటే క్రిటికల్ అలారం” వంటి నియమాన్ని PromQLలోకి అనువదించడం AI కోసం స్ప్లిట్-సెకండ్ టాస్క్ - కానీ మీ సిస్టమ్‌కు థ్రెషోల్డ్ సరైనదో కాదో మీరు నిర్ణయించుకోండి.

హెచ్చరిక: AI సూచించిన అలారం థ్రెషోల్డ్‌లు సాధారణ అంచనాలు. మీ సిస్టమ్ యొక్క సాధారణ లోడ్, సహనం మరియు పని ప్రభావం భిన్నంగా ఉంటాయి. మీరు నేరుగా ఉత్పత్తిలో థ్రెషోల్డ్‌ను ఉంచే ముందు, మీరు మీ చారిత్రక డేటాను చూసి, "ఈ థ్రెషోల్డ్ గతంలో ఎన్నిసార్లు ట్రిగ్గర్ చేయబడింది, వాటిలో ఎన్ని నిజమైన సమస్యలు ఉన్నాయి?" ప్రశ్నకు సమాధానం చెప్పండి.

లాగ్ గోప్యత: క్లిష్టమైన హెచ్చరిక

లాగ్‌లు లీక్‌ల యొక్క తరచుగా పట్టించుకోని మూలం. లాగ్ లైన్ అనుకోకుండా పాస్‌వర్డ్, క్రెడిట్ కార్డ్ నంబర్ లేదా వ్యక్తిగత డేటా (KVKK/GDPR కింద) కలిగి ఉండవచ్చు. విశ్లేషణ కోసం లాగ్‌లను AIలో అతికించేటప్పుడు:

1. సున్నితమైన ప్రాంతాలను మాస్క్ చేయండి. టోకెన్, పాస్‌వర్డ్, ఇమెయిల్, ID నంబర్ వంటి విలువలను <REDACTED>తో భర్తీ చేయండి.
2. అన్నీ కాదు, ఉదాహరణలు ఇవ్వండి. మిలియన్ లైన్లకు బదులుగా, కొన్ని వందల ప్రాతినిధ్య పంక్తులు తరచుగా సరిపోతాయి.
3. సంస్థ ఆమోదించిన వాహనాన్ని ఎంచుకోండి. ముఖ్యంగా ఉత్పత్తి లాగ్‌ల కోసం, శిక్షణకు వెళ్లని డేటా ఉన్న సాధనాన్ని ఉపయోగించండి.

నాలుగు గోల్డెన్ సిగ్నల్స్ మరియు అలారం టేబుల్స్

సిగ్నల్

ద్వారా కొలుస్తారు

ఉదాహరణ అలారం థ్రెషోల్డ్

అత్యవసరము

జాప్యం

ప్రతిస్పందన సమయం

p95 > 800 ms, 5 నిమి

అధిక

ట్రాఫిక్

అభ్యర్థన/సెక

ఆకస్మిక 300% పెరుగుదల / తగ్గుదల

మధ్యస్థ

లోపం

విఫలమైన అభ్యర్థన రేటు

> 5%, 5 నిమి

క్లిష్టమైన

సంతృప్తత

వనరుల ఆక్యుపెన్సీ

డిస్క్ > 85%

అధిక

మూడు చిన్న కేసులు

కేసు 1 — 400 లైన్ల లాగ్ 30 సెకన్లలో సంగ్రహించబడింది. ఒక సేవ మందగించింది. ఇంజనీర్ ముసుగు వేసిన 400 లైన్ల లాగ్‌ను AIకి ఇచ్చి, "పునరావృతమయ్యే ఎర్రర్ నమూనాలు మరియు సమయ తీవ్రతను సంగ్రహించండి" అని చెప్పాడు. ప్రతి 30 సెకన్లకు ఒక నిర్దిష్ట బాహ్య API కాల్ సమయం ముగుస్తుందని AI చూపింది. 30 సెకన్లలో మూల కారణం కనుగొనబడింది; లాగ్‌లను మాన్యువల్‌గా స్కాన్ చేయడానికి అరగంట పడుతుంది.

కేసు 2 — అలారం అలసట పరిష్కరించబడింది. ఒక బృందం రోజుకు 200 అలారాలను అందుకుంటుంది మరియు వాటన్నింటినీ విస్మరిస్తోంది - నిజమైన అంతరాయం అలారం కూడా విస్మరించబడే వరకు. AIకి అన్ని హెచ్చరిక నియమాలను అందించండి మరియు "ఏవి చర్య తీసుకోలేనివి మరియు ఏవి కలపవచ్చు?" అని అడిగారు. అలారంల సంఖ్య రోజుకు 12కి తగ్గింది; ప్రతి అలారం ఇప్పుడు తీవ్రంగా పరిగణించబడింది.

కేస్ 3 — తప్పు థ్రెషోల్డ్ ముందుగానే పట్టుకుంది. YZ డిస్క్ కోసం "95% నిండినప్పుడు హెచ్చరించు" అని సూచించింది. ఇంజనీర్ చారిత్రక డేటాను చూశారు: డిస్క్ 95%కి చేరుకున్న తర్వాత జోక్యానికి తక్కువ సమయం ఉంది. ఇది థ్రెషోల్డ్‌ను 80%కి తగ్గించింది మరియు "వృద్ధి రేటు" ఆధారంగా రెండవ అలారాన్ని జోడించింది. ధృవీకరణ అసలు అర్ధరాత్రి అంతరాయాన్ని నిరోధించింది.

నాలుగు కాపీ చేయగల టెంప్లేట్‌లు

1) లాగ్ సారాంశం (ముసుగు):

దిగువ లాగ్ ఉదాహరణను విశ్లేషించండి (నేను <REDACTED>తో సున్నితమైన విలువలను ముసుగు చేసాను). నాకు ఇవ్వండి: (1) పునరావృత ఎర్రర్ నమూనాలు, (2) కాలక్రమేణా ఏకాగ్రత, (3) చాలా మటుకు మూల కారణం మరియు (4) నేను ధృవీకరించడానికి 3 కొలమానాలు చూస్తాను. లాగ్: [LINES]

2) అలారం రూల్ జనరేషన్:

Prometheus/Alertmanager కోసం అలారం నియమాన్ని వ్రాయండి: [THRESHOLD] [METRIC][DURATION] కంటే ఎక్కువగా ఉంటే [తీవ్రత] అలారంని రూపొందించండి. నియమం చర్య-ఆధారితంగా ఉండాలి మరియు ఉల్లేఖన మరియు రన్‌బుక్ లింక్ ఫీల్డ్‌ను కలిగి ఉండాలి. PromQLని వివరించండి మరియు ఈ థ్రెషోల్డ్ ఎందుకు సహేతుకమైనదో వ్రాయండి.

3) PromQL ప్రశ్నను వ్రాయడం/ప్రకటించడం:

కొలిచే PromQL ప్రశ్నను వ్రాయండి: [EX. చివరి 5 నిమిషాల్లో 5xxerror రేటు శాతం]. ప్రశ్నను దశలవారీగా వివరించండి. అప్పుడు ఈ విలువ కోసం ఆరోగ్యకరమైన పరిధి ఏమిటో చెప్పండి.

4) డ్యాష్‌బోర్డ్ డిజైన్:

[SERVICE] కోసం గ్రాఫానా డ్యాష్‌బోర్డ్‌ను రూపొందించండి: నేను నాలుగు గోల్డెన్ సిగ్నల్‌లను (జాప్యం, ట్రాఫిక్, ఎర్రర్, సంతృప్తత) ఏ ప్యానెల్‌లతో ప్రదర్శించాలి? ప్రతి ప్యానెల్‌కు మెట్రిక్, విజువలైజేషన్ రకం మరియు సహేతుకమైన థ్రెషోల్డ్‌ని సూచించండి. పర్పస్: గార్డు ఆరోగ్య స్థితిని 10 సెకన్లలో చూడటం.

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

బలహీనుడు: "ఆ లాగ్‌లో ఏముంది?" (తర్వాత 5000 పంక్తులు ముడి లాగ్, దానిలో టోకెన్లు)

ఫలితం: మీరు రహస్యాలను లీక్ చేస్తారు మరియు AI లక్ష్యం లేని, ఉపరితల సారాంశాన్ని ఇస్తుంది.

బలమైనది: "దిగువ ఉన్న 300-లైన్ మాస్క్‌డ్ లాగ్ ఉదాహరణలో పునరావృతమయ్యే ఎర్రర్ నమూనాలు మరియు సమయ తీవ్రతను కనుగొనండి; చాలా సంభావ్య మూల కారణం మరియు నేను ధృవీకరించడానికి చూసే కొలమానాలను నాకు చెప్పండి. నేను టోకెన్‌లను <REDACTED> చేసాను."

తేడా: రెండవ ప్రాంప్ట్ స్పష్టమైన విశ్లేషణ అవుట్‌పుట్ కోసం అడుగుతున్న ముసుగు మరియు కేంద్రీకృత ఉదాహరణను ఇస్తుంది; ఇది సురక్షితమైనది మరియు ఉపయోగకరంగా ఉంటుంది.

సాధారణ తప్పులు

• లాగ్‌ను మాస్క్ చేయకుండా AIకి అతికించడం. అత్యంత సాధారణ రహస్య/వ్యక్తిగత డేటా లీక్.
• ప్రతిదానికీ అలారాలను సెట్ చేస్తోంది. అలారం అలసట నిజమైన అలారాన్ని పాతిపెట్టింది.
• చర్య తీసుకోలేని అలారం. ఎవరూ ఏమీ చేయలేరని హెచ్చరిక శబ్దం.
• ప్రశ్న లేకుండా AI యొక్క థ్రెషోల్డ్‌ని అంగీకరించడం. మీ సిస్టమ్ చరిత్ర ప్రకారం థ్రెషోల్డ్ సెట్ చేయబడాలి.
• కేవలం కొలమానం మాత్రమే చూస్తోంది. లాగ్ మరియు ట్రేస్ లేకుండా, మూల కారణాన్ని ఎక్కువ సమయం కనుగొనలేము.
• అలారం సమయాన్ని సెట్ చేయడం లేదు (కోసం). క్షణిక హెచ్చుతగ్గులు తప్పుడు హెచ్చరికలను ఉత్పత్తి చేస్తాయి.

సారాంశంలో

గమనించదగినది; ఇది కొలమానాలు, లాగ్‌లు మరియు ట్రేస్‌లతో బయటి నుండి సిస్టమ్ లోపలి భాగాన్ని అర్థం చేసుకోగల సామర్థ్యం. నాలుగు గోల్డెన్ సిగ్నల్స్ (జాప్యం, ట్రాఫిక్, ఎర్రర్, సంతృప్తత) చాలా సేవల ఆరోగ్యాన్ని సంగ్రహిస్తాయి. PromQL ప్రశ్నలు, అలారం నియమాలు మరియు డాష్‌బోర్డ్‌లను వ్రాయడంలో మరియు లాగ్‌ల యొక్క పెద్ద భాగాలను సంగ్రహించడంలో మరియు క్రమరాహిత్యాలను కనుగొనడంలో AI చాలా శక్తివంతమైనది. కానీ మీ స్వంత సిస్టమ్ చరిత్రకు వ్యతిరేకంగా అలారం థ్రెషోల్డ్‌లను ధృవీకరించడం, అలారాలను యాక్షన్-ఓరియెంటెడ్‌గా ఉంచడం మరియు వాటిని మాస్క్ చేయకుండా లాగ్‌లను భాగస్వామ్యం చేయడం మీ బాధ్యత.

అప్లికేషన్ టాస్క్

సేవ కోసం (లేదా నమూనా సేవ): (1) "అలారం రూల్ జనరేషన్" టెంప్లేట్‌తో ఎర్రర్ రేట్ కోసం అలారం రూల్‌ని రూపొందించి, సూచించిన థ్రెషోల్డ్‌ని "ఇది గతంలో ఎన్నిసార్లు ట్రిగ్గర్ చేసింది?"కి సెట్ చేయండి. ప్రశ్నతో దాన్ని పరీక్షించండి; (2) మీ వద్ద ఉన్న లాగ్ నమూనాను మాస్క్ చేయండి మరియు దానిని "లాగ్ సారాంశం" టెంప్లేట్‌తో విశ్లేషించండి; (3) అత్యంత సంభావ్య మూల కారణాన్ని నిర్ధారించడానికి మీరు ఏ మెట్రిక్‌ని చూస్తారో గమనించండి.

చెక్లిస్ట్

• [ ] నేను నాలుగు గోల్డెన్ సిగ్నల్స్ ఆధారంగా ట్రాక్ చేయడానికి మెట్రిక్‌లను ఎంచుకున్నాను.
• [ ] నేను సున్నితమైన ప్రాంతాల పరంగా AIకి ఇచ్చిన అన్ని లాగ్‌లను ముసుగు చేసాను.
• [ ] నేను ప్రతి అలారం చర్య ఆధారితమైనదని మరియు సరైన అత్యవసరమని ధృవీకరించాను.
• [ ] నేను నా సిస్టమ్ యొక్క చారిత్రక డేటాకు వ్యతిరేకంగా అలారం థ్రెషోల్డ్‌లను పరీక్షించాను.
• [ ] నేను అలారాలకు (వ్యవధి) జోడించడం ద్వారా తక్షణ హెచ్చుతగ్గులను ఫిల్టర్ చేసాను.
• [ ] నేను మూల కారణం కోసం మెట్రిక్ + లాగ్ + ట్రేస్ కలిపి ఉపయోగించాను.