నిరంతర పర్యవేక్షణ, పరిశీలన మరియు డ్రిఫ్ట్

లాభాలు:

• వినియోగం, భద్రత, నాణ్యత మరియు పనితీరు సంకేతాలను పర్యవేక్షించే కొలమానాలను నిర్వచించే సామర్థ్యం
• బేస్‌లైన్ మరియు నమూనాతో అవుట్‌పుట్ నాణ్యత డ్రిఫ్ట్‌ను గుర్తించగల సామర్థ్యం
• క్రమరాహిత్యాలు మరియు జైల్బ్రేక్ తరంగాల కోసం అలారం మరియు ఫీడ్‌బ్యాక్ లూప్‌ను సెట్ చేయగల సామర్థ్యం

AI వ్యవస్థను ఉత్పత్తిలో పెట్టడం ప్రారంభం, ముగింపు కాదు. మోడల్ అలాగే ఉన్నప్పటికీ, ప్రపంచం మారుతుంది: వినియోగదారు ప్రవర్తన, ఇన్‌కమింగ్ డేటా, దాడి పద్ధతులు మరియు వ్యాపార సందర్భం నిరంతరం మారుతూ ఉంటాయి. నిన్నటి సరైన సమాధానం నేడు తప్పు కావచ్చు. కాబట్టి భద్రత యొక్క చివరి స్తంభం నిరంతర పర్యవేక్షణ మరియు పరిశీలన - సిస్టమ్ లోపల ఏమి జరుగుతుందో బయట నుండి చూడగల సామర్థ్యం. ఈ యూనిట్‌లో, ఏ కొలమానాలను పర్యవేక్షించాలి, అవుట్‌పుట్ నాణ్యత డ్రిఫ్ట్‌ను ఎలా క్యాప్చర్ చేయాలి మరియు క్రమరాహిత్యాల కోసం ఎలా హెచ్చరించాలో మేము నేర్చుకుంటాము.

నిరంతర పర్యవేక్షణ ఎందుకు?

క్లాసికల్ సాఫ్ట్‌వేర్‌లో, "ఇది పని చేస్తుందా" అనేది బైనరీ ప్రశ్న: ఇది సమాధానం ఇస్తుంది లేదా చేయదు. AIలో, సిస్టమ్ "పనిచేస్తున్నట్లు" కనిపించినప్పుడు, అది నిశ్శబ్దంగా క్షీణించవచ్చు: సమాధానాలు నెమ్మదిగా సరికావు, ఖర్చులు పెరుగుతాయి, జైల్బ్రేక్ ప్రయత్నాలు పెరుగుతాయి. వీటిని సంగ్రహించడానికి ఏకైక మార్గం సరైన సంకేతాలను నిరంతరం కొలవడం.

శ్రద్ధ: అత్యంత ప్రమాదకరమైన లోపం నిశ్శబ్దమైనది, ధ్వనించేది కాదు. వ్యవస్థ లోపాలు త్రో లేదు, దాని నాణ్యత కేవలం తగ్గుతుంది. మీరు మానిటరింగ్‌ని సెటప్ చేయకుంటే, ముందుగా గమనించేది మీ కస్టమర్ లేదా ఆడిటర్, మీరు కాదు.

చూడటానికి నాలుగు సిగ్నల్ కుటుంబాలు

• వినియోగం మరియు ధర: రిక్వెస్ట్ వాల్యూమ్, టోకెన్ వినియోగం, ఒక్కో వినియోగదారుకు ధర. ఆకస్మిక జంప్; ఇది దుర్వినియోగానికి సంకేతం, లూపీ ఇంటిగ్రేషన్ లేదా లీకీ స్విచ్ కావచ్చు.
• భద్రతా సంకేతాలు: జైల్‌బ్రేక్/ఇంజెక్షన్ ప్రయత్నాలు, వాహన కాల్‌లు తిరస్కరించబడ్డాయి, అధికార లోపాలు. పెరుగుదల క్రియాశీల దాడి ప్రచారాన్ని సూచించవచ్చు.
• నాణ్యత మరియు చలనం: కాలక్రమేణా అవుట్‌పుట్ నాణ్యతలో తగ్గుదల (డ్రిఫ్ట్). ఉదాహరణకు, ధృవీకరణ ఉత్తీర్ణత రేటు, మానవ ఆమోదంలో కరెక్షన్ రేటు, వినియోగదారు సంతృప్తి.
• పనితీరు: జాప్యం, లోపం రేటు, గడువు ముగిసింది. ఇది వినియోగదారు అనుభవాన్ని మరియు ధరను నేరుగా ప్రభావితం చేస్తుంది.

డ్రిఫ్ట్ అంటే ఏమిటి మరియు దానిని ఎలా పట్టుకోవాలి?

డ్రిఫ్ట్ అంటే మోడల్ ఇన్‌పుట్‌లు లేదా అవుట్‌పుట్ నాణ్యత కాలక్రమేణా గుర్తించబడకుండా మారడం. రెండు రకాలు ఉన్నాయి: డేటా డ్రిఫ్ట్ (ఇన్‌కమింగ్ అభ్యర్థనల పంపిణీ మార్పులు - కొత్త అంశం, కొత్త భాష) మరియు నాణ్యత డ్రిఫ్ట్ (అదే ఉద్యోగం కోసం అవుట్‌పుట్ క్రమంగా అధ్వాన్నంగా మారుతుంది). క్యాప్చర్ చేయడానికి బేస్‌లైన్ అవసరం: సిస్టమ్ ఆరోగ్యంగా ఉన్నప్పుడు సాధారణ స్థాయి కొలమానాలను రికార్డ్ చేయండి; విచలనం అలారంగా మారనివ్వండి.

దశల వారీగా: పర్యవేక్షణను ఏర్పాటు చేయడం

1. బేస్లైన్ను కొలవండి. సిస్టమ్ ఆరోగ్యంగా ఉన్నప్పుడు ప్రతి సిగ్నల్ యొక్క సాధారణ పరిధిని రికార్డ్ చేయండి.
2. థ్రెషోల్డ్ మరియు అలారంను నిర్వచించండి. ఏ విచలనం ఎవరిని మరియు ఎలా హెచ్చరిస్తుంది?
3. నమూనా + మానవ తనిఖీ. క్రమం తప్పకుండా అవుట్‌పుట్‌ల నమూనాను సమీక్షించండి (నాణ్యత డ్రిఫ్ట్ తరచుగా మాత్రమే కనిపిస్తుంది).
4. డాష్‌బోర్డ్‌ను ఇన్‌స్టాల్ చేయండి. ఒక స్క్రీన్‌పై నాలుగు సిగ్నల్ కుటుంబాలను పర్యవేక్షించండి.
5. అభిప్రాయ లూప్. పర్యవేక్షణ నుండి ప్రాంప్ట్/నియంత్రణ మెరుగుదల వరకు అన్వేషణలను కలపండి.

నాలుగు కాపీ చేయగల టెంప్లేట్లు

నాణ్యమైన నమూనా మూల్యాంకన ప్రాంప్ట్ (LLM-గా-న్యాయమూర్తితో డ్రిఫ్ట్ ట్రాకింగ్):

ఈ వారం నుండి 20 యాదృచ్ఛిక ముద్రణలు క్రింద ఉన్నాయి. ప్రతి ఒక్కటి "మంచి / ఆమోదయోగ్యమైనది / చెడ్డది" అని రేట్ చేయండి మరియు చిన్న సమర్థనను వ్రాయండి. చివరగా నేను గత వారం రేటుతో చెడు రేటును పోలుస్తాను; ఈ వారం ప్రత్యేకంగా కనిపించే నమూనా (అదే రకమైన పొరపాటు పునరావృతం) ఉంటే, దాన్ని గుర్తించండి.<outputs>{{ examples }}</outputs>

అసాధారణ సారాంశం ప్రాంప్ట్:

కింది రోజువారీ కొలమానాలను పరిశీలించండి: అభ్యర్థనల సంఖ్య, టోకెన్‌లు, ధర, టూల్ కాల్ తిరస్కరించబడింది, జైల్‌బ్రేక్ ప్రయత్నాలు, సగటు జాప్యం. బేస్‌లైన్ నుండి 30% కంటే ఎక్కువ వైదొలిగే ఏదైనా మెట్రిక్‌ను "ANOMALIT"గా గుర్తించండి మరియు సాధ్యమయ్యే కారణాన్ని అంచనా వేయండి (దాడి, బగ్, దుర్వినియోగం).<metrics>{{ daily_data }}</metrics>

అలారం థ్రెషోల్డ్ నిర్వచనం నియమం:

ప్రతి సిగ్నల్ కోసం అలారాలను నిర్వచించండి:- ఖర్చు: రోజువారీ సగటు 2x మించి ఉంటే -> అధిక ప్రాధాన్యత హెచ్చరిక- జైల్‌బ్రేక్ ప్రయత్నాలు: గంటకు 10 కంటే ఎక్కువ ఉంటే -> భద్రతా బృందానికి తెలియజేయండి- ధృవీకరణ పాస్ రేటు: 90% కంటే తక్కువ ఉంటే -> నాణ్యత సమీక్ష- జాప్యం: p95 లక్ష్యాన్ని 2x మించి ఉంటే -> పనితీరు సమీక్ష

డ్రిఫ్ట్ పరిశోధన ప్రాంప్ట్:

గత 2 వారాల్లో ధృవీకరణ ఉత్తీర్ణత రేటు 94% నుండి 78%కి పడిపోయింది. ఈ ప్రశ్నలకు సమాధానమివ్వడంలో నాకు సహాయపడండి: (1) ఇన్‌కమింగ్ అభ్యర్థనలలో కొత్త అంశం/భాష/ఫార్మాట్ కనిపించిందా? (2) లోపాలు నిర్దిష్ట వర్గంలో కేంద్రీకృతమై ఉన్నాయా? (3) సమయం ప్రాంప్ట్/మోడల్/టూల్ మార్పుతో సమానంగా ఉందా? ప్రతిదానికి తనిఖీ చేయవలసిన డేటాకు పేరు పెట్టండి.

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

పేద విధానం

బలమైన విధానం

"ఏదైనా లోపం ఉంటే, మేము చూస్తాము"

బేస్‌లైన్ + థ్రెషోల్డ్ + ప్రోయాక్టివ్ అలారం

సిస్టమ్ నిలబడి ఉందో లేదో తనిఖీ చేస్తోంది.

నాలుగు కుటుంబాల సంకేతాలను పర్యవేక్షించడం (వినియోగం, భద్రత, నాణ్యత, పనితీరు)

అవుట్‌పుట్ నాణ్యతను అస్సలు శాంపిల్ చేయడం లేదు

సాధారణ మానవ నమూనా + LLM-గా-న్యాయమూర్తి

కొలమానాలను సేకరించడం మరియు చూడటం లేదు

డాష్‌బోర్డ్ + ఫీడ్‌బ్యాక్ లూప్

మూడు మినీ కేసులు

కేస్ 1 - కాస్ట్ అలారం లీక్ కీని పట్టుకుంది. ఒక కంపెనీ రోజువారీ టోకెన్ ధర రాత్రిపూట మూడు రెట్లు పెరిగింది. థ్రెషోల్డ్ అలారం భద్రతా బృందాన్ని అప్రమత్తం చేసింది; పరీక్ష కీని లీక్ చేసి, బోట్ ఉపయోగించినట్లు పరిశోధనలో తేలింది. కీ 25 నిమిషాల్లో ఉపసంహరించబడింది; అలారం లేకుంటే, నెలాఖరులో బిల్లు గమనించి ఉండేది.

కేస్ 2 — సైలెంట్ క్వాలిటీ డ్రిఫ్ట్. సపోర్ట్ అసిస్టెంట్ వెరిఫికేషన్ పాస్ రేటు మూడు వారాల్లో నిశ్శబ్దంగా 95% నుండి 80%కి పడిపోయింది. వీక్లీ శాంప్లింగ్ దీనిని క్యాప్చర్ చేసింది; కారణం ఏమిటంటే, కస్టమర్‌లు కొత్త ఉత్పత్తి శ్రేణి గురించి అడగడం ప్రారంభించారు మరియు దానిపై మోడల్ నాలెడ్జ్ బేస్ అసంపూర్ణంగా ఉంది. నాలెడ్జ్ బేస్ అప్‌డేట్ చేయబడినప్పుడు రేటు పునరుద్ధరించబడింది.

కేస్ 3 - జైల్బ్రేక్ వేవ్ ప్రారంభంలో ఉంది. సహాయకుడిపై చేసిన ఇంజెక్షన్ ప్రయత్నాలు ఒక రోజులో గంటకు 2 నుండి 40కి పెరిగాయి. భద్రతా అలారం ప్రేరేపించబడింది; ఒక ఫోరమ్‌లో సిస్టమ్‌ను ఛేదించడానికి "రెసిపీ"ని భాగస్వామ్యం చేయడం కనిపించింది. బృందం రక్షణ ప్రాంప్ట్ మరియు రేట్-పరిమిత అనుమానాస్పద ఖాతాలను నవీకరించింది; ఇది నిజమైన లీక్‌గా మారకముందే అల చనిపోయింది.

చిట్కా: కేవలం మెషిన్ కొలమానాల కోసం స్థిరపడకండి. నమూనా అవుట్‌పుట్‌లను కేవలం మానవుడు చదవడం ద్వారా నాణ్యత డ్రిఫ్ట్ తరచుగా క్యాచ్ అవుతుంది. వారానికి 15-20 యాదృచ్ఛిక ప్రింట్‌అవుట్‌లను సమీక్షించే చిన్న రొటీన్ చాలా ఖరీదైన నిశ్శబ్ద వైఫల్యాలను ముందుగానే గుర్తించగలదు.

సాధారణ తప్పులు

• దీన్ని ఉత్పత్తిలో ఉంచడం మరియు పర్యవేక్షణను ఏర్పాటు చేయడం లేదు ("ఇది పని చేస్తోంది, సరే").
• బేస్‌లైన్‌ను కొలవకుండా క్రమరాహిత్యాన్ని గుర్తించడం సాధ్యం కాదు.
• "ఇది నిలబడుతుందా" అని మాత్రమే చూడటం ద్వారా నాణ్యత డ్రిఫ్ట్ మిస్ అవుతుంది.
• మానవ కళ్ల ద్వారా అవుట్‌పుట్ నాణ్యతను శాంపిల్ చేయడం లేదు.
• అలారం ఎత్తడం మరియు కస్టమర్/సూపర్‌వైజర్ నుండి సమస్యను కనుగొనడం లేదు.
• పర్యవేక్షణ ఫలితాలను మెరుగుపరచడానికి కనెక్ట్ చేయడం లేదు (ఫీడ్‌బ్యాక్ లూప్ లేదు).

సారాంశంలో

• AI వ్యవస్థలు నిశ్శబ్దంగా క్షీణించవచ్చు; అత్యంత ప్రమాదకరమైన పనిచేయకపోవడం లోపాలు త్రో చేయనిది, కానీ నాణ్యతను మాత్రమే తగ్గిస్తుంది.
• నాలుగు కుటుంబాల సిగ్నల్‌లను ట్రాక్ చేయండి: వినియోగం/ఖర్చు, భద్రత, నాణ్యత/డ్రిఫ్ట్ మరియు పనితీరు.
• డ్రిఫ్ట్ (కాలక్రమేణా ఇన్‌పుట్ లేదా అవుట్‌పుట్ నాణ్యత డ్రిఫ్ట్) బేస్‌లైన్‌తో పోలిస్తే మాత్రమే క్యాప్చర్ చేయబడుతుంది.
• మెషిన్ మెట్రిక్‌లతో పాటు సాధారణ మానవ నమూనా నాణ్యత డ్రిఫ్ట్‌ను సంగ్రహిస్తుంది.
• పర్యవేక్షణను అలారం మరియు ఫీడ్‌బ్యాక్ లూప్‌కి కనెక్ట్ చేయండి; కొలవడం మరియు చూడకపోవడం పర్యవేక్షణ కాదు.

అప్లికేషన్ టాస్క్

మీ స్వంత AI సిస్టమ్ కోసం నాలుగు సిగ్నల్ కుటుంబాల నుండి కనీసం ఒక మెట్రిక్‌ని ఎంచుకోండి మరియు వాటి ప్రస్తుత (లేదా అంచనా వేసిన) బేస్‌లైన్‌లను వ్రాయండి. ప్రతి మెట్రిక్ కోసం అలారం థ్రెషోల్డ్‌ని నిర్వచించండి. ఆపై మీ చివరి సెమిస్టర్ యొక్క 15 అవుట్‌పుట్‌లను తీసుకుని, ఎగువన ఉన్న నమూనా ప్రాంప్ట్‌తో వాటిని స్కోర్ చేయండి; "చెడు" రేటును గమనించండి. భవిష్యత్తులో డ్రిఫ్ట్‌ని పోల్చడానికి ఇది మీ మొదటి బేస్‌లైన్‌గా ఉండనివ్వండి.

చెక్లిస్ట్

• [ ] నేను నాలుగు సిగ్నల్ కుటుంబాల నుండి కొలమానాలను నిర్వచించాను (వినియోగం, భద్రత, నాణ్యత, పనితీరు).
• [ ] నేను ప్రతి మెట్రిక్‌కి బేస్‌లైన్ మరియు అలారం థ్రెషోల్డ్‌ని సెట్ చేసాను.
• [ ] నేను క్రమం తప్పకుండా మానవ కళ్ళ ద్వారా అవుట్‌పుట్ నాణ్యతను శాంపిల్ చేస్తాను.
• [ ] నేను డిస్ప్లే ప్యానెల్‌తో ఒకే స్క్రీన్‌పై సిగ్నల్‌లను పర్యవేక్షిస్తాను.
• [ ] క్రమరాహిత్యాలు మరియు జైల్బ్రేక్ తరంగాల కోసం అలారం భద్రతా బృందానికి వెళుతుంది.
• [ ] నేను పర్యవేక్షణ ఫలితాలను ప్రాంప్ట్/నియంత్రణ మెరుగుదలకు ఆపాదించాను.