లాగింగ్, ఆడిట్ ట్రైల్ మరియు ప్రొవెనబిలిటీ

లాభాలు:

• ఈవెంట్‌ను పునర్నిర్మించడానికి సరిపోయే కనీస ఆడిట్ ట్రయల్ స్కీమ్‌ను రూపొందించగల సామర్థ్యం
• ప్రాంప్ట్/రెస్పాన్స్‌ను మాస్క్ చేయడం ద్వారా లాగ్‌ను లీకేజీకి మూలంగా నిరోధించే సామర్థ్యం
• సహసంబంధ గుర్తింపు, మార్పులేని మరియు నిలుపుదల కాలంతో ధృవీకరించదగిన లాగ్‌లను స్థాపించగల సామర్థ్యం

AI వ్యవస్థలో, ఒక రోజు ప్రశ్న తప్పకుండా అడగబడుతుంది: "ఈ విధంగా ఎందుకు నిర్ణయం తీసుకున్నారు, ఆ రోజు సరిగ్గా ఏమి జరిగింది?" ఈ ప్రశ్నను కస్టమర్, ఆడిటర్, రెగ్యులేటర్ లేదా కోర్టు అడగవచ్చు. మీ సమాధానం ధృవీకరించదగిన ఆడిట్ ట్రయల్ లేదా "మాకు తెలియదు." కార్పొరేట్ వాతావరణంలో రెండోది ఆమోదయోగ్యం కాదు. ఈ యూనిట్‌లో, AIకి నిర్దిష్టంగా ఏది లాగిన్ చేయాలి మరియు చేయకూడదు, ఆడిట్ ట్రయల్‌ను ఎలా ఏర్పాటు చేయాలి మరియు భద్రత మరియు గోప్యతతో లాగ్‌లను ఎలా బ్యాలెన్స్‌లో ఉంచాలి అనే విషయాలను మేము నేర్చుకుంటాము.

AIలో లాగింగ్ ఎందుకు భిన్నంగా ఉంటుంది?

క్లాసికల్ సాఫ్ట్‌వేర్‌లో, "ఎవరు ఏమి చేసారు" అనేది లాగ్ చేయబడింది. AIలో, దీనికి మూడు కొత్త కొలతలు జోడించబడ్డాయి: ఏ మోడల్/వెర్షన్ ఉపయోగించబడింది, ఏ ప్రాంప్ట్ పంపబడింది మరియు ఏ ప్రతిస్పందన ఉత్పత్తి చేయబడింది. లోపం లేదా ఫిర్యాదు సంభవించినప్పుడు, ఈ మూడు లేకుండా మీరు సంఘటనను పునర్నిర్మించలేరు. అయితే ఈ చాలా ప్రాంప్ట్/రెస్పాన్స్‌లో మనం యూనిట్ 2లో చూసినట్లుగా PIIని కలిగి ఉంటుంది - అంటే లాగ్ కూడా లీక్‌ల మూలంగా మారవచ్చు. ఇది సమతుల్యత యొక్క కళ.

జాగ్రత్త: లాగింగ్ అనేది "ప్రతిదీ లాగ్" కాదు. చాలా ఎక్కువ లాగింగ్ గోప్యతా ప్రమాదాన్ని సృష్టిస్తుంది మరియు చాలా తక్కువ లాగింగ్ సాక్ష్యం లోపాన్ని సృష్టిస్తుంది. ఈవెంట్‌ను మాస్క్ చేయడం ద్వారా పునర్నిర్మించడానికి PIIని తగినంతగా ఉంచడం లక్ష్యం.

ఏమి లాగిన్ చేయాలి? ఆడిట్ ట్రైల్ స్కీమా

ఒక ఘన AI ఆడిట్ ట్రయల్ కనీసం వీటిని కలిగి ఉంటుంది:

• ఎవరు: వినియోగదారు ID మరియు పాత్ర (లేదా సేవ ID).
• ఎప్పుడు: టైమ్‌స్టాంప్ (వీలైతే మాత్రమే జోడించు).
• ఏమిటి: కోరుకున్న చర్య మరియు సమన్ చేయబడిన సాధనాలు.
• ఏ మోడల్: మోడల్ పేరు మరియు వెర్షన్ (ఉదా. క్లాడ్-ఓపస్-4-8), ఉష్ణోగ్రత వంటి క్లిష్టమైన పారామితులు.
• ఇన్‌పుట్/అవుట్‌పుట్ డైజెస్ట్: మాస్క్‌డ్ వెర్షన్ లేదా డైజెస్ట్/హాష్ అభ్యర్థన మరియు ప్రతిస్పందన.
• నిర్ణయం: ఇది స్వయంచాలకంగా ప్రాసెస్ చేయబడిందా, మానవుని వద్దకు వెళ్లిందా, ఆమోదించబడిందా లేదా తిరస్కరించబడిందా?
• ఫలితం: ఆపరేషన్ విజయవంతమైందా లేదా లోపం, ఏ వనరు ప్రభావితమైంది?

దశల వారీగా: ఆడిట్ ట్రయల్‌ను ఏర్పాటు చేయడం

1. లక్ష్యాన్ని నిర్దేశించుకోండి. ఈ లాగ్‌లను ఎవరు చదువుతారు మరియు ఎందుకు? (సంఘటన ప్రతిస్పందన, సమ్మతి ఆడిటింగ్, డీబగ్గింగ్.) ఉద్దేశ్యం మీరు ఏమి ఉంచుకోవాలో నిర్ణయిస్తుంది.
2. PII విధానాన్ని అమలు చేయండి. లాగింగ్ చేయడానికి ముందు ప్రాంప్ట్/రెస్పాన్స్‌ను మాస్క్ చేయండి (యూనిట్ 2).
3. మార్పులేనితనాన్ని అందిస్తాయి. క్లిష్టమైన లాగ్‌లు అనుబంధంగా మాత్రమే ఉండనివ్వండి; గతాన్ని ఎవరూ మౌనంగా చెరిపేయకూడదు.
4. నిలుపుదల వ్యవధిని నిర్వచించండి. చట్టపరమైన అవసరాలు మరియు గోప్యత యొక్క బ్యాలెన్స్ ప్రకారం వ్యవధిని నిర్ణయించండి; సమయం ముగిసినప్పుడు స్వయంచాలకంగా తొలగించండి.
5. యాక్సెస్ పరిమితం. లాగ్‌లకు యాక్సెస్ కూడా RBACతో రక్షించబడాలి; లాగ్ రీడింగ్ కూడా లాగ్ చేయాలి.
6. సహసంబంధ ID (ట్రేస్ ID) జోడించండి. అభ్యర్థన యొక్క అన్ని దశలను (ఇన్‌పుట్, టూల్ కాల్, ధృవీకరణ, అవుట్‌పుట్) ఒకే గుర్తింపుతో కనెక్ట్ చేయండి.

నాలుగు కాపీ చేయగల టెంప్లేట్లు

ఆడిట్ లాగ్ స్కీమా (JSON):

{ "trace_id": "...", "time": "YYYY-MM-DDThh:mm:ssZ", "user": "...", "role": "...", "model": "claude-opus-4-8", "parameters": { "temperature": 0 }, "request_summary:"> "request_summary"> "<masked>", "టూల్స్": ["tool_a", "tool_b"], "decision": "auto|human_approval", "approval": "ఆమోదించబడింది|తిరస్కరించబడింది|ఏదీ లేదు", "ఫలితం": "విజయం|లోపం", "ప్రభావిత_వనరు": "..."}

లాగ్ PII నియంత్రణ ప్రాంప్ట్:

దిగువ లాగ్ ఉదాహరణలను చూడండి. ఆడిట్ ట్రయల్‌కు అవసరమైన ఫీల్డ్‌లు (ఎవరు, ఎప్పుడు, మోడల్, నిర్ణయం, ఫలితం) పూర్తి అయ్యాయా? అలాగే ముడి PII లీక్ అయిందా? ప్రతి అడ్డు వరుస కోసం, ఇలా నివేదించండి: "తగినంత / ఖాళీ లేదు: ... /PII లీక్: ..." <లాగ్‌లు>{{ ఉదాహరణలు }}</logs>

ఈవెంట్ రీబిల్డ్ ప్రాంప్ట్:

కింది ఆడిట్ రికార్డులు ఒకే ట్రేస్_ఐడికి చెందినవి. ఈవెంట్‌ను కాలక్రమానుసారం కథనంలోకి మార్చండి: వినియోగదారు ఏమి కోరుకుంటున్నారు, మోడల్ ఏమి చేసింది, ఏ ధ్రువీకరణలు జరిగాయి, నిర్ణయం ఎలా జరిగింది, ఫలితం ఏమిటి? ఫ్లాగ్ లేదు లేదా అస్థిరమైన దశలు.<records>{{ trace_registers }}</records>

నిలుపుదల విధాన నిర్ణయ నియమం:

ప్రతి లాగ్ రకానికి, నిర్ణయించండి:- చట్టపరమైన నిలుపుదల బాధ్యత ఉందా? (కనీస వ్యవధి ఏదైనా ఉంటే)- ఇది PIIని కలిగి ఉందా? (చేర్చబడితే, వ్యవధిని తగ్గించండి, ప్రాప్యతను తగ్గించండి)- భద్రతా సంఘటన యొక్క సాక్ష్యం? (స్టోర్ మార్చబడదు)ఫలితం: "స్టోర్ N రోజులు + అనుబంధం-మాత్రమే mi + యాక్సెస్ స్థాయి".

బలహీనమైన ప్రాంప్ట్ / బలమైన ప్రాంప్ట్

పేద విధానం

బలమైన విధానం

లాగింగ్ అస్సలు లేదు ("అవసరం లేదు")

ఈవెంట్‌ను పునర్నిర్మించడానికి కనీస సెట్‌ను లాగ్ చేస్తోంది

రా ప్రాంప్ట్/ప్రతిస్పందనను యథాతథంగా లాగిన్ చేస్తోంది

ముసుగు సారాంశం + ట్రేస్ ID లాగింగ్

లాగ్‌లను అపరిమితంగా నిల్వ చేయండి

చట్టపరమైన + గోప్యత బ్యాలెన్స్‌తో నిలుపుదల కాలం

ఎవరైనా లాగ్‌లను తొలగించవచ్చు

క్లిష్టమైన లాగ్‌లు అనుబంధం-మాత్రమే, యాక్సెస్ నియంత్రించబడతాయి

మూడు మినీ కేసులు

కేసు 1 — ట్రేస్ ID ఒక రోజు విచారణను 15 నిమిషాలకు తగ్గించింది. "నా దరఖాస్తు అన్యాయంగా తిరస్కరించబడింది," అని ఒక కస్టమర్ బ్యాంక్ క్రెడిట్ ప్రీ-ఎవాల్యుయేషన్ అసిస్టెంట్‌కి చెప్పాడు. సహసంబంధ IDకి ధన్యవాదాలు, బృందం ఆ అప్లికేషన్ యొక్క ఇన్‌పుట్, ఉద్యోగి ధృవీకరణలు మరియు నిర్ణయాన్ని 15 నిమిషాల్లో పునర్నిర్మించింది; నియమం ధృవీకరణలో తప్పు థ్రెషోల్డ్ కారణంగా లోపం ఏర్పడిందని చూపించి దాన్ని పరిష్కరించారు.

కేసు 2 - ఆడిట్‌లో అధిక లాగింగ్ కనుగొనబడింది. ఒక ఇ-కామర్స్ కంపెనీ డీబగ్గింగ్ కోసం ముడి లాగ్‌లకు అన్ని ప్రాంప్ట్‌లు/ప్రతిస్పందనలను వ్రాస్తోంది. వార్షిక ఆడిట్ సమయంలో, ఈ లాగ్‌లలో కస్టమర్ అడ్రస్‌లు మరియు టెలిఫోన్ నంబర్‌లు ఉన్నాయని మరియు 2 సంవత్సరాల పాటు ఉంచినట్లు కనిపించింది. మాస్కింగ్ + 90-రోజుల నిలుపుదల విధానానికి మారడం ద్వారా అన్వేషణ మూసివేయబడింది; ఆడిట్ ట్రయల్ ఫంక్షన్ భద్రపరచబడింది.

కేస్ 3 - అనుబంధం-మాత్రమే లాగ్ అంతర్గత దుర్వినియోగాన్ని బహిర్గతం చేసింది. ఒక ప్రొవైడర్ వద్ద ఒక ఉద్యోగి అతను చేసిన తప్పు బ్యాచ్‌ను దాచడానికి లాగ్‌లను తొలగించడానికి ప్రయత్నించాడు. లాగ్‌లు అనుబంధం-మాత్రమే మరియు లాగ్ రీడింగ్/తొలగింపు ప్రయత్నాలు రికార్డ్ చేయబడినందున, ప్రయత్నం వెంటనే కనిపించింది; ఈ సంఘటన క్రమశిక్షణ మరియు ప్రక్రియ దిద్దుబాటుకు దారితీసింది.

చిట్కా: ప్రతి అభ్యర్థనకు సహసంబంధ ID (ట్రేస్ ID)ని కేటాయించండి మరియు దానిని అన్ని దశల ద్వారా తీసుకువెళ్లండి. సమస్య సంభవించినప్పుడు, ఒకే ప్రశ్నతో "ఆ అభ్యర్థన గురించిన ప్రతిదాన్ని" సేకరించగలగడం అనేది సంఘటన ప్రతిస్పందన యొక్క అతిపెద్ద యాక్సిలరేటర్.

సాధారణ తప్పులు

• మీరు ఈవెంట్‌ను పునర్నిర్మించలేనంత తక్కువగా లాగింగ్ చేయడం లేదా లాగింగ్ చేయడం లేదు.
• ముసుగు లేకుండా ముడి అభ్యర్థన/ప్రతిస్పందనను లాగ్ చేయడం మరియు లాగ్‌ను లీకేజీకి మూలంగా మార్చడం.
• మోడల్ పేరు/వెర్షన్ మరియు నిర్ణయం (ఆటోమేటిక్/హ్యూమన్) లాగింగ్ చేయడం లేదు.
• లాగ్‌లను అపరిమిత వ్యవధిలో నిల్వ చేయడం వల్ల గోప్యతా ప్రమాదాన్ని పెంచుతుంది.
• మార్పుకు లోబడి క్లిష్టమైన లాగ్‌లను వదిలివేయడం; లాగ్ యాక్సెస్‌ని లాగింగ్ చేయడం లేదు.
• సహసంబంధ ID (ట్రేస్ ID)ని ఉపయోగించనందున దశలను ఒకదానితో ఒకటి కనెక్ట్ చేయడం సాధ్యం కాదు.

సారాంశంలో

• AI లాగింగ్ "ఎవరు ఏమి చేసారు" అనేదానికి మూడు కోణాలను జోడిస్తుంది: ఏ మోడల్/వెర్షన్, ఏ ప్రాంప్ట్, ఏ ప్రతిస్పందన.
• ఈవెంట్‌ను మాస్క్ చేయడం ద్వారా పునర్నిర్మించడానికి PIIని కనిష్టంగా ఉంచడమే లక్ష్యం-ఎక్కువ కాదు, తక్కువ కాదు.
• ఆడిట్ ట్రయిల్‌లో ఎవరు/ఎప్పుడు/ఏమి/ఏ మోడల్/నిర్ణయం/ఫలితం ఫీల్డ్‌లు ఉండాలి.
• క్లిష్టమైన లాగ్‌లు అనుబంధం-మాత్రమే ఉండాలి, యాక్సెస్ పరిమితం చేయాలి మరియు లాగ్ యాక్సెస్ కూడా లాగ్ చేయబడాలి.
• సహసంబంధ ID (ట్రేస్ ID) అభ్యర్థన యొక్క అన్ని దశలను కలుపుతుంది మరియు సంఘటన విచారణను వేగవంతం చేస్తుంది.

అప్లికేషన్ టాస్క్

మీ స్వంత AI ఫ్లో నుండి అభ్యర్థనను ఎంచుకుని, పైన ఉన్న JSON స్కీమాతో దానికి అనువైన ఆడిట్ ట్రయల్‌ను వ్రాయండి. తర్వాత రెండు పరీక్షలు చేయండి: (1) ఈ రికార్డింగ్‌తో మీరు కథను మొదటి నుండి చివరి వరకు చెప్పగలరా? (2) రికార్డ్‌లో ముడి PII ఉందా? ఫీల్డ్ మిస్ అయితే, దానిని జోడించండి, PII ఉంటే, దానిని మాస్క్ చేయండి. చివరగా, నిలుపుదల వ్యవధి మరియు యాక్సెస్ స్థాయిని సెట్ చేయండి.

చెక్లిస్ట్

• [ ] ఆడిట్ ట్రయిల్‌లో ఎవరు/ఎప్పుడు/ఏమి/నమూనా/నిర్ణయం/ఫలితం ఫీల్డ్‌లు ఉంటాయి.
• [ ] ప్రాంప్ట్/ప్రతిస్పందన లాగ్‌ల ముందు ముసుగు చేయబడింది (PII లేదు).
• [ ] ప్రతి అభ్యర్థనకు సహసంబంధ ID (ట్రేస్ ID) కేటాయించబడుతుంది.
• [ ] క్లిష్టమైన లాగ్‌లు అనుబంధం-మాత్రమే మరియు యాక్సెస్ నియంత్రించబడతాయి.
• [ ] నిల్వ వ్యవధి చట్టపరమైన + గోప్యత బ్యాలెన్స్ ద్వారా నిర్వచించబడుతుంది మరియు వ్యవధి ముగింపులో తొలగించబడుతుంది.
• [ ] లాగ్‌లతో నేను 30 నిమిషాల కంటే తక్కువ సమయంలో ఈవెంట్‌ను పునర్నిర్మించగలను.