ലോഗിംഗ്, ഓഡിറ്റ് ട്രയൽ, പ്രൊവെനബിലിറ്റി

നേട്ടങ്ങൾ:

• ഇവൻ്റ് പുനർനിർമ്മിക്കുന്നതിന് പര്യാപ്തമായ ഒരു മിനിമം ഓഡിറ്റ് ട്രയൽ സ്കീം രൂപകൽപ്പന ചെയ്യാനുള്ള കഴിവ്
• പ്രോംപ്റ്റ്/പ്രതികരണം മറയ്ക്കുന്നതിലൂടെ ലോഗ് ചോർച്ചയുടെ ഉറവിടമാകുന്നത് തടയാനുള്ള കഴിവ്
• പരസ്പര ബന്ധമുള്ള ഐഡൻ്റിറ്റി, മാറ്റമില്ലായ്മ, നിലനിർത്തൽ കാലയളവ് എന്നിവ ഉപയോഗിച്ച് പരിശോധിക്കാവുന്ന ലോഗുകൾ സ്ഥാപിക്കാനുള്ള കഴിവ്

ഒരു AI സിസ്റ്റത്തിൽ, ഒരു ദിവസം തീർച്ചയായും ചോദ്യം ചോദിക്കപ്പെടും: "എന്തുകൊണ്ടാണ് ഈ തീരുമാനമെടുത്തത്, അന്ന് കൃത്യമായി എന്താണ് സംഭവിച്ചത്?" ഈ ചോദ്യം ഒരു ഉപഭോക്താവ്, ഒരു ഓഡിറ്റർ, ഒരു റെഗുലേറ്റർ അല്ലെങ്കിൽ ഒരു കോടതി ചോദിച്ചേക്കാം. നിങ്ങളുടെ ഉത്തരം ഒന്നുകിൽ പരിശോധിച്ചുറപ്പിക്കാവുന്ന ഓഡിറ്റ് ട്രയൽ ആയിരിക്കും അല്ലെങ്കിൽ "ഞങ്ങൾക്ക് അറിയില്ല." കോർപ്പറേറ്റ് പരിതസ്ഥിതിയിൽ രണ്ടാമത്തേത് അസ്വീകാര്യമാണ്. ഈ യൂണിറ്റിൽ, AI-യ്‌ക്ക് പ്രത്യേകമായി എന്തൊക്കെ ലോഗിൻ ചെയ്യണം, എന്തൊക്കെ ലോഗിൻ ചെയ്യരുത്, ഒരു ഓഡിറ്റ് ട്രയൽ എങ്ങനെ സ്ഥാപിക്കാം, എങ്ങനെ ലോഗുകൾ സുരക്ഷയും സ്വകാര്യതയും സമനിലയിൽ സൂക്ഷിക്കാം എന്നിവ പഠിക്കും.

AI-യിൽ ലോഗിംഗ് വ്യത്യസ്തമായിരിക്കുന്നത് എന്തുകൊണ്ട്?

ക്ലാസിക്കൽ സോഫ്‌റ്റ്‌വെയറിൽ, "ആരാണ് എന്താണ് ചെയ്തത്" എന്നത് ലോഗ് ചെയ്‌തിരിക്കുന്നു. AI-ൽ, മൂന്ന് പുതിയ മാനങ്ങൾ ഇതിലേക്ക് ചേർത്തിരിക്കുന്നു: ഏത് മോഡൽ/പതിപ്പ് ഉപയോഗിച്ചു, എന്ത് പ്രോംപ്റ്റ് അയച്ചു, എന്ത് പ്രതികരണമാണ് നിർമ്മിച്ചത്. ഒരു പിശകോ പരാതിയോ സംഭവിക്കുമ്പോൾ, ഇവ മൂന്നും കൂടാതെ നിങ്ങൾക്ക് സംഭവം പുനർനിർമ്മിക്കാനാവില്ല. എന്നാൽ ഈ പ്രോംപ്റ്റ്/പ്രതികരണത്തിൽ നമ്മൾ യൂണിറ്റ് 2-ൽ കണ്ടതുപോലെ PII അടങ്ങിയിരിക്കാം - അതായത് ലോഗ് തന്നെ ചോർച്ചയുടെ ഉറവിടമാകാം. ഇതാണ് ബാലൻസ് കല.

മുന്നറിയിപ്പ്: ലോഗിംഗ് "എല്ലാം രേഖപ്പെടുത്തുക" അല്ല. വളരെയധികം ലോഗിംഗ് ഒരു സ്വകാര്യത അപകടസാധ്യത സൃഷ്ടിക്കുന്നു, കൂടാതെ വളരെ കുറച്ച് ലോഗിംഗ് തെളിവുകളുടെ അഭാവം സൃഷ്ടിക്കുന്നു. ഇവൻ്റ് മറയ്ക്കുന്നതിലൂടെ പുനർനിർമ്മിക്കുന്നതിന് PII-യെ വേണ്ടത്ര നിലനിർത്തുക എന്നതാണ് ലക്ഷ്യം.

എന്താണ് ലോഗിൻ ചെയ്യേണ്ടത്? ഓഡിറ്റ് ട്രയൽ സ്കീമ

ഒരു സോളിഡ് AI ഓഡിറ്റ് ട്രയൽ ഉൾപ്പെടുന്നു, കുറഞ്ഞത്:

• ആരാണ്: ഉപയോക്തൃ ഐഡിയും റോളും (അല്ലെങ്കിൽ സേവന ഐഡി).
• എപ്പോൾ: ടൈംസ്റ്റാമ്പ് (സാധ്യമെങ്കിൽ മാത്രം ചേർക്കുക).
• എന്താണ്: ആവശ്യമുള്ള പ്രവർത്തനവും വിളിക്കപ്പെട്ട ഉപകരണങ്ങളും.
• ഏത് മോഡൽ: മോഡലിൻ്റെ പേരും പതിപ്പും (ഉദാ. claude-opus-4-8), താപനില പോലുള്ള നിർണായക പാരാമീറ്ററുകൾ.
• ഇൻപുട്ട്/ഔട്ട്പുട്ട് ഡൈജസ്റ്റ്: ഒരു മാസ്ക് പതിപ്പ് അല്ലെങ്കിൽ അഭ്യർത്ഥനയുടെയും പ്രതികരണത്തിൻ്റെയും ഡൈജസ്റ്റ്/ഹാഷ്.
• തീരുമാനം: ഇത് സ്വയമേവ പ്രോസസ്സ് ചെയ്തതാണോ, ഒരു മനുഷ്യനിലേക്ക് പോയി, അത് അംഗീകരിക്കപ്പെട്ടതോ നിരസിച്ചതോ?
• ഫലം: പ്രവർത്തനം വിജയകരമാണോ അതോ പിശകോ, ഏത് റിസോഴ്സിനെയാണ് ബാധിക്കുന്നത്?

ഘട്ടം ഘട്ടമായി: ഒരു ഓഡിറ്റ് ട്രയൽ സ്ഥാപിക്കൽ

1. ഒരു ലക്ഷ്യം വെക്കുക. ആരാണ് ഈ ലോഗുകൾ വായിക്കുക, എന്തുകൊണ്ട്? (സംഭവ പ്രതികരണം, കംപ്ലയിൻസ് ഓഡിറ്റിംഗ്, ഡീബഗ്ഗിംഗ്.) നിങ്ങൾ എന്താണ് സൂക്ഷിക്കുന്നതെന്ന് ഉദ്ദേശ്യം നിർണ്ണയിക്കുന്നു.
2. PII നയം നടപ്പിലാക്കുക. ലോഗ് ചെയ്യുന്നതിനു മുമ്പ് പ്രോംപ്റ്റ്/പ്രതികരണം മാസ്ക് ചെയ്യുക (യൂണിറ്റ് 2).
3. മാറ്റമില്ലാത്തത് നൽകുക. നിർണ്ണായക രേഖകൾ കൂട്ടിച്ചേർക്കാൻ മാത്രം അനുവദിക്കുക; നിശ്ശബ്ദമായി ഭൂതകാലത്തെ മായ്ക്കാൻ ആർക്കും കഴിയരുത്.
4. നിലനിർത്തൽ കാലയളവ് നിർവ്വചിക്കുക. നിയമപരമായ ആവശ്യകതയുടെയും രഹസ്യാത്മകതയുടെയും ബാലൻസ് അനുസരിച്ച് ദൈർഘ്യം നിർണ്ണയിക്കുക; സമയം കാലഹരണപ്പെടുമ്പോൾ സ്വയമേവ ഇല്ലാതാക്കുക.
5. പ്രവേശനം പരിമിതപ്പെടുത്തുക. ലോഗുകളിലേക്കുള്ള പ്രവേശനവും RBAC ഉപയോഗിച്ച് പരിരക്ഷിച്ചിരിക്കണം; ലോഗ് റീഡിംഗും ലോഗ് ചെയ്യണം.
6. കോറിലേഷൻ ഐഡി (ട്രേസ് ഐഡി) ചേർക്കുക. ഒരു അഭ്യർത്ഥനയുടെ എല്ലാ ഘട്ടങ്ങളും (ഇൻപുട്ട്, ടൂൾ കോൾ, സ്ഥിരീകരണം, ഔട്ട്പുട്ട്) ഒരൊറ്റ ഐഡൻ്റിറ്റിയുമായി ബന്ധിപ്പിക്കുക.

പകർത്താവുന്ന നാല് ടെംപ്ലേറ്റുകൾ

ഓഡിറ്റ് ലോഗ് സ്കീമ (JSON):

{ "trace_id": "...", "സമയം": "YYYY-MM-DDThh:mm:ssZ", "ഉപയോക്താവ്": "...", "റോൾ": "...", "മോഡൽ": "claude-opus-4-8", "parameters": { "temperature": 0 }, "request_summary"> "request_summary"> "<masked>", "tools": ["tool_a", "tool_b"], "decision": "auto|human_approval", "approval": "approved|rejected|ഒന്നുമില്ല", "ഫലം": "വിജയം|പിശക്", "affected_resource": "..."}

ലോഗ് PII നിയന്ത്രണ നിർദ്ദേശം:

ചുവടെയുള്ള ലോഗ് ഉദാഹരണങ്ങൾ പരിശോധിക്കുക. ഓഡിറ്റ് ട്രയലിന് ആവശ്യമായ ഫീൽഡുകൾ (ആരാണ്, എപ്പോൾ, മോഡൽ, തീരുമാനം, ഫലം) പൂർത്തിയായിട്ടുണ്ടോ? കൂടാതെ റോ PII ചോർന്നോ? ഓരോ വരിയിലും, ഇനിപ്പറയുന്നതായി റിപ്പോർട്ടുചെയ്യുക: "മതിയായില്ല / നഷ്‌ടമായ ഇടം: ... /PII ചോർച്ച: ..." <ലോഗുകൾ>{{ ഉദാഹരണങ്ങൾ }}</logs>

ഇവൻ്റ് പുനർനിർമ്മിക്കാനുള്ള നിർദ്ദേശം:

ഇനിപ്പറയുന്ന ഓഡിറ്റ് റെക്കോർഡുകൾ ഒരൊറ്റ ട്രെയ്‌സ്_ഐഡിയുടെതാണ്. ഇവൻ്റിനെ കാലക്രമത്തിൽ ഒരു ആഖ്യാനമാക്കി മാറ്റുക: ഉപയോക്താവിന് എന്താണ് വേണ്ടത്, മോഡൽ എന്താണ് ചെയ്തത്, എന്ത് മൂല്യനിർണ്ണയങ്ങൾ നടത്തി, എങ്ങനെയാണ് തീരുമാനമെടുത്തത്, എന്താണ് ഫലം? ഫ്ലാഗ് നഷ്‌ടമായതോ പൊരുത്തമില്ലാത്തതോ ആയ ഘട്ടങ്ങൾ.<records>{{ trace_registers }}</records>

നിലനിർത്തൽ നയ തീരുമാന നിയമം:

ഓരോ ലോഗ് തരത്തിനും, നിർണ്ണയിക്കുക:- ഒരു നിയമപരമായ നിലനിർത്തൽ ബാധ്യതയുണ്ടോ? (ഏതെങ്കിലും കാലയളവ് ഉണ്ടെങ്കിൽ)- അതിൽ PII അടങ്ങിയിട്ടുണ്ടോ? (ഉൾപ്പെടുത്തിയാൽ, ദൈർഘ്യം കുറയ്ക്കുക, പ്രവേശനം ചുരുക്കുക)- സുരക്ഷാ സംഭവത്തിൻ്റെ തെളിവ്? (സ്റ്റോർ മാറ്റാൻ കഴിയില്ല)ഫലം: "സ്റ്റോർ N ദിവസങ്ങൾ + അനുബന്ധമായി മാത്രം മൈ + ആക്സസ് ലെവൽ".

ദുർബലമായ പ്രോംപ്റ്റ് / ശക്തമായ പ്രോംപ്റ്റ്

മോശം സമീപനം

ശക്തമായ സമീപനം

ലോഗിൻ ചെയ്യുന്നില്ല ("ആവശ്യമില്ല")

ഇവൻ്റ് പുനർനിർമ്മിക്കുന്നതിനുള്ള ഏറ്റവും കുറഞ്ഞ സെറ്റ് ലോഗ് ചെയ്യുന്നു

റോ പ്രോംപ്റ്റ്/പ്രതികരണം അതേപടി ലോഗ് ചെയ്യുന്നു

മാസ്ക്ഡ് സംഗ്രഹം + ട്രേസ് ഐഡി ലോഗിംഗ്

ലോഗുകൾ പരിധിയില്ലാതെ സംഭരിക്കുക

നിയമപരമായ + സ്വകാര്യതയുടെ ബാലൻസ് ഉള്ള നിലനിർത്തൽ കാലയളവ്

ലോഗുകൾ ആർക്കും ഇല്ലാതാക്കാം

നിർണ്ണായക ലോഗുകൾ കൂട്ടിച്ചേർക്കാൻ മാത്രം, ആക്സസ് നിയന്ത്രിക്കപ്പെടുന്നു

മൂന്ന് മിനി കേസുകൾ

കേസ് 1 - ട്രേസ് ഐഡി ഒരു ദിവസത്തെ അന്വേഷണത്തെ 15 മിനിറ്റായി കുറച്ചു. "എൻ്റെ അപേക്ഷ അന്യായമായി നിരസിക്കപ്പെട്ടു," ഒരു ഉപഭോക്താവ് ഒരു ബാങ്കിൻ്റെ ക്രെഡിറ്റ് പ്രീ-ഇവാലുവേഷൻ അസിസ്റ്റൻ്റിനോട് പറഞ്ഞു. കോറിലേഷൻ ഐഡിക്ക് നന്ദി, ടീം ആ ആപ്ലിക്കേഷൻ്റെ ഇൻപുട്ട്, ജീവനക്കാരുടെ പരിശോധനകൾ, തീരുമാനങ്ങൾ എന്നിവ 15 മിനിറ്റിനുള്ളിൽ പുനർനിർമ്മിച്ചു; ഒരു റൂൾ മൂല്യനിർണ്ണയത്തിലെ തെറ്റായ പരിധി കൊണ്ടാണ് പിശക് സംഭവിച്ചതെന്ന് കാണിക്കുകയും അത് പരിഹരിക്കുകയും ചെയ്തു.

കേസ് 2 - ഓഡിറ്റിൽ അമിതമായ ലോഗിംഗ് കണ്ടെത്തി. ഒരു ഇ-കൊമേഴ്‌സ് കമ്പനി ഡീബഗ്ഗിംഗിനായി എല്ലാ നിർദ്ദേശങ്ങളും/പ്രതികരണങ്ങളും റോ ലോഗുകളിലേക്ക് എഴുതുകയായിരുന്നു. വാർഷിക ഓഡിറ്റിങ്ങിൽ, ഈ ലോഗുകളിൽ ഉപഭോക്തൃ വിലാസങ്ങളും ടെലിഫോൺ നമ്പറുകളും അടങ്ങിയതായും 2 വർഷത്തേക്ക് സൂക്ഷിച്ചിരിക്കുന്നതായും കണ്ടു. ഒരു മാസ്കിംഗ് + 90-ദിവസത്തെ നിലനിർത്തൽ നയത്തിലേക്ക് മാറിക്കൊണ്ട് കണ്ടെത്തൽ അവസാനിപ്പിച്ചു; ഓഡിറ്റ് ട്രയൽ ഫംഗ്ഷൻ സംരക്ഷിക്കപ്പെട്ടു.

കേസ് 3 - കൂട്ടിച്ചേർക്കാൻ മാത്രമുള്ള ലോഗ് ആന്തരിക ദുരുപയോഗം വെളിപ്പെടുത്തി. ഒരു ദാതാവിലെ ഒരു ജീവനക്കാരൻ താൻ ഉണ്ടാക്കിയ ഒരു തെറ്റായ ബാച്ച് മറയ്ക്കാൻ ലോഗുകൾ ഇല്ലാതാക്കാൻ ശ്രമിച്ചു. ലോഗുകൾ കൂട്ടിച്ചേർക്കാൻ മാത്രമുള്ളതും ലോഗ് റീഡിംഗ്/ഇല്ലാതാക്കാനുള്ള ശ്രമങ്ങൾ റെക്കോർഡ് ചെയ്യുന്നതുമായതിനാൽ, ശ്രമം ഉടനടി ദൃശ്യമായി; സംഭവം അച്ചടക്കത്തിലും നടപടി തിരുത്തലിലും കലാശിച്ചു.

നുറുങ്ങ്: ഓരോ അഭ്യർത്ഥനയ്ക്കും ഒരു കോറിലേഷൻ ഐഡി (ട്രേസ് ഐഡി) നൽകുകയും എല്ലാ ഘട്ടങ്ങളിലൂടെയും അത് കൊണ്ടുപോകുകയും ചെയ്യുക. ഒരു പ്രശ്നം സംഭവിക്കുമ്പോൾ, ഒരൊറ്റ ചോദ്യം ഉപയോഗിച്ച് "ആ അഭ്യർത്ഥനയെക്കുറിച്ചുള്ള എല്ലാം" ശേഖരിക്കാൻ കഴിയുന്നത് സംഭവ പ്രതികരണത്തിൻ്റെ ഏറ്റവും വലിയ ആക്സിലറേറ്ററാണ്.

സാധാരണ തെറ്റുകൾ

• ലോഗിൻ ചെയ്യുന്നില്ല, അല്ലെങ്കിൽ നിങ്ങൾക്ക് ഇവൻ്റ് പുനർനിർമ്മിക്കാൻ കഴിയാത്തവിധം കുറച്ച് ലോഗ് ചെയ്യുന്നു.
• മാസ്‌ക് ഇല്ലാതെ അസംസ്‌കൃത അഭ്യർത്ഥന/പ്രതികരണം ലോഗിൻ ചെയ്യുകയും ലോഗ് ചോർച്ചയുടെ ഉറവിടമാക്കി മാറ്റുകയും ചെയ്യുന്നു.
• മോഡലിൻ്റെ പേര്/പതിപ്പ്, തീരുമാനങ്ങൾ (ഓട്ടോമാറ്റിക്/മനുഷ്യൻ) എന്നിവ ലോഗ് ചെയ്യുന്നില്ല.
• പരിധിയില്ലാത്ത സമയത്തേക്ക് ലോഗുകൾ സൂക്ഷിക്കുന്നത് സ്വകാര്യത അപകടസാധ്യത വർദ്ധിപ്പിക്കുന്നു.
• നിർണ്ണായക രേഖകൾ മാറ്റത്തിന് വിധേയമായി വിടുന്നു; ലോഗ് ആക്സസ് ലോഗ് ചെയ്യുന്നില്ല.
• ഒരു കോറിലേഷൻ ഐഡി (ട്രേസ് ഐഡി) ഉപയോഗിക്കാത്തതിനാൽ ഘട്ടങ്ങൾ ഒരുമിച്ച് ബന്ധിപ്പിക്കാൻ കഴിയുന്നില്ല.

ചുരുക്കത്തിൽ

• AI ലോഗിംഗ് "ആരാണ് എന്താണ് ചെയ്തത്" എന്നതിന് മൂന്ന് മാനങ്ങൾ ചേർക്കുന്നു: ഏത് മോഡൽ/പതിപ്പ്, ഏത് പ്രോംപ്റ്റ്, ഏത് പ്രതികരണം.
• ഇവൻ്റ് മറച്ചുവെച്ച് പുനർനിർമ്മിക്കുന്നതിന് PII-യെ ഏറ്റവും കുറച്ച് നിലനിർത്തുക എന്നതാണ് ലക്ഷ്യം-കൂടുതലും കുറവുമില്ല.
• ഓഡിറ്റ് ട്രയലിൽ ആരാണ്/എപ്പോൾ/എന്ത്/ഏത് മോഡൽ/തീരുമാനം/ഫല ഫീൽഡുകൾ എന്നിവ ഉൾപ്പെടുത്തണം.
• നിർണ്ണായക ലോഗുകൾ കൂട്ടിച്ചേർക്കാൻ മാത്രമായിരിക്കണം, ആക്‌സസ് പരിമിതപ്പെടുത്തണം, കൂടാതെ ലോഗ് ആക്‌സസ്സും ലോഗിൻ ചെയ്യണം.
• കോറിലേഷൻ ഐഡി (ട്രേസ് ഐഡി) ഒരു അഭ്യർത്ഥനയുടെ എല്ലാ ഘട്ടങ്ങളെയും ബന്ധിപ്പിക്കുകയും സംഭവ അന്വേഷണം വേഗത്തിലാക്കുകയും ചെയ്യുന്നു.

ആപ്ലിക്കേഷൻ ടാസ്ക്

നിങ്ങളുടെ സ്വന്തം AI ഫ്ലോയിൽ നിന്ന് ഒരു അഭ്യർത്ഥന തിരഞ്ഞെടുത്ത് മുകളിലുള്ള JSON സ്കീമ ഉപയോഗിച്ച് അതിന് അനുയോജ്യമായ ഓഡിറ്റ് ട്രയൽ എഴുതുക. എന്നിട്ട് രണ്ട് ടെസ്റ്റുകൾ നടത്തുക: (1) ഈ റെക്കോർഡിംഗ് ഉപയോഗിച്ച് നിങ്ങൾക്ക് കഥ ആദ്യം മുതൽ അവസാനം വരെ പറയാൻ കഴിയുമോ? (2) രേഖയിൽ റോ PII ഉണ്ടോ? നഷ്‌ടമായ ഫീൽഡ് ഉണ്ടെങ്കിൽ, അത് ചേർക്കുക, PII ഉണ്ടെങ്കിൽ, അത് മാസ്ക് ചെയ്യുക. അവസാനമായി, ഒരു നിലനിർത്തൽ കാലയളവും ആക്സസ് ലെവലും സജ്ജമാക്കുക.

ചെക്ക്ലിസ്റ്റ്

• [ ] ഓഡിറ്റ് ട്രയലിൽ ആർ/എപ്പോൾ/എന്ത്/പാറ്റേൺ/തീരുമാനം/ഫല ഫീൽഡുകൾ ഉൾപ്പെടുന്നു.
• [ ] ലോഗുകൾക്ക് മുമ്പ് പ്രോംപ്റ്റ്/പ്രതികരണം മറച്ചിരിക്കുന്നു (PII ഇല്ല).
• [ ] ഓരോ അഭ്യർത്ഥനയ്ക്കും ഒരു കോറിലേഷൻ ഐഡി (ട്രേസ് ഐഡി) നൽകിയിട്ടുണ്ട്.
• [ ] നിർണ്ണായക ലോഗുകൾ കൂട്ടിച്ചേർക്കാൻ മാത്രമുള്ളതും ആക്സസ് നിയന്ത്രിക്കുന്നതുമാണ്.
• [ ] സംഭരണ ​​കാലയളവ് നിയമപരമായ + രഹസ്യാത്മകത ബാലൻസ് അനുസരിച്ചാണ് നിർവചിച്ചിരിക്കുന്നത്, കാലയളവിൻ്റെ അവസാനത്തിൽ അത് ഇല്ലാതാക്കപ്പെടും.
• [ ] ലോഗുകൾ ഉപയോഗിച്ച് എനിക്ക് 30 മിനിറ്റിനുള്ളിൽ ഒരു ഇവൻ്റ് പുനർനിർമ്മിക്കാൻ കഴിയും.