Jedinica 5 / 11

Snimanje, revizijski trag i dokazljivost

Dobici:

  • Sposobnost dizajniranja minimalne šeme revizorskog traga dovoljne za rekonstrukciju događaja
  • Sposobnost da se spriječi da dnevnik bude izvor curenja maskiranjem upita/odgovora
  • Sposobnost uspostavljanja provjerljivih dnevnika s korelacijskim identitetom, nepromjenjivosti i periodom zadržavanja

U sistemu veštačke inteligencije jednog dana će se sigurno postaviti pitanje: "Zašto je ova odluka doneta na ovaj način, šta se tačno dogodilo tog dana?" Ovo pitanje može postaviti kupac, revizor, regulator ili sud. Vaš odgovor će biti ili provjerljivi revizorski trag ili "ne znamo". Ovo drugo je neprihvatljivo u korporativnom okruženju. U ovoj jedinici naučit ćemo šta treba, a šta ne treba evidentirati specifično za AI, kako uspostaviti revizijski trag i kako održavati evidenciju u ravnoteži sa sigurnošću i privatnošću.

Zašto je prijavljivanje drugačije u AI?

U klasičnom softveru se evidentira "ko je šta uradio". U AI, tri nove dimenzije su dodane ovome: koji je model/verzija korišten, koji je upit poslan i kakav je odgovor proizveden. Kada dođe do greške ili pritužbe, ne možete rekonstruirati incident bez ova tri. Ali ovaj vrlo brz/odgovor može sadržavati PII, kao što smo vidjeli u jedinici 2 — što znači da sam dnevnik može postati izvor curenja. Ovo je umjetnost ravnoteže.

Oprez: Evidentiranje nije "sve zabilježiti". Previše evidentiranja stvara rizik za privatnost, a premalo evidentiranja stvara nedostatak dokaza. Cilj je zadržati dovoljno PII za rekonstrukciju događaja maskiranjem.

Šta treba evidentirati? Šema revizorskog traga

Čvrsti AI revizorski trag uključuje, najmanje:

  • Ko: ID korisnika i uloga (ili ID usluge).
  • Kada: Vremenska oznaka (dodati samo ako je moguće).
  • Šta: Željena akcija i pozvani alati.
  • Koji model: naziv modela i verzija (npr. claude-opus-4-8), kritični parametri kao što je temperatura.
  • Ulazno/izlazni sažetak: maskirana verzija ili sažetak/haš zahtjeva i odgovora.
  • Odluka: Da li je obrađena automatski, otišla kod čovjeka, da li je odobrena ili odbijena?
  • Rezultat: Da li je operacija uspješna ili greška, koji resurs je pogođen?

Korak po korak: Uspostavljanje revizorskog traga

  1. Postavite cilj. Ko će čitati ove dnevnike i zašto? (Reakcija na incidente, revizija usklađenosti, otklanjanje grešaka.) Svrha određuje šta ćete zadržati.
  2. Provedite politiku PII. Zamaskirajte upit/odgovor prije evidentiranja (jedinica 2).
  3. Omogućite nepromjenjivost. Neka kritični dnevniki budu samo dodaci; Niko ne bi trebao moći tiho izbrisati prošlost.
  4. Definirajte period zadržavanja. Odrediti trajanje u skladu sa ravnotežom zakonskih zahtjeva i povjerljivosti; Automatsko brisanje kada istekne vrijeme.
  5. Ograničite pristup. Pristup evidencijama takođe treba biti zaštićen RBAC-om; Očitavanje dnevnika također treba biti evidentirano.
  6. Dodajte ID korelacije (ID traga). Povežite sve korake zahtjeva (unos, poziv alata, verifikacija, izlaz) sa jednim identitetom.

Četiri predloška koji se mogu kopirati

Šema dnevnika revizije (JSON):

{ "trace_id": "...", "time": "GGGG-MM-DDThh:mm:ssZ", "user": "...", "role": "...", "model": "claude-opus-4-8", "parameters": { "temperature": 0 }, "request_ressked": "summary": "mm "<maskiran>", "alati": ["tool_a", "tool_b"], "odluka": "auto|human_approval", "odobrenje": "odobreno|odbijeno|ništa", "rezultat": "uspjeh|greška", "zahvaćeni_resurs": "..."}

Prompt za kontrolu PII-a:

Pogledajte primjere dnevnika u nastavku. Da li su polja potrebna za revizorski trag (ko, kada, model, odluka, rezultat) popunjena? Da li je i neobrađena PII procurila? Za svaki red, prijavite kao: "nedovoljno / nedostaje prostora: ... /PII curenje: ..." <logs>{{ primjeri }}</logs>

Upit za ponovnu izgradnju događaja:

Sljedeći zapisi revizije pripadaju jednom trace_id. Pretvorite događaj u narativ hronološkim redom: šta je korisnik želio, šta je model uradio, koje su provere provele, kako je doneta odluka, kakav je bio ishod? Označite nedostajuće ili nedosljedne korake.<records>{{ trace_registers }}</records>

Pravilo odluke o politici zadržavanja:

Za svaki tip dnevnika odredite: - Postoji li zakonska obaveza zadržavanja? (minimalni period ako postoji) - Da li sadrži PII? (ako je uključeno, skratiti trajanje, suziti pristup) - Dokazi o sigurnosnom incidentu? (prodavnica se ne može promijeniti) Rezultat: "spremište N dana + samo dodaj mi + nivo pristupa".

Slaba prompt / jaka prompt

loš pristup

Snažan pristup

Uopšte se ne evidentira ("ne treba")

Zapisivanje minimalnog skupa za rekonstrukciju događaja

Evidentiranje neobrađenog upita/odgovora kakav jeste

Maskirani sažetak + evidentiranje ID-a traga

Čuvajte zapise neograničeno

Period zadržavanja sa balansom pravnog i privatnog

Svako može obrisati zapisnike

Kritične evidencije se samo dodaju, pristup kontrolisan

Tri mini futrole

Slučaj 1 — Trace ID je smanjio jednodnevnu istragu na 15 minuta. "Moj zahtjev je nepravedno odbijen", rekao je klijent pomoćniku banke za prethodnu procjenu kredita. Zahvaljujući ID-u korelacije, tim je rekonstruisao unos te aplikacije, verifikacije zaposlenih i odluke za 15 minuta; pokazao da je greška uzrokovana neispravnim pragom u validaciji pravila i popravio je.

Slučaj 2 — U reviziji je otkriveno prekomjerno evidentiranje. Kompanija za e-trgovinu pisala je sve upite/odgovore u neobrađene dnevnike za otklanjanje grešaka. Tokom godišnje revizije uočeno je da ovi dnevnici sadrže adrese i brojeve telefona kupaca i da su čuvani 2 godine. Nalaz je zatvoren prelaskom na politiku maskiranja + 90-dnevno zadržavanje; Sačuvana je funkcija revizorskog traga.

Slučaj 3 — Dnevnik samo dodavanja otkrio je internu zloupotrebu. Zaposlenik kod jednog provajdera pokušao je da izbriše evidenciju kako bi sakrio pogrešnu grupu koju je napravio. Pošto se evidencije samo dodaju i pokušaji čitanja/brisanja dnevnika se snimaju, pokušaj je bio odmah vidljiv; Incident je rezultirao disciplinskim i procesnim popravkom.

Savjet: Dodijelite ID korelacije (ID praćenja) svakom zahtjevu i provedite ga kroz sve korake. Kada dođe do problema, mogućnost prikupljanja "sve o tom zahtjevu" jednim upitom je najveći akcelerator odgovora na incident.

Uobičajene greške

  • Uopšte se ne bilježi ili se evidentira tako malo da ne možete rekonstruirati događaj.
  • Evidentiranje sirovog zahtjeva/odgovora bez maske i pretvaranje dnevnika u izvor curenja.
  • Ne bilježi naziv modela/verziju i odluku (automatski/ljudski).
  • Čuvanje dnevnika na neograničeno vrijeme povećava rizik privatnosti.
  • Ostavljanje kritičnih dnevnika podložnim promjenama; Ne bilježi pristup dnevniku.
  • Nije moguće povezati korake zajedno jer ne koristi ID korelacije (ID traga).

Ukratko

  • AI evidentiranje dodaje tri dimenzije "ko je šta uradio": koji model/verzija, koji upit, koji odgovor.
  • Cilj je da se PII održi dovoljno minimalnim da se rekonstruiše događaj maskirajući ga – ni više, ni manje.
  • Revizorski trag bi trebao uključivati ​​polja ko/kada/šta/koji model/odluka/rezultat.
  • Kritične evidencije treba da se dodaju samo, pristup bi trebao biti ograničen, a pristup dnevniku bi također trebao biti evidentiran.
  • ID korelacije (trace ID) povezuje sve korake zahtjeva i ubrzava istragu incidenta.

Zadatak aplikacije

Odaberite zahtjev iz vlastitog AI toka i napišite idealan revizorski trag za njega pomoću JSON šeme iznad. Zatim uradite dva testa: (1) Možete li ispričati priču od početka do kraja samo ovim snimkom? (2) Da li u evidenciji postoji neobrađena PII? Ako nedostaje polje, dodajte ga, ako postoji PII, maskirajte ga. Konačno, postavite period zadržavanja i nivo pristupa.

kontrolna lista

  • [ ] Revizorski trag uključuje polja ko/kada/šta/obrazac/odluka/rezultat.
  • [ ] Prompt/odgovor je maskiran prije evidencije (bez PII).
  • [ ] ID korelacije (ID traga) se dodjeljuje svakom zahtjevu.
  • [ ] Kritične evidencije se samo dodaju i kontroliraju pristup.
  • [ ] Period skladištenja je definisan ravnotežom pravnih i povjerljivih podataka i briše se na kraju perioda.
  • [ ] Sa evidencijama mogu rekonstruisati događaj za manje od 30 minuta.