Medienos ruoša, audito seka ir įrodomumas

Pelnas:

• Gebėjimas sukurti minimalią audito sekos schemą, kurios pakaktų įvykiui rekonstruoti
• Galimybė neleisti, kad žurnalas būtų nuotėkio šaltinis, užmaskuojant raginimą / atsakymą
• Galimybė sudaryti patikrinamus žurnalus su koreliacijos tapatybe, nekintamumu ir saugojimo laikotarpiu

Dirbtinio intelekto sistemoje vieną dieną tikrai bus užduotas klausimas: „Kodėl buvo priimtas toks sprendimas, kas tiksliai tą dieną atsitiko? Šį klausimą gali užduoti klientas, auditorius, reguliavimo institucija arba teismas. Jūsų atsakymas bus patikrinama audito seka arba „nežinome“. Pastarasis yra nepriimtinas verslo aplinkoje. Šiame skyriuje sužinosime, ką reikėtų ir ko nereikėtų užregistruoti konkrečiai AI, kaip nustatyti audito seką ir kaip išlaikyti žurnalų pusiausvyrą su saugumu ir privatumu.

Kodėl AI registravimas skiriasi?

Klasikinėje programinėje įrangoje registruojama „kas ką padarė“. AI prie to pridedami trys nauji aspektai: koks modelis / versija buvo naudojamas, koks raginimas išsiųstas ir koks atsakymas. Kai įvyksta klaida ar nusiskundimas, negalite atkurti įvykio be šių trijų. Tačiau šiame ragelyje / atsakyme gali būti AII, kaip matėme 2 skyriuje – tai reiškia, kad pats rąstas gali tapti nutekėjimo šaltiniu. Tai yra pusiausvyros menas.

Atsargiai: registravimas nėra „viską registruoti“. Per didelis registravimas kelia pavojų privatumui, o per mažas registravimas sukuria įrodymų trūkumą. Tikslas – išlaikyti pakankamai AII, kad būtų galima rekonstruoti įvykį jį užmaskuojant.

Kas turėtų būti registruojama? Audito sekos schema

Tvirta AI audito seka apima bent:

• Kas: vartotojo ID ir vaidmuo (arba paslaugos ID).
• Kada: laiko žyma (pridėkite tik jei įmanoma).
• Kas: norimas veiksmas ir iškviesti įrankiai.
• Kuris modelis: modelio pavadinimas ir versija (pvz., claude-opus-4-8), kritiniai parametrai, tokie kaip temperatūra.
• Įvesties / išvesties santrauka: užmaskuota užklausos ir atsakymo versija arba santrauka / maiša.
• Sprendimas: ar jis buvo apdorotas automatiškai, atiteko žmogui, patvirtintas ar atmestas?
• Rezultatas: ar operacija sėkminga, ar klaida, kuris išteklius paveiktas?

Žingsnis po žingsnio: audito sekos nustatymas

1. Išsikelk tikslą. Kas skaitys šiuos žurnalus ir kodėl? (Reagavimas į incidentus, atitikties auditas, derinimas.) Tikslas lemia, ką saugote.
2. Vykdykite AII politiką. Užmaskuokite raginimą / atsakymą prieš registruodami (2 skyrius).
3. Suteikti nekintamumą. Leisti svarbiems žurnalams pridėti tik; Niekas neturėtų sugebėti tyliai ištrinti praeities.
4. Apibrėžkite saugojimo laikotarpį. Nustatykite trukmę pagal teisinio reikalavimo ir konfidencialumo pusiausvyrą; Automatiškai ištrinti pasibaigus laikui.
5. Apriboti prieigą. Prieiga prie žurnalų taip pat turėtų būti apsaugota naudojant RBAC; Žurnalo skaitymas taip pat turėtų būti registruojamas.
6. Pridėkite koreliacijos ID (sekimo ID). Sujunkite visus užklausos veiksmus (įvestis, įrankio iškvietimas, patvirtinimas, išvestis) su viena tapatybe.

Keturi kopijuojami šablonai

Audito žurnalo schema (JSON):

{ "trace_id": "...", "time": "YYYY-MM-DDThh:mm:ssZ", "user": "...", "role": "...", "model": "claude-opus-4-8", "parameters": { "temperature": 0 }, "request_theme": 0 }, "request_mether": " "įrankiai": ["įrankis_a", "įrankis_b"], "sprendimas": "auto|žmogaus_patvirtinimas", "patvirtinimas": "patvirtinta|atmesta|nėra", "rezultatas": "sėkmė|klaida", "affected_resource": "..."}

Žurnalo AII valdymo raginimas:

Peržiūrėkite toliau pateiktus žurnalų pavyzdžius. Ar užpildyti laukai, reikalingi audito sekai (kas, kada, modelis, sprendimas, rezultatas)? Ar taip pat buvo nutekinta neapdorota AII? Pateikite ataskaitą apie kiekvieną eilutę: "nepakanka / trūksta vietos: ... /PII nutekėjimas: ..." <logs>{{ pavyzdžiai }}</logs>

Renginio atkūrimo raginimas:

Šie audito įrašai priklauso vienam trace_id. Paverskite įvykį pasakojimu chronologine tvarka: ko vartotojas norėjo, ką darė modelis, kokie patvirtinimai buvo atlikti, kaip buvo priimtas sprendimas, koks buvo rezultatas? Žymėti, kad nėra veiksmų arba jie nenuoseklūs.<records>{{ trace_registers }}</records>

Saugojimo politikos sprendimo taisyklė:

Kiekvienam rąstų tipui nustatykite:- Ar yra teisinis saugojimo įsipareigojimas? (minimalus laikotarpis, jei yra) – Ar jame yra AII? (jei įtraukta, sutrumpinkite trukmę, susiaurinkite prieigą) – saugumo incidento įrodymas? (parduotuvė negali būti pakeista) Rezultatas: "parduotuvė N dienų + pridėti tik mi + prieigos lygis".

Silpnas raginimas / stiprus raginimas

prastas požiūris

Stiprus požiūris

Visai neprisijungia („nereikia“)

Registruojamas minimalus rinkinys, kad būtų galima atkurti įvykį

Užregistruojamas neapdorotas raginimas / atsakymas, koks yra

Užmaskuota suvestinė + pėdsakų ID registravimas

Saugokite žurnalus neribotai

Saugojimo laikotarpis su teisinio ir privatumo pusiausvyra

Visi gali ištrinti žurnalus

Kritiniai žurnalai yra tik pridedami, prieiga kontroliuojama

Trys mini dėklai

1 atvejis – Trace ID sutrumpino dienos tyrimą iki 15 minučių. „Mano paraiška buvo nesąžiningai atmesta“, – banko išankstinio kredito įvertinimo asistentui sakė klientas. Dėl koreliacijos ID komanda per 15 minučių atkūrė tos programos įvestį, darbuotojų patikrinimus ir sprendimą; parodė, kad klaidą sukėlė neteisingas taisyklės patvirtinimo slenkstis, ir ją ištaisė.

2 atvejis. Audito metu buvo nustatytas per didelis kirtimas. El. prekybos įmonė rašė visus raginimus / atsakymus į neapdorotus žurnalus, kad būtų galima derinti. Kasmetinio audito metu buvo matyti, kad šiuose žurnaluose yra klientų adresai ir telefonų numeriai ir jie saugomi 2 metus. Išvada buvo uždaryta pereinant prie maskavimo + 90 dienų saugojimo politikos; Audito sekos funkcija buvo išsaugota.

3 atvejis – tik pridedamas žurnalas atskleidė vidinį piktnaudžiavimą. Vieno paslaugų teikėjo darbuotojas bandė ištrinti žurnalus, kad paslėptų klaidingą partiją. Kadangi žurnalai yra tik pridedami, o žurnalo skaitymo / trynimo bandymai yra įrašomi, bandymas buvo matomas iš karto; Dėl šio įvykio buvo skirta drausminė ir proceso pataisa.

Patarimas: kiekvienai užklausai priskirkite koreliacijos ID (sekimo ID) ir atlikite visus veiksmus. Iškilus problemai, galimybė surinkti „viską apie tą užklausą“ su viena užklausa yra didžiausias atsako į incidentą greitintuvas.

Dažnos klaidos

• Visiškai neregistruojama arba registruojama tiek mažai, kad negalite atkurti įvykio.
• Neapdorotos užklausos / atsakymo registravimas be kaukės ir žurnalo pavertimas nuotėkio šaltiniu.
• Neregistruojamas modelio pavadinimas / versija ir sprendimas (automatinis / žmogaus).
• Žurnalų saugojimas neribotą laiką padidina privatumo riziką.
• Galimi keisti kritiniai žurnalai; Neregistruoja žurnalo prieigos.
• Neįmanoma sujungti veiksmų, nes nenaudojamas koreliacijos ID (sekimo ID).

Apibendrinant

• AI registravimas prideda tris aspektus „kas ką padarė“: kuris modelis / versija, kuris raginimas, koks atsakymas.
• Tikslas yra, kad AII būtų pakankamai minimalus, kad būtų galima rekonstruoti įvykį jį užmaskuojant – nei daugiau, nei mažiau.
• Į audito seką turėtų būti įtraukti kas/kada/kas/kuris modelis/sprendimo/rezultato laukai.
• Svarbiausi žurnalai turėtų būti tik pridedami, prieiga turėtų būti apribota, o prieiga prie žurnalo taip pat turėtų būti registruojama.
• Koreliacijos ID (sekimo ID) sujungia visus užklausos veiksmus ir pagreitina incidento tyrimą.

Taikymo užduotis

Pasirinkite užklausą iš savo AI srauto ir parašykite idealų audito seką naudodami aukščiau pateiktą JSON schemą. Tada atlikite du testus: (1) Ar galite papasakoti istoriją nuo pradžios iki pabaigos tik šiuo įrašu? (2) Ar įraše yra neapdorotos AII? Jei trūksta lauko, pridėkite jį, jei yra AII, užmaskuokite. Galiausiai nustatykite saugojimo laikotarpį ir prieigos lygį.

kontrolinis sąrašas

• [ ] Audito seka apima laukus kas/kada/kas/modelis/sprendimas/rezultatas.
• [ ] Raginimas / atsakymas užmaskuotas prieš žurnalus (nėra AII).
• [ ] Kiekvienai užklausai priskiriamas koreliacijos ID (sekimo ID).
• [ ] Kritiniai žurnalai yra tik pridedami ir kontroliuojama prieiga.
• [ ] Saugojimo laikotarpis apibrėžiamas pagal teisinį + konfidencialumo balansą ir ištrinamas laikotarpio pabaigoje.
• [ ] Naudodamas žurnalus galiu atkurti įvykį greičiau nei per 30 minučių.