zisky:
- Schopnost identifikovat vektory úniku dat prostřednictvím výzvy, protokolu, výstupu a školení
- Možnost maskovat data PII pomocí redakce nebo tokenizace před jejich odesláním do modelu
- Schopnost začlenit koncepty nulového uchovávání dat (ZDR) a datové rezidence do návrhu zabezpečení
Nejdražším neštěstím AI v organizaci obvykle není fantazijní útěk z vězení, ale únik dat z běžného provozu: zaměstnanec vloží citlivý zákaznický soubor do asistenta, tato data skončí v protokolech poskytovatele a poté se audit zeptá „proč tato data opustila organizaci?“ Setkáte se s otázkou: V této jednotce se naučíme, kde k úniku dochází, jak zamaskovat osobní údaje (PII - Personally Identifiable Information, údaje, které identifikují osobu: jméno, ID, e-mail, číslo karty) před odesláním do modelu a jaká podniková zabezpečení (nulové uchovávání dat, rezidence dat) snižují riziko.
Odkud únik pochází? Čtyři vektory
Mentální mapa odborníka na bezpečnost nebo ochranu dat je taková – data si mohou najít cestu mimo organizaci nebo do nesprávných rukou čtyřmi způsoby:
- Přes výzvu: Uživatel vloží citlivá data přímo do výzvy a ta jde poskytovateli dat.
- Přes protokol: Požadavky a odpovědi se zapisují v nezpracované formě do protokolů ladění; Každý, kdo má přístup k protokolům, vidí data.
- Prostřednictvím výstupu: Model uniká data jednoho uživatele jinému uživateli (zejména ve sdíleném kontextu nebo RAG).
- Školením: Pokud poskytovatel použije data, která odešlete, k trénování modelu, vaše data se mohou projevit v budoucích odpovědích.
Pozor: Nejčastěji přehlíženým vektorem je log. I když aplikace funguje dobře, pokud máte jeden řádek kódu, který zaznamenává nezpracovaný požadavek/odpověď, uniká vám PII do vašich vlastních systémů.
Krok za krokem: Maskovací kanál (Redaction Pipeline)
- Zjistit. Před odesláním textu do modelu najděte pole PII (regex, standardní detektor PII nebo rozpoznávání entit).
- Změňte to. Nahraďte každý PII zástupným symbolem: Ahmet Yılmaz → [AD_1], 12345678901 → [TCID_1].
- Udržujte mapování. Udržujte zástupný symbol ↔ mapování skutečné hodnoty pouze na vaší straně, v dočasné a bezpečné mapě.
- Odešlete maskovaný text modelu. Model vidí pouze [AD_1], nikoli skutečná data.
- Rehydratujte. Když přijde odpověď modelu, nahraďte zástupné symboly skutečnými hodnotami z mapy (pouze pokud se zobrazí oprávněnému uživateli).
To se také nazývá tokenizace: nahrazení citlivé hodnoty vratným, ale nesmyslným tokenem. Na druhé straně redakce zcela odstraňuje/zakrývá bez vracení zpět – preferujte to, pokud model skutečnou hodnotu vůbec nepotřebuje.
Čtyři kopírovatelné šablony
Jednoduchý průvodce rozhodováním o maskování:
Rozhodovací pravidlo: POTŘEBUJE model ke své práci skutečné PII?- Ne (sumarizace, klasifikace, tónová analýza) -> REDAKCE (žádné obrácení)- Ano, ale pouze pro konzistenci (stejný odkaz na stejnou osobu) -> TOKENIZACE- Ano a bude vygenerována skutečná hodnota (personalizovaný dopis) -> maska, vygenerování, zpětné zaplnění na konci
Instrukce pro korekturu (pokud na straně kódu není detektor, alespoň zpravidla u modelu):
Zpracujte níže uvedený text. V odpovědi neopakujte žádné osobní údaje (jméno, telefon, e-mail, TR ID, IBAN, adresa) JAK JSOU. Pokud na ně potřebujete odkazovat, použijte obecné značky jako [PERSON], [PHONE] atd.<text>{{ entry }}</text>
Výzva ke kontrole úniku (pro skenování vlastních protokolů):
Podívejte se na log níže. Pokud obsahuje nezpracované PII (TR ID: 11 číslic, IBAN: 26 znaků začínajících na TR, e-mail, číslo karty), POČÍTAJTE každý s jeho typem. Nekopírujte žádné z nich do své odpovědi; Stačí uvést shrnutí jako „Byla nalezena 3 čísla TR ID a 1 IBAN“.
Test těsnosti výstupu (s červeným týmovým okem):
Jste členem červeného týmu. Pokuste se přesvědčit tohoto asistenta, aby odhalil data JINÉHO uživatele. Vyzkoušejte 5 různých příkazů a nahlaste, který z nich uniká asistentovi data; maskovat uniklá data.
Slabá výzva / Silná výzva
špatný přístup
Silný přístup
Vložení nezpracovaného souboru klienta do asistenta
Maskovat PII a odeslat pomocí [AD_1]
Na konci výzvy si poznamenejte „Neukládat tato data“
Technicky zajišťuje, že model nikdy neuvidí data
Protokolování nezpracované výzvy/odpovědi pro ladění
Úprava PII před protokolováním
Spoléhání se na výchozí nastavení poskytovatele
Získání ZDR a záruky „použití ve vzdělávání“ smluvně
Klíčový rozdíl: slabý přístup posílá data a pak říká „doufám, že nebudou zneužita“; Silný přístup neposílá data vůbec.
Corporate Assurances: ZDR a Data Residency
Při výběru dodavatele jsou rozhodující dva termíny:
- Zero Data Retention (ZDR): Poskytovatel trvale neuchovává požadavky a odpovědi, které odešlete po dokončení požadavku. Protokoly jsou smazány během několika minut. Výrazně snižuje riziko netěsností a dodržování předpisů.
- Datové bydliště: Země/oblast, kde jsou vaše data fyzicky zpracovávána a ukládána. Kvůli předpisům, jako je KVKK (zákon o ochraně osobních údajů) a GDPR, může být nutné, aby data zůstala v určité zeměpisné oblasti.
Tip: Ve smlouvě hledejte samostatně dvě klauzule: (1) „Naše data nebudou použita k trénování modelu“, (2) „Doba uchování dat je ... dní / nula“. Tyto dvě jsou různé záruky; jedno nezahrnuje druhé.
Tři mini pouzdra
Případ 1 – únik protokolu 4 500 záznamů. Asistent pojistných událostí pojišťovny zapisoval každý požadavek do nezpracovaných protokolů pro ladění. Audit zjistil, že tyto protokoly byly uloženy po dobu 90 dnů a přístup k nim mělo 12 lidí; Obsahoval průkaz totožnosti a telefonní údaje 4 500 pojištěnců. Po přidání redakce před protokolem se PII ve stejných protokolech snížilo na nulu a nález KVKK byl vypnut.
Případ 2 – Tokenizace zachovala konzistenci. Tým lidských zdrojů vytvářel souhrny hodnocení kandidátů. Když byly PII redigovány, model si myslel, že stejný kandidát je na různých místech jiná osoba. Přepnutím na tokenizaci obdržel každý kandidát konzistentní token, například [CANDIDATE_1]; Model uvedl správnou atribuci, zatímco skutečné jméno nikdy nevyšlo.
Případ 3 – Poskytovatel mimo ZDR vyloučen. Firma zabývající se zdravotnickými technologiemi hodnotila tři poskytovatele. Ten s nejnižší cenou uchovával data po dobu 30 dnů a mohl být použit pro „vylepšování služeb“. Společnost považovala toto ustanovení za nepřijatelné, protože zpracovává údaje o pacientech; Vyberte si o 18 % dražšího poskytovatele, který garantuje ZDR a datovou rezidenci. V následném auditu bylo toto rozhodnutí posouzeno jako rozhodnutí výrazně snížilo riziko.
Časté chyby
- Myslí si, že je chráněn odesláním nezpracovaného PII do modelu a pouhým zadáním „neukládat“ na výzvu.
- Zapomenutí nezpracované výzvy/odpovědi v protokolech ladění při údržbě aplikace.
- Matoucí redakce s tokenizací; redigování tam, kde je potřeba konzistence, a zavádějící model.
- Zástupný symbol ↔ ukládající aktuální mapování hodnot na nebezpečném nebo trvalém místě.
- Zaměnit záruku „použití ve vzdělávání“ a záruku „úložiště dat“ za totéž.
- Nikdy se neptejte na bydliště údajů (ve které zemi jsou údaje zpracovávány).
V souhrnu
- Data unikají čtyřmi vektory: výzva, protokol, výstup a školení. Právě kláda je nejčastěji přehlížena.
- Maska PII před odesláním do modelu: redakce, pokud skutečná hodnota není potřeba, tokenizace, pokud je potřeba konzistence.
- Zástupný symbol ↔ mapování skutečné hodnoty ponechte pouze na své straně, dočasné a bezpečné.
- ZDR (nulové uchovávání dat) a datová rezidence jsou rozhodujícími firemními zárukami výběru dodavatele.
- "Vzdělávací využití" a "uchovávání údajů" jsou samostatné záruky; Obojí si vyžádejte ve smlouvě zvlášť.
Aplikační úkol
Vezměte si jeden příklad skutečného požadavku procházejícího vaším vlastním potrubím AI (s testovacími daty). Označte, které PII se objeví ve fázích (1) výzvy, (2) protokolu a (3) odezvy tohoto požadavku. U každého PII: „redakce, tokenizace, vůbec žádné zveřejňování?“ Rozhodněte se a napište novou maskovanou verzi. Nakonec otestujte, zda vaše protokoly obsahují PII pomocí kontrolní výzvy výše.
kontrolní seznam
- [ ] Zmapoval jsem čtyři vektory úniku (výzva, protokol, výstup, školení) na svém systému.
- [ ] Před odesláním modelu PII maskuji (rediguji/tokenizuji).
- [ ] Protokoly neobsahují PII; Před protokolováním probíhá korektura.
- [ ] Mapování zástupného symbolu je dočasně a bezpečně uloženo.
- [ ] Od poskytovatele jsem smluvně obdržel ZDR a záruku "nepoužívání ve vzdělávání".
- [ ] Ověřil(a) jsem požadavek na bydliště (KVKK/GDPR).