Jedinica 9 / 11

Kontinuirano praćenje, opservabilnost i drift

Dobici:

  • Sposobnost definiranja metrike koja prati signale upotrebe, sigurnosti, kvalitete i performansi
  • Sposobnost otkrivanja pomaka u kvaliteti izlaza sa osnovnom linijom i uzorkovanjem
  • Mogućnost postavljanja alarma i povratne petlje za anomalije i talase bijega iz zatvora

Stavljanje AI sistema u proizvodnju je početak, a ne kraj. Čak i ako model ostane isti, svijet se mijenja: ponašanje korisnika, dolazni podaci, tehnike napada i poslovni kontekst se stalno mijenjaju. Jučerašnji tačan odgovor danas može biti pogrešan. Dakle, konačni stub sigurnosti je kontinuirano praćenje i uočljivost — mogućnost da se spolja vidi šta se dešava unutar sistema. U ovoj jedinici naučit ćemo koje metrike pratiti, kako uhvatiti pomak u kvaliteti izlaza i kako upozoriti na anomalije.

Zašto kontinuirano praćenje?

U klasičnom softveru, "da li radi" je binarno pitanje: ili odgovara ili ne. U AI, dok se čini da sistem „radi“, može se tiho pogoršati: odgovori polako postaju netačni, troškovi rastu, pokušaji bekstva iz zatvora rastu. Jedini način da ih uhvatite je stalno mjerenje pravih signala.

Pažnja: Najopasniji kvar je tihi, a ne bučni. Sistem ne daje greške, samo mu se smanjuje kvalitet. Ako ne postavite praćenje, prva osoba koja će primijetiti bit će vaš klijent ili revizor, a ne vi.

Četiri signalne porodice za gledanje

  • Upotreba i cijena: Obim zahtjeva, potrošnja tokena, cijena po korisniku. Iznenadni skok; To može biti znak zloupotrebe, petlje integracije ili prekidač koji propušta.
  • Sigurnosni signali: pokušaji bekstva iz zatvora/ubrizgavanja, odbijeni pozivi vozila, greške pri autorizaciji. Povećanje može ukazivati ​​na aktivnu napadnu kampanju.
  • Kvalitet i odstupanje: Smanjenje kvaliteta izlaza tokom vremena (drift). Na primjer, stopa prolaznosti verifikacije, stopa korekcije u ljudskom odobrenju, zadovoljstvo korisnika.
  • Performanse: Latencija, stopa grešaka, vremensko ograničenje. To direktno utiče na korisničko iskustvo i troškove.

Šta je drift i kako ga uhvatiti?

Drift je kada se kvalitet ulaza ili izlaza modela mijenja neprimjetno tokom vremena. Postoje dvije vrste: odstupanje podataka (distribucija dolaznih zahtjeva se mijenja — nova tema, novi jezik) i odstupanje kvaliteta (izlaz za isti posao postepeno se pogoršava). Osnovna linija je potrebna za hvatanje: evidentiranja normalnog raspona metrike kada je sistem zdrav; Neka odstupanje postane alarm.

Korak po korak: Postavljanje nadzora

  1. Izmjerite osnovnu liniju. Zabilježite normalni raspon svakog signala kada je sistem zdrav.
  2. Definirajte prag i alarm. Koja devijacija će koga i kako upozoriti?
  3. Uzorkovanje + ljudski pregled. Neka ljudska bića redovno pregledaju uzorak rezultata (odstupanje kvaliteta je često samo vidljivo).
  4. Instalirajte kontrolnu tablu. Nadgledajte četiri porodice signala na jednom ekranu.
  5. Petlja povratnih informacija. Povežite nalaze praćenja sa brzim/kontrolnim poboljšanjem.

Četiri predloška koji se mogu kopirati

Prompt za evaluaciju uzorkovanja kvaliteta (praćenje odstupanja sa LLM-kao sudije):

Ispod je 20 nasumičnih ispisa iz ove sedmice. Ocijenite svaki kao "dobar/prihvatljiv/loš" i napišite kratko obrazloženje. Na kraju ću uporediti lošu stopu sa prošlosedmičnom stopom; Ako postoji obrazac (ponavljanje iste vrste greške) koji se ističe ove sedmice, označite ga.<outputs>{{ examples }}</outputs>

Prompt za sažetak anomalija:

Ispitajte sljedeće dnevne metrike: broj zahtjeva, tokena, cijenu, odbijeni poziv alata, pokušaje bjekstva iz zatvora, prosječno kašnjenje. Označite bilo koji pokazatelj koji odstupa više od 30% od osnovne linije kao "ANOMALIT" i procijenite mogući uzrok (napad, greška, zloupotreba).<metrics>{{ daily_data }}</metrics>

Pravilo definicije praga alarma:

Definirajte alarme za svaki signal:- Cijena: ako premašuje 2x dnevni prosjek -> upozorenje visokog prioriteta- Pokušaji bekstva iz zatvora: ako premašuje 10 po satu -> obavijesti sigurnosni tim- Stopa prolaznosti verifikacije: ako padne ispod 90% -> pregled kvaliteta- Latencija: ako p95 premaši cilj za 2x -> pregled performansi

Uputa za istraživanje drifta:

Stopa prolaznosti verifikacije je pala sa 94% na 78% u posljednje 2 sedmice. Pomozite mi da odgovorim na ova pitanja: (1) Da li se u pristiglim zahtjevima pojavila nova tema/jezik/format? (2) Da li su greške koncentrisane u određenoj kategoriji? (3) Da li se vrijeme poklapa sa promjenom upita/modela/alata? Imenujte podatke koji će se provjeriti za svaki.

Slaba prompt / jaka prompt

loš pristup

Snažan pristup

"Ako dođe do greške, videćemo"

Osnovna linija + prag + proaktivni alarm

Samo provjeravam da li sistem stoji.

Praćenje četiri porodice signala (upotreba, sigurnost, kvalitet, performanse)

Uopšte se ne uzorkuje kvalitet izlaza

Redovno ljudsko uzorkovanje + LLM-kao sudija

Ne prikupljanje i gledanje metrike

Kontrolna tabla + povratna petlja

Tri mini futrole

Slučaj 1 — Alarm troškova je uhvatio ključ koji curi. Dnevni trošak tokena kompanije se utrostručio preko noći. Alarm za prag je upozorio tim za obezbeđenje; istraga je pokazala da je testni ključ procurio i koristio ga bot. Ključ je povučen za 25 minuta; Da nije bilo alarma, račun bi bio primijećen krajem mjeseca.

Slučaj 2 — Tihi kvalitet. Stopa prolaznosti za verifikaciju pomoćnika podrške tiho je pala sa 95% na 80% za tri sedmice. Sedmično uzorkovanje je uhvatilo ovo; Razlog je taj što su kupci počeli da se raspituju o novoj liniji proizvoda, a baza znanja modela o njoj je bila nepotpuna. Stopa se oporavila kada je baza znanja ažurirana.

Slučaj 3 — Talas bekstva iz zatvora bio je rano. Pokušaji ubrizgavanja pomoćnika povećali su se sa 2 na 40 na sat u jednom danu. Sigurnosni alarm aktiviran; Vidjelo se da je na forumu podijeljen "recept" za razbijanje sistema. Tim je ažurirao brzu odbranu i sumnjive račune sa ograničenom stopom; Talas je utihnuo prije nego što se pretvorio u pravo curenje.

Savjet: Nemojte se zadovoljiti samo metrikom mašina. Odstupanje u kvaliteti se često hvata tako što samo čovjek pročita rezultate uzorka. Mala rutina pregleda 15-20 nasumičnih ispisa sedmično će rano otkriti najskuplje tihe greške.

Uobičajene greške

  • Ne stavljati ga u proizvodnju i postavljati nadzor ("radi, u redu").
  • Nije moguće identificirati anomaliju bez mjerenja osnovne linije.
  • Nedostaje promjena kvalitete gledajući samo "da li stoji".
  • Uopšte ne uzorkovanje kvaliteta izlaza kroz ljudske oči.
  • Ne podizanje alarma i otkrivanje problema od kupca/supervizora.
  • Nepovezivanje nalaza praćenja sa poboljšanjem (bez povratne petlje).

Ukratko

  • AI sistemi mogu tiho da propadaju; Najopasniji kvar je onaj koji ne donosi greške, već samo smanjuje kvalitetu.
  • Pratite četiri porodice signala: upotreba/cijena, sigurnost, kvalitet/odnos i performanse.
  • Odstupanje (odstupanje kvaliteta ulaza ili izlaza tokom vremena) se bilježi samo u poređenju sa osnovnom linijom.
  • Redovno ljudsko uzorkovanje uz mašinsku metriku bilježi odstupanje kvaliteta.
  • Povežite praćenje na alarm i petlju povratne informacije; Mjerenje i ne gledanje nije praćenje.

Zadatak aplikacije

Odaberite barem jednu metriku iz svake od četiri porodice signala za svoj vlastiti AI sistem i zapišite njihove trenutne (ili procijenjene) osnovne linije. Definirajte prag alarma za svaku metriku. Zatim uzmite 15 rezultata vašeg posljednjeg semestra i ocijenite ih pomoću upitnika za uzorkovanje iznad; Obratite pažnju na „lošu“ stopu. Neka vam ovo bude prva osnovna linija s kojom ćete u budućnosti upoređivati ​​drift.

kontrolna lista

  • [ ] Definisao sam metriku iz četiri porodice signala (upotreba, sigurnost, kvalitet, performanse).
  • [ ] Postavio sam osnovnu liniju i prag alarma za svaku metriku.
  • [ ] Redovno uzorujem kvalitet izlaza kroz ljudske oči.
  • [ ] Ja pratim signale na jednom ekranu sa displejom.
  • [ ] Alarm ide sigurnosnom timu za anomalije i talase bekstva iz zatvora.
  • [ ] Nalazi praćenja pripisujem brzom/kontrolnom poboljšanju.