Dobici:
- Sposobnost definiranja metrika koje prate signale upotrebe, sigurnosti, kvalitete i performansi
- Sposobnost otkrivanja odstupanja kvalitete izlaza s osnovnom linijom i uzorkovanjem
- Mogućnost postavljanja alarma i povratne sprege za anomalije i valove bjekstva iz zatvora
Stavljanje AI sustava u proizvodnju je početak, a ne kraj. Čak i ako model ostane isti, svijet se mijenja: ponašanje korisnika, dolazni podaci, tehnike napada i poslovni kontekst neprestano se mijenjaju. Jučerašnji točan odgovor danas može biti pogrešan. Dakle, posljednji stup sigurnosti je kontinuirano praćenje i promatranje — mogućnost da se izvana vidi što se događa unutar sustava. U ovoj jedinici naučit ćemo koje metrike nadzirati, kako uhvatiti pomak izlazne kvalitete i kako upozoriti na anomalije.
Zašto kontinuirani nadzor?
U klasičnom softveru, "radi li" je binarno pitanje: ili daje odgovor ili ne. U AI, dok se čini da sustav "radi", može se tiho pogoršati: odgovori polako postaju netočni, troškovi eskaliraju, pokušaji bjekstva iz zatvora se povećavaju. Jedini način da ih uhvatite je stalno mjerenje pravih signala.
Pažnja: Najopasniji kvar je tihi, a ne bučni. Sustav ne stvara greške, njegova kvaliteta samo opada. Ako ne postavite nadzor, prva osoba koja će primijetiti bit će vaš klijent ili revizor, a ne vi.
Četiri signalne obitelji koje valja promatrati
- Upotreba i trošak: količina zahtjeva, potrošnja tokena, cijena po korisniku. Nagli skok; To može biti znak zlouporabe, neispravne integracije ili nepropusnog prekidača.
- Sigurnosni signali: pokušaji bjekstva iz zatvora/injektiranja, odbijeni pozivi vozila, pogreške autorizacije. Povećanje može značiti aktivnu kampanju napada.
- Kvaliteta i pomak: Smanjenje kvalitete izlaza tijekom vremena (pomak). Na primjer, stopa prolaznosti verifikacije, stopa ispravka u ljudskom odobrenju, zadovoljstvo korisnika.
- Performanse: kašnjenje, stopa pogreške, vremensko ograničenje. To izravno utječe na korisničko iskustvo i cijenu.
Što je drift i kako ga uhvatiti?
Odstupanje je kada se kvaliteta ulaza ili izlaza modela mijenja neprimjetno tijekom vremena. Postoje dvije vrste: pomicanje podataka (distribucija dolaznih zahtjeva se mijenja — nova tema, novi jezik) i pomicanje kvalitete (izlaz za isti posao postupno se pogoršava). Osnovna linija je potrebna za hvatanje: bilježenje normalnog raspona metrike kada je sustav zdrav; Neka odstupanje postane alarm.
Korak po korak: Postavljanje nadzora
- Izmjerite osnovnu liniju. Zabilježite normalni raspon svakog signala kada je sustav ispravan.
- Definirajte prag i alarm. Koja će devijacija koga upozoriti i kako?
- Uzorkovanje + ljudski pregled. Neka ljudi redovito pregledaju uzorak rezultata (odstupanje kvalitete često je samo vidljivo).
- Instalirajte nadzornu ploču. Pratite četiri obitelji signala na jednom zaslonu.
- Povratna sprega. Povežite nalaze iz praćenja s brzim/kontrolnim poboljšanjem.
Četiri predloška za kopiranje
Upit za procjenu uzorkovanja kvalitete (praćenje kretanja s LLM-as-judgeom):
Ispod je 20 nasumičnih ispisa od ovog tjedna. Svaki ocijenite kao "dobar/prihvatljiv/loš" i napišite kratko obrazloženje. Na kraju ću usporediti lošu stopu s prošlotjednom stopom; Ako postoji obrazac (ponavljanje iste vrste pogreške) koji se ističe ovaj tjedan, označite ga.<outputs>{{ examples }}</outputs>
Upit za sažetak anomalije:
Ispitajte sljedeće dnevne metrike: broj zahtjeva, tokena, trošak, odbijeni poziv alata, pokušaji bjekstva iz zatvora, prosječna latencija. Označite svaku metriku koja odstupa više od 30% od osnovne vrijednosti kao "ANOMALIT" i procijenite mogući uzrok (napad, greška, zlouporaba).<metrics>{{ daily_data }}</metrics>
Pravilo definicije praga alarma:
Definirajte alarme za svaki signal:- Trošak: ako premašuje 2x dnevni prosjek -> upozorenje visokog prioriteta- Pokušaji bjekstva iz zatvora: ako premašuje 10 po satu -> obavijestite sigurnosni tim- Prolaznost verifikacije: ako padne ispod 90% -> pregled kvalitete- Latencija: ako p95 premašuje cilj 2x -> pregled performansi
Uputa za istraživanje drifta:
Stopa prolaznosti verifikacije pala je s 94% na 78% u zadnja 2 tjedna. Pomozite mi odgovoriti na ova pitanja: (1) Je li se u dolaznim zahtjevima pojavila nova tema/jezik/format? (2) Jesu li pogreške koncentrirane u određenoj kategoriji? (3) Poklapa li se vrijeme s promptom/promjenom modela/alata? Imenujte podatke koje treba provjeriti za svaki.
Slab upit / Jak upit
loš pristup
Snažan pristup
"Ako bude greške, vidjet ćemo"
Osnovna linija + prag + proaktivni alarm
Samo provjeravam da li sustav stoji.
Praćenje četiriju obitelji signala (upotreba, sigurnost, kvaliteta, performanse)
Uopće se ne uzorkuje izlazna kvaliteta
Redovito uzimanje uzoraka od ljudi + LLM-as-judge
Ne prikupljanje i gledanje metrike
Nadzorna ploča + povratna sprega
Tri mini kućišta
Slučaj 1 — Alarm za troškove uhvatio je ključ koji curi. Dnevni trošak tokena tvrtke utrostručio se preko noći. Alarm praga upozorio je sigurnosni tim; istraga je pokazala da je testni ključ procurio i koristio ga je bot. Ključ je opozvan za 25 minuta; Da nije bilo alarma, račun bi se primijetio na kraju mjeseca.
Slučaj 2 — Tiho pomicanje kvalitete. Prolaznost verifikacije pomoćnika podrške tiho je pala s 95% na 80% u tri tjedna. Tjedno uzorkovanje zabilježilo je ovo; Razlog je bio taj što su se kupci počeli raspitivati o novoj liniji proizvoda, a baza znanja o modelu o njoj bila je nepotpuna. Stopa se oporavila kada je baza znanja ažurirana.
Slučaj 3 — Val bjekstva iz zatvora bio je rani. Broj pokušaja ubrizgavanja pomoćniku povećao se s 2 na 40 po satu u jednom danu. Aktiviran sigurnosni alarm; Vidjelo se da je na forumu podijeljen "recept" za krekiranje sustava. Tim je ažurirao obrambenu obavijest i sumnjive račune s ograničenjem brzine; Val je utihnuo prije nego što se pretvorio u pravo curenje.
Savjet: nemojte se zadovoljiti samo strojnim mjerenjima. Odstupanje u kvaliteti često se može uhvatiti tako da čovjek samo pročita izlazne uzorke. Mala rutina pregledavanja 15-20 nasumičnih ispisa tjedno će rano uhvatiti najskuplje tihe kvarove.
Uobičajene greške
- Ne puštanje u proizvodnju i postavljanje nadzora ("radi, okej").
- Nemogućnost identificiranja anomalije bez mjerenja osnovne vrijednosti.
- Nedostaje kvalitetno kretanje gledajući samo "drži li".
- Uopće ne uzorkuje izlaznu kvalitetu ljudskim očima.
- Ne dizanje alarma i otkrivanje problema od kupca/nadređenog.
- Nepovezivanje nalaza praćenja s poboljšanjem (nema povratne sprege).
Ukratko
- AI sustavi mogu tiho propadati; Najopasniji kvar je onaj koji ne stvara greške, već samo smanjuje kvalitetu.
- Pratite četiri skupine signala: korištenje/cijena, sigurnost, kvaliteta/odmak i izvedba.
- Odmak (odstupanje ulazne ili izlazne kvalitete tijekom vremena) bilježi se samo u usporedbi s osnovnom linijom.
- Redovito ljudsko uzorkovanje uz metriku stroja bilježi pomak kvalitete.
- Spojite nadzor na alarm i povratnu petlju; Mjerenje i negledanje nije praćenje.
Zadatak aplikacije
Odaberite barem jednu metriku iz svake od četiri obitelji signala za svoj vlastiti AI sustav i zapišite njihove trenutne (ili procijenjene) osnovne vrijednosti. Definirajte prag alarma za svaku metriku. Zatim uzmite 15 izlaznih rezultata iz prošlog semestra i ocjenite ih s gornjim upitom za uzorkovanje; Obratite pažnju na "lošu" stopu. Neka ovo bude vaša prva baza s kojom ćete uspoređivati drift u budućnosti.
popis za provjeru
- [ ] Definirao sam metriku iz četiri obitelji signala (upotreba, sigurnost, kvaliteta, izvedba).
- [ ] Postavio sam osnovnu vrijednost i prag alarma za svaku metriku.
- [ ] Redovito ispitujem kvalitetu ispisa kroz ljudske oči.
- [ ] Pratim signale na jednom ekranu sa zaslonom.
- [ ] Alarm ide sigurnosnom timu za anomalije i valove bjekstva iz zatvora.
- [ ] Nalazi praćenja pripisujem poboljšanju brze/kontrole.