Добици:
- Способност дефинисања метрика које прате сигнале о употреби, безбедности, квалитету и перформансама
- Способност откривања одступања у квалитету излаза са основном линијом и узорковањем
- Могућност постављања аларма и повратне спреге за аномалије и таласе бекства из затвора
Стављање АИ система у производњу је почетак, а не крај. Чак и ако модел остане исти, свет се мења: понашање корисника, улазни подаци, технике напада и пословни контекст се стално мењају. Јучерашњи тачан одговор данас може бити погрешан. Дакле, последњи стуб безбедности је континуирано праћење и уочљивост — могућност да се споља види шта се дешава унутар система. У овој јединици ћемо научити које метрике да пратимо, како да ухватимо одступање квалитета излаза и како да упозоримо на аномалије.
Зашто континуирано праћење?
У класичном софтверу, „да ли ради“ је бинарно питање: или одговара или не. У АИ, док се чини да систем „ради“, може се тихо погоршати: одговори полако постају нетачни, трошкови расту, покушаји бекства из затвора расту. Једини начин да их ухватите је да стално мерите праве сигнале.
Пажња: Најопаснији квар је тихи, а не бучни. Систем не баца грешке, његов квалитет се само смањује. Ако не подесите праћење, прва особа која ће приметити биће ваш клијент или ревизор, а не ви.
Четири сигналне породице за гледање
- Употреба и цена: Обим захтева, потрошња токена, цена по кориснику. Изненадни скок; То може бити знак злоупотребе, петље интеграције или прекидач који пропушта.
- Сигурносни сигнали: покушаји бекства из затвора/убризгавања, одбијени позиви возила, грешке при ауторизацији. Повећање може указивати на активну кампању напада.
- Квалитет и померање: Смањење квалитета излаза током времена (дрифт). На пример, стопа пролазности верификације, стопа корекције у људском одобрењу, задовољство корисника.
- Перформансе: Латенција, стопа грешака, временско ограничење. То директно утиче на корисничко искуство и цену.
Шта је дрифт и како га ухватити?
Дрифт је када се квалитет улаза или излаза модела помера неприметно током времена. Постоје два типа: померање података (дистрибуција долазних захтева се мења — нова тема, нови језик) и померање квалитета (излаз за исти посао постепено се погоршава). Основна линија је потребна да би се ухватили: евидентирање нормалног опсега метрике када је систем здрав; Нека одступање постане аларм.
Корак по корак: Подешавање надгледања
- Измерите основну линију. Забележите нормални опсег сваког сигнала када је систем здрав.
- Дефинишите праг и аларм. Која девијација ће кога и како упозорити?
- Узимање узорака + људска инспекција. Нека човек редовно прегледа узорак резултата (одступање квалитета је често само видљиво).
- Инсталирајте контролну таблу. Пратите четири породице сигнала на једном екрану.
- Петља за повратне информације. Повежите налазе од праћења до брзог/контролног побољшања.
Четири шаблона за копирање
Промпт за процену квалитета узорковања (праћење одступања са ЛЛМ-као судија):
Испод је 20 насумичних исписа из ове недеље. Оцените свако као „добро/прихватљиво/лоше“ и напишите кратко образложење. На крају ћу упоредити лошу стопу са прошлонедељном стопом; Ако постоји образац (понављање исте врсте грешке) који се истиче ове недеље, означите га.<оутпутс>{{ екамплес }}</оутпутс>
Резиме аномалије:
Испитајте следеће дневне метрике: број захтева, токена, цену, одбијени позив алата, покушаје бекства из затвора, просечно кашњење. Означите било који показатељ који одступа више од 30% од основне линије као „АНОМАЛИТ“ и процените могући узрок (напад, грешка, злоупотреба).<метрицс>{{ даили_дата }}</метрицс>
Правило дефиниције прага аларма:
Дефинишите аларме за сваки сигнал:- Цена: ако премашује 2к дневни просек -> упозорење високог приоритета- Покушаји бекства из затвора: ако премашује 10 на сат -> обавести безбедносни тим- Стопа пролазности верификације: ако падне испод 90% -> преглед квалитета- Латенција: ако п95 премаши циљ за 2к -> преглед перформанси
Упута за истраживање дрифта:
Стопа пролазности за верификацију је опала са 94% на 78% у последње 2 недеље. Помозите ми да одговорим на ова питања: (1) Да ли се у долазним захтевима појавила нова тема/језик/формат? (2) Да ли су грешке концентрисане у одређеној категорији? (3) Да ли се време поклапа са променом упита/модела/алата? Именујте податке које треба проверити за сваки.
Слаба порука / јака промпт
лош приступ
Снажан приступ
„Ако дође до грешке, видећемо“
Основна линија + праг + проактивни аларм
Само проверавам да ли систем стоји.
Надгледање четири породице сигнала (употреба, безбедност, квалитет, перформансе)
Уопште се не узоркује квалитет излаза
Редовно узимање узорака од људи + ЛЛМ-као судија
Не прикупљање и гледање метрике
Контролна табла + повратна петља
Три мини кућишта
Случај 1 — Аларм трошкова је ухватио кључ који цури. Дневни трошак токена компаније се утростручио преко ноћи. Аларм за праг је алармирао тим за обезбеђење; истрага је показала да је тестни кључ процурио и користио га бот. Кључ је повучен за 25 минута; Да није било аларма, рачун би био примећен крајем месеца.
Случај 2 — Тихи квалитет. Стопа пролазности за верификацију помоћника подршке тихо је пала са 95% на 80% за три недеље. Недељно узорковање је ово ухватило; Разлог је био тај што су купци почели да се распитују о новој линији производа и да је база знања модела о њој била непотпуна. Стопа се опоравила када је база знања ажурирана.
Случај 3 — Талас бекства из затвора био је рано. Покушаји убризгавања помоћника повећали су се са 2 на 40 на сат у једном дану. Сигурносни аларм активиран; Видело се да се на форуму дели „рецепт” за разбијање система. Тим је ажурирао брзу одбрану и сумњиве налоге са ограниченом стопом; Талас је утихнуо пре него што се претворио у право цурење.
Савет: Немојте се задовољити само машинским метрикама. Померање квалитета се често хвата тако што само човек прочита излазне узорке. Мала рутина прегледа 15-20 насумичних исписа недељно ће рано ухватити најскупље тихе грешке.
Уобичајене грешке
- Не стављати га у производњу и постављати надзор („ради, у реду“).
- Није могуће идентификовати аномалију без мерења основне линије.
- Недостаје промена квалитета гледајући само „да ли стоји”.
- Уопште не узорковање квалитета излаза кроз људске очи.
- Не подизање аларма и откривање проблема од купца/супервизора.
- Неповезивање налаза праћења са побољшањем (без повратне спреге).
Укратко
- АИ системи могу тихо да пропадају; Најопаснији квар је онај који не баца грешке, већ само смањује квалитет.
- Пратите четири породице сигнала: употреба/цена, безбедност, квалитет/однос и перформансе.
- Померање (померање квалитета улаза или излаза током времена) се бележи само у поређењу са основном линијом.
- Редовно људско узорковање, поред машинских метрика, бележи одступање квалитета.
- Повежите праћење са алармом и петљом повратних информација; Мерење и не гледање није праћење.
Задатак апликације
Изаберите најмање једну метрику из сваке од четири породице сигнала за свој АИ систем и запишите њихове тренутне (или процењене) основне линије. Дефинишите праг аларма за сваку метрику. Затим узмите 15 резултата вашег последњег семестра и оцените их помоћу упитника за узорковање изнад; Обратите пажњу на „лошу“ стопу. Нека ово буде ваша прва основна линија са којом ћете упоредити дрифт у будућности.
контролна листа
- [ ] Дефинисао сам метрику из четири породице сигнала (употреба, безбедност, квалитет, перформансе).
- [ ] Поставио сам основну линију и праг аларма за сваку метрику.
- [ ] Редовно узорујем квалитет излаза кроз људске очи.
- [ ] Ја пратим сигнале на једном екрану са дисплејом.
- [ ] Аларм иде безбедносном тиму за аномалије и таласе бекства из затвора.
- [ ] Налази праћења приписујем брзом/контролном побољшању.