Добици:
- Способност успостављања слојева за валидацију излаза заснованих на шеми и правилима
- Способност да се смислено захтевају људи у петљи у одлукама са великим утицајем
- Могућност дизајнирања верификације и рутирања заснованог на прагу поверења са другим моделом
Језички модел производи флуидан, убедљив и често тачан—али „уверљив“ није исто што и „тачан“. Модел може тихо да уклопи износ, датум или ЈСОН поље; Ово се зове халуцинација (модел поуздано производи информације које не постоје у стварности). У систему предузећа, ако тај излаз тече у следећи корак — плаћање, имејл, упис у базу података — грешка се прелива у стварни свет. У овој јединици ћемо научити да филтрирамо излаз помоћу слојева верификације пре него што уђе у систем и да захтевамо човека у петљи у одлукама са великим утицајем.
Зашто је потребна валидација излаза?
Излаз модела може бити оштећен на два основна начина: формат (није у складу са очекиваном ЈСОН шемом, поље недостаје/вишак) и садржај (формат је тачан, али је вредност погрешна — непостојећи код производа, нелогичан датум). Постоји трећа димензија у смислу безбедности: злонамерни излаз (злонамерна команда произведена као резултат ињекције или цурења). Чврст систем зауставља све троје на вратима.
Опрез: „Модел генерално тачан“ није производни критеријум. У систему без верификације, чак и једна грешка у хиљаду значи 100 погрешних трансакција дневно у 100.000 захтева дневно.
Слојеви аутентификације: корак по корак
- Валидација шеме. Проверите са машином да ли је излаз у складу са очекиваном структуром: да ли су поља присутна, да ли су њихови типови тачни, да ли су обавезна поља попуњена?
- Валидација правила/пословне логике. Да ли се вредности поклапају са пословним правилима? (Количина > 0, датум није у будућности, шифра производа припада каталогу.)
- Референца/контрола извора. Ако модел произведе тврдњу, да ли се она може повезати са извором? (Да ли је РАГ цитат заправо у документу?)
- Валидација са другим моделом (ЛЛМ-као судија). Независни модел процењује резултат као „тачан/непотпун/ризичан”.
- Праг поверења и оријентација. Ако модел или валидатор пријави ниску поузданост, излаз неће аутоматски проћи; је усмерено на људе.
- Људска контрола. Висока потентност или ниско безбедан исход зависи од одобрења стручњака.
Четири шаблона за копирање
Шема + "измислите ако не знате" заједно:
Вратите одговор САМО у следећој ЈСОН шеми: Напишите „ниско“. НИКАДА не пишите процену као да је тачна.
Верификација са другим моделом (судија):
Ви сте независни валидатор. Испод је текст <извор> и <тврдња>. Проверите да ли се СВАКИ број и датум у захтеву појављују дословно у извору. За сваки, реците: "проверено | није у извору | противречи извору." Ако је чак и један од њих „одсутан/конфликтан“, означите резултат као „ПОТРЕБАН ЉУДСКИ ПРЕГЛЕД“.<извор>{{ тект }}</соурце><цлаим>{{ модел_оутпут }}</цлаим>
Правило усмеравања прага поверења:
Правило рутирања:- емин_мисин = "високи" И износ < 10.000 ТЛ -> аутоматска обрада- емин_мисин = "средњи" ИЛИ износ 10.000-100.000 ТЛ -> верификација другог модела- емин_мисин = "низак" ИЛИ износ > 100.000 ТЛ -> потребна људска апликација
Картица са сажетком људске ревизије (убрзава преглед):
Када предочите одлуку особи, предочите ову картицу: - Шта се предлаже? (једна реченица)- На ком извору се заснива? (референца на чланак/документ)- Које су 2 најслабије претпоставке?- Ако буду одобрене, могу ли се поништити? (да/не)
Слаба порука / јака промпт
лош приступ
Снажан приступ
„Одузми износ од фактуре“ (бесплатан текст)
Строга ЈСОН шема + нулл + поље поверења
Писање излаза директно у платни систем
Шема → правило → људско одобрење (ако је потребно)
Само кажем моделу "буди сигуран"
Потврда броја/датума са другим моделом
Обрада сваког излаза са једнаким поверењем
Рутирање засновано на утицају и поверењу
Снажан приступ се не нада да је модел исправан; То ствара врата која ће вас ухватити када погрешите.
Три мини кућишта
Случај 1 — Сама шема није била довољна. Рачуноводствена аутоматизација је издвајала износ из фактура као ЈСОН. Шема је била тачна, али модел је произвео „125.000“ уместо „1.250,00“ на фактури (децимални помак). Шема није успела да ово ухвати; провера правила („износ мора бити у складу са укупним ставцима фактуре за ±1%“) је ухваћен и нетачно евидентирање 112.500 ТЛ је спречено.
Случај 2 — Други модел је ухватио халуцинацију. „30 дана обавештења о раскиду“, рекао је помоћник за правну подршку у резимеу уговора; Међутим, у уговору је то било 90 дана. Када је независни судија означио модел као „конфликт са извором“, резултат је прослеђен човеку и исправљен. Да је аутоматски, купац би обавестио о отказивању на основу погрешног датума.
Случај 3 — Рутирање је смањило оптерећење за 70%. Систем потраживања од осигурања аутоматски је одобравао захтеве са малим износом и високим обезбеђењем и шаље стручњаку само оне изнад прага/ниско обезбеђене. Од 3.200 дневних захтева, само 950 је припало људима; стручњаци су своје време посветили заиста ризичним 30%, при чему је просечно време трансакције пало са 4 сата на 40 минута.
Савет: Не постављајте људску контролу тако да „људи могу све да виде“ — то ће уморити људе и одобравање ће постати гумени печат. Уместо тога, усмерите само резултате са високим утицајем и ниским поверењем до човека; Ово фокусира пажњу на оно што је заиста важно.
Остваривање смисла људске контроле
Човек у петљи не значи стављање поља за потврду на папир. Рецензент мора да има (1) контекст да разуме одлуку, (2) приступ извору и (3) овлашћење да каже „не“. У супротном, контрола остаје козметичка. Картица за преглед (четврти шаблон изнад) треба да пружи управо тај контекст.
Уобичајене грешке
- Само ради проверу шеме и прескаче грешке садржаја/вредности.
- Размишљајући да говорећи моделу „уверите се“ да радите праву верификацију.
- Аутоматски имплементирајте неповратне одлуке са великим утицајем.
- Стављање људске контроле на сваки излаз и претварање одобрења у бесмислени гумени печат.
- Рећи „одобри“ рецензенту без навођења извора и контекста.
- Обрада свих излаза са истим ризиком без успостављања прага поверења и рутирања.
Укратко
- Излаз је оштећен на три начина: облик, садржај и злонамерна намера; чврст систем зауставља сву тројицу на вратима.
- Слојеви: валидација шеме, правило/пословна логика, контрола извора, други модел (ЛЛМ-као судија) и рутирање прага поверења.
- Човек у петљи треба да буде обавезан за излазе са високим утицајем и ниском безбедношћу.
- Људски преглед мора бити смислен: рецензент мора имати контекст, приступ ресурсима и овлашћење да каже „не“.
- И безбедност и ефикасност се добијају усмеравањем само оних ризичних ка људима, а не сваког резултата.
Задатак апликације
Узмите пример из сопственог АИ излаза. Прво дефинишите ЈСОН шему и присилите излаз на њу. Затим напишите најмање два пословна правила (на пример, „износ одговара укупном броју ставки“). Коначно, поставите табелу рутирања: која комбинација поверења/утицаја иде аутоматски, која иде на други модел, који иде на човека? Генеришите неисправан узорак и посматрајте где га сваки слој хвата.
контролна листа
- [ ] Дефинишем строгу шему за излаз и проверавам је са машином.
- [ ] Додао сам најмање једну валидацију пословања/правила (логика вредности).
- [ ] Могу да повежем тврдње са извором и проверим их.
- [ ] Доступан је други модел или валидација од стране људи за резултате великог утицаја/ниске безбедности.
- [ ] Правило рутирања дефинисано на основу поверења и утицаја.
- [ ] Рецензент има контекст, извор и овлашћење да одбије.