Табыстар:
- Схеманы және ережеге негізделген шығыс тексеру қабаттарын орнату мүмкіндігі
- Әсері жоғары шешімдер қабылдауда адамнан мәнді түрде талап ету мүмкіндігі
- Екінші үлгімен растау және сенім шегіне негізделген маршруттауды жобалау мүмкіндігі
Тілдік модель сұйық, нанымды және жиі дәл береді, бірақ «сендіргіш» «дұрыс» дегенмен бірдей емес. Үлгі соманы, күнді немесе JSON өрісін үнсіз сыйдыра алады; Бұл галлюцинация деп аталады (модель шындықта жоқ ақпаратты сенімді түрде шығарады). Кәсіпорын жүйесінде, егер бұл нәтиже келесі қадамға - төлем, электрондық пошта, дерекқор жазуына өтсе, қате нақты әлемге таралады. Бұл бөлімде шығысты жүйеге кірмес бұрын тексеру қабаттарымен сүзуді үйренеміз және жоғары әсерлі шешімдер қабылдау кезінде циклдегі адамның қатысуын талап етеміз.
Неліктен шығысты тексеру қажет?
Үлгі шығысын екі негізгі жолмен бұзуға болады: пішім (күтілетін JSON схемасына сәйкес келмейді, өріс жоқ/артық) және мазмұн (пішім дұрыс, бірақ мән қате — жоқ өнім коды, қисынсыз күн). Қауіпсіздік тұрғысынан үшінші өлшем бар: зиянды нәтиже (инъекция немесе ағып кету нәтижесінде жасалған зиянды пәрмен). Қатты жүйе үшеуін де есік алдында тоқтатады.
Абайлаңыз: "Үлгі жалпы дәл" өндіріс критерийі емес. Тексерусіз жүйеде мыңнан бір қате болса да, күніне 100 000 сұраудағы 100 қате транзакцияны білдіреді.
Аутентификация қабаттары: қадам бойынша
- Схеманы тексеру. Шығарылымның күтілетін құрылымға сәйкестігін машинамен тексеріңіз: өрістер бар ма, олардың түрлері дұрыс па, қажетті өрістер толтырылған ба?
- Ереже/бизнес логикасын тексеру. Мәндер бизнес ережелеріне сәйкес келе ме? (Сома > 0, күні болашақта емес, өнім коды каталогқа жатады.)
- Анықтама/көзді басқару. Модель бекітуді шығарса, оны көзбен байланыстыруға бола ма? (RAG цитата шын мәнінде құжатта бар ма?)
- Екінші үлгімен валидация (LLM-судья ретінде). Тәуелсіз модель шығысты «дұрыс/толық емес/қауіпті» деп бағалайды.
- Сенім шегі және бағдар. Модель немесе валидатор төмен сенімділік туралы хабарласа, шығыс автоматты түрде өтпейді; адамдарға бағытталған.
- Адамның бақылауы. Жоғары потенциалды немесе төмен қауіпсіз нәтиже маманның рұқсатына байланысты.
Көшірілетін төрт үлгі
Схема + "білмесең ойлап шығар" бірге:
Жауапты ТЕК келесі JSON схемасында қайтарыңыз: "төмен" деп жазыңыз. ЕШҚАШАН бағалауды дәл сияқты жазбаңыз.
Екінші үлгімен тексеру (судьяның ұсынысы):
Сіз тәуелсіз валидаторсыз. Төменде <көз> мәтіні және <шағым> берілген. Шағымдағы ӘРБІР сан мен күн көзде сөзбе-сөз келетінін тексеріңіз. Әрқайсысы үшін: "тексерілген | көзде емес | дереккөзге қайшы келеді" деп айтыңыз. Тіпті олардың біреуі «болмаса/қайшылық тудырса», нәтижені «АДАМ КӨРСЕТУ КЕРЕК» деп белгілеңіз.<source>{{ text }}</source><claim>{{ model_output }}</claim>
Сенім шегін бағыттау ережесі:
Бағыттау ережесі:- emin_misin = "жоғары" ЖӘНЕ сома < 10,000 TL -> автоматты өңдеу- emin_misin = "орташа" НЕМЕСЕ сома 10,000-100,000 TL -> екінші үлгіні тексеру- emin_misin = "төмен" НЕМЕСЕ сома > 100 000 TL -> адамның рұқсаты қажет
Адам аудитінің қорытынды картасы (қарауды жылдамдатады):
Шешімді адамға ұсынған кезде мына картаны көрсетіңіз: - Не ұсынылып жатыр? (бір сөйлем)- Қай дереккөзге негізделген? (мақала/құжат сілтемесі)- Ең әлсіз 2 болжам қандай?- мақұлданса, оларды кері қайтаруға болады ма? (иә/жоқ)
Әлсіз шақыру / Күшті шақыру
нашар көзқарас
Күшті көзқарас
«Шот-фактурадан соманы алып тастау» (еркін мәтін)
Қатаң JSON схемасы + null + сенім өрісі
Шығаруды тікелей төлем жүйесіне жазу
Схема → ереже → адамның рұқсаты (қажет болса)
Үлгіге «сенімді бол» деп айту
Екінші үлгімен нөмір/күнді тексеру
Әрбір шығысты бірдей сенімділікпен өңдеу
Әсер мен сенімге негізделген маршруттау
Күшті көзқарас модель дұрыс деп үміттенбейді; Ол қателескен кезде сізді ұстап алатын есік жасайды.
Үш шағын корпус
1-жағдай - Схеманың өзі жеткіліксіз болды. Бухгалтерлік есепті автоматтандыру JSON ретінде шот-фактуралардан соманы шығарып отырды. Схема дұрыс болды, бірақ модель шот-фактурадағы «1250,00» орнына «125 000» шығарды (ондық ауысым). Схема мұны түсіре алмады; ережені тексеру («сома шот-фактура элементтерінің жалпы сомасына ±1% сәйкес болуы керек») ұсталды және 112 500 TL қате жазуға жол бермеді.
2-жағдай - Екінші модель галлюцинацияны түсірді. Келісімшарттың қысқаша мазмұнында құқықтық қолдау көрсетуші көмекшісі «бұзу туралы 30 күндік хабарлама» деді; Алайда келісім-шартта ол 90 күн болатын. Тәуелсіз төреші үлгіні «көзге қайшы» деп белгілегенде, нәтиже адамға жіберіліп, түзетілді. Егер ол автоматты түрде болса, тұтынушы қате күннің негізінде бас тарту туралы хабарлайды.
3-жағдай — Маршруттау жүктемені 70%-ға азайтты. Сақтандыру төлемдері жүйесі аз мөлшердегі және жоғары қауіпсіздіктегі талаптарды автоматты түрде бекітеді және сарапшыға шекті деңгейден жоғары/төмен қауіпсіздікті ғана жібереді. Күнделікті 3200 талаптың тек 950-і адамдарға түседі; сарапшылар өз уақыттарын нағыз тәуекелді 30%-ға арнады, транзакцияның орташа уақыты 4 сағаттан 40 минутқа дейін төмендеді.
Кеңес: «Адамдар бәрін көре алатындай» адам бақылауын орнатпаңыз - бұл адамдарды шаршатады және мақұлдау резеңке мөрге айналады. Оның орнына тек адамға жоғары әсер ететін және төмен сенімді нәтижелерді бағыттаңыз; Бұл шынымен маңызды нәрсеге назар аударады.
Адамның бақылауын мағыналы ету
Циклдегі адам - бұл қағазға құсбелгі қою емес. Рецензентте (1) шешімді түсіну үшін контекст, (2) дереккөзге қол жеткізу және (3) «жоқ» деп айту құқығы болуы керек. Әйтпесе, бақылау косметикалық болып қалады. Қарап шығу картасы (жоғарыдағы төртінші үлгі) дәл осы контекстті қамтамасыз етуге арналған.
Жалпы қателер
- Тек схеманы тексеруді орындау және мазмұн/мән қателерін өткізіп жіберу.
- Модельге «көз жеткізіңіз» деп айту арқылы сіз нақты тексеру жүргізіп жатырсыз деп ойлаймын.
- Жоғары әсерлі, қайтымсыз шешімдерді автоматты түрде орындаңыз.
- Әрбір шығысқа адамның бақылауын қою және мақұлдауды мағынасыз резеңке мөрге айналдыру.
- Дереккөзді және контекстті көрсетпей рецензентке «мақұлдаймын» деп айту.
- Сенім шегін және маршруттауды орнатпай бірдей тәуекелмен барлық шығыстарды өңдеу.
Қысқаша айтқанда
- Шығару үш жолмен бұзылады: пішін, мазмұн және зиянды ниет; берік жүйе үшеуін де есік алдында тоқтатады.
- Қабаттар: схеманы тексеру, ереже/бизнес логикасы, бастапқы бақылау, екінші үлгі (LLM-судья ретінде) және сенім шегі маршруттау.
- Жоғары әсерлі және қауіпсіздігі төмен нәтижелер үшін циклдегі адам міндетті болуы керек.
- Адамның шолуы мағыналы болуы керек: шолушыда контекст, ресурстарға қолжетімділік және «жоқ» деп айту құқығы болуы керек.
- Қауіпсіздік те, тиімділік те әрбір нәтижені емес, тек қауіптілерін адамдарға бағыттау арқылы қол жеткізіледі.
Қолданбалы тапсырма
Өзіңіздің AI шығысыңыздан мысал алыңыз. Алдымен JSON схемасын анықтаңыз және оған шығаруды мәжбүрлеңіз. Содан кейін кем дегенде екі бизнес ережесін жазыңыз (мысалы, «сома элементтердің жалпы санына сәйкес келеді»). Соңында, маршруттау кестесін орнатыңыз: қандай сенім/әсер комбинациясы автоматты түрде өтеді, қайсысы екінші үлгіге өтеді, ол адамға барады? Қате үлгіні жасаңыз және әр қабат оны қай жерде түсіретінін қадағалаңыз.
бақылау парағы
- [ ] Мен шығыс үшін қатаң схеманы анықтаймын және оны машинамен тексеремін.
- [ ] Мен кемінде бір бизнес/ережені тексеруді қостым (мән логикасы).
- [ ] Бекітулерді дереккөзге байланыстырып, оларды тексере аламын.
- [ ] Екінші үлгі немесе жоғары әсер/төмен қауіпсіздік нәтижелері үшін қол жетімді адам тексеруі.
- [ ] Бағыттау ережесі сенім мен ықпалға негізделген.
- [ ] Тексерушіге контекст, дереккөз және қабылдамау құқығы беріледі.