Пайдалар:
- Схеманы жана эрежеге негизделген чыгарууну текшерүү катмарларын түзүү мүмкүнчүлүгү
- Жогорку таасирдүү чечимдерди кабыл алууда адамдан маанилүү талап кылуу жөндөмдүүлүгү
- Экинчи модель менен текшерүү жана ишеним чегине негизделген маршрутту иштеп чыгуу мүмкүнчүлүгү
Тилдин модели суюк, ынандыруучу жана көбүнчө так чыгарат, бирок "ынандыруучу" "туура" менен бирдей эмес. Модель унчукпай эле сумманы, датаны же JSON талаасын тууралай алат; Бул галлюцинация деп аталат (модель чындыгында жок маалыматты ишенимдүү чыгарат). Ишкана тутумунда, эгерде бул чыгаруу кийинки кадамга - төлөмгө, электрондук почтага, маалымат базасын жазууга өтсө, ката чыныгы дүйнөгө тарайт. Бул бөлүмдө биз чыгарууну системага кирерден мурун текшерүү катмарлары менен чыпкалоону жана жогорку таасирдүү чечимдерди кабыл алууда адамдан талап кылууну үйрөнөбүз.
Чыгууларды текшерүү эмне үчүн талап кылынат?
Моделдин чыгышы эки негизги жол менен бузулушу мүмкүн: формат (күтүлгөн JSON схемасына туура келбейт, талаа жок/ашыкча) жана мазмун (формат туура, бирок мааниси туура эмес — жок продукт коду, логикага сыйбаган күн). Коопсуздук жагынан үчүнчү өлчөм бар: зыяндуу чыгаруу (инъекциянын же агып чыгуунун натыйжасында пайда болгон зыяндуу буйрук). Катуу система үчөөнү тең эшиктин алдында токтотот.
Абайлаңыз: "Модель жалпысынан так" өндүрүш критерийи эмес. Текшерүүсү жок системада миңден бир ката болсо, күнүнө 100 000 суроо-талапта күнүнө 100 ката транзакцияны билдирет.
Аутентификация катмарлары: Кадам кадам
- Схеманы текшерүү. Чыгуу күтүлгөн структурага туура келерин машина менен текшериңиз: талаалар барбы, алардын түрлөрү туурабы, талап кылынган талаалар толтурулганбы?
- Эреже/бизнес логикасын текшерүү. Баалуулуктар бизнес эрежелерине дал келеби? (Суммасы > 0, датасы келечекте эмес, продукт коду каталогго таандык.)
- Шилтеме/булакты көзөмөлдөө. Эгерде модель ырастоону жаратса, аны булак менен байланыштырса болобу? (RAG цитата чындыгында документте барбы?)
- Экинчи модель менен валидация (LLM-судья катары). Көз карандысыз модель чыгарууну "туура/толук эмес/тобокелдүү" деп баалайт.
- Ишеним чеги жана багыт. Эгерде модель же валидатор аз ишеним көрсөтсө, чыгаруу автоматтык түрдө өтпөйт; адамдарга багытталган.
- Адамдын көзөмөлү. Жогорку потенциалдуу же аз коопсуз натыйжа эксперттин макулдугунан көз каранды.
Көчүрмө төрт шаблон
Схема + "эгер билбесеңиз, аны түзүңүз" чогуу:
Жоопту төмөнкү JSON схемасында ГАНА кайтарыңыз: "төмөн" деп жазыңыз. ЭЧ КАЧАН болжолду так деп жазбаңыз.
Экинчи үлгү менен текшерүү (соттун сунушу):
Сиз көз карандысыз валидаторсуз. Төмөндө <булак> текст жана <доо. Дооматтагы АР БИР сан жана дата булакта сөзмө-сөз келип жатканын текшериңиз. Ар бири үчүн: "текшерилген | булакта эмес | булакка карама-каршы келет." Эгер алардын бири да "жок/чар-жагылыш" болсо, натыйжаны "АДАМ КАРОО КЕРЕК" деп белгилеңиз.<source>{{ text }}</source><claim>{{ model_output }}</claim>
Ишеним чегин багыттоо эрежеси:
Маршруттоо эрежеси:- emin_misin = "жогорку" ЖАНА суммасы < 10,000 TL -> автоматтык иштетүү- emin_misin = "орто" ЖЕ суммасы 10,000-100,000 TL -> экинчи моделди текшерүү- emin_misin = "төмөн" ЖЕ сумма > 100,000 TL -> адамдын уруксаты талап кылынат
Адамдын аудитинин корутунду картасы (карап чыгууну тездетет):
Чечимди адамга көрсөтүүдө бул картаны көрсөтүңүз: - Эмне сунушталып жатат? (бир сүйлөм)- Кайсы булакка негизделген? (макала/документтин шилтемеси)- Эң начар 2 божомол кайсылар?- Эгер бекитилсе, аларды жокко чыгарууга болобу? (ооба/жок)
Алсыз тездик / Күчтүү эскертүү
начар мамиле
Күчтүү мамиле
"Эсеп-фактурадан сумманы алып салуу" (эркин текст)
Катуу JSON схемасы + null + ишеним талаасы
Түздөн-түз төлөм системасына чыгаруу жазуу
Схема → эреже → адамдын макулдугу (зарыл болсо)
Жөн гана моделге "ишенбегиле" деп айтуу
Экинчи модель менен номер/датаны текшерүү
Ар бир чыгарылышты бирдей ишеним менен иштетүү
Маршруттук таасирге жана ишенимге негизделген
Күчтүү мамиле моделдин туура экенине үмүттөнбөйт; Ал сиз туура эмес кылганыңызда сизди кармап турган эшикти жаратат.
Үч мини Case
1-жагдай - Жалгыз схема жетишсиз болгон. Бухгалтердик эсепти автоматташтыруу эсеп-фактуралардан сумманы JSON катары чыгарып жаткан. Схема туура болгон, бирок модель эсеп-фактурада "1250,00" ордуна "125 000" чыгарган (ондук нөөмөт). Схема муну кармай алган жок; эрежени текшерүү ("сумма эсеп-фактуралардын жалпы көлөмүнө ±1% туура келиши керек") кармалып, 112,500 TL туура эмес жазууга бөгөт коюлган.
2-жагдай - Экинчи модель галлюцинацияны тарткан. Келишимдин кыскача баяндамасында юридикалык колдоо көрсөтүүчү жардамчы мындай деди: "30 күн токтотуу жөнүндө эскертүү;" Бирок келишимде 90 күн деп жазылган. Көз карандысыз сот моделди "булак менен карама-каршы келет" деп белгилегенде, жыйынтык адамга жөнөтүлүп, оңдолгон. Эгер ал автоматтык түрдө болсо, кардар туура эмес датага таянып жокко чыгарууну билдирмек.
3-жагдай — Маршруттук жүктөмдү 70% кыскартты. Камсыздандыруу төлөмдөрүнүн системасы автоматтык түрдө аз суммадагы жана жогорку деңгээлдеги талаптарды бекитет жана экспертке босогодон жогору/төмөнкү коопсуздукту гана жөнөтөт. 3200 күнүмдүк талаптардын 950сү гана адамдарга туура келет; эксперттер өз убактысын чыныгы кооптуу 30%га арнашкан, транзакциянын орточо убактысы 4 сааттан 40 мүнөткө чейин төмөндөгөн.
Кеңеш: "Эл баарын көрө алат" деп адамдык башкарууну орнотпоңуз — бул элди чарчатат жана жактыруу желим мөөр болуп калат. Анын ордуна, адамга таасири жогору жана ишеними төмөн натыйжаларды гана багыттаңыз; Бул чындап маанилүү нерсеге көңүл бурат.
Адамдык башкарууну маңыздуу кылуу
Адам-жылы-бул кагазга белги коюу жөнүндө эмес. Рецензентте (1) чечимди түшүнүү үчүн контекст, (2) булакка жетүү жана (3) "жок" деп айтууга ыйгарым укук болушу керек. Болбосо, контролдоо косметикалык бойдон калууда. Карап чыгуу картасы (жогоруда төртүнчү шаблон) дал ушул контекстти камсыз кылуу үчүн арналган.
Жалпы каталар
- Жөн гана схеманы текшерүү жана мазмун/баа каталарын өткөрүп жиберүү.
- Модельге "иштей бер" деп айтуу менен сиз чыныгы текшерүүнү жүргүзүп жатасыз деп ойлойсуз.
- Жогорку таасирдүү, кайра кайтарылгыс чечимдерди автоматтык түрдө ишке ашыруу.
- Ар бир чыгууга адамдын көзөмөлүн коюу жана жактырууну маанисиз резина штампка айлантуу.
- Булакты жана контекстти көрсөтпөстөн, рецензентке "макул" деп айтуу.
- Ишеним чегин жана маршрутту түзбөстөн бирдей тобокелдик менен бардык жыйынтыктарды иштетүү.
Кыскача айтканда
- Чыгуу үч жол менен бузулат: форма, мазмун жана зыяндуу ниет; катуу система үчөөнү тең эшиктин алдында токтотот.
- Катмарлар: схеманы текшерүү, эреже/бизнес логикасы, булакты башкаруу, экинчи модель (LLM-судья) жана ишеним чегин маршруттоо.
- Адам-ин-укурук жогорку таасирдүү жана төмөнкү коопсуздук натыйжалары үчүн милдеттүү болушу керек.
- Адамдын кароосу маңыздуу болушу керек: рецензенттин контекст, ресурстарга жеткиликтүүлүгү жана "жок" деп айтууга укугу болушу керек.
- Коопсуздук менен эффективдүүлүк ар бир өндүрүштү эмес, адамдарга коркунучтууларды гана буруу менен жетишилет.
Колдонмо тапшырмасы
Өзүңүздүн AI өндүрүшүңүздөн мисал алыңыз. Алгач JSON схемасын аныктап, ага чыгарууну мажбурлаңыз. Андан кийин, жок эле дегенде, эки бизнес эрежесин жазыңыз (мисалы, "сумма нерселердин бардыгына дал келет"). Акырында, маршруттук таблицаны түзүңүз: кайсы ишеним/таасир айкалышы автоматтык түрдө өтөт, кайсынысы экинчи моделге өтөт, ал эми адамга барат? Бузулган үлгүнү жаратыңыз жана ар бир катмар аны кайсы жерде кармап турганын байкаңыз.
текшерүү тизмеси
- [ ] Мен чыгаруунун катуу схемасын аныктайм жана аны машина менен текшерем.
- [ ] Мен жок дегенде бир бизнести/эрежелерди текшерүүнү коштум (маани логикасы).
- [ ] Мен ырастоолорду булакка байланыштырып, текшере алам.
- [ ] Экинчи модель же адамдык валидация жогорку таасир/төмөн коопсуздук натыйжалары үчүн жеткиликтүү.
- [ ] Багыттоо эрежеси ишенимге жана таасирге негизделген.
- [ ] Серепчиге контекст, булак жана четке кагуу укугу берилет.