سود:
- امکان ایجاد طرحواره و لایه های اعتبار سنجی خروجی مبتنی بر قانون
- توانایی به طور معناداری نیاز به انسان در حلقه در تصمیم گیری های با تاثیر بالا
- امکان طراحی مسیریابی مبتنی بر آستانه اعتماد و تأیید با مدل دوم
یک مدل زبانی روان، متقاعدکننده و اغلب دقیق میسازد، اما «متقاعدکننده» با «درست» یکی نیست. این مدل میتواند بیصدا مقدار، تاریخ یا فیلد JSON را جای دهد. این توهم نامیده می شود (مدل با اطمینان اطلاعاتی را تولید می کند که در واقعیت وجود ندارد). در یک سیستم سازمانی، اگر آن خروجی به مرحله بعدی برسد - پرداخت، ایمیل، نوشتن پایگاه داده - خطا به دنیای واقعی سرایت می کند. در این واحد، ما یاد خواهیم گرفت که خروجی را قبل از ورود به سیستم با لایههای تایید فیلتر کنیم و در تصمیمگیریهای با تاثیر بالا، نیاز به انسان در حلقه داشته باشیم.
چرا اعتبار سنجی خروجی مورد نیاز است؟
خروجی مدل میتواند به دو صورت اصلی خراب شود: قالب (با طرح مورد انتظار JSON مطابقت ندارد، فیلد وجود ندارد/زیاد است) و محتوا (قالب درست است اما مقدار اشتباه است - کد محصول موجود نیست، تاریخ غیرمنطقی). بعد سومی از نظر امنیت وجود دارد: خروجی مخرب (فرمان مخربی که در نتیجه تزریق یا نشت تولید می شود). یک سیستم جامد هر سه را جلوی در متوقف می کند.
احتیاط: "مدل به طور کلی دقیق" یک معیار تولید نیست. در یک سیستم بدون تأیید، حتی یک خطا در هزار به معنای 100 تراکنش اشتباه در روز در 100000 درخواست در روز است.
لایه های احراز هویت: مرحله به مرحله
- اعتبار سنجی طرحواره با دستگاه بررسی کنید که خروجی با ساختار مورد انتظار مطابقت دارد: آیا فیلدها موجود هستند، آیا انواع آنها صحیح است، آیا فیلدهای مورد نیاز پر شده است؟
- اعتبار سنجی قانون/منطق کسب و کار. آیا ارزش ها با قوانین تجاری مطابقت دارند؟ (مقدار > 0، تاریخ در آینده نیست، کد محصول متعلق به کاتالوگ است.)
- کنترل مرجع/منبع اگر مدل ادعایی ایجاد کند، آیا می توان آن را به منبع مرتبط کرد؟ (آیا نقل قول RAG واقعاً در سند است؟)
- اعتبارسنجی با مدل دوم (LLM-as-judge). یک مدل مستقل خروجی را به عنوان "درست/ناقص/خطرناک" ارزیابی می کند.
- آستانه اعتماد و جهت گیری. اگر مدل یا اعتباردهنده اطمینان کم را گزارش کند، خروجی به طور خودکار عبور نمی کند. به انسان ها هدایت می شود.
- کنترل انسان. یک نتیجه با قدرت بالا یا کم ایمن به تایید یک متخصص بستگی دارد.
چهار قالب قابل کپی
طرح + "اگر نمی دانید جبران کنید" با هم:
پاسخ را فقط در طرح JSON زیر برگردانید: "کم" را بنویسید. هرگز تخمینی را طوری ننویسید که گویی دقیق است.
تأیید با مدل دوم (اعلان قاضی):
شما یک اعتبارسنجی مستقل هستید. در زیر یک متن <source> و یک <claim> وجود دارد. بررسی کنید که آیا هر شماره و تاریخ در ادعا به طور کلمه در منبع وجود دارد یا خیر. برای هر کدام، بگویید: "تأیید شده | در منبع نیست | با منبع مغایرت دارد." اگر حتی یکی از آنها "غایب/تعارض" است، نتیجه را به عنوان "بازبینی انسانی مورد نیاز" علامت گذاری کنید.<source>{{ text }}</source><claim>{{ model_output }}</claim>
قانون مسیریابی آستانه اعتماد:
قانون مسیریابی: - emin_misin = "بالا" و مقدار < 10,000 TL -> پردازش خودکار - emin_misin = "متوسط" یا مقدار 10,000-100,000 TL -> تأیید مدل دوم - emin_misin = "کم" یا مقدار> 100000 لیر مورد نیاز ->
خلاصه کارت حسابرسی انسانی (سرعت بازبینی):
هنگام ارائه تصمیم به شخص، این کارت را تهیه کنید: - چه چیزی پیشنهاد می شود؟ (یک جمله)- بر اساس چه منبعی است؟ (مرجع مقاله/سند)- 2 فرض ضعیف کدامند؟- در صورت تایید، آیا می توان آنها را معکوس کرد؟ (بله/خیر)
اعلان ضعیف / اعلان قوی
رویکرد ضعیف
رویکرد قوی
"کم کردن مبلغ از فاکتور" (متن آزاد)
طرحواره JSON سختگیر + تهی + فیلد اعتماد
نوشتن خروجی به طور مستقیم در سیستم پرداخت
طرحواره → قانون → تأیید انسانی (در صورت لزوم)
فقط به مدل گفتن "مطمئن باش"
اعتبارسنجی شماره/تاریخ با مدل دوم
پردازش هر خروجی با اطمینان یکسان
مسیریابی بر اساس نفوذ و اعتماد
رویکرد قوی امیدوار نیست که مدل درست باشد. دری ایجاد می کند که وقتی اشتباه می کنید شما را می گیرد.
سه کیف کوچک
مورد 1 - این طرح به تنهایی کافی نبود. یک اتوماسیون حسابداری در حال استخراج مبلغ از فاکتورها به صورت JSON بود. این طرح درست بود، اما مدل در فاکتور به جای «1250.00» «125000» تولید کرد (تغییر اعشاری). این طرح نتوانست این را درک کند. تأیید قانون ("مبلغ باید با کل اقلام فاکتور ± 1٪ مطابقت داشته باشد") دستگیر شد و از ثبت نادرست 112500 لیر جلوگیری شد.
مورد 2 - مدل دوم توهم را ضبط کرد. یک دستیار پشتیبانی حقوقی در خلاصه قرارداد گفت: "30 روز اخطار فسخ". با این حال، در قرارداد 90 روز بود. هنگامی که قاضی مستقل مدل را به عنوان "در تضاد با منبع" علامت گذاری کرد، خروجی به انسان ارسال شد و تصحیح شد. اگر خودکار بود، مشتری لغو را بر اساس تاریخ اشتباه اعلام می کرد.
مورد 3 - مسیریابی بار را 70٪ کاهش داد. یک سیستم خسارت بیمه به طور خودکار مطالبات با مبلغ پایین و با وثیقه بالا را تایید می کرد و فقط موارد بالای آستانه/کم تضمین را برای کارشناس ارسال می کرد. از 3200 تقاضای روزانه، تنها 950 مورد به دست انسان ها افتاد. کارشناسان زمان خود را به 30٪ واقعاً پرخطر اختصاص دادند که میانگین زمان تراکنش از 4 ساعت به 40 دقیقه کاهش یافت.
نکته: کنترل انسانی را طوری تنظیم نکنید که "مردم بتوانند همه چیز را ببینند" - این کار مردم را خسته می کند و تایید به یک مهر لاستیکی تبدیل می شود. درعوض، تنها خروجیهای با تاثیر زیاد و کماعتماد را به سمت انسان هدایت کنید. این توجه را بر آنچه واقعاً مهم است متمرکز می کند.
معنی دار کردن کنترل انسانی
Human-in-the-Loop به معنای قرار دادن چک باکس روی کاغذ نیست. بازبین باید (1) زمینه برای درک تصمیم، (2) دسترسی به منبع، و (3) اختیار برای "نه" گفتن داشته باشد. در غیر این صورت، کنترل آرایشی باقی می ماند. کارت بازبینی (الگوی چهارم در بالا) برای ارائه دقیقاً همین زمینه است.
اشتباهات رایج
- فقط انجام اعتبارسنجی طرحواره و پرش از خطاهای محتوا/مقدار.
- با این فکر که با گفتن «مطمئن شوید» مدل، راستیآزمایی واقعی را انجام میدهید.
- به طور خودکار تصمیمات پر تاثیر و برگشت ناپذیر را اجرا کنید.
- قرار دادن کنترل انسانی بر روی هر خروجی و تبدیل تایید به یک مهر لاستیکی بی معنی.
- گفتن "تأیید" به بازبین بدون ذکر منبع و زمینه.
- پردازش همه خروجی ها با ریسک یکسان بدون ایجاد آستانه اعتماد و مسیریابی.
به طور خلاصه
- خروجی به سه طریق خراب می شود: شکل، محتوا، و قصد مخرب. یک سیستم جامد هر سه را جلوی در متوقف می کند.
- لایه ها: اعتبار سنجی طرحواره، منطق قانون/تجاری، کنترل منبع، مدل دوم (LLM-as-judge)، و مسیریابی آستانه اعتماد.
- Human-in-the-Loop باید برای خروجی های با ضربه زیاد و ایمنی کم اجباری باشد.
- بررسی انسانی باید معنادار باشد: بازبینی کننده باید زمینه، دسترسی به منابع و اختیار «نه» گفتن داشته باشد.
- هم ایمنی و هم کارایی فقط با هدایت ریسک ها به سمت انسان ها به دست می آید، نه هر خروجی.
وظیفه کاربردی
از خروجی هوش مصنوعی خود مثالی بزنید. ابتدا یک طرحواره JSON تعریف کنید و خروجی را به آن تحمیل کنید. سپس حداقل دو قانون تجاری بنویسید (به عنوان مثال، "میزان مطابق با کل اقلام"). در نهایت، یک جدول مسیریابی تنظیم کنید: کدام ترکیب اعتماد/نفوذ به طور خودکار می رود، کدام به مدل دوم می رود، کدام به انسان می رسد؟ یک نمونه معیوب تولید کنید و ببینید هر لایه کجا آن را می گیرد.
چک لیست
- [ ] من یک طرح دقیق برای خروجی تعریف می کنم و آن را با دستگاه تأیید می کنم.
- [ ] من حداقل یک تأییدیه کسب و کار/قوانین (منطق ارزش) اضافه کردم.
- [ ] من می توانم ادعاها را به منبع پیوند دهم و آنها را بررسی کنم.
- [ ] مدل دوم یا اعتبار سنجی انسانی برای پیامدهای ایمنی بالا/کم در دسترس است.
- [ ] قانون مسیریابی بر اساس اعتماد و نفوذ تعریف شده است.
- [ ] به بازبینی کننده زمینه، منبع و اختیاری برای رد کردن داده شده است.