আউটপুট যাচাইকরণ এবং মানব পরিদর্শন

লাভ:

• স্কিমা এবং নিয়ম-ভিত্তিক আউটপুট বৈধতা স্তর স্থাপন করার ক্ষমতা
• অর্থপূর্ণভাবে উচ্চ-প্রভাবিত সিদ্ধান্তে মানুষের-ইন-দ্য-লুপের প্রয়োজন
• দ্বিতীয় মডেলের সাথে যাচাইকরণ এবং বিশ্বাস থ্রেশহোল্ড ভিত্তিক রাউটিং ডিজাইন করার ক্ষমতা

একটি ভাষা মডেল তরল, প্ররোচিত এবং প্রায়শই নির্ভুল উৎপন্ন করে-কিন্তু "প্ররোচিত" "সঠিক" এর মতো নয়। মডেলটি নিঃশব্দে একটি পরিমাণ, একটি তারিখ, বা একটি JSON ক্ষেত্রের সাথে ফিট করতে পারে; একে হ্যালুসিনেশন বলা হয় (মডেল আত্মবিশ্বাসের সাথে এমন তথ্য তৈরি করে যা বাস্তবে নেই)। একটি এন্টারপ্রাইজ সিস্টেমে, যদি সেই আউটপুটটি পরবর্তী ধাপে প্রবাহিত হয় - একটি অর্থপ্রদান, একটি ইমেল, একটি ডাটাবেস লেখা - ত্রুটিটি বাস্তব জগতে ছড়িয়ে পড়ে। এই ইউনিটে, আমরা সিস্টেমে প্রবেশের আগে যাচাইকরণ স্তরগুলির সাথে আউটপুট ফিল্টার করতে শিখব এবং উচ্চ-প্রভাবিত সিদ্ধান্তগুলিতে মানব-ইন-দ্য-লুপ প্রয়োজন।

কেন আউটপুট বৈধতা প্রয়োজন?

মডেল আউটপুট দুটি প্রাথমিক উপায়ে দূষিত হতে পারে: বিন্যাস (প্রত্যাশিত JSON স্কিমার সাথে সামঞ্জস্যপূর্ণ নয়, ক্ষেত্র অনুপস্থিত/অতিরিক্ত) এবং বিষয়বস্তু (ফরম্যাটটি সঠিক কিন্তু মানটি ভুল - একটি অস্তিত্বহীন পণ্য কোড, একটি অযৌক্তিক তারিখ)। নিরাপত্তার পরিপ্রেক্ষিতে একটি তৃতীয় মাত্রা রয়েছে: দূষিত আউটপুট (ইনজেকশন বা লিকের ফলে উত্পাদিত একটি দূষিত কমান্ড)। একটি কঠিন সিস্টেম দরজায় তিনটিই থামে।

সতর্কতা: "মডেল সাধারণত সঠিক" একটি উত্পাদন মানদণ্ড নয়। যাচাই ব্যতীত একটি সিস্টেমে, এমনকি হাজারের মধ্যে একটি ত্রুটি মানে প্রতিদিন 100,000 অনুরোধে প্রতিদিন 100টি ভুল লেনদেন।

প্রমাণীকরণের স্তর: ধাপে ধাপে

1. স্কিমা বৈধতা। মেশিনের সাথে পরীক্ষা করুন যে আউটপুটটি প্রত্যাশিত কাঠামোর সাথে সামঞ্জস্যপূর্ণ: ক্ষেত্রগুলি উপস্থিত আছে, তাদের ধরনগুলি কি সঠিক, প্রয়োজনীয় ক্ষেত্রগুলি কি ভরা হয়েছে?
2. নিয়ম/ব্যবসায়িক যুক্তির বৈধতা। মান কি ব্যবসার নিয়মের সাথে মেলে? (পরিমাণ > 0, তারিখ ভবিষ্যতে নয়, পণ্য কোড ক্যাটালগের অন্তর্গত।)
3. রেফারেন্স/উৎস নিয়ন্ত্রণ। যদি মডেলটি একটি দাবি তৈরি করে, তবে এটি কি উত্সের সাথে লিঙ্ক করা যেতে পারে? (আরএজি উদ্ধৃতিটি কি আসলে নথিতে আছে?)
4. দ্বিতীয় মডেলের সাথে বৈধতা (বিচারক হিসেবে এলএলএম)। একটি স্বাধীন মডেল আউটপুটকে "সঠিক/অসম্পূর্ণ/ঝুঁকিপূর্ণ" হিসাবে মূল্যায়ন করে।
5. ট্রাস্ট থ্রেশহোল্ড এবং ওরিয়েন্টেশন। যদি মডেল বা যাচাইকারী কম আত্মবিশ্বাসের রিপোর্ট করে, আউটপুট স্বয়ংক্রিয়ভাবে পাস হয় না; মানুষের জন্য নির্দেশিত হয়।
6. মানুষের নিয়ন্ত্রণ। একটি উচ্চ-ক্ষমতা বা কম-নিরাপদ ফলাফল একজন বিশেষজ্ঞের অনুমোদনের উপর নির্ভর করে।

চারটি অনুলিপিযোগ্য টেমপ্লেট

স্কিম + "আপনি না জানলে এটি তৈরি করুন" একসাথে:

শুধুমাত্র নিম্নলিখিত JSON স্কিমাতে প্রতিক্রিয়া ফেরত দিন: "লো" লিখুন। কখনও একটি অনুমান লিখবেন না যেন এটি সঠিক ছিল।

দ্বিতীয় মডেলের সাথে যাচাইকরণ (বিচারক প্রম্পট):

আপনি একজন স্বাধীন যাচাইকারী। নীচে একটি <উৎস> পাঠ্য এবং একটি <দাবি>। দাবির প্রতিটি নম্বর এবং তারিখ উৎসে মৌখিকভাবে ঘটে কিনা তা পরীক্ষা করে দেখুন। প্রত্যেকের জন্য, বলুন: "যাচাইকৃত | উৎসে নয় | উৎসের বিরোধিতা করে।" এমনকি যদি তাদের মধ্যে একটি 'অনুপস্থিত/বিরোধপূর্ণ' হয়, তাহলে ফলাফলটিকে "মানব পর্যালোচনা আবশ্যক" হিসাবে চিহ্নিত করুন।<source>{{ text }}</source><claim>{{ model_output }}</claim>

ট্রাস্ট থ্রেশহোল্ড রাউটিং নিয়ম:

রাউটিং নিয়ম:- emin_misin = "উচ্চ" এবং পরিমাণ < 10,000 TL -> স্বয়ংক্রিয় প্রক্রিয়াকরণ- emin_misin = "মাঝারি" বা পরিমাণ 10,000-100,000 TL -> দ্বিতীয় মডেল যাচাইকরণ- emin_misin = "নিম্ন" বা পরিমাণ > 100,000 TL> মানব অ্যাপ্লিকেশন প্রয়োজন

মানব অডিট সারাংশ কার্ড (পর্যালোচনার গতি বাড়ায়):

একজন ব্যক্তির কাছে সিদ্ধান্ত উপস্থাপন করার সময়, এই কার্ডটি তৈরি করুন: - কী প্রস্তাব করা হচ্ছে? (এক বাক্য)- এটা কি উৎসের উপর ভিত্তি করে? (আর্টিকেল/ডকুমেন্ট রেফারেন্স)- 2টি দুর্বলতম অনুমান কি?- অনুমোদিত হলে, সেগুলি কি বিপরীত হতে পারে? (হ্যাঁ/না)

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দরিদ্র পদ্ধতি

শক্তিশালী পন্থা

"চালান থেকে পরিমাণ বিয়োগ করুন" (বিনামূল্যে পাঠ্য)

কঠোর JSON স্কিমা + নাল + বিশ্বাস ক্ষেত্র

পেমেন্ট সিস্টেমে সরাসরি আউটপুট লেখা

স্কিমা → নিয়ম → মানুষের অনুমোদন (যদি প্রয়োজন হয়)

শুধু মডেলকে বলছি "নিশ্চিত হোন"

দ্বিতীয় মডেলের সাথে নম্বর/তারিখের বৈধতা

সমান আত্মবিশ্বাসের সাথে প্রতিটি আউটপুট প্রক্রিয়াকরণ

প্রভাব এবং বিশ্বাসের উপর ভিত্তি করে রাউটিং

শক্তিশালী পন্থা আশা করে না যে মডেলটি সঠিক; এটি একটি দরজা তৈরি করে যা আপনাকে ধরবে যখন আপনি ভুল করবেন।

তিনটি মিনি কেস

কেস 1 - একা স্কিম যথেষ্ট ছিল না। একটি অ্যাকাউন্টিং অটোমেশন ইনভয়েস থেকে JSON হিসাবে পরিমাণ বের করছে। স্কিমটি সঠিক ছিল, কিন্তু মডেলটি একটি চালানে (দশমিক শিফট) "1,250.00" এর পরিবর্তে "125,000" তৈরি করেছে। স্কিম এটি ক্যাপচার করতে ব্যর্থ হয়েছে; নিয়ম যাচাইকরণ ("পরিমাণটি ±1% দ্বারা মোট চালান আইটেমের সাথে সামঞ্জস্যপূর্ণ হতে হবে") ধরা পড়েছিল এবং 112,500 TL এর ভুল রেকর্ডিং প্রতিরোধ করা হয়েছিল৷

কেস 2 - দ্বিতীয় মডেলটি হ্যালুসিনেশন ক্যাপচার করেছে। "30 দিনের অবসানের নোটিশ," একজন আইনি সহায়তা সহকারী চুক্তির সারাংশে বলেছেন; তবে চুক্তিতে তা ছিল ৯০ দিন। যখন স্বাধীন বিচারক মডেলটিকে "উৎসের সাথে বিরোধপূর্ণ" হিসাবে পতাকাঙ্কিত করেন, তখন আউটপুটটি মানুষের কাছে পাঠানো হয় এবং সংশোধন করা হয়। এটি স্বয়ংক্রিয় হলে, গ্রাহক ভুল তারিখের উপর ভিত্তি করে বাতিলকরণকে অবহিত করবে।

কেস 3 - রাউটিং 70% দ্বারা লোড হ্রাস করেছে৷ একটি বীমা দাবির ব্যবস্থা স্বয়ংক্রিয়ভাবে স্বয়ংক্রিয়ভাবে স্বল্প-পরিমাণ এবং উচ্চ-নিরাপত্তার দাবিগুলি অনুমোদন করে এবং বিশেষজ্ঞের কাছে শুধুমাত্র উপরের-সীমা/নিম্ন-সুরক্ষিত দাবিগুলিকে প্রেরণ করে। দৈনিক 3,200টি চাহিদার মধ্যে মাত্র 950টি মানুষের হাতে পড়ে; বিশেষজ্ঞরা সত্যিকারের ঝুঁকিপূর্ণ 30% তাদের সময় উৎসর্গ করেছেন, গড় লেনদেনের সময় 4 ঘন্টা থেকে 40 মিনিটে নেমে এসেছে।

টিপ: মানুষের নিয়ন্ত্রণ সেট আপ করবেন না যাতে "লোকেরা সবকিছু দেখতে পারে" — এটি লোকেদের ক্লান্ত করবে এবং অনুমোদন একটি রাবার স্ট্যাম্পে পরিণত হবে৷ পরিবর্তে, শুধুমাত্র মানুষের কাছে উচ্চ-প্রভাব এবং কম-আত্মবিশ্বাসের আউটপুট রুট করুন; এটি সত্যিই গুরুত্বপূর্ণ বিষয়গুলির উপর মনোযোগ নিবদ্ধ করে।

মানুষের নিয়ন্ত্রণকে অর্থবহ করে তোলা

হিউম্যান-ইন-দ্য-লুপ কাগজে একটি চেকবক্স রাখার বিষয়ে নয়। পর্যালোচনাকারীর অবশ্যই (1) সিদ্ধান্তটি বোঝার প্রসঙ্গ, (2) উত্সে অ্যাক্সেস এবং (3) "না" বলার কর্তৃপক্ষ থাকতে হবে। অন্যথায়, নিয়ন্ত্রণ কসমেটিক থেকে যায়। পর্যালোচনা কার্ড (উপরের চতুর্থ টেমপ্লেট) ঠিক সেই প্রসঙ্গটি প্রদান করার জন্য।

সাধারণ ভুল

• শুধু স্কিমা যাচাই করা এবং বিষয়বস্তু/মান ত্রুটিগুলি এড়িয়ে যাওয়া।
• ভাবছেন যে মডেলটিকে "নিশ্চিত করুন" বলার মাধ্যমে আপনি প্রকৃত যাচাই করছেন৷
• উচ্চ-প্রভাব, অপরিবর্তনীয় সিদ্ধান্তগুলি স্বয়ংক্রিয়ভাবে বাস্তবায়ন করুন।
• প্রতিটি আউটপুটে মানুষের নিয়ন্ত্রণ রাখা এবং অনুমোদনকে অর্থহীন রাবার স্ট্যাম্পে পরিণত করা।
• উৎস এবং প্রসঙ্গ না দিয়ে পর্যালোচককে "অনুমোদন" বলা।
• ট্রাস্ট থ্রেশহোল্ড এবং রাউটিং স্থাপন না করে একই ঝুঁকি সহ সমস্ত আউটপুট প্রক্রিয়াকরণ।

সংক্ষেপে

• আউটপুট তিনটি উপায়ে দূষিত হয়: ফর্ম, বিষয়বস্তু, এবং দূষিত অভিপ্রায়; একটি কঠিন সিস্টেম দরজায় তিনটিই থামে।
• স্তরগুলি: স্কিমা বৈধতা, নিয়ম/ব্যবসায়িক যুক্তি, উত্স নিয়ন্ত্রণ, দ্বিতীয় মডেল (এলএলএম-বিচারক), এবং ট্রাস্ট থ্রেশহোল্ড রাউটিং।
• হিউম্যান-ইন-দ্য-লুপ উচ্চ-প্রভাব এবং কম-নিরাপত্তা আউটপুটগুলির জন্য বাধ্যতামূলক হওয়া উচিত।
• মানুষের পর্যালোচনা অবশ্যই অর্থপূর্ণ হতে হবে: পর্যালোচকের অবশ্যই প্রসঙ্গ, সম্পদ অ্যাক্সেস এবং "না" বলার ক্ষমতা থাকতে হবে।
• নিরাপত্তা এবং দক্ষতা উভয়ই শুধুমাত্র ঝুঁকিপূর্ণ বিষয়গুলিকে মানুষের দিকে নির্দেশ করে অর্জিত হয়, প্রতিটি আউটপুট নয়।

আবেদন টাস্ক

আপনার নিজের AI আউটপুট থেকে একটি উদাহরণ নিন। প্রথমে একটি JSON স্কিমা সংজ্ঞায়িত করুন এবং আউটপুটকে এটিতে বাধ্য করুন। তারপরে কমপক্ষে দুটি ব্যবসায়িক নিয়ম লিখুন (উদাহরণস্বরূপ, "পরিমাণ আইটেমের মোট মেলে")। অবশেষে, একটি রাউটিং টেবিল সেট আপ করুন: কোন বিশ্বাস/প্রভাব সমন্বয় স্বয়ংক্রিয়ভাবে যায়, কোনটি দ্বিতীয় মডেলে যায়, কোনটি মানুষের কাছে যায়? একটি ত্রুটিপূর্ণ নমুনা তৈরি করুন এবং পর্যবেক্ষণ করুন যেখানে প্রতিটি স্তর এটি ক্যাপচার করে।

চেকলিস্ট

• [] আমি আউটপুটের জন্য একটি কঠোর স্কিমা সংজ্ঞায়িত করি এবং এটি মেশিনের সাথে যাচাই করি।
• [ ] আমি অন্তত একটি ব্যবসা/নিয়ম যাচাইকরণ (মান যুক্তি) যোগ করেছি।
• [ ] আমি দাবিগুলিকে উত্সের সাথে লিঙ্ক করতে পারি এবং সেগুলি পরীক্ষা করতে পারি৷
• উচ্চ প্রভাব/নিম্ন নিরাপত্তা ফলাফলের জন্য দ্বিতীয় মডেল বা মানবিক বৈধতা উপলব্ধ।
• বিশ্বাস এবং প্রভাবের উপর ভিত্তি করে সংজ্ঞায়িত রাউটিং নিয়ম।
• [ ] পর্যালোচককে প্রসঙ্গ, উৎস এবং প্রত্যাখ্যান করার ক্ষমতা প্রদান করা হয়।