লাভ:
- হ্যালুসিনেশনের কারণ এবং গ্রাউন্ডিংয়ের ভূমিকা ব্যাখ্যা কর
- প্রেক্ষাপটে না থাকলে মডেলটিকে 'আমি জানি না' বলে কৌশল প্রয়োগ করা
- প্রতিক্রিয়াগুলিতে যাচাইযোগ্য উত্স/উদ্ধৃতি যোগ করে বিশ্বাস এবং নিরীক্ষাযোগ্যতা নিশ্চিত করা
একটি ভাষা মডেলের সবচেয়ে বিপজ্জনক আচরণ হল আত্মবিশ্বাসী এবং প্ররোচিত স্বরে এমন কিছু তৈরি করা যা সে জানে না। একে হ্যালুসিনেশন বলে। একটি কর্পোরেট সহকারীর মধ্যে হ্যালুসিনেটিং শুধুমাত্র বিরক্তিকর নয়, এটি একেবারে ঝুঁকিপূর্ণ: ভুল দিন ছুটি, ভুল মূল্য, ভুল আইনি পদার্থ আসলে একজন কর্মচারী বা গ্রাহককে ক্ষতির পথে ফেলতে পারে। এই ইউনিটে, আমরা কভার করি কেন হ্যালুসিনেশন হয়, কীভাবে সেগুলিকে RAG-তে কমানো যায় এবং কীভাবে উত্তরটি যাচাইযোগ্য করা যায়।
হ্যালুসিনেশনের কারণ কী?
মডেলটিকে পরবর্তী সম্ভাব্য শব্দটি তৈরি করতে প্রশিক্ষিত করা হয়; "সত্য বলুন" নয়, "সাবলীল এবং যুক্তিসঙ্গত পাঠ্য তৈরি করুন"। তথ্য অনুপস্থিত থাকলে, এটি পরিসংখ্যানগতভাবে প্রশংসনীয় কিন্তু বাস্তবিকভাবে ভুল কিছু দিয়ে শূন্যস্থান পূরণ করতে পারে। তিনটি সাধারণ ট্রিগার:
- প্রসঙ্গে কোন উত্তর নেই, তবে মডেলটি যাইহোক কিছু বলতে বাধ্য বোধ করে।
- প্রসঙ্গটি সাংঘর্ষিক বা অপর্যাপ্ত; মডেল ভবিষ্যদ্বাণী সঙ্গে ফাঁক বন্ধ.
- প্রশ্নটি প্রসঙ্গ ছাড়িয়ে যায়; মডেলটি তার নিজস্ব সাধারণ (এবং সম্ভবত পুরানো) জ্ঞানে ফিরে আসে।
RAG হ্যালুসিনেশন হ্রাস করে কারণ এটি মডেলটিকে একটি বাস্তব উত্স দেয় — তবে এটি পুনরায় সেট করে না। আপনি যদি ভুল অংশ নিয়ে আসেন বা "শূন্যতা পূরণের স্বাধীনতা" মডেলটি ছেড়ে দেন, তবে RAG সহ সিস্টেমটিও এটি মাপসই করতে পারে।
হ্যালুসিনেশনের ধরন
উপসর্গ
মূল কারণ
সমাধান স্তর
পুনরুদ্ধার থেকে উদ্ভূত
সঠিক উত্তর নথিতে আছে কিন্তু তা আসেনি
ভুল/অনুপস্থিত অংশ বিতরণ
চঙ্কিং, হাইব্রিড, রি-র্যাঙ্কিং (ইউনিট 3-4)
প্রজন্মের উৎস
সঠিক অংশ এসেছে কিন্তু উত্তর ভুল/অবশ্যই যোগ করতে হবে
মডেলটি ভবিষ্যদ্বাণী দিয়ে শূন্যস্থান পূরণ করেছে
গ্রাউন্ডিং, "আমি জানি না" অনুমতি, কম সৃজনশীলতা
উদ্ধৃতি উৎস
উত্তর সঠিক কিন্তু উৎস ভুল
মডেল ভুল অংশ উল্লেখ করা হয়েছে
উদ্ধৃতি যাচাইকরণ (ইউনিট 8 দেখুন)
ইঙ্গিত: হ্যালুসিনেশনকে দুটি ভাগে ভাগ করুন। পুনরুদ্ধার থেকে উৎস: ভুল/অনুপস্থিত অংশ এসেছে (সমাধান: পুনরুদ্ধারের উন্নতি)। জেনারেশন সোর্স: সঠিক অংশ এসেছে, কিন্তু মডেলটি ভুলভাবে পড়ে/যোগ করেছে (সমাধান: প্রম্পট এবং গ্রাউন্ডিং)। আপনি এটি ঠিক করতে পারবেন না যদি না আপনি জানেন যে এটি কোনটি।
গ্রাউন্ডিং: উত্তরের প্রসঙ্গে পেরেক দেওয়া
গ্রাউন্ডিং হল মডেলকে বলার সমস্ত কৌশলের নাম "আমি আপনাকে যে পাঠ্যটি দিচ্ছি তার উপর নির্ভর করুন, এর বাইরে যাবেন না।" তার সবচেয়ে মৌলিক এবং সবচেয়ে কার্যকর কৌশল: স্পষ্টভাবে মডেলকে 'আমি জানি না' বলার অনুমতি দেওয়া। মডেল, মানুষের মত, "আমি জানি না" বলতে দ্বিধাগ্রস্ত; এটা করার জন্য আপনাকে অবশ্যই তাকে প্রকাশ্য অনুমতি দিতে হবে।
শুধুমাত্র নীচের CONTEXT এর উপর ভিত্তি করে উত্তর দিন৷ উত্তরটি প্রসঙ্গে স্পষ্টভাবে না হলে, ঠিক এইটি লিখুন: "আমি ডকুমেন্টেশনে এই বিষয়ে যথেষ্ট তথ্য খুঁজে পাইনি।" প্রেক্ষাপটে নেই এমন কোনো সংখ্যা, তারিখ বা নাম অন্তর্ভুক্ত করবেন না। অনুমান করবেন না।
অতিরিক্ত গ্রাউন্ডিং কৌশল:
- উদ্ধৃতি প্রয়োজন: প্রতিটি দাবির আগে, শব্দার্থে প্রসঙ্গটি উদ্ধৃত করুন ("নথিতে বলা হয়েছে: '...'")। বানোয়াট উদ্ধৃতি তৈরি করা মডেলের জন্য আরও কঠিন।
- নিম্ন তাপমাত্রা: তাপমাত্রা (তাপমাত্রা, সৃজনশীলতা/এলোমেলো সেটিং) কম হওয়া উচিত। দ্রষ্টব্য: কিছু বর্তমান মডেলে এই প্যারামিটারটি সরানো হয়েছে; তাদের মধ্যে, আপনি একটি প্রম্পট সঙ্গে গ্রাউন্ডিং প্রদান. উচ্চ সৃজনশীলতা কর্পোরেট অখণ্ডতার শত্রু।
- ব্যাপ্তির সীমা: "শুধুমাত্র সম্মতি নীতির সমস্যাগুলিতে সাড়া দিন; বিনীতভাবে অপ্ট আউট করতে অস্বীকার করুন।"
উদ্ধৃতি
হ্যালুসিনেশনের বিরুদ্ধে সবচেয়ে শক্তিশালী পদ্ধতিগত প্রতিরক্ষা হল উত্তরটিকে যাচাইযোগ্য করে তোলা। ব্যবহারকারী যদি দেখতে পারে যে উত্তরটি কোন নথির উপর ভিত্তি করে: (1) সে নিজেই ভুলটি ধরতে পারে, (2) অডিট সম্ভব হয়, (3) বিশ্বাস বৃদ্ধি পায় এবং (4) "আমাকে উত্সটি উদ্ধৃত করতে হবে" এই সচেতনতার সাথে মডেলটি আরও সতর্কতার সাথে উত্পাদন করে।
দুটি সাধারণ পন্থা:
ইনলাইন অ্যাট্রিবিউশন: প্রতিটি দাবির পাশে সোর্স ট্যাগ। "বার্ষিক ছুটি 14 দিন [1]।" নীচে [1] এর সম্পূর্ণ ডকুমেন্টেশন রয়েছে।
স্ট্রাকচার্ড আউটপুট: মডেলকে আলাদা ক্ষেত্রগুলিতে উত্তর এবং উত্স তালিকা তৈরি করতে বলা; ইন্টারফেসে ক্লিকযোগ্য লিঙ্ক হিসেবে সম্পদ দেখানো হচ্ছে।
# মডেলের উপর ভিত্তি করে একটি কাঠামোগত উত্তর তৈরি করা (ধারণাগত) নিম্নলিখিত কাঠামোতে আপনার উত্তর দিন:- উত্তর: <প্রসঙ্গ-ভিত্তিক উত্তর>- উৎস: [{"part_no": 1, "file": "...", "section": "..."}]- trust: <high|medium|low> # প্রসঙ্গটি কতটা স্পষ্টভাবে সমর্থন করে? যদি প্রসঙ্গ উত্তরটিকে সমর্থন না করে, তাহলে উত্তর ক্ষেত্রে "কোন তথ্য পাওয়া যায়নি" লিখুন এবং উত্সগুলি ফাঁকা রাখুন।
উদ্ধৃতিটি সত্যিই কাজ করার জন্য, অ্যাট্রিবিউশনটি সঠিক কিনা তা যাচাই করা প্রয়োজন। মডেল কখনো কখনো সঠিক উত্তর দিতে পারে কিন্তু ভুল উৎস দিতে পারে। উন্নত সিস্টেমগুলি স্বয়ংক্রিয়ভাবে পরীক্ষা করে যে উত্পাদিত প্রতিটি দাবি প্রকৃতপক্ষে এটি নির্দেশিত অংশে সমর্থিত (পরবর্তী ইউনিটে "বিশ্বস্ততা" পরিমাপ)।
দুর্বল/শক্তিশালী: হ্যালুসিনেশনের বিরুদ্ধে প্রম্পট
দুর্বল (শূন্যস্থান পূরণের আমন্ত্রণ):
আপনার কাছে থাকা তথ্য দিয়ে প্রশ্নের উত্তর দিন: {প্রসঙ্গ} প্রশ্ন: {প্রশ্ন}# মডেলের জন্য "যদি আপনি না জানেন তাহলে অনুমান করুন"।
শক্তিশালী (গ্রাউন্ডিং + অনুমতি নেই + উত্স + বিশ্বাস):
শুধু CONTEXT এর উপর নির্ভর করুন। অন্যথায়, বলুন "আমি কোনো তথ্য খুঁজে পাইনি"; নম্বর/তারিখ/নাম তৈরি করুন। প্রতিটি দাবিতে [n] উৎস নম্বর যোগ করুন। প্রসঙ্গ দ্বারা সমর্থিত বিশ্বাসের স্তর নির্দিষ্ট করুন। CONTEXT: [1]... [2]... প্রশ্ন: {প্রশ্ন}
তিনটি মিনি কেস
কেস 1 - তৈরি আইটেম নম্বর। একজন প্যারালিগাল একটি "অনুচ্ছেদ 17/B" বিবৃতি তৈরি করেছে যা প্রসঙ্গত নয় এবং কর্মচারীকে মিথ্যা তথ্য দিয়েছে। যখন নির্দেশনা "প্রসঙ্গে নেই এমন একটি নিবন্ধ নম্বর দেবেন না, অন্যথায় বলুন আমি জানি না" + উদ্ধৃতি করার বাধ্যবাধকতা যোগ করা হয়েছিল, 40টি উদাহরণের মধ্যে বানোয়াট নিবন্ধের কেস 11 থেকে 0-তে কমেছে।
কেস 2 - সঠিক উত্তর, ভুল উৎস। একজন সহায়তা সহকারী সঠিক প্রত্যাবর্তনের সময়কাল বলেছেন কিন্তু ভুল নিবন্ধটি উদ্ধৃত করেছেন; গ্রাহক লিঙ্কটিতে ক্লিক করলে একটি অপ্রাসঙ্গিক পৃষ্ঠা খুলে যায়। যখন উদ্ধৃতি যাচাইকরণ (উদ্ধৃত অংশে দাবিটি উপস্থিত হয় কিনা তা পরীক্ষা করা) যোগ করা হয়েছিল, মিথ্যা-উদ্ধৃতির হার 23% থেকে 2% এ নেমে গেছে।
কেস 3 - "আমি জানি না" অনুমতি দেওয়া হয়নি। একজন এইচআর সহকারী এমন একটি প্রশ্নের একটি যুক্তিসঙ্গত কিন্তু ভুল উত্তর তৈরি করেছিলেন যা নথিতে ছিল না। যখন স্পষ্টভাবে "আমি জানি না" সম্মতি এবং সম্পূর্ণ পাঠ্য ("আমি ডকুমেন্টেশনে এই সম্পর্কে তথ্য খুঁজে পাইনি") প্রম্পটে যোগ করা হয়, তখন বানোয়াট না হয়ে উত্তর ছাড়াই প্রশ্নগুলির জন্য সৎ প্রত্যাখ্যানের হার 8% থেকে বেড়ে 95% হয়েছে৷
সাধারণ ভুল
- "আমি জানি না" মঞ্জুরি দিচ্ছে না: মডেলটি বানোয়াটভাবে শূন্যস্থান পূরণ করে।
- সৃজনশীলতা উচ্চ রাখা: এলোমেলোতা কর্পোরেট সততার জন্য ক্ষতিকর।
- এটি যাচাই না করেই উৎসকে বিশ্বাস করা: মডেলটি সঠিক উত্তরের সাথে ভুল উৎস সংযুক্ত করতে পারে।
- দুই ধরনের হ্যালুসিনেশনের মধ্যে পার্থক্য না করা: আপনি এটি পুনরুদ্ধার বা প্রজন্মের কারণে সৃষ্ট কিনা তা না জেনে ভুল জায়গাটি সংশোধন করেন।
- কসমেটিক্সের জন্য ভুল উদ্ধৃতি: উত্সের উদ্ধৃতি নিশ্চিতকরণ এবং প্রতিরোধক উভয়ই; এটা গুরুত্ব সহকারে নিন
সতর্কতা: "মডেলটি খুব আত্মবিশ্বাসী দেখাচ্ছে" "মডেলটি সঠিক" এর মত নয়। হ্যালুসিনেশন সাধারণত সবচেয়ে সাবলীল এবং আত্মবিশ্বাসী বাক্য। এটি যে উৎস নির্দেশ করে তার থেকে বিশ্বাস পড়ুন, বাক্যের স্বর থেকে নয়।
সংক্ষেপে
- হ্যালুসিনেশন হল যখন মডেলটি তথ্যের শূন্যস্থানকে যুক্তিসঙ্গত কিন্তু মিথ্যা টেক্সট দিয়ে পূরণ করে; RAG কমে যায় কিন্তু রিসেট হয় না।
- হ্যালুসিনেশন পুনরুদ্ধার (ভুল অংশ) বা প্রজন্ম (ভুল পড়া) দ্বারা সৃষ্ট হতে পারে; প্রথমে কোনটি নির্ধারণ করুন।
- গ্রাউন্ডিংয়ের সবচেয়ে শক্তিশালী কৌশল হল মডেলটিকে স্পষ্টভাবে "আমি জানি না" অনুমতি দেওয়া; এছাড়াও উদ্ধৃতি প্রয়োজন এবং কম সৃজনশীলতা.
- উদ্ধৃতি উত্তর যাচাইযোগ্য করে তোলে; এটি উভয়ই আত্মবিশ্বাস দেয় এবং মডেলটিকে সতর্কতার সাথে উত্পাদিত করার জন্য চাপ দেয়।
- উদ্ধৃতিটির যথার্থতাও পরীক্ষা করা উচিত; সঠিক উত্তরের সাথে ভুল উৎস সংযুক্ত করা হতে পারে।
আবেদন টাস্ক
(1) আপনার সহকারীকে জিজ্ঞাসা করার জন্য 4টি প্রশ্ন প্রস্তুত করুন, যার উত্তর নথিতে নেই (ফাঁদ প্রশ্ন)। দুর্বল এবং শক্তিশালী প্রম্পট দিয়ে প্রতিটি পরীক্ষা করুন এবং মডেলটি ফিট কিনা তা চিহ্নিত করুন। (2) 4টি প্রশ্নের জন্য যার উত্তর নথিতে রয়েছে, মডেলটিকে ওয়েল্ড নম্বর তৈরি করতে বলুন এবং ম্যানুয়ালি যাচাই করুন যে ঢালাইটি আসলে সঠিক অংশ কিনা৷ (3) মডেলটি অন্তত একটি ক্ষেত্রে "সঠিক উত্তর, ভুল উত্স" দেয় কিনা তা পরীক্ষা করুন এবং একটি বাক্যে লিখুন কিভাবে আপনি এটি স্বয়ংক্রিয়ভাবে ধরতে পারেন।
চেকলিস্ট
- [ ] আমি বলতে পারি কেন হ্যালুসিনেশন ঘটছে এবং RAG এটি হ্রাস করে কিন্তু পুনরায় সেট করে না।
- [] আমি পুনরুদ্ধার এবং প্রজন্ম-প্ররোচিত হ্যালুসিনেশনের মধ্যে পার্থক্য করতে পারি এবং সঠিক জায়গাটি সংশোধন করতে পারি।
- [ ] আমি প্রম্পটে স্পষ্টভাবে "আমি জানি না" অনুমতি এবং গ্রাউন্ডিং নিয়ম যোগ করছি।
- [] আমি উত্তরে একটি যাচাইযোগ্য উৎস (উদ্ধৃতি) যোগ করছি।
- [ ] আমি আরও বেশি করে অ্যাট্রিবিউশনের যথার্থতা পরীক্ষা করার প্রয়োজনীয়তা বুঝতে পারি।