ইউনিট 5 / 12

হ্যালুসিনেশন এবং বিশ্বাসযোগ্যতার সীমা

লাভ:

  • হ্যালুসিনেশন কী এবং কেন এটি ঘটে তা ব্যাখ্যা করতে পারে
  • কখন AI আউটপুট যাচাই করা প্রয়োজন তা নির্ধারণ করতে পারে
  • ব্যবহারিক কৌশল প্রয়োগ করতে পারে যা নির্ভরযোগ্যতা বাড়ায়

সম্ভবত এআই সাক্ষরতার সবচেয়ে সমালোচনামূলক বিষয় হল এই ইউনিটে: মডেল মেক আপ, অর্থাৎ হ্যালুসিনেশন। যে কেউ AI ব্যবহার করে তার জন্য এই শব্দটি বোঝা হল সবচেয়ে মৌলিক নিরাপত্তা সতর্কতা। কারণ একজন ব্যবহারকারী যে হ্যালুসিনেশনকে চিনতে পারে না সে ভুল তথ্যকে সত্য বলে ভুল করে ব্যবসায়িক সিদ্ধান্ত, গ্রাহক যোগাযোগ বা অফিসিয়াল নথিতে স্থানান্তর করতে পারে। এই ইউনিটে, আপনি হ্যালুসিনেশন কী, কেন এটি অনিবার্য এবং কীভাবে এটি থেকে রক্ষা করা যায় তা শিখবেন।

হ্যালুসিনেশন কি?

একটি হ্যালুসিনেশন হল যখন একটি ভাষা মডেল এমন তথ্য তৈরি করে যা আসলে একটি সাবলীল এবং আত্মবিশ্বাসী ভাষায় বিদ্যমান নেই, ঠিক যেন এটি সত্য। মডেল মিথ্যা বলতে ইচ্ছা করে না; শুধুমাত্র "সবচেয়ে সম্ভাব্য ধারাবাহিকতা" তৈরি করার সময়, এটি এমন একটি পাঠ্য তৈরি করে যা সম্ভাব্য বলে মনে হয় কিন্তু আসলে মিথ্যা।

উদাহরণ: আপনি যদি একটি মডেলকে বলেন "বিষয়টির উপর একটি একাডেমিক উত্স সুপারিশ করুন সবকিছু সঠিক বিন্যাসে এবং বিশ্বাসযোগ্যভাবে প্রদর্শিত হয়; কিন্তু উত্সটি সম্পূর্ণ কাল্পনিক৷ এটি হ্যালুসিনেশনের একটি ক্লাসিক উদাহরণ৷

কেন এটা ঘটবে? (দুই ইউনিট মনে রাখবেন)

হ্যালুসিনেশনের উৎস মডেলের কার্য নীতিতে নিহিত। মডেলটি "তথ্যের বিশ্বকোষ" নয়; এটি একটি "সম্ভাব্যতা মেশিন"। এর কাজ হল আপনার প্রশ্নের মসৃণতম সম্ভাব্য ধারাবাহিকতা তৈরি করা; এটি সবচেয়ে সঠিক তথ্য আনার বিষয়ে নয়। মডেল:

  • সে যা জানে না তা সে জানে না; যখন একটি ফাঁকা সম্মুখীন হয়, তিনি "আমি জানি না" বলার পরিবর্তে একটি সম্ভাব্য উত্তর পূরণ করতে থাকে।
  • বাস্তবতাকে নিয়ন্ত্রণ করার জন্য এটির কোন ব্যবস্থা নেই; এটি যে পাঠ্যটি তৈরি করে তা বিশ্বের সাথে মেলে কিনা তা পরীক্ষা করে না।
  • সাবলীলতা এবং নির্ভুলতা তার জন্য দুটি ভিন্ন জিনিস; এটি সাবলীল হওয়ার অর্থ এই নয় যে এটি সঠিক।
সতর্কতা: হ্যালুসিনেশন একটি "ব্যর্থতা" নয়; এটি প্রযুক্তির একটি সহজাত বৈশিষ্ট্য। নতুন মডেলগুলি এটি হ্রাস করে তবে এটি সম্পূর্ণভাবে নির্মূল করতে পারে না। অতএব, "নন-হ্যালুসিনেশন মডেল" এর জন্য অপেক্ষা না করে, হ্যালুসিনেশন নিয়ে বাঁচতে শিখতে হবে।

হ্যালুসিনেশনের ঝুঁকি কোথায় বেশি?

প্রতিটি ফলাফল সমান ঝুঁকিপূর্ণ নয়। ঝুঁকি বৃদ্ধি পায় যখন:

উচ্চ ঝুঁকি

কম ঝুঁকি

সঠিক পরিসংখ্যান, তারিখ, পরিসংখ্যান

সাধারণ ধারণা তৈরি করা, চিন্তাভাবনা করা

উত্স, উদ্ধৃতি, রেফারেন্স অনুরোধ করা হচ্ছে

একটি পাঠ্যের স্বর পরিবর্তন করুন

কুলুঙ্গি, বিশেষ বিষয়

সাধারণ, সাধারণ বিষয়

বর্তমান ঘটনা এবং মানুষ

আপনার টেক্সট সংক্ষিপ্ত

আপনার কোম্পানির জন্য নির্দিষ্ট অভ্যন্তরীণ তথ্য

ব্যাকরণ সংশোধন

তিনটি মিনি কেস

কেস 1 — একটি জাল চিত্র উপস্থাপনা প্রবেশ করেছে. একজন কর্মচারী AI কে "2023 ই-কমার্স বৃদ্ধির হার এবং Türkiye এর উৎস" এর জন্য ইন্ডাস্ট্রি রিপোর্টের জন্য জিজ্ঞাসা করেছিলেন। মডেলটি একটি বিশ্বাসযোগ্য শতাংশ (48%) এবং একটি প্রতিষ্ঠানের নাম প্রদান করেছে। কর্মচারী এটি যাচাই না করেই উপস্থাপনায় রেখেছিলেন; যখন সভায় প্রকাশ করা হয় যে চিত্রটি বানোয়াট, উপস্থাপনা এবং কোম্পানির সুনাম উভয়ই ক্ষতিগ্রস্ত হয়েছে। একই কর্মচারী যদি অফিসিয়াল সোর্স থেকে ফিগার পেতো তাহলে কোন সমস্যা হতো না।

কেস 2 - আইনের অস্তিত্বহীন অংশ। একজন সহকারী একটি পিটিশনের জন্য এআইকে "আইনের প্রাসঙ্গিক নিবন্ধ" চেয়েছিলেন। মডেল একটি বাস্তবসম্মত চেহারা আইটেম নম্বর এবং পাঠ্য উত্পাদিত; কিন্তু যে আইটেম সেখানে ছিল না. সৌভাগ্যবশত, আইন বিভাগ প্রসবের আগে এটি লক্ষ্য করে। পাঠ: আইনি উদ্ধৃতিগুলি সর্বদা প্রাথমিক উত্স থেকে যাচাই করা হয়।

কেস 3 - সঠিক পদ্ধতি, নিরাপদ ফলাফল। একই দলের অন্য একজন কর্মচারীর কাছে কেবল এআই ড্রাফ্টটি ছিল, অফিসিয়াল ডেটা থেকে নিজেই সমস্ত নম্বর প্রবেশ করান এবং তাকে "এই পাঠ্যটিতে নেই এমন কোনও পরিসংখ্যান যুক্ত করতে" নির্দেশ দিয়েছিলেন। ফলাফল দ্রুত এবং সঠিক উভয় ছিল. পার্থক্য: AI খসড়া লিখেছে, মানুষের খাওয়ানো তথ্য।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দুর্বল প্রম্পট: লেখক এবং বছরের সাথে এই বিষয়ে 3টি সবচেয়ে গুরুত্বপূর্ণ একাডেমিক উত্স দিন।

ফলাফল: মডেল নিরাপদে অস্তিত্বহীন উত্স ফিট করতে পারেন.

শক্তিশালী প্রম্পট: আমি নীচে পেস্ট করেছি তার উপর ভিত্তি করে একটি সারসংক্ষেপ লিখুন। এই টেক্সট শুধুমাত্র তথ্য ব্যবহার করুন. লেখায় নেই এমন কোনো নাম, সংখ্যা বা উৎস যোগ করবেন না। আপনি যদি নিশ্চিত না হন তবে লিখুন "টেক্সটে নির্দিষ্ট করা নেই"।<text>[এখানে পেস্ট করুন]</text>

ফলাফল: যেহেতু মডেলটি আপনার কাছ থেকে উৎস পায়, তাই ফিটিং স্থান সংকীর্ণ হয়ে যায়।

ব্যবহারিক কৌশল যা নির্ভরযোগ্যতা বাড়ায়

আপনার উত্তরে প্রতিটি যাচাইযোগ্য দাবি চিহ্নিত করুন (নম্বর, তারিখ, নাম, উত্স) এবং একটি পৃথক "চেক করা আবশ্যক" তালিকায় রাখুন।

এই প্রশ্নের উত্তর দাও। আপনি যদি নিশ্চিত না হন, অনুমান করবেন না; বলুন "আমি নিশ্চিত নই" এবং ব্যাখ্যা করুন যে আপনি কি জানেন না। বিষয়: [বিষয়]

দুটি ভিন্ন উপায়ে একই প্রশ্নের উত্তর দিন এবং দুটি উত্তরের মধ্যে দ্বন্দ্ব চিহ্নিত করুন। তো দেখি কোন পয়েন্টগুলো প্রশ্নবিদ্ধ। প্রশ্ন: [প্রশ্ন]

আমি নীচের টেক্সট যাচাই করব. ঝুঁকিপূর্ণ দাবিগুলি তালিকাভুক্ত করুন যা আমার গুরুত্বের ক্রমানুসারে পরীক্ষা করা উচিত এবং প্রস্তাব করুন যেখানে আমি প্রতিটিকে যাচাই করতে পারি৷ পাঠ্য: [এখানে পেস্ট করুন]

এছাড়াও, এই অভ্যাসগুলি গ্রহণ করুন:

  1. আপনি উৎস প্রদান করুন. প্রাসঙ্গিক নথিটি পাঠ্যে পেস্ট করুন এবং বলুন "একার উপর ভিত্তি করে উত্তর।"
  2. সর্বদা যাচাইযোগ্য তথ্য পরীক্ষা করুন। একটি স্বাধীন, নির্ভরযোগ্য উৎস থেকে নম্বর, তারিখ, নাম, উদ্ধৃতি এবং উৎস যাচাই করুন।
  3. তাকে নির্দেশ করতে বলুন যে তিনি মডেল সম্পর্কে নিশ্চিত নন। এটি ঝুঁকি হ্রাস করে তবে এটি সম্পূর্ণরূপে নির্মূল করে না।
  4. উচ্চ-ঝুঁকিপূর্ণ কাজের জন্য, একজন বিশেষজ্ঞকে আউটপুট পরিদর্শন করুন। আইনি, আর্থিক এবং স্বাস্থ্য-সম্পর্কিত ফলাফলগুলি অবশ্যই মানব বিশেষজ্ঞদের ফিল্টারের মধ্য দিয়ে যেতে হবে।
  5. AI কে "প্রারম্ভিক বিন্দু" হিসাবে ব্যবহার করুন, "শেষ শব্দ" হিসাবে নয়। খসড়াটি তাঁর কাছ থেকে; যাচাই এবং সিদ্ধান্ত আপনার.
সতর্কতা: "মডেল এটি দুইবার বলেছে, তারপর এটি সত্য" যুক্তি ভুল। আত্মবিশ্বাসের সাথে একই ভুল পুনরাবৃত্তি করতে পারেন। পুনরাবৃত্তি সঠিকতার প্রমাণ নয়।

সাধারণ ভুল

সাধারণ ভুল

  • তাদের যাচাই না করেই উৎস ব্যবহার করা। এটি মডেল বই, নিবন্ধ, আইনের নিবন্ধ এবং লিঙ্ক তৈরি করতে পারে; প্রতিটি রেফারেন্স নিশ্চিত করা আবশ্যক.
  • নির্ভুলতার জন্য আত্মবিশ্বাসী টোন ভুল করা। হ্যালুসিনেশন সম্পর্কে সবচেয়ে বিপজ্জনক জিনিসটি অবিকল যে এটি আত্মবিশ্বাসী বলে মনে হয়।
  • শুধু মডেলটিকে "আপনি যাচাই করুন" বলা যথেষ্ট। মডেলের স্ব-বৈধকরণ স্বাধীন বৈধতা নয়।
  • কোনো বিশেষজ্ঞকে না দেখিয়ে উচ্চ-ঝুঁকিপূর্ণ আউটপুট ব্যবহার করা। অর্থ, আইন ও স্বাস্থ্যের ক্ষেত্রে মানুষের নিয়ন্ত্রণ অপরিহার্য।

সংক্ষেপে

  • হ্যালুসিনেশন হল যখন মডেলটি সাবলীল এবং আত্মবিশ্বাসীভাবে অস্তিত্বহীন তথ্য তৈরি করে যেন এটি সত্য।
  • কারণটি কোনও ত্রুটি নয়, তবে মডেলটির সম্ভাব্যতা-ভবিষ্যদ্বাণী করা প্রকৃতি; সম্পূর্ণরূপে নির্মূল করা যাবে না।
  • সুনির্দিষ্ট পরিসংখ্যান, উত্স, আপ-টু-ডেট তথ্য এবং বিশেষ সমস্যাগুলির ক্ষেত্রে ঝুঁকি বিশেষত বেশি।
  • নিজেকে রক্ষা করার জন্য: উত্স দিন, তথ্য যাচাই করুন, বলুন "আপনি যদি নিশ্চিত না হন তবে আমাকে বলুন", একজন বিশেষজ্ঞ দ্বারা উচ্চ-ঝুঁকির আউটপুট পরীক্ষা করুন৷
  • একটি সূচনা পয়েন্ট হিসাবে AI ব্যবহার করুন; চূড়ান্ত যাচাইকরণ এবং দায়িত্ব সর্বদা আপনার সাথে থাকে।

অ্যাপ্লিকেশন টাস্ক

আপনার AI টুলকে বলুন "3টি একাডেমিক উৎসের পরামর্শ দিতে" এমন একটি বিষয়ে যা দক্ষতার প্রয়োজন এবং এটি ইন্টারনেটে যে সূত্রগুলি প্রস্তাব করে তা নিশ্চিত করার চেষ্টা করুন; কতগুলো আসল তা খেয়াল করুন। তারপর "আপনি উৎস দেন" পদ্ধতির সাথে একই কাজটি পুনরাবৃত্তি করুন এবং পার্থক্যটি পর্যবেক্ষণ করুন।

চেকলিস্ট

  • [ ] আমি ব্যাখ্যা করতে পারি হ্যালুসিনেশন কী এবং কেন এটি ঘটে।
  • [ ] আমি উচ্চ এবং নিম্ন হ্যালুসিনেশন ঝুঁকির কাজগুলির মধ্যে পার্থক্য করতে পারি।
  • [ ] আমি মডেলকে উৎস দিয়ে বানোয়াট ঝুঁকি কমাতে পারি।
  • [ ] আমি স্বাধীনভাবে সংখ্যা, তারিখ, নাম এবং উৎস যাচাই করি।
  • [ ] আমি নির্ভুলতার প্রমাণ হিসাবে আত্মবিশ্বাসী টোন বিবেচনা করি না।