ইউনিট 4 / 11

সিস্টেম প্রম্পট এবং মডেল পরামিতি

লাভ:

  • সম্পূর্ণ কথোপকথনের মাধ্যমে কীভাবে সিস্টেম প্রম্পট মডেলটিকে গাইড করে তা ডিজাইন করতে পারে
  • অভিযোজিত চিন্তাভাবনা এবং প্রচেষ্টার পরামিতিগুলির ভূমিকা এবং খরচের প্রভাব বোঝে
  • আউটপুট নিয়ন্ত্রণ যেমন max_tokens, স্টপ সিকোয়েন্স এবং কাঠামোগত আউটপুট প্রয়োগ করে

একই মডেলের দুটি ভিন্ন পণ্য সম্পূর্ণ ভিন্নভাবে আচরণ করতে পারে। পার্থক্য মডেল নিজেই নয়, কিন্তু সিস্টেম প্রম্পট এবং এটি দেওয়া পরামিতি মধ্যে. সিস্টেম প্রম্পট হল মডেলের "কাজের চুক্তি" এবং প্যারামিটারগুলি হল "কাজের সেটিংস"। এই ইউনিটে, আপনি শিখবেন কীভাবে একটি শক্তিশালী সিস্টেম প্রম্পট ডিজাইন করতে হয়, আধুনিক মডেলের চিন্তাভাবনা এবং প্রচেষ্টা সেটিংস কী করে এবং ফর্ম্যাট/দৈর্ঘ্যের জন্য আউটপুট কীভাবে নিয়ন্ত্রণ করতে হয়। এই সেটিংস সঠিকভাবে সেট করা আপনাকে একই সময়ে গুণমান এবং খরচ উভয়ই পরিচালনা করতে দেয়।

সিস্টেম প্রম্পট: মডেলের স্থায়ী নির্দেশিকা

সিস্টেম প্রম্পট হল উচ্চ-স্তরের নির্দেশ যা পুরো কথোপকথন জুড়ে প্রযোজ্য। ব্যবহারকারীর ধরন যাই হোক না কেন এই নিয়মগুলি বৈধ থাকবে। একটি ভাল সিস্টেম প্রম্পটে নিম্নলিখিত উপাদানগুলি অন্তর্ভুক্ত রয়েছে:

  1. ভূমিকা/পরিচয়: মডেল কে? ("আপনি একজন কর্পোরেট সহায়তা সহকারী।")
  2. সুযোগ এবং সীমানা: এটি কী করে এবং কী করে না? ("শুধুমাত্র প্রদত্ত নীতি নথির উপর ভিত্তি করে।")
  3. বিন্যাসের নিয়ম: আউটপুট কেমন হওয়া উচিত? ("সর্বাধিক 3টি নিবন্ধ, অফিসিয়াল ভাষা।")
  4. অনিশ্চয়তার মধ্যে আচরণ: অনিশ্চিত হলে কেউ কী করে? ("যদি কোন তথ্য না থাকে, এটি তৈরি করুন, এটি প্রাসঙ্গিক ইউনিটে নির্দেশ করুন।")
  5. নিরাপত্তা/গোপনীয়তা: কি চায় না/চায় না? ("ব্যক্তিগত ডেটার অনুরোধ করুন।")
টিপ: সিস্টেম প্রম্পট ঠিক রাখুন। প্রতিটি অনুরোধের সাথে পরিবর্তিত তথ্য এম্বেড করবেন না (বর্তমান তারিখ, ব্যবহারকারীর নাম, সেশন আইডি)। এটি উভয়ই ধারাবাহিকতা ভঙ্গ করে এবং ইউনিট 6-এ প্রম্পট ক্যাশে বাতিল করে। ব্যবহারকারীর বার্তায় পরিবর্তনশীল তথ্য রাখুন।

অতিমাত্রায় আক্রমণাত্মক নির্দেশনা ফাঁদ

আধুনিক মডেলগুলি খুব ঘনিষ্ঠভাবে নির্দেশ অনুসরণ করে। আক্রমনাত্মক বাক্যাংশ যেমন "অবশ্যই", "সর্বদা", "অবশ্যই এটি করুন", ইত্যাদি, যা পুরানো মডেলগুলিতে কাজ করে, আজকে অতিরিক্ত ট্রিগার করে: মডেলটি যখন প্রয়োজন হয় না বা অপ্রয়োজনীয়ভাবে দীর্ঘ সময়ের জন্য চলে তখন একজন এজেন্টকে কল করে। নিয়মটি নরম করুন: "অনুসন্ধান সরঞ্জাম ব্যবহার করতে হবে" এর পরিবর্তে "উত্তরটি কথোপকথনে না থাকলে অনুসন্ধান সরঞ্জামটি ব্যবহার করুন" আরও সঠিক।

মডেল পরামিতি: চিন্তা এবং প্রচেষ্টা

ক্লাসিক্যাল এলএলএম-এর একটি তাপমাত্রার প্যারামিটার ছিল: একটি নিম্ন মান আরও নির্দিষ্ট/সামঞ্জস্যপূর্ণ আউটপুট তৈরি করে, একটি উচ্চতর মান আরও বৈচিত্র্যময়/সৃজনশীল আউটপুট তৈরি করে। আধুনিক প্রজন্মের মডেলগুলি (যেমন Opus 4.8, Sonnet 5) এই পদ্ধতিটিকে আরও দুটি শক্তিশালী প্রক্রিয়া দিয়ে প্রতিস্থাপন করে এবং তাপমাত্রার মতো নমুনা পরামিতি গ্রহণ করে না।

  • অভিযোজিত চিন্তা: মডেল প্রতিক্রিয়া করার আগে তার "মাথা" ধাপে ধাপে কারণ। মডেল টাস্কের অসুবিধার উপর ভিত্তি করে কতটা চিন্তা করতে হবে তা নির্ধারণ করে। উল্লেখযোগ্যভাবে জটিল, বহু-পদক্ষেপ সমস্যাগুলির সঠিকতা উন্নত করে; সহজ প্রশ্নে অপ্রয়োজনীয় বিলম্ব এড়াতে তিনি কম মনে করেন।
  • প্রচেষ্টা: উচ্চ-স্তরের নব যা সামঞ্জস্য করে যে মডেলটি একটি টাস্কে কতটা গভীরভাবে ডুব দেয় এবং মোট কত টোকেন খরচ করে। সাধারণ স্তর: নিম্ন, মাঝারি, উচ্চ এবং উপরে। উচ্চ প্রচেষ্টা গুণমান উন্নত করতে পারে, কিন্তু এটি বিলম্ব এবং খরচ বাড়ায়; কম প্রচেষ্টা গতি এবং সঞ্চয় নিয়ে আসে।

সেটিং

কি করে

যখন

চিন্তা করা বন্ধ/কম প্রচেষ্টা

দ্রুত, সস্তা, অতিমাত্রায়

সহজ শ্রেণীবিভাগ, সংক্ষিপ্ত প্রতিক্রিয়া, বিলম্ব সংবেদনশীল কাজ

অভিযোজিত চিন্তা + মাঝারি প্রচেষ্টা

সুষম গুণমান/খরচ

সর্বাধিক সাধারণ উদ্দেশ্য কাজ

অভিযোজিত চিন্তা + উচ্চ প্রচেষ্টা

সর্বোচ্চ নির্ভুলতা

জটিল যুক্তি, কোডিং, লং-রেঞ্জ এজেন্টের কাজ

সতর্কতা: "সর্বোচ্চ প্রচেষ্টা যাই হোক না কেন" রিফ্লেক্স খরচ বাড়ায়। কাজের জন্য প্রচেষ্টা সামঞ্জস্য করুন; সাধারণ কাজগুলিতে, কম প্রচেষ্টা প্রায়শই অনেক সস্তা মূল্যে একই সঠিক ফলাফল দেয়। যেখানে সমালোচনামূলক নির্ভুলতা প্রয়োজন সেখানে উচ্চ যান।

আউটপুট নিয়ন্ত্রণ: বিন্যাস, দৈর্ঘ্য, কাঠামো

পরামিতিগুলি ছাড়াও, আপনি নিজেই আউটপুট নিয়ন্ত্রণ করেন:

  • max_tokens: আউটপুটের শক্ত সিলিং (1ম এবং 3য় ইউনিট)।
  • স্টপ সিকোয়েন্স: মডেলটিকে থামানো যখন এটি একটি নির্দিষ্ট স্ট্রিং দেখে। কাঠামোগত উৎপাদনে ব্রেকপয়েন্ট সেট করার জন্য দরকারী।
  • স্ট্রাকচার্ড আউটপুট: আপনার প্রদত্ত JSON স্কিমার সাথে মিলিত হতে মডেলের প্রতিক্রিয়াকে বাধ্য করুন। এটি নিশ্চিত করে যে আউটপুট প্রোগ্রামগতভাবে পার্সযোগ্য এবং বৈধ। এটি একটি প্রম্পটের সাথে "শুধু JSON ফিরিয়ে দিন" বলার চেয়ে বেশি নির্ভরযোগ্য।

{ "output_config": { "format": { "type": "json_schema", "schema": { "type": "object", "additional Properties": false, "properties": { "category": { "type": "string", "enum": ["invoice", "technical", "thereturn", "returnency:"}" "স্ট্রিং", "এনাম": ["নিম্ন", "মাঝারি", "উচ্চ"] } }, "প্রয়োজনীয়": ["বিভাগ", "জরুরি"] } }}

অনুলিপিযোগ্য সিস্টেম প্রম্পট টেমপ্লেট

# কর্পোরেট সহায়তা সহকারী আপনি একজন কর্পোরেট সহায়তা সহকারী৷- শুধুমাত্র প্রদত্ত নীতি নথির উপর নির্ভর করুন; যদি এটি নথিতে না থাকে তবে বলুন "আমার কাছে এই তথ্য নেই।" - সর্বাধিক 3 বাক্যে একটি আনুষ্ঠানিক এবং স্পষ্ট উত্তর দিন। - ব্যক্তিগত ডেটা (টিসি আইডি নম্বর, কার্ড নম্বর) জিজ্ঞাসা করুন এবং আপনার উত্তরে এটি পুনরাবৃত্তি করবেন না। - আপনি যদি নিশ্চিত না হন তবে অনুমান করবেন না।

# স্ট্রাকচার্ড আউটপুট ফোর্সিং ক্লাসিফায়ারআপনি ডিমান্ড ক্লাসিফায়ার। ইনপুট একটি গ্রাহক বার্তা. শুধুমাত্র অনুরোধ করা ক্ষেত্রগুলি ফেরত দিন, মন্তব্য লিখবেন না। আপনি নিশ্চিত না হলে, "অন্য" ব্যবহার করুন।

# অনিশ্চয়তার মধ্যে দাঁড়িয়ে থাকার সংজ্ঞায়িত আচরণ সহ বিশ্লেষক আপনি একজন ডেটা বিশ্লেষক। প্রদত্ত টেবিল থেকে শুধুমাত্র যাচাইযোগ্য অনুমান আঁকুন। ডেটাতে বিদ্যমান নেই এমন উপসংহার কখনই তৈরি করবেন না। যদি একটি অনুমান অস্পষ্ট হয়, লিখুন "ডেটা অপর্যাপ্ত।"

# স্বর এবং দৈর্ঘ্য নিয়ন্ত্রণ সহ বিষয়বস্তু লেখক আপনি একজন বিষয়বস্তু লেখক। একটি উষ্ণ কিন্তু পেশাদার স্বন ব্যবহার করুন। প্রতিটি পাঠ্য 120 শব্দ বা তার কম সীমাবদ্ধ করুন। ক্লিচ মার্কেটিং ভাষা এড়িয়ে চলুন.

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

# WEAK সহায়ক হোন এবং ভাল উত্তর দিন। আপনার যথাসাধ্য চেষ্টা করুন।

# শক্তিশালী ভূমিকা: প্রযুক্তিগত সহায়তা বিশেষজ্ঞ। সুযোগ: শুধুমাত্র পণ্য নির্দেশিকা প্রদান করা হয়েছে। বিন্যাস: ধাপে ধাপে, সংখ্যাযুক্ত তালিকা, সর্বোচ্চ 5 ধাপ। সীমা: নির্দেশিকায় নয় সমাধানের সুপারিশ করুন; বলুন "আমি ম্যানুয়ালটিতে এটি খুঁজে পাইনি।" গোপনীয়তা: প্রতিক্রিয়ায় ব্যবহারকারীর দ্বারা ভাগ করা সিরিয়াল নম্বরটি পুনরাবৃত্তি করবেন না।

শক্তিশালী সংস্করণ; এটি আলাদাভাবে ভূমিকা, সুযোগ, বিন্যাস, সীমানা এবং গোপনীয়তা নির্ধারণ করে। আউটপুট ধারাবাহিকতা সরাসরি এই স্পষ্টতা থেকে আসে।

তিনটি মিনি কেস

কেস 1 - প্রচেষ্টা সমন্বয়ের মাধ্যমে খরচ হ্রাস। একটি দল উচ্চ প্রচেষ্টা + চিন্তার উপর তাদের সমস্ত কল চালাচ্ছিল; এমনকি সাধারণ ইমেল ডাইজেস্টগুলি ব্যয়বহুল এবং উত্পাদন করতে ধীর ছিল। তারা কম পরিশ্রমের সারাংশ এবং উচ্চ প্রচেষ্টার জন্য চুক্তি বিশ্লেষণের মতো সহজ কাজগুলিকে বরাদ্দ করেছিল। নির্ভুলতা বজায় রাখা হয়েছিল, গড় বিলম্বিতা অর্ধেক করা হয়েছিল এবং মাসিক খরচ এক তৃতীয়াংশ হ্রাস করা হয়েছিল।

কেস 2 — JSON গ্যারান্টি। একটি অপারেশন দল "শুধু JSON দিন" বলে একটি প্রম্পট সহ শ্রেণীবিভাগের আউটপুট চেয়েছিল, কিন্তু মডেলটি মাঝে মাঝে লিখবে "এখানে ফলাফল:" এবং পার্সার ক্র্যাশ হয়ে যাবে। যখন আমি কনফিগার করা আউটপুট স্কিমা সংযুক্ত করি, আউটপুটটি প্রতিবার বৈধ JSON ফেরত দেয়; পার্সিং ত্রুটি পুনরায় সেট করা হয়েছে.

কেস 3 — আক্রমনাত্মক প্রম্পট রিকোয়েল। একটি সহকারী প্রম্পট বলেছিল, "প্রত্যেকটি প্রশ্ন অনুসন্ধান করতে হবে"; মডেলটি অপ্রয়োজনীয় অনুসন্ধান করেছে এমনকি সাধারণ প্রশ্নগুলির জন্যও যার উত্তর এটি ইতিমধ্যেই জানত, ধীরগতিতে এবং খরচ বৃদ্ধি করে৷ তারা নিয়মটি শিথিল করে "যদি উত্তরটি প্রসঙ্গে না হয়, অনুসন্ধান করুন"; অপ্রয়োজনীয় কল 70% কমেছে এবং প্রতিক্রিয়া ত্বরান্বিত হয়েছে।

সাধারণ ভুল

  • সিস্টেম প্রম্পটে পরিবর্তনশীল ডেটা এম্বেড করা: সামঞ্জস্য ভঙ্গ করে এবং ক্যাশে অকার্যকর করে।
  • অত্যধিক আক্রমণাত্মক নির্দেশ: আধুনিক মডেলগুলিতে অত্যধিক ট্রিগারিং এবং অপ্রয়োজনীয় খরচ।
  • প্রতিটি কাজে উচ্চ প্রচেষ্টা: সাধারণ কাজে অপচয়; কাজের জন্য প্রচেষ্টা সামঞ্জস্য করুন।
  • শুধুমাত্র প্রম্পটের মাধ্যমে JSON-কে অনুরোধ করা: এটি মাঝে মাঝে বিরতি দেয়; যদি সমালোচনামূলক হয়, কাঠামোগত আউটপুট ব্যবহার করুন।
  • সীমানা/অস্পষ্টতা আচরণ সংজ্ঞায়িত না করা: মডেলটি ফ্যাব্রিকেশন (হ্যালুসিনেশন) দিয়ে শূন্যতা পূরণ করে।
  • পুরানো 'তাপমাত্রা' অভ্যাস: আধুনিক মডেল এটি গ্রহণ করে না; প্রম্পট এবং প্রচেষ্টার সাথে আচরণ নির্দেশ করুন।

গভীরতর: চুক্তির মতো প্রম্পট লেখা

অভিজ্ঞ দলগুলি সিস্টেম প্রম্পটকে একটি চুক্তির মতো আচরণ করে, সাহিত্যের পাঠ্য নয়: স্পষ্ট ধারা, পরিমাপযোগ্য নিয়ম, দ্ব্যর্থহীন সীমানা। এই পদ্ধতির তিনটি কংক্রিট সুবিধা রয়েছে। প্রথমটি হল ধারাবাহিকতা: একই ইনপুট বিভিন্ন সময়ে একই রকম আউটপুট দেয়। দ্বিতীয়টি হল পরীক্ষাযোগ্যতা: আপনি একটি নমুনা দিয়ে প্রতিটি আইটেম আলাদাভাবে পরীক্ষা করতে পারেন। তৃতীয় হল রক্ষণাবেক্ষণের সহজতা: যদি একটি আচরণ ভুল হয়, আপনি জানেন কোন আইটেমটি প্রতিস্থাপন করতে হবে।

একটি ভাল অভ্যাস হল ইতিবাচক উদাহরণ দিয়ে নেতৃত্ব দেওয়া। "এটি করবেন না" এর একটি তালিকা প্রদান করার পরিবর্তে আধুনিক মডেলগুলিতে একটি উদাহরণ প্রদান করা অনেক বেশি কার্যকর যা বলে যে "কাঙ্খিত আউটপুটটি ঠিক এমনটি দেখায়"। উদাহরণস্বরূপ, একটি শ্রেণীবিভাগে, প্রম্পটে প্রত্যাশিত JSON-এর এক বা দুটি নমুনা যোগ করলে তা বিন্যাস সংক্রান্ত ত্রুটিগুলি উল্লেখযোগ্যভাবে হ্রাস করে৷

আরেকটি শক্তিশালী কৌশল হল অনিশ্চয়তার আচরণকে স্পষ্টভাবে লিখতে। একটি ধারা যেমন "যদি অনিশ্চিত, অনুমান করবেন না; বলুন 'অপর্যাপ্ত ডেটা'" মডেলের বানোয়াট (হ্যালুসিনেশন) দিয়ে শূন্যস্থান পূরণ করার প্রবণতাকে দমন করে। এই একক বাক্যটি যাচাইকরণ স্তরটিকে অফলোড করে, যা আমরা ইউনিট 11-এ কভার করব: একবার মডেলটি ইতিমধ্যেই অনিশ্চয়তা ফ্ল্যাগ করে দিলে, এটি মানুষের বৈধতার দিকে নিয়ে যাওয়া সহজ হয়ে যায়।

অবশেষে, একসাথে প্রচেষ্টা এবং প্রম্পট বিবেচনা করুন. উচ্চ প্রচেষ্টায়, মডেলটি আরও অন্বেষণ করে এবং কখনও কখনও অবাঞ্ছিত "অতিরিক্ত কাজ" করে (অপ্রয়োজনীয় ব্যাখ্যা, অতিরিক্ত পরামর্শ)। প্রম্পটে "শুধুমাত্র কাঙ্খিত আউটপুট দিন, অতিরিক্ত মন্তব্য যোগ করবেন না" বলা উচ্চ প্রচেষ্টার এই পার্শ্ব প্রতিক্রিয়াকে অফসেট করে।

সংক্ষেপে

সিস্টেম প্রম্পট হল মডেলের স্থায়ী নির্দেশনা: এটি ভূমিকা, সুযোগ, বিন্যাস, অস্পষ্ট আচরণ এবং গোপনীয়তাকে সংজ্ঞায়িত করে। আধুনিক মডেলগুলিতে, আচরণ তাপমাত্রার পরিবর্তে অভিযোজিত চিন্তাভাবনা এবং প্রচেষ্টার পরামিতি দ্বারা চালিত হয়; টাস্কে সারিবদ্ধ প্রচেষ্টা একই সাথে গুণমান এবং খরচ পরিচালনা করে। আপনি max_tokens, স্টপ অ্যারে এবং স্ট্রাকচার্ড আউটপুট দিয়ে আউটপুট সুরক্ষিত করেন।

আবেদন টাস্ক

একটি টাস্ক চয়ন করুন. (1) পাঁচটি উপাদান (ভূমিকা, সুযোগ, বিন্যাস, অস্পষ্টতা, গোপনীয়তা) সহ একটি সিস্টেম প্রম্পট লিখুন। (2) এই কাজের জন্য আপনি কোন স্তরের প্রচেষ্টা বেছে নেবেন এবং কেন তা বলুন। (3) যদি আউটপুট গঠন করা উচিত, একটি ছোট JSON স্কিমা স্কেচ আউট. (4) আপনার প্রম্পটে একটি অত্যধিক আক্রমণাত্মক প্যাটার্ন আছে কিনা তা পরীক্ষা করুন এবং এটি নরম করুন।

চেকলিস্ট

  • [ ] আমি একটি ভাল সিস্টেম প্রম্পটের পাঁচটি উপাদানের নাম দিতে পারি।
  • অভিযোজিত চিন্তাভাবনা এবং প্রচেষ্টার পরামিতিগুলি কী করে তা আমি ব্যাখ্যা করতে পারি।
  • [] আমি টাস্ক অনুযায়ী প্রচেষ্টা সামঞ্জস্য করে গুণমান/খরচের ভারসাম্য রাখতে পারি।
  • [ ] আমি জানি কেন প্রম্পটের মাধ্যমে JSON অনুরোধ করার চেয়ে কাঠামোগত আউটপুট নিরাপদ।
  • অত্যধিক আক্রমণাত্মক নির্দেশের আধুনিক মডেলগুলিতে আমি ঝুঁকি চিনতে পারি।