ইউনিট
1. এআই প্রদানকারী ইকোসিস্টেম: মানচিত্র, ধারণা এবং 'কোনও সেরা মডেল নেই' 2. বন্ধ ওজন এবং খোলা ওজন: নিয়ন্ত্রণ, খরচ এবং গোপনীয়তার একটি ভারসাম্য 3. ইউএস জায়ান্টস ইন-ডেপথ: অ্যানথ্রোপিক, ওপেনএআই, গুগল 4. অন্যান্য শক্তিশালী খেলোয়াড়: মেটা, মিস্ট্রাল, xAI, ডিপসিক, কোহেরে 5. টোকেন, প্রসঙ্গ উইন্ডো এবং মাল্টিমোডালিটি: মডেলের মন কীভাবে কাজ করে 6. প্রাইসিং লজিক: টোকেন ইকোনমি এবং কস্ট-কোয়ালিটি ব্যালেন্স 7. মডেলের স্তর এবং ক্ষমতা: যুক্তি, গতি এবং ছোট/বড় মডেল নির্বাচন 8. ডেটা সার্বভৌমত্ব, KVKK/EU এবং গোপনীয়তা: আপনি কার কাছে ডেটা অর্পণ করবেন? 9. সঠিক মডেল নির্বাচন করা: ডিসিশন ট্রি এবং মডেল পোর্টফোলিও 10. এন্ড-টু-এন্ড অ্যাপ্লিকেশন: মূল্যায়ন, বৈধতা, নীতিশাস্ত্র এবং সীমানা
ইউনিট 7 / 10

মডেলের স্তর এবং ক্ষমতা: যুক্তি, গতি এবং ছোট/বড় মডেল নির্বাচন

লাভ:

  • আলো, সুষম এবং শক্তিশালী মডেল পর্যায় এবং যুক্তি মোড সনাক্তকরণ
  • একটি কাজের অসুবিধার উপর ভিত্তি করে উপযুক্ত মডেল স্তর নির্বাচন করা
  • সচেতনভাবে বিলম্ব, নির্ভুলতা এবং খরচের মধ্যে ভারসাম্য স্থাপন করার ক্ষমতা

আমরা মূল্য হিসাব করতে শিখেছি; এখন আসুন আমরা সেই দামের জন্য কী পাই সে সম্পর্কে কথা বলি, যেমন মডেল স্তর এবং ক্ষমতা। একটি মডেল নির্বাচন করার সময় তিনটি শক্তি ক্রমাগত প্রতিদ্বন্দ্বিতা করে: গুণমান (নির্ভুলতা), গতি (বিলম্বিততা) এবং খরচ। এই তিনটির মধ্যে দুটির উন্নতি করার অর্থ প্রায়শই তৃতীয়টির সাথে আপস করা। ইউনিটে, আপনি হালকা, ভারসাম্যপূর্ণ এবং শক্তিশালী স্তর, যুক্তি মোড এবং ছোট/বড় মডেল পছন্দ সম্পর্কে শিখবেন; আপনি সচেতনভাবে কাজের অসুবিধা অনুযায়ী সঠিক ভারসাম্য প্রতিষ্ঠা করতে সক্ষম হবেন।

তিনটি স্তর, তিনটি ভিন্ন কাজের চরিত্র

প্রায় প্রতিটি প্রদানকারী একই পরিবারের মধ্যে তিনটি স্তর অফার করে। আসুন টাস্কের চরিত্রের সাথে এগুলি মেলে:

  • হালকা স্তর (ছোট মডেল): খুব দ্রুত, খুব সস্তা, "যথেষ্ট ভাল"। সাধারণ, পুনরাবৃত্তিমূলক, উচ্চ-ভলিউম কাজগুলির জন্য আদর্শ: শ্রেণীবিভাগ, ব্রিফিং, ট্যাগিং, ডেটা পরিষ্কার, সাধারণ প্রতিক্রিয়া খসড়া।
  • সুষম স্তর (মাঝারি মডেল): ভাল মানের, যুক্তিসঙ্গত গতি, যুক্তিসঙ্গত খরচ। বেশিরভাগ দৈনন্দিন কাজের জন্য "ডিফল্ট" পছন্দ: সামগ্রী উত্পাদন, মধ্য-দৈর্ঘ্য বিশ্লেষণ, গ্রাহক প্রতিক্রিয়া।
  • শক্তিশালী স্তর (বড় মডেল): সর্বোচ্চ মানের, সবচেয়ে ধীর, সবচেয়ে ব্যয়বহুল। জটিল যুক্তি, দীর্ঘ এবং বহু-পদক্ষেপ বিশ্লেষণ, কঠিন কোড, সুনির্দিষ্ট আইনি/আর্থিক মূল্যায়নের জন্য।
পরামর্শ: একটি ভাল শুরুর নিয়ম: একটি ভারসাম্যপূর্ণ স্তর দিয়ে শুরু করুন। গুণমান খারাপ হলে, শক্তিশালী স্তর পর্যন্ত সরান; যদি গুণমান অত্যন্ত ভাল হয় এবং ভলিউম বেশি হয়, তাহলে হালকা স্তরে যান। "যথেষ্ট ভাল দিয়ে শুরু করুন" পদ্ধতি, "সবচেয়ে শক্তিশালী দিয়ে শুরু করুন" পদ্ধতির নয়, অর্থ এবং সময় উভয়ই বাঁচায়।

রিজনিং মোড কি?

কিছু মডেল প্রথমে উত্তরটি সরাসরি তৈরি করার পরিবর্তে ধাপে ধাপে "চিন্তা" করতে পারে। একে যুক্তি মোড বলা হয়। মডেলটি একটি সমস্যাকে অংশে বিভক্ত করে, নিজের মধ্যে মধ্যবর্তী ধাপগুলি প্রক্রিয়া করে এবং শুধুমাত্র তখনই চূড়ান্ত উত্তর দেয়। এটি একজন শিক্ষার্থীর কাগজে ধাপে ধাপে গণিতের সমস্যা সমাধান করার মতো।

কখন এটা মূল্যবান? বহু-পদক্ষেপে, যৌক্তিক সমস্যা: একটি জটিল গণনা, দ্বন্দ্ব সনাক্তকরণ, অনুমানের একটি দীর্ঘ চেইন, একটি কঠিন কোড ত্রুটি। এই ধরনের কাজে, যুক্তি উল্লেখযোগ্যভাবে নির্ভুলতা বাড়ায়।

খরচ কত? মডেলটি আরও "চিন্তার টোকেন" তৈরি করে বলে যুক্তি ব্যয় এবং বিলম্বিতা বাড়ায়। সুতরাং এটি আরও ব্যয়বহুল এবং ধীর উভয়ই হবে। একটি সহজ "এই পর্যালোচনা কি ইতিবাচক?" প্রশ্নে যুক্তি হল হাতুড়ি দিয়ে মাছি মারার মতো; অপ্রয়োজনীয় খরচ এবং বিলম্ব সৃষ্টি করে।

সতর্কতা: প্রতিটি কাজের জন্য যুক্তি মোড খোলা রাখবেন না। সাধারণ কাজের জন্য এটি বন্ধ রাখা দ্রুত এবং সস্তা উভয়ই। কিছু আধুনিক মডেল একটি "অভিযোজিত" চিন্তার মোড নিয়ে আসে যা চিন্তা করার প্রয়োজন হলে নিজের জন্য সিদ্ধান্ত নেয়; যাইহোক, এটি সচেতনভাবে পরিচালনা করা আপনার কাজ।

গুণমান, গতি, খরচ ত্রিভুজ

অগ্রাধিকার

উপযুক্ত স্তর

যুক্তি

সর্বনিম্ন খরচ, উচ্চ ভলিউম

লাইটওয়েট

বন্ধ

ভারসাম্য (বেশিরভাগ চাকরি)

সুষম

পরিস্থিতির উপর নির্ভর করে

সর্বোচ্চ নির্ভুলতা, সমালোচনামূলক সিদ্ধান্ত

শক্তিশালী

খোলা

তাত্ক্ষণিক প্রতিক্রিয়া, কম বিলম্ব (চ্যাট)

হালকা/ভারসাম্যপূর্ণ

বন্ধ

জটিল, বহু-পদক্ষেপ বিশ্লেষণ

শক্তিশালী

খোলা

আপনি যখন এই টেবিলটি দেখছেন, নিজেকে জিজ্ঞাসা করুন: "আমি যদি এই টাস্কে ভুল করি তাহলে কি খরচ হবে?" দাম বেশি হলে (ভুল আইনি মূল্যায়ন, ভুল আর্থিক সিদ্ধান্ত) শক্তিশালী ক্যালিবার এবং যুক্তির বিনিয়োগ ন্যায্য। যদি দাম কম হয় (একটি পণ্য লেবেলের ভুল শ্রেণিবিন্যাস), একটি হালকা এবং দ্রুত মডেল যথেষ্ট।

ছোট মডেল নাকি বড় মডেল?

জনপ্রিয় বিশ্বাসের বিপরীতে, প্রতিটি কাজের জন্য একটি বড় মডেলের প্রয়োজন হয় না। ছোট মডেলগুলি আশ্চর্যজনকভাবে সক্ষম হয়েছে, দশমাংশ খরচে অনেকগুলি কাজ সম্পাদন করে এবং বড় মডেলের গতির কয়েকগুণ বেশি। সিদ্ধান্তের জন্য তিনটি প্রশ্ন:

  1. টাস্ক কি সহজ এবং সূত্রসম্মত? (শ্রেণীবিন্যাস, নিষ্কাশন, সংক্ষিপ্ত সারাংশ) → ছোট মডেল।
  2. ভলিউম কি খুব বেশি এবং গতি গুরুত্বপূর্ণ? → ছোট মডেল, কারণ বড় মডেল ব্যয়বহুল এবং ধীর।
  3. টাস্কের জন্য কি সূক্ষ্ম যুক্তি, বর্ধিত প্রসঙ্গ বা সৃজনশীলতার প্রয়োজন হয়? → বড় মডেল।

তিনটি বাস্তবসম্মত কেস

কেস 1 - লাইটওয়েট মডেল যথেষ্ট। একটি ই-কমার্স দল প্রতিদিন 40,000 গ্রাহকের মন্তব্যকে ইতিবাচক/নেতিবাচক/নিরপেক্ষভাবে সাজায়। তারা এটিকে শক্তিশালী মডেলের সাথে চেষ্টা করে এবং তারপরে এটি হালকা ওজনের মডেলের সাথে তুলনা করে: নির্ভুলতা প্রায় একই (96% বনাম 94%), কিন্তু হালকা ওজনের মডেলটি 8 গুণ সস্তা এবং 3 গুণ দ্রুত। লাইটওয়েট মডেল এই কাজের জন্য এখন পর্যন্ত সঠিক পছন্দ; অতিরিক্ত 2% নির্ভুলতা 8x খরচকে সমর্থন করে না।

কেস 2 — শক্তিশালী মডেল + যুক্তি একটি আবশ্যক। একটি ট্যাক্স কনসালটিং ফার্ম একটি জটিল মাল্টি-স্টেজ ট্যাক্স পরিস্থিতি গণনা করতে চায়। লাইটওয়েট মডেল মধ্যবর্তী ধাপে ভুল করে এবং ভুল ফলাফল দেয়। যখন তারা যুক্তি মোড চালু করে শক্তিশালী মডেল ব্যবহার করে, মডেলটি ধাপে ধাপে অগ্রসর হয় এবং সঠিক উপসংহারে পৌঁছায়। এখানে, অতিরিক্ত খরচ এবং বিলম্ব গ্রহণযোগ্য কারণ ত্রুটির খরচ বেশি; যাইহোক, একজন বিশেষজ্ঞ ফলাফল নিশ্চিত করেন।

কেস 3 - মিশ্র ব্যবহার। একটি কল সেন্টার দুটি ধাপে কল ট্রান্সক্রিপ্ট প্রক্রিয়া করে: প্রথমত, এটি একটি হালকা মডেল (উচ্চ ভলিউম, সাধারণ কাজ) সহ প্রতিটি কলকে সংক্ষিপ্তভাবে সংক্ষিপ্ত করে, তারপর এটি শক্তিশালী মডেলকে শুধুমাত্র "অভিযোগ" হিসাবে চিহ্নিত কলগুলি দেয় এবং মূল কারণ বিশ্লেষণ করে (নিম্ন ভলিউম, জটিল কাজ)। তাই তারা অল্প পরিমাণে ভলিউমকে সস্তায় প্রসেস করে, যখন সত্যিই গুরুত্বপূর্ণ কয়েকটি কলের জন্য শক্তিশালী প্যাটার্নের শক্তি সংরক্ষণ করে।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দুর্বল প্রম্পট:

এই ট্যাক্স দৃশ্যকল্প সমাধান. [জটিল দৃশ্যকল্প]

মডেলটি কতটা সাবধানে বিবেচনা করবে তা স্পষ্ট নয়।

শক্তিশালী প্রম্পট:

আপনার ভূমিকা: সিনিয়র ট্যাক্স বিশেষজ্ঞ। টাস্ক: ধাপে ধাপে নিম্নলিখিত বহু-পর্যায়ের দৃশ্যকল্প সমাধান করুন। প্রথমে অনুমানগুলি তালিকাভুক্ত করুন, তারপর প্রতিটি ধাপ আলাদাভাবে গণনা করুন এবং দেখান এবং অবশেষে নেট ফলাফল দিন। যদি এমন একটি বিষয় থাকে যা সম্পর্কে আপনি নিশ্চিত নন বা এটি আইনের উপর নির্ভর করে, তাহলে এটিকে "বিশেষজ্ঞ নিশ্চিতকরণ প্রয়োজন" হিসাবে চিহ্নিত করুন। মধ্যবর্তী ধাপগুলি এড়িয়ে যাওয়া।

শক্তিশালী প্রম্পট মডেলটিকে ধাপে ধাপে চিন্তার (উৎসাহজনক যুক্তি) মাধ্যমে গাইড করে এবং যাচাইযোগ্যতার জন্য মধ্যবর্তী পদক্ষেপগুলিকে দৃশ্যমান করে তোলে।

অনুলিপিযোগ্য টেমপ্লেট

পর্যায় 1 রোগ নির্ণয়:

আমার মিশন: [টাস্ক]। ভলিউম: [NUMBER/দিন]। ত্রুটি খরচ: [নিম্ন/মাঝারি/উচ্চ]। গতি অগ্রাধিকার: [নিম্ন/উচ্চ]। এই প্রোফাইলের উপর ভিত্তি করে, আপনি কোন স্তরের (আলো/সুষম/শক্তিশালী) এবং যুক্তি (খোলা/বন্ধ) সুপারিশ করবেন? ন্যায্যতা।

2. ছোট/বড় মডেল সিদ্ধান্ত:

আমি নিম্নলিখিত কাজটি সংজ্ঞায়িত করি: [টাস্ক]। এই সমস্যা একটি ছোট (হালকা) মডেল দিয়ে সমাধান করা যেতে পারে, বা একটি বড় মডেল প্রয়োজন? ছোট মডেলের সাথে সমাধান করার চেষ্টা করার জন্য আমার জন্য 3টি টেস্ট কেস এবং একটি সাফল্যের থ্রেশহোল্ড প্রস্তাব করুন৷

3. যুক্তির উপযুক্ততা:

যুক্তি (ধাপে ধাপে চিন্তা) মোড কি উপকারী বা ব্যয়বহুল হবে নিম্নলিখিত কাজে: [টাস্ক]? পদক্ষেপের সংখ্যা এবং কাজের যৌক্তিক জটিলতার উপর ভিত্তি করে আপনার সিদ্ধান্তকে ন্যায়সঙ্গত করুন।

4. দুই-পর্যায়ের ওয়ার্কফ্লো ডিজাইন:

নিম্নলিখিত উচ্চ-ভলিউম টাস্কে খরচ কমাতে একটি দ্বি-পর্যায়ের প্রবাহ ডিজাইন করুন [টাস্ক]: কোন অংশটি লাইটওয়েট মডেলে যাওয়া উচিত, কোন অংশটি শক্তিশালী মডেলে যাওয়া উচিত? প্রতিটি ধাপের জন্য স্তর এবং যুক্তি লিখুন।

সাধারণ ভুল

  • প্রতিটি কাজের জন্য একটি শক্তিশালী মডেল: সহজ এবং বিশাল কাজের সবচেয়ে শক্তিশালী মডেল ব্যবহার করে অপ্রয়োজনীয় খরচ এবং বিলম্ব তৈরি করা।
  • সর্বদা যুক্তির উপর রেখে যাওয়া: সাধারণ কাজে চিন্তাভাবনা চালু রাখা এবং বৃথা সময় এবং অর্থ নষ্ট করা।
  • গুণমান পরিমাপ না করে সিদ্ধান্ত নেওয়া: আপনার নিজের ডেটার সাথে দুটি স্তরের তুলনা না করেই "বড় ভাল" অনুমান করা।
  • গতির প্রয়োজনীয়তা ভুলে যাওয়া: এমন জায়গায় যেখানে একটি তাত্ক্ষণিক প্রতিক্রিয়া প্রয়োজন, যেমন চ্যাট, একটি ধীর শক্তিশালী মডেল বেছে নেওয়া এবং ব্যবহারকারীকে অপেক্ষা করা।
  • দুই-পর্যায়ের প্রবাহ সম্পর্কে মোটেও চিন্তা না করা: একটি একক মডেল দ্বারা নির্মিত সম্পূর্ণ ভলিউম না থাকা এবং সস্তায় করা যেতে পারে এমন অংশ সংরক্ষণ না করা।

সংক্ষেপে

  • মডেল নির্বাচন মান, গতি এবং খরচের ত্রিভুজ একটি ভারসাম্যমূলক কাজ; দুটির উন্নতির জন্য প্রায়শই তৃতীয়টিকে আপস করতে হয়।
  • হালকা পর্যায় সাধারণ/বড় কাজের জন্য উপযুক্ত, শক্তিশালী মঞ্চ জটিল/গুরুত্বপূর্ণ কাজের জন্য উপযুক্ত; সুষম পর্যায়টি বেশিরভাগ কাজের জন্য একটি ভাল শুরু।
  • রিজনিং মোড মাল্টি-স্টেপ সমস্যায় নির্ভুলতা উন্নত করে কিন্তু খরচ এবং লেটেন্সি বাড়ায়; এটি প্রতিটি কাজের জন্য খোলা রাখা উচিত নয়।
  • "এই মিশনে ব্যর্থতার মূল্য কত?" প্রশ্নটি স্তর এবং যুক্তির সিদ্ধান্তের কম্পাস। দ্বি-পর্যায়ের প্রবাহ ভলিউম কাজের ক্ষেত্রে দুর্দান্ত সঞ্চয় প্রদান করে।

আবেদন টাস্ক

আপনার কাজের একটি কাজ নির্বাচন করুন এবং টেমপ্লেট 1 (পর্যায় নির্ণয়) এর সাথে কোন পর্যায়ে এবং যুক্তি সেটিং উপযুক্ত তা নির্ধারণ করুন। যদি টাস্কটি উচ্চ ভলিউম হয়, তাহলে এমন একটি ডিজাইন নিয়ে আসুন যা কিছু ভলিউমকে হালকা ওজনের মডেলে এবং গুরুত্বপূর্ণ অংশকে টেমপ্লেট 4 (দুই-পর্যায়ের ওয়ার্কফ্লো) সহ শক্তিশালী মডেলে নির্দেশ করে। আমরা ইউনিট 9-এ মডেল পোর্টফোলিও স্টাডিতে এই নকশাটি ব্যবহার করব।

চেকলিস্ট

  • [ ] আমি আলো, ভারসাম্যপূর্ণ এবং শক্তিশালী পর্যায়ের কাজের চরিত্রের সাথে মেলাতে পারি।
  • [ ] আমি ব্যাখ্যা করতে পারি যুক্তি মোড কি করে এবং এর খরচ কি।
  • [ ] আমি সচেতনভাবে একটি কাজের জন্য গুণমান-গতি-খরচের ভারসাম্য স্থাপন করতে পারি।
  • আমি ছোট বা বড় মডেল প্রশ্নের তিনটি প্রশ্নের উত্তর দিতে পারি।
  • আমি একটি উচ্চ ভলিউম কাজের জন্য একটি দ্বি-পর্যায়ের প্রবাহ ডিজাইন করতে পারি।