ইউনিট
1. এআই প্রদানকারী ইকোসিস্টেম: মানচিত্র, ধারণা এবং 'কোনও সেরা মডেল নেই' 2. বন্ধ ওজন এবং খোলা ওজন: নিয়ন্ত্রণ, খরচ এবং গোপনীয়তার একটি ভারসাম্য 3. ইউএস জায়ান্টস ইন-ডেপথ: অ্যানথ্রোপিক, ওপেনএআই, গুগল 4. অন্যান্য শক্তিশালী খেলোয়াড়: মেটা, মিস্ট্রাল, xAI, ডিপসিক, কোহেরে 5. টোকেন, প্রসঙ্গ উইন্ডো এবং মাল্টিমোডালিটি: মডেলের মন কীভাবে কাজ করে 6. প্রাইসিং লজিক: টোকেন ইকোনমি এবং কস্ট-কোয়ালিটি ব্যালেন্স 7. মডেলের স্তর এবং ক্ষমতা: যুক্তি, গতি এবং ছোট/বড় মডেল নির্বাচন 8. ডেটা সার্বভৌমত্ব, KVKK/EU এবং গোপনীয়তা: আপনি কার কাছে ডেটা অর্পণ করবেন? 9. সঠিক মডেল নির্বাচন করা: ডিসিশন ট্রি এবং মডেল পোর্টফোলিও 10. এন্ড-টু-এন্ড অ্যাপ্লিকেশন: মূল্যায়ন, বৈধতা, নীতিশাস্ত্র এবং সীমানা
ইউনিট 9 / 10

সঠিক মডেল নির্বাচন করা: ডিসিশন ট্রি এবং মডেল পোর্টফোলিও

লাভ:

  • সাতটি মূল প্রশ্ন সহ মডেল নির্বাচনকে একটি কাঠামোগত সিদ্ধান্ত গাছে পরিণত করা
  • বাস্তব ব্যবসায়িক পরিস্থিতিতে সিদ্ধান্ত গাছ প্রয়োগ করে মডেল প্রস্তাব করার ক্ষমতা
  • একক মডেলের উপর নির্ভরতার পরিবর্তে একটি মডেল পোর্টফোলিও প্রতিষ্ঠার সুবিধা এবং বোঝা মূল্যায়ন করা

আমরা আটটি ইউনিট জুড়ে টুকরা সংগ্রহ করেছি: প্রদানকারী, অন্তর্নিহিত/স্পষ্ট ওজন, প্রসঙ্গ, মাল্টিমোডালিটি, খরচ, স্তর, এবং ডেটা সার্বভৌমত্ব। এখন এই টুকরোগুলিকে একক সিদ্ধান্তের প্রক্রিয়াতে একত্রিত করার সময়। এই ইউনিটের উদ্দেশ্য হল প্রশ্নের উত্তর দেওয়া "কোন মডেল?" আপনি আর অন্তর্দৃষ্টি দিয়ে প্রশ্নের উত্তর দিতে পারবেন না, কিন্তু একটি কাঠামোগত সিদ্ধান্ত গাছ দিয়ে। আপনি এটিও দেখতে পাবেন যে কেন পরিণত সংস্থাগুলি কেবল একটি নয়, মডেলগুলির একটি পোর্টফোলিওর দিকে আকর্ষণ করে৷ ইউনিটটি শেষ হয়ে গেলে, আপনি বাস্তব ব্যবসায়িক পরিস্থিতিতে সিদ্ধান্তের গাছ প্রয়োগ করতে এবং আপনার নিজস্ব পোর্টফোলিওর খসড়া তৈরি করতে সক্ষম হবেন।

সাত প্রশ্ন সিদ্ধান্ত গাছ

আমরা মডেল নির্বাচন কমিয়ে সাতটি প্রশ্ন করতে পারি। ক্রমানুসারে এই প্রশ্নগুলোর উত্তর প্রায় স্বয়ংক্রিয়ভাবে আপনাকে সঠিক প্রার্থীর কাছে নিয়ে যাবে।

  1. তথ্য সংবেদনশীল? আপনি যদি ব্যক্তিগত/গোপনীয় ডেটা প্রক্রিয়াকরণ করছেন → ডেটা সার্বভৌমত্ব (স্বচ্ছ ওজন, আঞ্চলিক, শূন্য ধারণ) প্রথমে নির্ধারণ করে। না হলে আপনার নমনীয়তা বাড়বে।
  2. কাজটা কতটা কঠিন? সরল/প্রবল → হালকা স্তর। জটিল/মাল্টি-ধাপ → শক্তিশালী পদক্ষেপ + যুক্তি।
  3. আয়তন কত? খুব উচ্চ ভলিউম → গতি এবং খরচ সামনে আসে, হালকা পরিসরের দিকে ঝুঁকে পড়ে। কম ভলিউম → আপনি মানের বিনিয়োগ করতে পারেন।
  4. নথি/প্রসঙ্গটি কত বড়? দীর্ঘ নথি → প্রশস্ত প্রসঙ্গ উইন্ডো একটি আবশ্যক. ছোট লেখা → ছোট উইন্ডোই যথেষ্ট।
  5. ভিজ্যুয়াল/অডিও আছে কি? যদি পাওয়া যায় → মাল্টিমোডাল মডেল বাধ্যতামূলক। অন্যথায়, পাঠ্য মডেল যথেষ্ট।
  6. বাজেট সংবেদনশীলতা কি? যদি উচ্চ → ধাপ অপ্টিমাইজেশান, ক্যাশে, ব্যাচ; হয়তো খোলা ওজন। কম হলে → মানের উপর অগ্রাধিকার।
  7. দল ও পরিকাঠামো কেমন? যদি কোনও প্রযুক্তিগত দল না থাকে → বদ্ধ ওজন, প্রস্তুত ইন্টারফেস। একটি শক্তিশালী দল থাকলে → ওপেন ওয়েট বিকল্পটি টেবিলে রয়েছে।
পরামর্শ: একবার আপনি এই সাতটি প্রশ্নের উত্তর দিলে, প্রার্থী মডেলের পুল সাধারণত এক থেকে দুটি মডেলে সঙ্কুচিত হয়। সিদ্ধান্ত গাছের উদ্দেশ্য আপনার উপর একটি একক "সঠিক উত্তর" চাপিয়ে দেওয়া নয়, তবে বিকল্পগুলি দ্রুত সরিয়ে দেওয়া এবং সামান্য পাইলটের সাথে অবশিষ্টগুলি পরীক্ষা করা আপনার জন্য সহজ করে তোলা।

একটি টেবিলে সিদ্ধান্ত গাছ নির্বাণ

প্রশ্ন

উত্তর → পুনঃনির্দেশ

তথ্য সংবেদনশীল?

হ্যাঁ → খোলা ওজন / আঞ্চলিক / স্টোরেজ আগে শূন্য

কাজটা কি কঠিন?

হ্যাঁ → শক্তিশালী + যুক্তি / না → মৃদু

ভলিউম কি উচ্চ?

হ্যাঁ → গতি এবং খরচ অগ্রাধিকার (হালকা)

নথি বড়?

হ্যাঁ → বিস্তৃত প্রসঙ্গ

একটি চাক্ষুষ আছে?

হ্যাঁ → মাল্টিমোডাল বাধ্যতামূলক

বাজেট কি সীমিত?

হ্যাঁ → অপ্টিমাইজেশান + সম্ভবত খোলা ওজন

একটি প্রযুক্তিগত দল আছে?

কোনোটিই নয় → বন্ধ/প্রস্তুত ইন্টারফেস

এই টেবিলটি একটি চেকলিস্টের মতো কাজ করে: প্রতিটি সারিতে টিক দিন, ফলস্বরূপ প্রোফাইল একত্রিত করুন। উদাহরণস্বরূপ, "ডেটা সংবেদনশীল + টাস্ক কঠিন + কম ভলিউম + প্রযুক্তিগত দল উপলব্ধ" প্রোফাইলটি সম্ভবত আপনাকে আপনার নিজের সার্ভারে চলমান একটি শক্তিশালী ওপেনওয়েট মডেলের দিকে পরিচালিত করবে।

একটি একক মডেল নয়, একটি পোর্টফোলিও৷

অভিজ্ঞ প্রতিষ্ঠানগুলি কিছুক্ষণ পরে বুঝতে পারে যে একক মডেলের সাথে সবকিছু করা সবচেয়ে সস্তা বা সর্বোত্তম উপায় নয়। পরিবর্তে, তারা মডেলগুলির একটি পোর্টফোলিও তৈরি করে: কাজের উপর নির্ভর করে বিভিন্ন মডেল ব্যবহার করে। যুক্তি সহজ:

  • সহজ, ভারী কাজ → হালকা এবং সস্তা মডেল।
  • জটিল, সমালোচনামূলক কাজ → শক্তিশালী মডেল।
  • চাকরি গোপনীয় তথ্য প্রক্রিয়াকরণ → খোলা ওজন/আঞ্চলিক মডেল।
  • ভিজ্যুয়াল কাজ → মাল্টিমোডাল মডেল।

পোর্টফোলিও পদ্ধতির দুটি প্রধান সুবিধা রয়েছে। প্রথমটি হল খরচ অপ্টিমাইজেশান: আপনার প্রতিটি কাজ একটি মডেলের দ্বারা করা দরকার যতটা শক্তিশালী, এবং আপনি এর বেশি অর্থ প্রদান করবেন না। দ্বিতীয়ত, প্রদানকারীর স্বাধীনতা: আপনি একটি একক প্রদানকারীর উপর নির্ভরশীল নন; যদি কেউ দাম ​​বাড়ায়, নীতি পরিবর্তন করে বা পরিষেবা কমিয়ে দেয়, তাহলে আপনার কাছে একটি বিকল্প প্রস্তুত আছে। একে বলা হয় "বিক্রেতা লক-ইন এড়ানো"।

সতর্কতা: পোর্টফোলিও পদ্ধতি বিনামূল্যে নয়; একাধিক মডেল পরিচালনা এবং পর্যবেক্ষণ এবং সামঞ্জস্যপূর্ণ গুণমান নিশ্চিত করা ওভারহেড যোগ করে। আপনি যদি একটি ছোট দল হয়ে থাকেন, তবে আপনার ব্যবসার পরিপক্ক হওয়ার সাথে সাথে একটি একক ভারসাম্যপূর্ণ মডেল দিয়ে শুরু করা এবং একটি পোর্টফোলিওতে যাওয়া প্রায়শই স্মার্ট। প্রয়োজনের চেয়ে আগে পোর্টফোলিও স্থাপন করা ব্যবস্থাপনা বিভ্রান্তি তৈরি করতে পারে।

একটি পোর্টফোলিও উদাহরণ

নীচে একটি নমুনা পোর্টফোলিও রয়েছে যা একটি মাঝারি আকারের পরিষেবা সংস্থা তৈরি করতে পারে:

ব্যবসার ধরন

নমুনা টাস্ক

নির্বাচিত মডেল প্রকার

কেন

উচ্চ ভলিউম বাছাই

মন্তব্য/টিকিট ট্যাগিং

সামান্য বন্ধ

সস্তা, দ্রুত, যথেষ্ট

সাধারণ সামগ্রী উত্পাদন

ইমেল, খসড়া বিবরণ

সুষম বন্ধ

ভাল ভারসাম্য

জটিল বিশ্লেষণ

চুক্তি ঝুঁকি পর্যালোচনা

শক্তিশালী বন্ধ (বিস্তৃত প্রসঙ্গ)

নির্ভুলতা সমালোচনামূলক

গোপনীয় তথ্য প্রক্রিয়াকরণ

আর্থিক/রোগীর তথ্য বিশ্লেষণ

খোলা ওজন (নিজস্ব সার্ভার)

ডাটা বের হয় না

চাক্ষুষ প্রক্রিয়াকরণ

চালান/ফটো রিডিং

মাল্টিমডাল

চাক্ষুষ প্রয়োজনীয়তা

এই টেবিলটি এক-বাক্য প্রশ্নের উপর ভিত্তি করে "আপনি কোন মডেল ব্যবহার করেন?" এটি দেখায় যে প্রশ্নটি আসলে ভুল প্রশ্ন। সঠিক উত্তর হল: "কোন কাজের জন্য কোন মডেল?"

তিনটি বাস্তবসম্মত কেস: ডিসিশন ট্রি প্রয়োগ করা

কেস 1 - ছোট আইন সংস্থা। পাঁচ জনের একটি অফিস চুক্তির সারসংক্ষেপ করতে চায়। সিদ্ধান্ত ট্রি: ডেটা সংবেদনশীল (হ্যাঁ, তবে স্পষ্ট সম্মতি এবং চুক্তির সাথে পরিচালনাযোগ্য) → কাজ কঠিন (হ্যাঁ) → ভলিউম কম (প্রতি মাসে 100) → নথি বড় (হ্যাঁ, 40+ পৃষ্ঠা) → কোনও ছবি নেই → বাজেট মাঝারি → কোনও প্রযুক্তিগত দল নেই। ফলাফল: শূন্য ধরে রাখার চুক্তির সাথে অফ-দ্য-শেল্ফ ইন্টারফেস থেকে একটি বড়-প্রসঙ্গ, শক্তিশালী, ক্লোজ-ওয়েট মডেলের সুবিধা। কম ভলিউম শক্তিশালী পর্যায়ের খরচ পরিচালনাযোগ্য করে তোলে।

কেস 2 — ই-কমার্স অপারেশন। বিশ জনের দল, তাদের তিনটি কাজ আছে: পণ্যের বিবরণ (উচ্চ ভলিউম), গ্রাহক পর্যালোচনা শ্রেণীবিভাগ (খুব উচ্চ ভলিউম), চালান চিত্র থেকে ডেটা নিষ্কাশন (মাঝারি ভলিউম, ভিজ্যুয়াল)। একক মডেলের পরিবর্তে পোর্টফোলিও: ভারসাম্যপূর্ণ মডেল থেকে বিবৃতি, হালকা মডেল থেকে মন্তব্য, মাল্টিমোডাল মডেল থেকে চালান। এইভাবে, প্রতিটি কাজের জন্য উপযুক্ত খরচ এবং মেধা পড়ে; মোট বিল নেমে আসে মোটামুটি এক তৃতীয়াংশে, যদি তারা শক্তিশালী মডেলের কাছে সবকিছু করতে পারে।

কেস 3 - পাবলিক প্রতিষ্ঠান। একটি পাবলিক প্রতিষ্ঠান নাগরিক আবেদনের সারসংক্ষেপ করতে চায়, কিন্তু ডেটা ব্যক্তিগত এবং বিদেশে যাওয়ার উদ্দেশ্যে নয়। সিদ্ধান্ত গাছ প্রথম প্রশ্নে বিপর্যস্ত হয়: ডেটা সংবেদনশীল এবং সার্বভৌমত্ব বাধ্যতামূলক → স্পষ্ট ওজন/আঞ্চলিক মডেল প্রথমে আসে। যেহেতু তাদের একটি প্রযুক্তিগত দল আছে, তারা তাদের নিজস্ব অবকাঠামোতে একটি ওপেন ওয়েট মডেল চালায়। অন্যান্য প্রশ্ন (কঠিনতা, ভলিউম) সূক্ষ্ম-টিউন তারা কোন স্তরটি বেছে নেয়।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দুর্বল প্রম্পট:

কোন মডেল আপনি আমাদের সুপারিশ?

শক্তিশালী প্রম্পট:

আপনার ভূমিকা: এআই সমাধান স্থপতি। আমি আমার কাজের জন্য এই সাতটি প্রশ্নের উত্তর দিয়েছি: 1) ডেটা কি সংবেদনশীল: [উত্তর] 2) টাস্কে অসুবিধা: [উত্তর] 3) ভলিউম: [উত্তর] 4) নথির আকার: [উত্তর] 5) ভিজ্যুয়াল/অডিও: [উত্তর] 6) বাজেট সংবেদনশীলতা: [উত্তর টিম: [ANSWER: নিচে]7) এই উত্তরগুলির উপর ভিত্তি করে প্রার্থীর মডেলের ধরন (পর্যায়, ওজনের ধরন, প্রসঙ্গ, মাল্টিমোডালিটি)। 2 কংক্রিট প্রার্থী সুপারিশ. তারপর আমি একটি একক মডেল বা 2-3 মডেলের একটি পোর্টফোলিও দিয়ে এই সমস্যাটি সমাধান করা উচিত কিনা তা ন্যায়সঙ্গত করুন।

শক্তিশালী প্রম্পট সিদ্ধান্ত গাছের উত্তর সরাসরি মডেলে বহন করে; সুতরাং, মডেলটি অনুমান করে না, এটি আপনার বাস্তব প্রোফাইল অনুসারে সংকীর্ণ হয়।

অনুলিপিযোগ্য টেমপ্লেট

1. একটি সিদ্ধান্ত গাছ চালানো:

আমাকে আমার কাজ সংজ্ঞায়িত করতে দিন: [বর্ণনা]। আমার জন্য সাতটি সিদ্ধান্তের প্রশ্ন (ডেটা সংবেদনশীলতা, কাজের অসুবিধা, ভলিউম, নথির আকার, চিত্র, বাজেট, দল) ক্রমানুসারে জিজ্ঞাসা করুন, প্রতিটি উত্তরের পরে প্রার্থীর পুলটি সংকুচিত করুন এবং অবশেষে 2টি মডেল প্রকারের সুপারিশ করুন।

2. পোর্টফোলিও রূপরেখা:

আমার নিম্নলিখিত কাজ আছে: [চাকরির তালিকা]। প্রতিটি কাজের জন্য সিদ্ধান্তের গাছ প্রয়োগ করুন, উপযুক্ত মডেলের প্রকারের সাথে মেলে এবং একটি পোর্টফোলিও টেবিল তৈরি করুন (চাকরি/মডেলের ধরন/ন্যায্যতা)। একটি একক বাক্যে পোর্টফোলিওর ব্যবস্থাপনার বোঝা মূল্যায়ন করুন।

3. একক মডেল বা পোর্টফোলিও:

আমার দলের আকার [NUM], আমার কাজের বৈচিত্র্য [নিম্ন/মাঝারি/উচ্চ], আমার মাসিক AI বাজেট[RANGE]। আমার কি একটি একক ভারসাম্যপূর্ণ মডেল দিয়ে শুরু করা উচিত বা অবিলম্বে একটি পোর্টফোলিওতে যাওয়া উচিত? ভালো-মন্দ তুলনা করুন, একটি পর্যায়ক্রমে পথের পরামর্শ দিন।

4. আসক্তি ঝুঁকি মূল্যায়ন:

আমরা বর্তমানে একটি একক প্রদানকারী [PROVIDER] এর উপর নির্ভরশীল। এই নির্ভরতা (মূল্য, নীতি, ব্যাঘাত) এর ঝুঁকিগুলি কী কী? ঝুঁকি কমাতে ব্যাকআপ হিসাবে কোন সেকেন্ডারি প্রদানকারীকে আমার প্রস্তুত রাখা উচিত? 3টি ব্যবস্থার পরামর্শ দিন যা স্থানান্তরকে সহজ করে তুলবে৷

সাধারণ ভুল

  • অন্তর্দৃষ্টি দ্বারা নির্বাচন করা: সিদ্ধান্তের গাছ এড়িয়ে যাওয়া এবং একটি মডেল নির্বাচন করা কারণ "এটি ভাল শোনাচ্ছে"; পরে দেখা দেয় অসঙ্গতি।
  • শেষের জন্য ডেটা প্রশ্ন ছেড়ে দেওয়া: সংবেদনশীল ডেটাতে, সার্বভৌমত্বের প্রশ্নটি প্রথমে আসে; এটিকে শেষে রাখলে ভুল মডেলে লক হয়ে যায়।
  • প্রতিটি কাজ একটি একক মডেলের কাছে অর্পণ করা: একটি একক মডেলের দ্বারা করা বিভিন্ন অসুবিধা এবং আয়তনের কাজ করার ফলে গুণমান বা বাজেট হারানো।
  • খুব তাড়াতাড়ি পোর্টফোলিও স্থাপন করা: একটি ছোট দল হিসাবে তিন বা চারটি মডেল পরিচালনা করার চেষ্টা করে অপ্রয়োজনীয় জটিলতা তৈরি করা।
  • নির্ভরতা সম্পর্কে মোটেও চিন্তা না করা: একটি একক প্রদানকারীর উপর সম্পূর্ণভাবে নির্ভরশীল হওয়া এবং মূল্য/নীতি পরিবর্তনের বিকল্প ছাড়া বাকি থাকা।

সংক্ষেপে

  • মডেল নির্বাচন সাতটি প্রশ্ন (ডেটা, চ্যালেঞ্জ, ভলিউম, প্রসঙ্গ, ভিজ্যুয়াল, বাজেট, টিম); এই প্রশ্ন দ্রুত প্রার্থী পুল সংকীর্ণ.
  • সংবেদনশীল ডেটাতে, সার্বভৌমত্বের প্রশ্নটি প্রথমে আসে এবং অন্যান্য সিদ্ধান্তগুলিকে ফ্রেম করে।
  • একটি একক মডেলের পরিবর্তে, পরিপক্ক সংস্থাগুলি কাজের উপর নির্ভর করে বিভিন্ন মডেলের একটি পোর্টফোলিও স্থাপন করে; এটি উভয়ই খরচ অপ্টিমাইজ করে এবং নির্ভরতা হ্রাস করে।
  • পোর্টফোলিও একটি ব্যবস্থাপনা ওভারহেড আছে; ছোট দলগুলিকে একটি একক ভারসাম্যপূর্ণ মডেল দিয়ে শুরু করা উচিত এবং ধীরে ধীরে সরানো উচিত।

আবেদন টাস্ক

পূর্ববর্তী ইউনিটগুলিতে আপনার করা সমস্ত নোট একত্রিত করুন (প্রয়োজন প্রোফাইল, ওজন পছন্দ, টোকেন/খরচ অনুমান, স্তর ডায়াগনস্টিকস, ডেটা ম্যাপ)। এই ইউনিটে প্যাটার্ন 1 সহ (একটি সিদ্ধান্তের গাছ চালানো), আপনার ব্যবসার জন্য সাতটি প্রশ্নের উত্তর দিন এবং দুটি প্রার্থীর মডেলের ধরণে পৌঁছান। আপনার যদি একাধিক ধরণের কাজ থাকে তবে টেমপ্লেট 2 (পোর্টফোলিও আউটলাইন) সহ একটি পোর্টফোলিও টেবিল তৈরি করুন। এই খসড়াটি চূড়ান্ত ইউনিটে মূল্যায়ন এবং বৈধতা অধ্যয়নের জন্য ইনপুট হবে।

চেকলিস্ট

  • [ ] ক্রমানুসারে সাতটি সিদ্ধান্তের প্রশ্ন প্রয়োগ করে, আমি প্রার্থীর পুলকে সংকুচিত করতে পারি।
  • [ ] আমি জানি কেন সংবেদনশীল তথ্যের ক্ষেত্রে সার্বভৌমত্বের প্রশ্নটি প্রথমে আসে।
  • আমি একটি বাস্তব ব্যবসায়িক পরিস্থিতিতে সিদ্ধান্ত গাছ প্রয়োগ করতে পারি এবং একটি মডেল প্রস্তাব করতে পারি।
  • [] আমি মডেল পোর্টফোলিওর সুবিধা এবং ব্যবস্থাপনার বোঝা মূল্যায়ন করতে পারি।
  • আমি একক প্রদানকারীর উপর নির্ভরতার ঝুঁকি এবং এটি কমানোর উপায় জানি।