লাভ:
- দৈনন্দিন ভাষায় টোকেন, প্রসঙ্গ উইন্ডো এবং মাল্টিমোডালিটির ধারণা ব্যাখ্যা করার ক্ষমতা
- একটি কাজের জন্য বিস্তৃত প্রসঙ্গ বা বহুমুখীতা প্রয়োজন কিনা তা নির্ণয় করুন
- এই ধারণাগুলি কীভাবে খরচ এবং মডেল নির্বাচনকে প্রভাবিত করে তা বিবেচনা করার ক্ষমতা
এখন পর্যন্ত আমরা প্রদানকারী এবং মডেলের প্রকারের সাথে পরিচিত। যাইহোক, সঠিক মডেল নির্বাচনের জন্য, মডেলগুলি "ভিতরে" কীভাবে কাজ করে তা বোঝাও প্রয়োজন; কারণ মূল্য, ক্ষমতা এবং প্রাপ্যতার সিদ্ধান্তগুলি তিনটি মূল ধারণার উপর নির্ভর করে: টোকেন, প্রসঙ্গ উইন্ডো এবং মাল্টিমোডালিটি। যে কেউ এই ধারণাগুলি জানে না সে মূল্য পত্রটি পড়তে পারে না এবং আশ্চর্য হতে পারে "এই নথিটি কি মডেলের সাথে মানানসই হবে?" প্রশ্নের উত্তর দিতে পারে না এবং ভিজ্যুয়াল প্রসেসিং কখন অপরিহার্য তা দেখতে পারে না। এই ইউনিটের শেষে, আপনি দৈনন্দিন ভাষায় এই তিনটি ধারণা ব্যাখ্যা করতে সক্ষম হবেন, একটি কাজের জন্য বিস্তৃত প্রেক্ষাপট বা বহুমুখীতা প্রয়োজন কিনা তা নির্ণয় করতে এবং খরচের উপর তাদের প্রভাব বিবেচনা করতে পারবেন।
টোকেন: শব্দের পরিবর্তে মডেল দ্বারা ব্যবহৃত ইউনিট
কৃত্রিম বুদ্ধিমত্তার মডেলগুলি টেক্সটকে শব্দ দ্বারা নয়, কিন্তু টোকেন বলা ছোট টুকরোগুলিতে প্রক্রিয়া করে। একটি টোকেন; এটি একটি শব্দ, একটি শব্দের অংশ, একটি বিরাম চিহ্ন বা একটি স্থান হতে পারে। একটি মোটামুটি গণনা করতে: ইংরেজিতে, একটি গড় টোকেন প্রায় চারটি অক্ষর এবং 100 শব্দ প্রায় 130-150 টোকেন। তুর্কি ভাষায়, প্রত্যয় এবং দীর্ঘ শব্দের কারণে এই হার কিছুটা বেশি হতে পারে; অন্য কথায়, একই অর্থ সহ একটি তুর্কি পাঠ ইংরেজির চেয়ে সামান্য বেশি টোকেন গ্রহণ করে।
কেন এটা জানা গুরুত্বপূর্ণ? কারণ সবকিছু চার্জ করা হয় এবং টোকেনে পরিমাপ করা হয়। আপনি মডেলে যে পাঠ্য (ইনপুট) পাঠান এবং মডেল দ্বারা উত্পাদিত প্রতিক্রিয়া (আউটপুট) আলাদা টোকেন হিসাবে গণনা করা হয়। আপনার চালান এবং মডেলের ক্ষমতা উভয়ই টোকেনে রয়েছে।
টিপ: একটি পাঠ্যের কতগুলি টোকেন রয়েছে তার মোটামুটি অনুমান পেতে, অক্ষরের সংখ্যাকে চার দ্বারা ভাগ করুন। একটি 4,000 অক্ষরের ইমেল প্রায় 1,000 টোকেন। তুর্কি ভাষায়, নিরাপদে থাকার জন্য একটু উঁচুতে ধরে নিন।
প্রসঙ্গ উইন্ডো: মডেলের "শর্ট টার্ম মেমরি"
প্রসঙ্গ উইন্ডো হল মোট টোকেনের পরিমাণ যা মডেলটি একবারে মনে রাখতে পারে। এই উইন্ডোতে ইনপুট এবং আউটপুট একসাথে ফিট করা আবশ্যক। একবারে একটি টেবিলে আপনি যে পরিমাণ কাগজ ছড়িয়ে দিতে পারেন তার মতো এটিকে মনে করুন: যে কাগজটি টেবিলে ফিট নয় তা সেই মুহূর্তে আপনার দৃষ্টিভঙ্গির বাইরে।
যদি একটি মডেলের প্রসঙ্গ উইন্ডোটি 200,000 টোকেন হয়, তাহলে এটি প্রায় 150,000 শব্দ বা বেশ কয়েকটি মাঝারি আকারের বইয়ের সমান। 1 মিলিয়ন টোকেন সামগ্রিকভাবে অনেক বড় নথি প্রক্রিয়া করতে পারে। কিছু শক্তিশালী মডেল আজ (যেমন ক্লাউড ওপাস 4.8 এবং সনেট 5) 1 মিলিয়ন টোকেন প্রসঙ্গ অফার করে, যখন হালকা ওজনের মডেলগুলি প্রায়শই ছোট উইন্ডোগুলির সাথে আসে (যেমন হাইকু 4.5 এর জন্য 200,000 টোকেন)।
কেন এটা গুরুত্বপূর্ণ? কারণ যদি একটি নথি কনটেক্সট উইন্ডোতে ফিট না হয়, তাহলে মডেলটি সব একসাথে দেখতে পারবে না। আপনি একটি 200,000 টোকেন মডেলকে সম্পূর্ণরূপে 500-পৃষ্ঠার চুক্তি দিতে পারবেন না; আপনি হয় দস্তাবেজটিকে অংশে ভাগ করুন (যা অংশগুলির মধ্যে সম্পর্ক হারাতে পারে) অথবা একটি বিস্তৃত প্রসঙ্গ সহ একটি মডেল চয়ন করুন৷
সতর্কতা: প্রসঙ্গ উইন্ডোটি বড় হওয়ার কারণে প্রতিটি নথি পূরণ করা বুদ্ধিমানের কাজ নয়। আপনি উইন্ডোতে যত বেশি টোকেন রাখবেন, তত বেশি অর্থ প্রদান করবেন এবং কখনও কখনও মডেলটি খুব দীর্ঘ টেক্সটে মাঝের বিবরণ মিস করতে পারে। শুধুমাত্র যে অংশটি কাজ করে তা পাঠানো প্রায়শই সস্তা এবং আরও সঠিক।
প্রসঙ্গ উইন্ডো একটি সিদ্ধান্তের মানদণ্ড
কোয়েস্ট
আনুমানিক প্রয়োজনীয় প্রসঙ্গ
উপযুক্ত স্তর
সংক্ষিপ্ত ইমেইল প্রতিক্রিয়া
কয়েকশ টোকেন
লাইটওয়েট
এক পৃষ্ঠার সারাংশ
কয়েক হাজার টোকেন
হালকা/ভারসাম্যপূর্ণ
40-পৃষ্ঠার প্রতিবেদন বিশ্লেষণ
~30,000 টোকেন
ভারসাম্যপূর্ণ/শক্তিশালী
300-পৃষ্ঠা চুক্তি পর্যালোচনা
~250,000 টোকেন
বিস্তৃত প্রেক্ষাপটে শক্তিশালী
একবারে শত শত নথি প্রক্রিয়া করুন
500,000+ টোকেন
বিস্তৃত প্রসঙ্গ
এই টেবিলটি প্রশ্নের উত্তর দেয় "কোন মডেল?" এটি দেখায় যে প্রশ্নের অংশটি নথির আকার দ্বারা সরাসরি উত্তর দেওয়া হয়। ছোট কাজের জন্য একটি বড় প্রসঙ্গ সহ একটি ব্যয়বহুল মডেল কেনা একটি অপচয়; একটি ছোট উইন্ডো সহ একটি মডেল বড় নথির জন্য অপর্যাপ্ত।
মাল্টিমোডালিটি: টেক্সটের বাইরে যাওয়া
মাল্টিমডালিটি হল একটি মডেলের একাধিক ধরণের ডেটা (ছবি, অডিও, কখনও কখনও ভিডিও) পরিচালনা করার ক্ষমতা, শুধু পাঠ্য নয়। এখানে "মোডাল" মানে "ডেটা টাইপ"; মাল্টিমোডাল মানে "অনেক প্রকার"।
- শুধুমাত্র টেক্সট মডেল: শুধুমাত্র লিখিত টেক্সট পড়ে এবং লেখে।
- মাল্টিমোডাল মডেল: একটি বিলের একটি ফটো পড়তে পারে, একটি গ্রাফে একটি প্রবণতা ব্যাখ্যা করতে পারে, একটি হাতে লেখা নোট ডিকোড করতে পারে, কখনও কখনও একটি ভয়েস রেকর্ডিং প্রতিলিপি করতে পারে৷
কেন এটা গুরুত্বপূর্ণ? কারণ আপনার ব্যবসার প্রকৃতির জন্য মাল্টিমোডালিটি প্রয়োজন হতে পারে। একটি অ্যাকাউন্টিং দল যা চালানের ছবি থেকে পরিমাণ বের করে, একটি ই-কমার্স টিম যেটি পণ্যের ফটোগুলিকে শ্রেণীবদ্ধ করে, বা একটি বীমা দল যা ক্ষতির ফটোগুলিকে মূল্যায়ন করে শুধুমাত্র পাঠ্য পড়ে এমন মডেলের সাথে এই কাজটি করতে পারে না৷ এই কাজের জন্য ভিজ্যুয়াল প্রসেসিং অপরিহার্য।
তিনটি বাস্তবসম্মত কেস
কেস 1 - টোকেন খরচ সারপ্রাইজ। একটি বিষয়বস্তু দল মডেলটিকে একটি 20-পৃষ্ঠার "ব্র্যান্ড গাইড" নথি পাঠায় কারণ তারা প্রতিটি ব্লগ পোস্ট তৈরি করে। এই নির্দেশিকা প্রায় 15,000 টোকেন। তারা মাসে 2,000 নিবন্ধ তৈরি করে; তাই বারবার গাইড পাঠানো মানে 30 মিলিয়ন টোকেন ইনপুট। গাইডটি সংক্ষিপ্ত করে এবং শুধুমাত্র প্রাসঙ্গিক বিভাগ (প্রায় 2,000 টোকেন) পাঠানোর মাধ্যমে তারা ইনপুটকে এক-সপ্তমাংশে কমিয়ে দেয় এবং বিলটি উল্লেখযোগ্যভাবে হ্রাস করে।
কেস 2 — প্রসঙ্গ উইন্ডো যথেষ্ট নয়। একটি আইন সংস্থা 280-পৃষ্ঠার একীকরণ চুক্তি পর্যালোচনা করতে চায়। তারা যে প্রথম মডেলটি চেষ্টা করেছিল তাতে 200,000 টোকেনের বাঁধাই ছিল এবং নথিটি ফিট হয়নি; যখন নথিটি ছিঁড়ে ফেলা হয়, মডেলটি লক্ষ্য করতে পারে না যে প্রথম বিভাগে একটি নিবন্ধ শেষ বিভাগে একটি নিবন্ধের বিরোধিতা করে৷ যখন এটি 1 মিলিয়ন টোকেন প্রসঙ্গ সহ একটি মডেলে স্যুইচ করে, তখন এটি সম্পূর্ণরূপে দস্তাবেজটি পড়ে এবং দ্বন্দ্বটি ধরা দেয়। এখানে প্রসঙ্গ উইন্ডো সরাসরি নির্ভুলতা নির্ধারণ করে।
কেস 3 - মাল্টিমোডালিটি একটি আবশ্যক। একটি বীমা কোম্পানি গাড়ির ক্ষতির ছবি থেকে একটি প্রাথমিক মূল্যায়ন করতে চায়। এটি এমন একটি মডেলের সাথে অসম্ভব যা কেবল পাঠ্য পড়ে; একটি মাল্টিমোডাল মডেল যা ফটোগ্রাফটি "দেখে" প্রয়োজন। যখন তারা একটি মাল্টিমোডাল মডেলে স্যুইচ করে, তারা একটি প্রাক-স্ক্রিনিং সিস্টেম স্থাপন করে যা মোটামুটিভাবে ফটোতে অবস্থান এবং ক্ষতির তীব্রতা শ্রেণীবদ্ধ করে এবং বিশেষজ্ঞকে নির্দেশ দেয়। তবে তারা মনে করেন যে একজন মানব বিশেষজ্ঞ চূড়ান্ত সিদ্ধান্ত নেন; কারণ মডেলটি একটি প্রাথমিক স্ক্রীনিং টুল, চূড়ান্ত শব্দ নয়।
দুর্বল প্রম্পট / শক্তিশালী প্রম্পট
দুর্বল প্রম্পট:
এই নথির সংক্ষিপ্ত বিবরণ. [খুব দীর্ঘ নথি আটকানো হয়েছে]
শক্তিশালী প্রম্পট:
নীচে 40-পৃষ্ঠার প্রতিবেদনটি সংক্ষিপ্ত করুন। প্রথমে রিপোর্টে টোকেনের আনুমানিক সংখ্যা অনুমান করুন এবং এটি একটি সাধারণ ভারসাম্যপূর্ণ মডেলের প্রসঙ্গ উইন্ডোতে ফিট করে কিনা তা আমাদের বলুন। তারপর এই বিন্যাসে সারাংশ দিন: 5-আইটেম এক্সিকিউটিভ সারাংশ + 3 ঝুঁকিপূর্ণ ফলাফল। রিপোর্টে শুধুমাত্র তথ্য ব্যবহার করুন; যে অংশটি সম্পর্কে আপনি নিশ্চিত নন সেটিকে "রিপোর্টে স্পষ্ট নয়" হিসেবে চিহ্নিত করুন। [প্রতিবেদন]
শক্তিশালী প্রম্পট টোকেন/প্রসঙ্গ সচেতন এবং আউটপুটের বিন্যাস এবং যাচাইযোগ্যতা নিয়ন্ত্রণ করে।
অনুলিপিযোগ্য টেমপ্লেট
1. টোকেন পূর্বাভাস:
নিম্নলিখিত পাঠ্যের জন্য টোকেনের আনুমানিক সংখ্যা অনুমান করুন এবং ইনপুট খরচের পরিপ্রেক্ষিতে এটি ব্যাখ্যা করুন: "[TEXT]"। এটিকে তুর্কি বলে বিবেচনা করে এটিকে একটু গোলাকার করুন।
2. প্রসঙ্গ উপলব্ধতা পরীক্ষা:
আমার কাজ হল নিম্নলিখিত নথিগুলি প্রক্রিয়া করা: প্রতি মাসে [QTY] নথির গড় [পৃষ্ঠা]। কি প্রসঙ্গ উইন্ডো এই আকার প্রয়োজন? আলো/সুষম/শক্তিশালী মাত্রার কোনটি যথেষ্ট হবে? এটি ভেঙে ফেলার প্রয়োজন হলে কী ঝুঁকি দেখা দেয়?
3. মাল্টিমোডালিটি নির্ণয়:
আমার কর্মপ্রবাহ: [বর্ণনা]। এই প্রবাহে কি ভিজ্যুয়াল, অডিও বা ভিডিও প্রক্রিয়াকরণ আছে? যদি তাই হয়, একটি মাল্টিমোডাল মডেল প্রয়োজন, নাকি এটি পাঠ্য (OCR/ট্রান্সক্রিপশন) তে রূপান্তরিত এবং পাঠ্য মডেলের সাথে সমাধান করা যেতে পারে? দুটি পথের ভালো/মন্দ তুলনা করুন।
4. প্রসঙ্গ অপ্টিমাইজেশান:
আমি প্রতিটি অনুরোধের সাথে মডেলটিতে একটি নথি পাঠাই, তবে এর বেশিরভাগই অপ্রয়োজনীয়। আমি কিভাবে এই নথি থেকে [TASK] এর জন্য প্রয়োজনীয় অংশগুলি বের করব? ইনপুট কমানোর 3টি কংক্রিট উপায় প্রস্তাব করুন এবং আনুমানিক টোকেন সঞ্চয় নির্দেশ করুন।
সাধারণ ভুল
- একটি শব্দের জন্য ভুল টোকেন: টোকেন একটি শব্দ থেকে আলাদা; চালান এবং ক্ষমতা সর্বদা টোকেনে থাকে, শব্দে গণনা করা বিভ্রান্তিকর।
- প্রসঙ্গ উইন্ডোটি অসীম মনে করা: প্রতিটি মডেলের একটি সীমা আছে; ডকুমেন্ট ফিট না হলে, মডেল পুরো দেখতে পারবে না.
- অপ্রয়োজনীয় বড় প্রসঙ্গ ব্যবহার করা: একটি ছোট কাজের জন্য একটি বড় প্রসঙ্গ সহ একটি ব্যয়বহুল মডেল কেনা; অথবা প্রতিটি অনুরোধের জন্য বিশাল নথি পূরণ করুন এবং নিরর্থক অর্থ প্রদান করুন।
- মাল্টিমোডালিটি ধরে নেওয়া: প্রতিটি মডেল ভিজ্যুয়াল প্রক্রিয়া করতে পারে না; চাক্ষুষ কাজের জন্য, মডেলটি মাল্টিমোডাল তা নিশ্চিত না করেই শুরু করুন।
- তুর্কি ভাষার টোকেন লোড ভুলে যাওয়া: তুর্কি পাঠ সাধারণত একই অর্থের জন্য সামান্য বেশি টোকেন ব্যবহার করে; খরচ অনুমান এই উপেক্ষা.
সংক্ষেপে
- একটি টোকেন হল ছোট একক যেখানে মডেল পাঠ্য প্রক্রিয়া করে; ইনপুট এবং আউটপুট পরিমাপ করা হয় এবং টোকেন হিসাবে আলাদাভাবে চালান করা হয়।
- প্রসঙ্গ উইন্ডো হল মোট টোকেন যা মডেলটি এক সময়ে মনে রাখতে পারে; নথির আকার সরাসরি মডেল নির্বাচনকে প্রভাবিত করে।
- মাল্টিমডালিটি হল মডেলের নন-টেক্সট ডেটা যেমন ভিজ্যুয়াল/অডিও প্রক্রিয়া করার ক্ষমতা; এটি চাক্ষুষ কাজের জন্য অপরিহার্য।
- এই তিনটি ধারণা উভয়ই "কোন মডেল?" প্রশ্নের সাথে প্রাসঙ্গিক। সেইসাথে "এটির দাম কত?" এটি প্রশ্নের ভিত্তি তৈরি করে।
আবেদন টাস্ক
আপনার ব্যবসায় একটি পুনরাবৃত্ত AI টাস্ক বেছে নিন। 1ম টেমপ্লেট (টোকেন ভবিষ্যদ্বাণী) এই টাস্কে একটি সাধারণ ইনপুট কতগুলি টোকেন আছে তা গণনা করুন। তারপর টেমপ্লেট 2 (প্রসঙ্গ উপলব্ধতা পরীক্ষা) দিয়ে কোন স্তরটি যথেষ্ট তা নির্ধারণ করুন। আপনার যদি একটি ভিজ্যুয়াল কাজ থাকে, তাহলে 3য় টেমপ্লেট (মাল্টিমোডালিটি ডায়াগনোসিস) সহ একটি মাল্টিমোডাল মডেল প্রয়োজন কিনা তা স্পষ্ট করুন। আমরা পরবর্তী ইউনিটের খরচ গণনার ফলে টোকেন অনুমান ব্যবহার করব।
চেকলিস্ট
- [ ] আমি টোকেনের ধারণা জানি এবং একটি পাঠ্যে কতগুলি টোকেন রয়েছে তা মোটামুটিভাবে অনুমান করা যায়।
- [ ] আমি একটি "টেবিল/মেমরি" উপমা দিয়ে প্রসঙ্গ উইন্ডোটি ব্যাখ্যা করতে পারি।
- [ ] আমি মূল্যায়ন করতে পারি যে একটি নথি একটি মডেলের সাথে মাপসই হবে কিনা৷
- আমি নির্ণয় করতে পারি যখন মাল্টিমোডালিটি অপরিহার্য।
- [ ] আমি তুর্কি ভাষার টোকেন ওভারহেড এবং অপ্রয়োজনীয় প্রসঙ্গের খরচ বিবেচনা করি।