জেনারেটিভ এআই কিভাবে কাজ করে?

লাভ:

টোকেন স্বজ্ঞাতভাবে সম্ভাব্যতা এবং পূর্বাভাসের ধারণা ব্যাখ্যা করতে পারে
বোঝে কেন একটি ভাষা মডেল পাঠ্য 'পিসমিল' তৈরি করে
ব্যাখ্যা করতে পারে কেন মডেলটি কখনও কখনও সিদ্ধান্তমূলক এবং কখনও কখনও সৃজনশীলভাবে আচরণ করে

আপনি যখন একটি ভাষার মডেলে "ইস্তাম্বুল সম্পর্কে সেরা জিনিস" লেখেন, এটি কয়েক সেকেন্ডের মধ্যে একটি সাবলীল অনুচ্ছেদ তৈরি করে। এটা কিভাবে হয়? মডেলটি কি সত্যিই "চিন্তা করে" বা এর পিছনে একটি অনেক সহজ কিন্তু শক্তিশালী প্রক্রিয়া আছে? এই ইউনিটে আমরা ব্যাখ্যা করব কীভাবে জেনারেটিভ এআই কাজ করে, প্রযুক্তিগত সমীকরণে না গিয়ে কিন্তু সঠিক অন্তর্দৃষ্টি স্থাপন করে। এই অন্তর্দৃষ্টি হল অনুসরণ করা সমস্ত কিছুর ভিত্তি—বিশেষ করে হ্যালুসিনেশন, যাচাইকরণ এবং ভাল প্রম্পট লেখার বিষয়। জেনারেটিভ এআই, অর্থাৎ "জেনারেটিভ আর্টিফিশিয়াল ইন্টেলিজেন্স", এমন টুলগুলির সাধারণ নাম যা বিদ্যমান উত্তর খোঁজার এবং আনার পরিবর্তে স্ক্র্যাচ থেকে পাঠ্য তৈরি করে।

মৌলিক ধারণা: পরবর্তী অংশের পূর্বাভাস

আশ্চর্যের বিষয় হল যে একটি ভাষা মডেল শেখার একমাত্র মৌলিক কাজটি হল "একটি পাঠ্যের কোন অংশটি অনুসরণ করার সম্ভাবনা সবচেয়ে বেশি?" প্রশ্নের উত্তর দিতে হয়। মডেল একটি সম্পূর্ণ বাক্য প্রস্তুত করে না এবং এটি আপনার সামনে উপস্থাপন করে। পরিবর্তে, এটি বাম থেকে ডানে টুকরো টুকরো বাক্য তৈরি করে।

এটি ধাপে ধাপে কীভাবে কাজ করে তা এখানে:

এটি আপনার লেখা পাঠ্য (প্রম্পট) পড়ে।
এই টেক্সট অনুসরণ করার সবচেয়ে সম্ভাব্য অংশ ভবিষ্যদ্বাণী.
যে টুকরা যোগ করে.
এটি আবার নতুন গঠিত পাঠ্যের দিকে তাকায় এবং পরবর্তী সম্ভাব্য অংশটি অনুমান করে।
উত্তর সম্পূর্ণ না হওয়া পর্যন্ত পুনরাবৃত্তি করুন।

উদাহরণ: আপনি যদি মডেলটিকে "সকালে ঘুম থেকে উঠলে একটি গরম কাপ খান..." লেখাটি দেন, তাহলে সম্ভবত ধারাবাহিকতা হবে "চা" বা "কফি"; "ডামার" নয়। মডেল লক্ষ লক্ষ পাঠ্য থেকে এই ধরনের সম্ভাব্যতা শিখেছে। তারপরে তিনি "চা" যোগ করেন, তারপরে নতুন বাক্যটি দেখেন এবং পরবর্তী সম্ভাব্য অংশটি অনুমান করেন এবং আরও অনেক কিছু।

অন্য কথায়, প্রতিটি ধাপে, মডেলটি কী লিখেছে তা দেখে পরবর্তী পদক্ষেপ নেয়। এই কারণেই এটিকে কখনও কখনও "স্বয়ংসম্পূর্ণের অত্যন্ত উন্নত সংস্করণ" বলা হয়। কিন্তু এই উপমা প্রতিভাকে ছোট করা উচিত নয়; সঠিক স্কেলে, এই ভবিষ্যদ্বাণীটি এমন ফলাফল তৈরি করতে পারে যা যুক্তির মতো দেখায়।

টোকেন: একটি শব্দের ছোট টুকরা

মডেলটি আসলে পূর্ণ "শব্দ" দিয়ে নয়, টোকেন নামক ছোট টুকরো দিয়ে কাজ করে। একটি টোকেন; কখনও এটি একটি সম্পূর্ণ শব্দ, কখনও এটি একটি শব্দের অংশ, কখনও কখনও এটি একটি বিরাম চিহ্ন।

"বই" একটি একক টোকেন হতে পারে।
"আমাদের বই থেকে" বিভিন্ন টোকেনে ভাগ করা যায় যেমন "বই", "গুলি", "আমাদের", "থেকে"।
স্থান এবং বিরাম চিহ্নগুলিও টোকেন হিসাবে গণনা করা হয়।

মনোযোগ: টোকেন শুধুমাত্র একটি প্রযুক্তিগত বিশদ নয়। বেশিরভাগ AI টুল টোকেনের সংখ্যা দ্বারা চার্জ করা হয় এবং পাঠ্যের দৈর্ঘ্য (প্রসঙ্গ উইন্ডো) মডেলগুলি একবারে প্রক্রিয়া করতে পারে তাও টোকেনের মধ্যে সীমাবদ্ধ। সুতরাং "আপনি কতক্ষণ লিখবেন" একটি সরাসরি খরচ এবং সীমা।

সম্ভাবনা এবং "উষ্ণতা": সংকল্প বা সৃজনশীলতা?

প্রতিটি ধাপে, মডেলটি একটি নির্দিষ্ট উত্তর নয় বরং সম্ভাব্য ধারাবাহিকতার একটি সম্ভাব্যতা তালিকা তৈরি করে। উদাহরণস্বরূপ, "গরম" শব্দের পরে: চা 55%, কফি 35%, দুধ 7%, অন্যান্য 3%। তাহলে তিনি কোনটি বেছে নেন?

এখানে, তাপমাত্রা নামক একটি সেটিং কার্যকর হয়। তাপমাত্রা হল এক ধরনের সৃজনশীলতার গাঁট যা নির্ধারণ করে যে মডেলটি কতটা "ঝুঁকি" করবে।

সেটিং

আচরণ

উপসংহার

কোথায় এটা দরকারী?

নিম্ন তাপমাত্রা

সর্বদা সবচেয়ে সম্ভাব্য বিকল্প নেয়

স্থিতিশীল, পুনরাবৃত্তিযোগ্য

আইনি সারাংশ, প্রযুক্তিগত বিবরণ, তথ্য নিষ্কাশন

মাঝারি তাপমাত্রা

ভারসাম্যপূর্ণ পছন্দ

প্রাকৃতিক কিন্তু সামঞ্জস্যপূর্ণ

সাধারণ ইমেল, প্রতিবেদনের খসড়া

উচ্চ তাপমাত্রা

কম সম্ভাব্য বিকল্প চেষ্টা করে

সৃজনশীল, বৈচিত্র্যময়, অপ্রত্যাশিত

বুদ্ধিমত্তা, স্লোগান, নাম উৎপাদন

এটি প্রায়শই জিজ্ঞাসিত প্রশ্নের ব্যাখ্যা করে: "আমি যখন একই প্রশ্ন দুইবার জিজ্ঞাসা করি তখন কেন আমি ভিন্ন উত্তর পাই?" কারণ নির্বাচন প্রক্রিয়ায় কিছুটা এলোমেলোতা রয়েছে; মডেলটি একটি ডাটাবেস থেকে একটি নির্দিষ্ট উত্তর আঁকে না, এটি প্রতিবার পুনরুত্পাদন করে।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

মডেল "সম্ভাব্যতা" এর সাথে কাজ করে তা জেনে আপনি কীভাবে নির্দেশ দেন তাও পরিবর্তন করে। আপনি যত বেশি প্রসঙ্গ দেবেন, সঠিক ধারাবাহিকতা হওয়ার সম্ভাবনা তত বেশি।

দুর্বল প্রম্পট: একটি পরিচায়ক পাঠ্য লিখুন।

ফলাফল: মডেলটি সবচেয়ে "গড়" এবং জেনেরিক পাঠ্য তৈরি করে কারণ এটি কোন পণ্য, কোন শ্রোতা, কোন স্বন তা জানে না।

শক্তিশালী প্রম্পট: একটি ছোট ক্যাফের নতুন ফিল্টার কফির জন্য একটি Instagram প্রচারমূলক পাঠ্য লিখুন। শ্রোতা: 25-35 বছর বয়সী, কফি উত্সাহী। স্বর: বন্ধুত্বপূর্ণ, সংক্ষিপ্ত। সর্বোচ্চ ৩টি বাক্য, শেষে ২টি হ্যাশট্যাগ।

ফলাফল: একটি ব্যবহারযোগ্য পাঠ্য যা প্রাসঙ্গিক কারণ প্রসঙ্গ সম্ভাবনাগুলিকে সংকুচিত করে।

তিনটি মিনি কেস

কেস 1 — বিপণন, উচ্চ বৈচিত্র্য। একটি দল একটি নতুন পণ্যের জন্য 30টি স্লোগান চেয়েছিল। এর উচ্চ তাপমাত্রা সেটিং সহ, মডেলটি বিভিন্ন, সৃজনশীল বিকল্প তৈরি করেছে; দলটি 30 টির মধ্যে 4টি নির্বাচন করেছে এবং বিকাশ করেছে। মোট সময়: 10 মিনিট। এটা হাতে করা হলে অর্ধেক দিন লাগত।

কেস 2 - আইন, উচ্চ সংকল্প। একই কোম্পানির আইনি দল একটি চুক্তির ধারা সরলীকরণ করছিল। তারা সৃজনশীলতা নয়, ধারাবাহিকতা চেয়েছিল; কম তাপমাত্রার সাথে মডেলটি প্রতিবার প্রায় একই, রক্ষণশীল সারাংশ দিয়েছে। সুতরাং, বিভিন্ন পরীক্ষার মধ্যে কোন অসঙ্গতি ছিল না।

কেস 3 - "কেন এটি পরিবর্তন হয়েছে?" প্রশ্ন একজন কর্মচারী একই ইমেল ড্রাফ্ট দুবার অনুরোধ করেছেন এবং দুটি ভিন্ন ফলাফল পেয়েছেন; তিনি ভেবেছিলেন এটি একটি "ভুল"। আসলে, এটি মডেলের এলোমেলোতার একটি স্বাভাবিক পরিণতি। একবার কর্মচারী তার পছন্দের সংস্করণটি সংরক্ষণ করতে শিখে গেলে এবং প্রয়োজনে "আগেরটির মতো করুন" বলুন, কোনও সমস্যা ছিল না।

মডেল কি "এটি পেতে"?

এটি সবচেয়ে কৌতূহলী প্রশ্ন। মডেলটি শব্দের মধ্যে পরিসংখ্যানগত সম্পর্কগুলি এত পুঙ্খানুপুঙ্খভাবে শিখেছে যে এটি অনেক কাজ বোঝার ভান করে। কিন্তু এর কোনো সচেতন উপলব্ধি, উদ্দেশ্য বা বাস্তবতা-নিয়ন্ত্রক ব্যবস্থা নেই। এটি "সবচেয়ে সম্ভাব্য সিক্যুয়াল" তৈরি করে; এটি "সবচেয়ে নির্ভুল তথ্য" উৎপাদনের নিশ্চয়তা দেয় না। এই পার্থক্য হল হ্যালুসিনেশনের বিষয়ের ভিত্তি, যা আমরা পরবর্তী ইউনিটগুলিতে আলোচনা করব।

সাধারণ ভুল

একটি সার্চ ইঞ্জিন জন্য মডেল ভুল. মডেলটি ইন্টারনেট অনুসন্ধান করে না এবং সংস্থানগুলি পুনরুদ্ধার করে না (যদি না একটি বিশেষ অনুসন্ধান বৈশিষ্ট্য থাকে); মেমরি থেকে সম্ভাব্য পাঠ্য তৈরি করে। তাই তিনি উৎস/চিত্র তৈরি করতে পারেন।
নির্ভুলতার জন্য সাবলীলতা ভুল। লেখাটি সুন্দর এবং আত্মবিশ্বাসী হওয়ার অর্থ এই নয় যে এর বিষয়বস্তু সঠিক।
প্রতিবার একই উত্তর আশা করছি। এলোমেলোতা স্বাভাবিক; গুরুত্বপূর্ণ কাজের জন্য আপনার পছন্দের আউটপুট সংরক্ষণ করুন।
খুব দীর্ঘ, অপ্রয়োজনীয় টেক্সট পেস্ট করা এবং টোকেন লিমিট পুশ করা। দৈর্ঘ্য উভয়ই খরচ বাড়ায় এবং মডেলের ফোকাসকে বিভ্রান্ত করতে পারে; শুধু প্রয়োজনীয় প্রসঙ্গ দিন।

মনোযোগ: মডেলটি সাবলীলভাবে এবং আত্মবিশ্বাসের সাথে কথা বলে তার মানে এই নয় যে সে সঠিকভাবে কথা বলে। সাবলীলতা হল সম্ভাব্যতা অনুমানের স্বাভাবিক পরিণতি; নির্ভুলতা এমন কিছু যা আলাদাভাবে এবং স্বাধীনভাবে পরীক্ষা করা আবশ্যক।

সংক্ষেপে

জেনারেটিভ এআই পরবর্তী সবচেয়ে সম্ভাব্য খণ্ডের (টোকেন) পূর্বাভাস দিয়ে ধাপে ধাপে পাঠ্য তৈরি করে; টুকরো টুকরো বাক্য গঠন করে।
টোকেন শব্দের ছোট অংশ এবং খরচ এবং দৈর্ঘ্য উভয় সীমা সেট করে।
প্রতিটি ধাপে, মডেল সম্ভাবনার একটি তালিকা তৈরি করে; তাপমাত্রা সেটিং নির্ধারণ করে আউটপুট কতটা স্থিতিশীল বা সৃজনশীল হবে।
একই প্রশ্নের বিভিন্ন উত্তরের কারণ এই প্রক্রিয়ার অন্তর্নিহিত এলোমেলোতার কারণে।
মডেলটি সাবলীলভাবে কথা বলে, কিন্তু এটি নিশ্চিত করে না যে সে সত্য বলছে; সাবলীলতা এবং নির্ভুলতা ভিন্ন জিনিস।

অ্যাপ্লিকেশন টাস্ক

আপনার AI টুলকে একই সৃজনশীল কাজ দিন (যেমন "একটি দ্রুত ধন্যবাদ নোট লিখুন") পরপর দুবার এবং আউটপুটগুলি কীভাবে আলাদা তা পর্যবেক্ষণ করুন। তারপরে "শক্তিশালী প্রম্পট" টেমপ্লেটের সাথে একই কাজটি পুনরাবৃত্তি করুন, প্রসঙ্গ যোগ করুন এবং দুটি ফলাফলের মধ্যে মানের পার্থক্যটি নোট করুন।

চেকলিস্ট

[ ] আমি ব্যাখ্যা করতে পারি যে মডেলটি "পরবর্তী সম্ভাব্য অংশের ভবিষ্যদ্বাণী করে" পাঠ্য তৈরি করে।
আমি জানি [ ] টোকেন কী এবং কেন এটি খরচ/সীমা বোঝায়।
[ ] যে কাজগুলির জন্য সংকল্প প্রয়োজন এবং যেগুলির সৃজনশীলতার প্রয়োজন তার মধ্যে আমি পার্থক্য করতে পারি৷
আমি জানি একই প্রশ্নের ভিন্ন ভিন্ন উত্তর পাওয়া স্বাভাবিক।
[ ] আমি অভ্যন্তরীণভাবে বলেছি যে সাবলীলতা সঠিকতার কোন গ্যারান্টি নয়।