ভাষাবিজ্ঞান এবং কর্পাস বিশ্লেষণ: সংখ্যা সহ শব্দভান্ডার পড়া

লাভ:

• কৃত্রিম বুদ্ধিমত্তা সহ শব্দের ফ্রিকোয়েন্সি, কোলোকেশন, শব্দভান্ডার সমৃদ্ধতা এবং কীওয়ার্ডের মতো কর্পাস পরিমাপের খসড়া করার ক্ষমতা
• জেনে রাখা যে কৃত্রিম বুদ্ধিমত্তা সঠিক গণনার ক্ষেত্রে অবিশ্বস্ত এবং প্রতিটি গণনা একটি পৃথক টুল দিয়ে যাচাই করতে সক্ষম
• বোঝার ক্ষমতা যে একটি সংখ্যা নিজে থেকে কিছু বলে না এবং ভাষাগত ব্যাখ্যা যা অর্থ প্রতিষ্ঠা করে তা মানুষের অন্তর্গত।

সাহিত্য ও ভাষা অধ্যয়ন শুধু ‘ভাষ্য’ নয়; এর একটি পরিমাপযোগ্য এবং গণনাযোগ্য দিকও রয়েছে। একজন লেখক কতগুলি ভিন্ন শব্দ ব্যবহার করেন, কোন শব্দের সাথে তিনি কোন শব্দ ব্যবহার করতে পছন্দ করেন, কোন শব্দগুলি একটি যুগে সাধারণ হয়ে ওঠে - এইগুলি ভাষাবিজ্ঞানের মাধ্যমে তদন্ত করা হয় (যে বিজ্ঞান ভাষার শব্দ, গঠন, অর্থ এবং ব্যবহার অধ্যয়ন করে) এবং বিশেষত কর্পাস ভাষাতত্ত্বের মাধ্যমে। একটি কর্পাস হল পাঠ্যের একটি সংগ্রহ, যেমন একজন লেখকের সম্পূর্ণ কাজ, একটি সংবাদপত্রের বার্ষিক সংরক্ষণাগার, বা একটি সময়ের কবিতা। কর্পাস বিশ্লেষণ এই খণ্ডে সংখ্যাসূচক নিদর্শন খোঁজে।

এই ইউনিটে, আমরা একটি কর্পাস বিশ্লেষণ সহকারী হিসাবে AI ব্যবহার করতে শিখব: দ্রুত মেট্রিক্স বের করা যেমন শব্দের ফ্রিকোয়েন্সি (টেক্সটে কতবার একটি শব্দ আসে), কোলোকেশন (শব্দ জোড়া যেগুলি প্রায়শই একসাথে হয়, যেমন "কালো" + "আমার ভাগ্য"), শব্দভান্ডার সমৃদ্ধতা এবং ঋতু পরিবর্তন। তবে শুরু থেকেই একটি সতর্কবাণী: একা গণনা করার সময় এআই ভুল করতে পারে; বড় এবং সুনির্দিষ্ট গণনার জন্য বিশেষ সরঞ্জাম প্রয়োজন, এবং আপনি ভাষাবিদ যিনি প্রতিটি সংখ্যার অর্থ প্রতিষ্ঠা করেন।

কোথায় AI শক্তিশালী এবং কোথায় এটি কর্পাস বিশ্লেষণে দুর্বল?

এর শক্তিগুলি হল: ছোট এবং মাঝারি পাঠ্যের নিদর্শনগুলি সনাক্ত করা, একটি পাঠ্যের শব্দভাণ্ডার সম্পর্কে অনুমান তৈরি করা, কোলোকেশনের জন্য প্রার্থীদের পরামর্শ দেওয়া, একটি ফলাফলের ব্যাখ্যা করা, একটি পদ্ধতির বর্ণনা করা। AI জিজ্ঞাসা করে "এই লেখকের মধ্যে কোন বাক্যাংশগুলি আলাদা?" এটি প্রশ্নের একটি দ্রুত শুরু দেয়।

দুর্বলতা: সঠিক গণনা। এআই একটি ভাষার মডেল, ক্যালকুলেটর নয়; একটি দীর্ঘ পাঠ্যে "এটি কতবার ঘটেছে" প্রশ্নের আনুমানিক এবং কখনও কখনও ভুল উত্তর দিতে পারে। সুনির্দিষ্ট ফ্রিকোয়েন্সি, সঠিক কোলোকেশন পরিসংখ্যান, বা হাজার হাজার শব্দের বৃহৎ কর্পাস স্ক্যানিংয়ের জন্য, বিশেষ সফ্টওয়্যার (যেমন কর্পাস টুল যেমন AntConc বা স্প্রেডশিট) ব্যবহার করা হয়। এই সরঞ্জামগুলির আউটপুট ব্যাখ্যা করার জন্য AI মূল্যবান; কিন্তু তাকে অন্ধভাবে কাঁচা গণনা করতে বাধ্য করবেন না।

টিপ: আপনার যদি সঠিক সংখ্যার প্রয়োজন হয় তবে দুটি উপায় ব্যবহার করুন: একটি টুলকে ছোট টেক্সটে গণনা করতে দিন এবং AI এর ব্যাখ্যা করুন; অথবা AI গণনা করুন এবং এটি অন্য উপায়ে যাচাই করুন। নিশ্চিতকরণ ছাড়া "AI বলেছেন এটি 47 বার ঘটে" বাক্যটি ব্যবহার করবেন না।

একটি ধাপে ধাপে কর্পাস অধ্যয়ন

1. একটি প্রশ্ন রাখুন. "এই কবির মধ্যে রঙের শব্দগুলি কীভাবে বিতরণ করা হয়?" একটি পরিষ্কার প্রশ্ন ছাড়া গণনা অর্থহীন:
2. কর্পাস সংজ্ঞায়িত করুন। কোন গ্রন্থ? কোন সংস্করণ? কোন কাল? সীমান্ত পরিষ্কার হতে হবে।
3. পরিমাপ নির্বাচন করুন। ফ্রিকোয়েন্সি, কোলোকেশন, শব্দভান্ডারের সমৃদ্ধি?
4. পরিমাপ এবং যাচাই. গণনা করুন, তারপর একটি দ্বিতীয় উপায় নিশ্চিত করুন.
5. মন্তব্য করুন। একা নম্বর কিছু বলে না; এটি আপনার মন্তব্য যা "দ্বিতীয় সময়ের মধ্যে রঙের শব্দ দ্বিগুণ" অর্থবহ করে তোলে।

শব্দভান্ডার সমৃদ্ধির একটি ঘন ঘন ব্যবহৃত পরিমাপ হল বিভিন্ন শব্দের সংখ্যার সাথে মোট শব্দের অনুপাত (টাইপ/টোকেন অনুপাত)। যদি এই অনুপাত বেশি হয়, পাঠ্যটি শব্দ-বৈচিত্র্য, এবং যদি এটি কম হয়, তার মানে এটি পুনরাবৃত্তিমূলক। কিন্তু এই অনুপাত পাঠ্য দৈর্ঘ্য দ্বারা প্রভাবিত হয়; সংক্ষিপ্ত এবং দীর্ঘ পাঠ্যের তুলনা করার সময় সতর্কতা অবলম্বন করুন।

তিনটি মিনি কেস

কেস 1 - কোলোকেশন একটি শৈলী প্রদর্শন করেছে। একজন গবেষক একজন ঔপন্যাসিকের 3টি উপন্যাসে বিশেষণ-বিশেষ্য জোড়া পরীক্ষা করেছেন। এআই পরামর্শ দিয়েছে যে "ফ্যাকাশে" শব্দটি 5টি ভিন্ন বিশেষ্যের সাথে মেলে; গবেষক পাঠ্যগুলির মধ্যে 4টি যাচাই করেছেন এবং 1টি বানোয়াট হিসাবে বাদ দিয়েছেন। নিশ্চিত করা প্যাটার্নটি লেখকের বর্ণনামূলক শৈলী সম্পর্কে একটি থিসিস বিবৃতিতে পরিণত হয়েছে।

কেস 2 — গণনার ত্রুটি ধরা পড়েছে। একজন ছাত্র এআইকে জিজ্ঞাসা করেছিল যে 2,000-শব্দের পাঠ্যে "রাত" শব্দটি কতবার এসেছে; এআই বলেছে "২৩"। যখন ছাত্রটি একটি স্প্রেডশীটে পাঠ্যটি ছুড়ে ফেলে এবং এটি গণনা করে, তখন প্রকৃত সংখ্যাটি ছিল 17৷ এটি স্পষ্ট হয়ে গেছে যে AI এর কাঁচা গণনা অবিশ্বস্ত৷

কেস 3 - পর্যায়ক্রমিক পরিবর্তন বিতর্কের জন্ম দিয়েছে। একদল একজন কবির প্রথম ও শেষের কবিতায় বিমূর্ত শব্দের অনুপাত তুলনা করেছেন। AI এর প্রথম খসড়া একটি প্রবণতা প্রস্তাব করেছে; যখন গোষ্ঠীটি পাঠ্যটিতে ফিরে যায় এবং গণনা যাচাই করে, প্রবণতাটি বাস্তবে পরিণত হয়েছিল, তবে AI দ্বারা প্রস্তাবিত "কারণগুলি" অপ্রমাণযোগ্য অনুমান ছিল এবং বাদ দেওয়া হয়েছিল।

চারটি অনুলিপিযোগ্য টেমপ্লেট

1) শব্দ ফ্রিকোয়েন্সি রূপরেখা (যাচাই সহ):

তাদের আনুমানিক ফ্রিকোয়েন্সি সহ নীচের টেক্সটে 15টি সর্বাধিক ঘন ঘন ঘটতে থাকা বিষয়বস্তু শব্দের তালিকা করুন (ফাংশন শব্দ যেমন সংযোজন এবং অব্যয় বাদ দিন)। সতর্কতা: নোট করুন যে গণনা সঠিক নাও হতে পারে এবং নোট করুন "সঠিক হতে, সেগুলিকে একটি পৃথক গণনা সরঞ্জাম দিয়ে যাচাই করতে হবে।" পাঠ্য: [এখানে পাঠ্য পেস্ট করুন]

2) সংযোজন প্রার্থী:

নীচের পাঠ্যে প্রায়শই একসাথে ঘটতে থাকা শব্দের জোড়া (সংযোজন) প্রস্তাব করুন। প্রতিটি জোড়ার জন্য পাঠ্য থেকে অন্তত একটি উদ্ধৃতি দিন। দ্বিগুণ বানোয়াট যা পাঠ্যের কোন সমতুল্য নেই; আপনি যদি নিশ্চিত না হন তবে এটিকে "যাচাই প্রয়োজন" হিসাবে চিহ্নিত করুন। পাঠ্য: [পাঠ্য পেস্ট করুন]

3) শব্দভান্ডার তুলনা:

আমি আপনাকে দুটি পাঠ্য দেব। প্রতিটির জন্য: আনুমানিক মোট শব্দ, বিভিন্ন শব্দের বৈচিত্র সম্পর্কে পর্যবেক্ষণ, এবং বিশিষ্ট শব্দ ডোমেন (যেমন রঙ, প্রকৃতি, আবেগ)। বলুন যে সংখ্যাগুলি আনুমানিক। আমার যাচাইয়ের সাথে তুলনা করার ব্যাখ্যা ছেড়ে দিন। পাঠ্য A: [...] পাঠ্য B: [...]

4) ফলাফল ব্যাখ্যা:

আমি একটি গণনা টুল থেকে নিম্নলিখিত ফলাফল পেয়েছি: [ফল পেস্ট করুন]। ভাষাগতভাবে এই সংখ্যাগুলির অর্থ কী হতে পারে সে সম্পর্কে 2-3টি অনুমান তৈরি করুন। প্রতিটি অনুমানকে "প্রমাণের প্রয়োজন" হিসাবে চিহ্নিত করুন এবং আমাকে বলুন আমি কীভাবে এটি পরীক্ষা করতে পারি। অতিরিক্ত মন্তব্য এড়িয়ে চলুন।

দুর্বল প্রম্পট / শক্তিশালী প্রম্পট

দুর্বল: "এই পাঠ্যে কোন শব্দটি সবচেয়ে বেশি আসে?"

শক্তিশালী: "এই পাঠ্যের সবচেয়ে ঘন ঘন বিষয়বস্তু শব্দগুলিকে তাদের আনুমানিক ফ্রিকোয়েন্সি সহ তালিকাভুক্ত করুন; ফাংশন শব্দগুলি বাদ দিন। এটি পরিষ্কার করুন যে সংখ্যাগুলি সঠিক নয় এবং একটি পৃথক টুল দিয়ে যাচাই করা প্রয়োজন। প্রতিটি শব্দের জন্য একটি উদাহরণ বাক্য দিন।"

শক্তিশালী প্রম্পট AI-কে গণনার সীমা স্বীকার করে এবং আপনাকে আগেই বলে যে যাচাইকরণ প্রয়োজন। দুর্বল প্রম্পটে, AI একটি একক নম্বর দেয় এবং আপনি জানেন না যে এটি ভুল হতে পারে।

পরিমাপ এবং নির্ভরযোগ্যতা টেবিল

পরিমাপ

কি দেখায়

এআই একা

সঠিক পথ

শব্দ ফ্রিকোয়েন্সি

ঘন ঘন শব্দ

সম্পর্কে, ঝুঁকিপূর্ণ

কাউন্টার + এআই ভাষ্য

colocation

যারা একসাথে পাস করেছে

প্রার্থী তৈরি করে

পাঠ্য থেকে নিশ্চিতকরণ

টাইপ/টোকেন অনুপাত

মৌখিক বৈচিত্র্য

বিভ্রান্তিকর হতে পারে

টুল সহ অ্যাকাউন্ট

ঋতু পরিবর্তন

সময়ের সাথে প্রবণতা

অনুমান তৈরি করে

পরিমাপ এবং যাচাই

সমাপ্তি মন্তব্য

অর্থ

শক্তিশালী কিন্তু অতিরঞ্জিত

মানুষের বিচার

কীওয়ার্ড এবং এন-গ্রাম ধারণা

কর্পাস বিশ্লেষণে দুটি ধারণা আপনার কাজকে সহজ করে তোলে। প্রথমটি হল কীওয়ার্ড (ইংরেজিতে কীওয়ার্ড - যে শব্দটি একটি পাঠ্য বা লেখকে সাধারণ ভাষার তুলনায় প্রত্যাশার চেয়ে অনেক বেশি ঘন ঘন ঘটে, সেই পাঠ্যটিকে তার "অক্ষর" দেয়)। একজন লেখকের কীওয়ার্ড তার আগ্রহ এবং শৈলী প্রকাশ করে; উদাহরণস্বরূপ, যদি "সমুদ্র" এবং "বিচ্ছেদ" একজন কবিতে প্রত্যাশার চেয়ে বেশি ঘন ঘন ঘটে তবে এই পরিসংখ্যানগত প্রসারণটি একটি ব্যাখ্যার সূচনা বিন্দু হয়ে ওঠে। কীওয়ার্ড সনাক্ত করার জন্য, একটি রেফারেন্স কর্পাসের ফ্রিকোয়েন্সিগুলির সাথে একটি পাঠ্যের ফ্রিকোয়েন্সি তুলনা করা প্রয়োজন (তুলনার জন্য ব্যবহৃত পাঠ্যের একটি সাধারণ, বড় অংশ); এই তুলনা একটি নির্দিষ্ট টুল কাজ, এটি একটি গণনা যা AI তার নিজের উপর নির্ভরযোগ্যভাবে করতে পারে না।

দ্বিতীয়টি হল n-গ্রাম (একটি পাঠ্যে n পরপর শব্দের একটি ক্রম; দুটি শব্দের ক্রমকে "বিগ্রাম" বলা হয়, তিনটি শব্দের ক্রমকে "ট্রিগ্রাম" বলা হয়)। এন-গ্রাম বিশ্লেষণ একজন লেখকের সূত্রগত অভিব্যক্তি এবং প্রায়শই ব্যবহৃত বাক্যাংশ প্রকাশ করে। উদাহরণস্বরূপ, যদি একজন লেখক "প্রকার" বা "তবে" এর মতো বাক্যাংশগুলি অত্যন্ত ঘন ঘন ব্যবহার করেন তবে এটি বাক্য তৈরির তার অভ্যাসকে নির্দেশ করে। AI প্রার্থী হিসাবে এই বাক্যাংশগুলি সুপারিশ করতে পারে; কিন্তু সত্যিকারের ফ্রিকোয়েন্সি এবং পরিসংখ্যানগত তাত্পর্যের জন্য গণনা টুলে ফিরে আসা প্রয়োজন।

ইঙ্গিত: AI-কে বলুন, "প্রার্থী হিসাবে এই পাঠ্যের উল্লেখযোগ্য বাক্যাংশগুলি (দুই বা তিনটি শব্দ) তালিকাভুক্ত করুন এবং প্রতিটির জন্য পাঠ্য থেকে একটি উদাহরণ দিন।" প্রার্থী তালিকা নিন এবং একটি পৃথক টুল দিয়ে প্রকৃত ফ্রিকোয়েন্সি পরিমাপ করুন। AI কে "নোটিজার", এজেন্টকে "কাউন্টার" হিসাবে এবং নিজেকে "দোভাষী" হিসাবে রাখুন।

সাধারণ ভুল

• AI এর কাঁচা গণনার উপর নির্ভর করা। AI একটি ক্যালকুলেটর নয়; পৃথক টুল দ্বারা সঠিক সংখ্যা যাচাই করুন।
• মন্তব্য ছাড়া নম্বর উপস্থাপন. "47 বার পাস" কিছুই বলে না; আপনি অর্থ তৈরি করুন।
• পাঠ্যের দৈর্ঘ্য উপেক্ষা করা হচ্ছে। লিরিক বৈচিত্র্যের হার দৈর্ঘ্য সংবেদনশীল।
• কোলোকেশন যাচাই না করেই থিসিস তৈরি করা। নন-এআই দম্পতিরা পরামর্শ দিতে পারে; টেক্সট থেকে নিশ্চিত করুন.
• চরম মন্তব্য. প্রমাণ ছাড়া AI দ্বারা প্রস্তাবিত "কারণ" গ্রহণ করবেন না।

সংক্ষেপে

কর্পাস বিশ্লেষণ সাহিত্যের গণনাযোগ্য দিকটি খুলে দেয়: ফ্রিকোয়েন্সি, কোলোকেশন, শব্দভান্ডার, পর্যায়ক্রমিক পরিবর্তন। AI এই ক্ষেত্রে নিদর্শন সনাক্তকরণ এবং ফলাফল ব্যাখ্যা করার ক্ষেত্রে শক্তিশালী; কিন্তু এটি পরম গণনা অবিশ্বাস্য. আলাদা টুল দিয়ে নম্বর যাচাই করুন, টেক্সট থেকে কোলোকেশন নিশ্চিত করুন এবং প্রতিটি সংখ্যার অর্থ নিজেই নির্ধারণ করুন। সংখ্যা প্রমাণ নয়, এটি প্রমাণের দরজা।

আবেদন টাস্ক

একটি ছোট পাঠ্য চয়ন করুন (500-1000 শব্দ)। একটি বিষয়বস্তু শব্দ সনাক্ত করুন (যেমন "রাত্রি" বা "রাস্তা")। প্রথমত, নিজেকে পাঠ্যের মধ্যে গণনা করুন। তারপরে AI এটি গণনা করুন। দুটি ফলাফল তুলনা; যদি পার্থক্য থাকে, কারণ অনুসন্ধান করুন। তারপরে পাঠ্যটিতে সেই শব্দের কার্যকারিতার উপর একটি অনুচ্ছেদের মন্তব্য লিখুন - সংখ্যাটিকে অর্থে পরিণত করুন।

চেকলিস্ট

• [ ] আমি একটি স্পষ্ট ভাষাগত প্রশ্ন রেখেছি।
• [ ] আমি কর্পাসের সীমানা সংজ্ঞায়িত করেছি (পাঠ্য, সংস্করণ, সময়কাল)।
• [ ] আমি AI এর গণনা দ্বিতীয় উপায়ে যাচাই করেছি।
• [ ] আমি টেক্সট থেকে collocations নিশ্চিত.
• [ ] আমি মন্তব্য ছাড়া নম্বর ছেড়ে যায়নি; আমি নিজেই অর্থ তৈরি করেছি।