লাভ:
- এইচটিআর এবং প্রতিবর্ণীকরণ কর্মপ্রবাহ সেট আপ করার ক্ষমতা এবং কেন কাঁচা খসড়ার জন্য লাইন দ্বারা বিশেষজ্ঞ পরীক্ষা করার প্রয়োজন হয় তা ব্যাখ্যা করার ক্ষমতা
- অটোমান তুর্কি ভাষায় স্বর/বর্ণের অস্পষ্টতার ক্ষেত্রে একটি সুনির্দিষ্ট পাঠ আরোপ করার পরিবর্তে বিকল্পগুলির জন্য জিজ্ঞাসা করে অপঠিত অঞ্চলগুলিকে রক্ষা করার ক্ষমতা
- প্যালিওগ্রাফারের সাথে চূড়ান্ত বৈজ্ঞানিক দায়িত্ব পালন করে, সরলীকরণের একটি পৃথক স্তর থেকে মূল প্রতিবর্ণীকরণকে আলাদা করার ক্ষমতা
সম্ভবত ঐতিহাসিক গবেষণার সবচেয়ে চাহিদাপূর্ণ অংশ হ'ল পাণ্ডুলিপি এবং পুরানো লিখিত নথিগুলিকে পাঠযোগ্য পাঠ্যে প্রতিলিপি করা। একটি চিঠি, একটি নোটবুক, একটি আদালতের রেকর্ড বা একটি অটোমান নথি প্রতিলিপি করার পরেই অনুসন্ধানযোগ্য হয়ে ওঠে। ট্রান্সক্রিপশন হল একটি নথির বিষয়বস্তু (প্রায়শই হাতে লেখা বা প্রাচীন লিপি) একটি লিখিত, পাঠযোগ্য পাঠ্যে স্থানান্তর করার কাজ। অটোমানের ক্ষেত্রে, এটি প্রায়শই প্রতিবর্ণীকরণের সাথে থাকে: আরবি অক্ষরে পাঠ্যটিকে ল্যাটিন বর্ণমালায় তার অক্ষর-অক্ষরের সমতুল্য সহ স্থানান্তর করা।
আমরা মুদ্রিত পাঠ্যের জন্য OCR ব্যবহার করি; হাতের লেখার জন্য একটি ভিন্ন প্রযুক্তি প্রয়োজন: HTR (হস্তে লেখা টেক্সট রিকগনিশন)। এইচটিআর ওসিআরের মতো একটি প্রযুক্তি কিন্তু অনেক বেশি চ্যালেঞ্জিং যা হাতে লেখা নথিগুলিকে মেশিনের পাঠ্যে রূপান্তর করে। এই ইউনিটে আমরা দেখব কীভাবে HTR এবং AI ব্যবহার করতে হয় অটোমান এবং পাণ্ডুলিপি প্রতিলিপিতে, ত্রুটির মার্জিন এবং কেন যাচাইকরণ এখানে আরও গুরুত্বপূর্ণ।
হাতের লেখা এত কঠিন কেন?
হস্তাক্ষর মুদ্রিত পাঠ্যের চেয়ে অনেক বেশি পরিবর্তনশীল: প্রতিটি লেখকের একটি অনন্য হাত থাকে, অক্ষরগুলি একসাথে যুক্ত থাকে, সংক্ষিপ্ত রূপ এবং বিশেষ চিহ্ন ব্যবহার করা হয়, কালি বের হয়, কাগজ শেষ হয়ে যায়। অটোমান তুর্কি ভাষায় অসুবিধা বহুগুণে বৃদ্ধি পায়:
- প্রাসঙ্গিক বর্ণের রূপ: একই বর্ণটি শব্দের শুরুতে, মাঝখানে এবং শেষে ভিন্নভাবে লেখা হয়।
- স্বরবর্ণ না লেখা: ছোট স্বরবর্ণ প্রায়ই লেখা হয় না; পাঠক প্রসঙ্গ থেকে সম্পূর্ণ করেন। এটি "গ্রহণ বা প্রত্যাখ্যান?" এর মতো অস্পষ্টতা তৈরি করে।
- বিভিন্ন লেখার শৈলী: হাতের লেখার বিভিন্ন স্টাইল আছে যেমন রিকা, দিভানি, তালিক; প্রতিটির জন্য আলাদা পড়ার দক্ষতা প্রয়োজন।
- অটোমান শব্দভাণ্ডার: আরবি এবং ফার্সি শব্দ যা আজকের তুর্কি ভাষায় নেই।
তাই, HTR এবং AI প্রিন্ট OCR এর তুলনায় অটোমান তুর্কিতে অনেক বেশি ত্রুটির সাথে কাজ করে। একজন বিশেষজ্ঞ প্যালিওগ্রাফারের চোখ (প্যালিওগ্রাফি - প্রাচীন লেখা পড়ার বিজ্ঞান) এখানে একটি হাতিয়ার নয়, একটি প্রয়োজনীয়তা।
কর্মপ্রবাহ: ধাপে ধাপে
1. নথির গুণমান প্রস্তুত করুন। ওসিআরের মতো, উচ্চ রেজোলিউশন এবং ভাল বৈসাদৃশ্য অপরিহার্য। হাতের লেখার ক্ষেত্রে এটি আরও বেশি গুরুত্বপূর্ণ।
2. HTR মডেল নির্বাচন করুন। অটোমান, আরবি হস্তাক্ষর, বা একটি নির্দিষ্ট সময়ের জন্য বিশেষভাবে প্রশিক্ষিত এইচটিআর মডেলগুলি সাধারণ মডেলের তুলনায় অনেক বেশি সফল। কোন মডেলটি সময়কাল এবং লেখার শৈলীর জন্য ভাল কাজ করে তা পরীক্ষা করুন।
3. কাঁচা প্রতিলিপি তৈরি করুন। HTR মডেল একটি রূপরেখা তৈরি করে। অটোমান তুর্কি ভাষায়, এই খসড়াটি এমন একটি সূচনা যা একটি অভিজ্ঞ চোখকে অবশ্যই পরীক্ষা করে দেখতে হবে।
4. AI এর সাথে প্রাসঙ্গিক উন্নতি। আপনার কাছে AI পতাকার অসঙ্গতি, সম্ভাব্য পড়ার বিকল্প এবং কাঁচা আউটপুটে সন্দেহজনক অবস্থান থাকতে পারে। কিন্তু AI "সংশোধন" এখানে বিশেষভাবে ঝুঁকিপূর্ণ: এটি একটি কল্পিত পড়ার পরামর্শ দিতে পারে।
5. প্রতিবর্ণীকরণ এবং সরলীকরণ (স্তরযুক্ত)। আরবি হরফের টেক্সটকে ল্যাটিন হরফে ট্রান্সলিটারেশন, তারপর আজকের তুর্কি ভাষায় সরলীকৃত পঠন, আলাদা স্তর হিসেবে উত্পাদিত হয়। মূল কখনো ভাঙে না।
6. বিশেষজ্ঞ যাচাইকরণ। চূড়ান্ত প্রতিলিপিটি নথির সাথে তুলনা করে প্যালিওগ্রাফি এবং পিরিয়ড জ্ঞান সহ একজন বিশেষজ্ঞ দ্বারা অনুমোদিত হয়।
মনোযোগ: অটোমান তুর্কি ভাষায়, প্রসঙ্গ থেকে একটি অলিখিত স্বর সহ একটি শব্দ "অনুমান" করার সময়, এআই সম্পূর্ণ ভুল পড়া তৈরি করতে পারে এবং এটি একটি আত্মবিশ্বাসী ভাষায় উপস্থাপন করতে পারে। অক্ষরের পার্থক্য, যেমন "কাবিল" এর পরিবর্তে "কাবুল" বা "আলিম" এর পরিবর্তে "আলেম" এর অর্থ সম্পূর্ণরূপে পরিবর্তন করে। প্রতিটি অনিশ্চিত পঠন বিকল্প সহ উপস্থাপন করা উচিত, এবং কোন একক নির্দিষ্ট পাঠ আরোপ করা উচিত নয়।
একটি টেবিল সঙ্গে স্তর এবং দায়িত্ব
স্তর
বিষয়বস্তু
AI এর ভূমিকা
বিশেষজ্ঞের ভূমিকা
ছবি
মূল নথি
-
উৎস
HTR খসড়া
কাঁচা মেশিন পড়া
উত্পাদন করে
শুরু থেকে শেষ পর্যন্ত নিয়ন্ত্রণ করুন
প্রতিবর্ণীকরণ
ল্যাটিন অক্ষর স্থানান্তর
খসড়া প্রস্তাব
সংশোধন করে, সংশোধন করে
অনিশ্চয়তার নোট
[?] এবং বিকল্প
লক্ষণ
সিদ্ধান্ত নেয়
সরলীকরণ
আজকের তুর্কি
খসড়া প্রস্তাব
অনুমোদন
বৈজ্ঞানিক প্রকাশনা
চূড়ান্ত পাঠ + নোট
-
শুধুমাত্র বিশেষজ্ঞ
তিনটি মিনি কেস
কেস 1 — HTR প্রথম খসড়ার গতি 5x বাড়িয়েছে। একজন ডক্টরাল ছাত্র একটি 200 পৃষ্ঠার অটোমান নোটবুক প্রতিলিপি করবে। সম্পূর্ণ ম্যানুয়াল ট্রান্সক্রিপশন 60 ব্যবসায়িক দিনে অনুমান করা হয়েছিল। সময়ের জন্য প্রশিক্ষিত একটি এইচটিআর মডেলের সাথে, কাঁচা খসড়াটি কয়েক ঘন্টার মধ্যে বেরিয়ে আসে; ছাত্র এই খসড়া সংশোধন করেছে এবং কাজ কমিয়ে 12 কার্যদিবস করেছে। কিন্তু তাকে প্রতিটি পৃষ্ঠাকে নথিতে, লাইনে লাইনের সাথে তুলনা করতে হয়েছিল; খসড়ার প্রায় 30% ভুল ছিল।
কেস 2 - একটি অক্ষর, একটি অর্থ। একজন গবেষক একটি শব্দের উপর নির্ভর করেছিলেন যেটি এআই "গভর্নর" হিসাবে পড়েছে। বিশেষজ্ঞের নিয়ন্ত্রণে, এটি বোঝা গিয়েছিল যে শব্দটি আসলে "অভিভাবক" (একটি শিশু/ব্যক্তির জন্য দায়ী), এবং যেহেতু স্বরটি চিহ্নিত করা হয়নি, তাই এআই এটিকে ভুল অনুমান করেছে। নথির আইনগত অর্থ সম্পূর্ণরূপে পরিবর্তিত হয়ে গেল। পাঠ: অটোমান তুর্কি ভাষায়, একটি একক অক্ষর/স্বরবর্ণ পার্থক্যের কারণে নথিটিকে শুরু থেকেই ব্যাখ্যা করা হয়; বিশেষজ্ঞ প্রয়োজন।
কেস 3 - কল্পিত সমাপ্তি। একটি লাইনে যার কালি ফুরিয়ে গিয়েছিল এবং যার একটি শব্দ অপাঠ্য ছিল, এআই একটি "যৌক্তিক" শব্দ দিয়ে শূন্যস্থান পূরণ করেছে। বিশেষজ্ঞ বুঝতে পেরেছিলেন যে সেই ফাঁকটি আসলে একটি স্থানের নাম এবং এআই এটি তৈরি করেছে। স্থান [অপাঠ্য] হিসাবে বাম। পাঠ: অপঠিত স্থান পূর্ণ হয় না, এটি চিহ্নিত করা হয়।
চারটি অনুলিপিযোগ্য টেমপ্লেট
1) প্রতিবর্ণীকরণ যা অস্পষ্টতা রক্ষা করে:
নীচে একটি অটোমান নথির HTR কাঁচা আউটপুট/লিপ্যন্তর রয়েছে৷ আপনার কাজ হল পাঠ্য পর্যালোচনা করা এবং সম্ভাব্য পড়ার ত্রুটিগুলি চিহ্নিত করা। নিয়ম: (1) প্রতিটি শব্দের জন্য 2-3টি সম্ভাব্য পড়ার বিকল্প অফার করুন যা আপনি নিশ্চিত নন, একটি চাপিয়ে দেবেন না। (2) অযোগ্য জায়গায় [অপাঠ্য] ছেড়ে দিন, সেগুলি পূরণ করবেন না। (3) টেক্সটে বিদ্যমান নেই এমন শব্দ যোগ করা। (4) অস্পষ্ট স্বরবর্ণ সহ শব্দে বিকল্প দেখাও। পাঠ্য: [এখানে]
2) স্তরযুক্ত পাঠ (মূল + সরলীকরণ):
নিম্নলিখিত যাচাইকৃত অটোমান প্রতিবর্ণীকরণের জন্য দুটি কলাম তৈরি করুন: (1) মূল প্রতিবর্ণীকরণ (স্পর্শ), (2) আজকের তুর্কি ভাষায় সরলীকৃত পড়া। ADDING অর্থ, সরলীকরণে ব্যাখ্যা যোগ করা; শুধু ভাষা আপডেট করুন। অস্পষ্ট অর্থ [অস্পষ্ট] সহ স্থানগুলি চিহ্নিত করুন। প্রতিবর্ণীকরণ: [এখানে]
3) মেয়াদ এবং ব্যক্তি নিষ্কাশন:
নীচের প্রতিলিপিতে উল্লিখিত ব্যক্তিগত নাম, স্থানের নাম, শিরোনাম এবং পর্যায়ক্রমিক পদগুলি পৃথক তালিকায় প্রদর্শিত হবে। কেবলমাত্র সেইগুলি নিন যা টেক্সটে স্পষ্টভাবে উল্লেখ করা হয়েছে; অনুমান করে যোগ করবেন না। আপনি উচ্চারণ সম্পর্কে নিশ্চিত না হলে [?] দিয়ে চিহ্নিত করুন। পাঠ্য: [এখানে]
4) সন্দেহজনক পঠন নিয়ন্ত্রণ:
ভূমিকায় একজন অভিজ্ঞ প্যালিওগ্রাফি নিয়ামক। নীচের ট্রান্সক্রিপশনে, অর্থে অসঙ্গতিপূর্ণ, সময়ের সাথে খাপ খায় না বা প্রসঙ্গের সাথে খাপ খায় না এমন শব্দগুলি চিহ্নিত করুন এবং কেন তারা সন্দেহজনক তা লিখুন। সুনির্দিষ্ট সংশোধন আরোপ করা; সন্দেহের একটি তালিকা তৈরি করুন যা মানব বিশেষজ্ঞ নথির সাথে তুলনা করবে। পাঠ্য: [এখানে]
দুর্বল প্রম্পট / শক্তিশালী প্রম্পট
দুর্বল:
এই অটোমান পাঠ্যটি পড়ুন এবং আমাকে এর অনুবাদ দিন।
এটি AI-কে একটি একক, সুনির্দিষ্ট রিডিং, অস্পষ্টতা লুকিয়ে রাখতে এবং ফাঁকে ফিটিং তৈরি করতে ঠেলে দেয়। অটোমান তুর্কি ভাষায়, এটি প্রায় একটি গ্যারান্টিযুক্ত ভুল।
শক্তিশালী:
নীচের অটোমান প্রতিবর্ণীকরণ দেখুন। একটি নির্দিষ্ট পড়া: IMPOSITION. প্রতিটি অস্পষ্ট শব্দের জন্য সম্ভাব্য বিকল্প প্রদান করুন, [অপাঠ্য] অংশগুলি ছেড়ে দিন, পাঠ্যে নেই এমন কিছু যোগ করবেন না। একটি পৃথক কলামে আজকের তুর্কিদের সরলীকৃত পাঠ দিন, তবে মূলটি রাখুন। যে বিষয়ে আপনি নিশ্চিত নন এমন কিছু চিহ্নিত করুন [?] যাতে বিশেষজ্ঞ নথির সাথে তুলনা করতে পারেন। পাঠ্য: [এখানে]
পার্থক্য: কঠোর পঠন নিষেধাজ্ঞা, বিকল্পের অনুরোধ, হোয়াইটস্পেস সংরক্ষণ এবং স্তরযুক্ত আউটপুট বিশেষজ্ঞ যাচাইকরণ সক্ষম করে।
সাধারণ ভুল
- HTR খসড়াটিকে সঠিক বলে ভুল করা। অটোমান তুর্কি ভাষায়, কাঁচা খসড়ার বেশিরভাগই ভুল হতে পারে; লাইন দ্বারা লাইন নিয়ন্ত্রণ একটি আবশ্যক.
- শুধুমাত্র নির্দিষ্ট পড়া আরোপ করা হয়. যদি বিকল্পগুলি এমন শব্দগুলিতে লুকিয়ে থাকে যার স্বরগুলি লেখা হয় না, তবে ভুল অর্থ লিপিবদ্ধ করা হবে।
- অপঠনযোগ্য এলাকায় ভরাট. এটি হোয়াইটস্পেস [অপাঠ্য] দ্বারা সুরক্ষিত করা উচিত, তৈরি নয়।
- সরলীকরণের সাথে মূল মিশ্রিত করা। সরলীকরণ একটি পৃথক স্তর হতে হবে; মূল প্রতিবর্ণীকরণ বিকৃত করা উচিত নয়.
- বিশেষজ্ঞকে নিষ্ক্রিয় করা হচ্ছে। প্যালিওগ্রাফি এবং পিরিয়ডের জ্ঞান ছাড়া, AI এর পড়া একটি অনুমান যার কোন বৈজ্ঞানিক মূল্য নেই।
সংক্ষেপে
এইচটিআর এবং এআই-এর সাথে কাঁচা খসড়া পর্যায়ে অটোমান এবং পাণ্ডুলিপি প্রতিলিপিকে ব্যাপকভাবে ত্বরান্বিত করা যেতে পারে; আপনি একটি প্রথম আউটপুট পাবেন যা কাজের দিনকে ঘন্টায় কমিয়ে দেয়। কিন্তু এই ক্ষেত্রে একটি একক অক্ষর, একটি স্বরবর্ণ পার্থক্য অর্থ পরিবর্তন করে; AI অনিশ্চয়তা আড়াল করে এবং শূন্যস্থান পূরণ করে। সঠিক পদ্ধতিটি স্তরযুক্ত: কাঁচা রূপরেখা, অস্পষ্টতার বিকল্প নোট, সরলীকরণের একটি পৃথক স্তর এবং সর্বোপরি, প্যালিওগ্রাফির সাথে পরিচিত একজন বিশেষজ্ঞ দ্বারা নথির লাইন-বাই-লাইন যাচাইকরণ। এআই প্রাথমিক পড়ার গতি বাড়ায়; বৈজ্ঞানিক দায়িত্ব বিশেষজ্ঞের।
আবেদন টাস্ক
একটি অটোমান বা পাণ্ডুলিপি নথির একটি প্রতিবর্ণীকরণ পান (আপনার নিজস্ব উত্পাদন বা একটি প্রকাশিত অনুলিপি)। "অস্পষ্টতা-সংরক্ষিত প্রতিবর্ণীকরণ" টেমপ্লেট সহ একটি বিকল্প পড়ার জন্য AI-কে জিজ্ঞাসা করুন। তারপর "স্তরযুক্ত পড়া" দিয়ে আলাদাভাবে সরলীকরণ স্তর তৈরি করুন। একটি বিশেষজ্ঞ উৎস বা অভিধানের সাথে অস্পষ্টভাবে চিহ্নিত প্রতিটি শব্দের তুলনা করুন; একটি একক পাঠ আরোপ করলে AI কতগুলি ত্রুটি তৈরি করবে তা নোট করুন।
চেকলিস্ট
- [ ] আমি পিরিয়ড এবং লেখার শৈলীর জন্য উপযুক্ত একটি HTR/মডেল ব্যবহার করেছি।
- [ ] আমি সঠিক পড়ার বিকল্পের জন্য AI কে জিজ্ঞাসা করেছি।
- [ ] আমি অপঠিত অংশগুলিকে [অপঠনযোগ্য] দিয়ে সুরক্ষিত করেছি।
- [ ] আমি মূল প্রতিবর্ণীকরণকে সরলীকরণ থেকে আলাদা রেখেছি।
- আমি চূড়ান্ত পাঠ্যটি একজন বিশেষজ্ঞ/ডকুমেন্টারি দ্বারা যাচাই করেছি যিনি প্যালিওগ্রাফি জানেন।