المكاسب:
- القدرة على إعداد سير عمل الرقمنة والتعرف الضوئي على الحروف (المسح الضوئي والمعالجة المسبقة والتعرف والتصحيح والتحقق) خطوة بخطوة
- القدرة على استخدام الذكاء الاصطناعي لتصحيح أخطاء التعرف الضوئي على الحروف مع السياق مع الحفاظ على التصحيح وإعادة كتابة السطر ووضع علامة على الغموض باستخدام [؟]
- فهم سبب وجوب التحقق بصريًا من الأرقام والتواريخ وأسماء الأعلام ودور مراقبة الجودة.
إن ملايين الصفحات الموجودة على الرفوف المادية للأرشيف أو المكتبة لا يتم فتحها حقًا للباحث إلا عندما تصبح رقمية وقابلة للبحث. الرقمنة هي تحويل مستند مادي إلى صورة رقمية عن طريق مسحه ضوئيًا أو تصويره. لكن صورة الصفحة ليست "نصًا" بعد؛ بالنسبة للكمبيوتر، فهي لا تزال صورة، ولا يمكنك البحث فيها. هذا هو المكان الذي يلعب فيه التعرف الضوئي على الحروف (OCR).
OCR (التعرف البصري على الأحرف) عبارة عن تقنية تتعرف على الحروف المطبوعة في صورة المستند وتحولها إلى نص قابل للقراءة آليًا وقابل للبحث. في هذه الوحدة، ستتعلم كيفية رقمنة المستندات المطبوعة التاريخية باستخدام التعرف الضوئي على الحروف، وكيف يساعد الذكاء الاصطناعي في تصحيح أخطاء التعرف الضوئي على الحروف في هذه العملية، وحيث تكون العين البشرية ضرورية. (تتطلب النصوص المكتوبة بخط اليد تقنية مختلفة، وسنتناول ذلك في الوحدة التالية.)
سير عمل الرقمنة: خطوة بخطوة
1. الإعداد والفحص. قم بمسح المستند ضوئيًا بأعلى جودة ممكنة. القاعدة العامة للبحث التاريخي هي دقة لا تقل عن 300-400 نقطة في البوصة (نقطة في البوصة). الدقة المنخفضة تزيد من معدل الخطأ في مرحلة التعرف الضوئي على الحروف اللاحقة.
2. المعالجة المسبقة للصورة. يؤدي تحسين الصورة قبل التعرف الضوئي على الحروف (OCR) إلى زيادة النجاح بشكل كبير: تعديل الصفحة الممسوحة ضوئيًا وإزالة العيوب وزيادة التباين والتحويل إلى الأسود والأبيض. يمكن للأدوات الحديثة المعتمدة على الذكاء الاصطناعي أتمتة هذه الخطوة.
3. تطبيق التعرف الضوئي على الحروف. يمكنك تغذية الصورة إلى محرك التعرف الضوئي على الحروف؛ يتعرف المحرك على الحروف وينتج النص. يتكون الإخراج عادةً من طبقتين: صورة المستند المرئية و"طبقة نص مخفية قابلة للبحث" أسفلها.
4. التصحيح (التصحيح اللاحق). إن إخراج OCR الخام ليس مثاليًا أبدًا. تتم قراءة الأحرف بشكل غير صحيح بسبب الخطوط القديمة والورق الأصفر وتلطيخ الحبر وأخطاء المسح الضوئي. هذا هو المكان الذي يكون فيه الذكاء الاصطناعي مساعدًا قويًا: فهو يقترح أخطاء التعرف الضوئي على الحروف ويصححها باستخدام السياق.
5. التحقق ومراقبة الجودة. يتم فحص النص المصحح من قبل الإنسان على أساس العينة أو بشكل كامل. يجب التحقق بصريًا من المجالات المهمة بشكل خاص مثل الأسماء والتواريخ والأرقام.
لماذا يرتكب التعرف الضوئي على الحروف (OCR) الأخطاء، وكيف يساعد الذكاء الاصطناعي
المشكلات النموذجية التي تتحدى التعرف الضوئي على الحروف في المستندات التاريخية: الخطوط القديمة والمزخرفة، وأشكال الحروف القديمة مثل "s" الطويلة (ſ)، وتخطيط الصفحة المكون من عمودين، والحواشي السفلية، والإدراجات المكتوبة بخط اليد، والأختام، والحبر الباهت. نظرًا لأن محرك التعرف الضوئي على الحروف "يرى" الحروف واحدًا تلو الآخر، فإنه كثيرًا ما يخلط بين الحرف الثنائي "rn" على أنه "m"، والحرف "l" على أنه الرقم "1"، والحرف "O" على أنه "0".
تقدم نماذج لغة الذكاء الاصطناعي قوة مختلفة هنا: فهي تفهم السياق. إذا كتب محرك التعرف الضوئي على الحروف "1stanbu1"، فيمكن للذكاء الاصطناعي أن يستنتج من السياق أنه يجب أن يكون "Istanbul". ولكن هناك خطر كبير هنا: عند "التصحيح" يمكن للذكاء الاصطناعي أيضًا تغيير النص. يمكنه إضافة "لقد صححت" كلمة غير موجودة أو ملء مكان غير واضح بتخمينه الخاص. وهذا يعطل دقة النسخ.
تحذير: القاعدة الذهبية في تصحيح التعرف الضوئي على الحروف هي: يجب على الذكاء الاصطناعي تصحيح أخطاء التعرف الواضحة فقط، وليس تفسير محتوى النص أو استكماله. "1stanbu1 → إسطنبول" مشروع؛ لا يتعلق الأمر بملء كلمة غير قابلة للقراءة بالتخمينات. يجب وضع علامة [؟] على الأماكن غير المحددة ولا ينبغي اختلاقها.
أنواع أخطاء التعرف الضوئي على الحروف (OCR) والتعامل مع الجدول
نوع الخطأ
مثال
هل يمكن للذكاء الاصطناعي إصلاحه؟
السيطرة البشرية
خلط الشخصيات
رن↔م، ل↔1، O↔0
نعم، أنها آمنة
عينة
شكل الحروف القديمة
طويلة ſ → ق
نعم، أنها آمنة
عينة
كلمة باهتة/غير قابلة للقراءة
"كا____ن"
لا، ينبغي وضع [؟]
إلزامي
الاسم الصحيح/اسم المكان
"القسطنطينية"
حذرا
إلزامي
الرقم/التاريخ
"1867" مقابل "1857"
محفوف بالمخاطر
إلزامي
تخطيط الصفحة (عمود/حاشية سفلية)
تدفق مختلط
جزئيا
إلزامي
لتلخيص الصورة في جملة واحدة: يقوم الذكاء الاصطناعي بتنظيف أخطاء الأحرف العادية بشكل موثوق؛ لكن العيون البشرية مطلوبة للأسماء والأرقام والتواريخ والأماكن الخاصة التي لا يمكن قراءتها.
ثلاث حالات صغيرة
الحالة الأولى - أصبحت أرشيفات الصحف قابلة للبحث. قامت مكتبة جامعية برقمنة 12000 صفحة من الصحف المحلية من الثلاثينيات. تقدر دقة التعرف الضوئي على الحروف الأولية بنسبة 82% (18 حرفًا من كل 100 حرف غير صحيحة). زاد التصحيح المعتمد على الذكاء الاصطناعي من الدقة إلى 96% باستخدام قاموس وسياق مناسبين للغة الصحيفة. بالنسبة للأخطاء المتبقية، تم إجراء فحص العينة بدلاً من النص الكامل؛ أصبحت المجموعة قابلة للبحث خلال 3 أسابيع.
الحالة الثانية: الذكاء الاصطناعي "يصحح" التاريخ ويشوهه طلب أحد موظفي المحفوظات من الذكاء الاصطناعي تصحيح التاريخ "1863" على نسخة التعرف الضوئي على الحروف المطبوعة. وقام الذكاء الاصطناعي "بتصحيح" التاريخ إلى "1868" من خلال النظر إلى حدث آخر في السياق - على الرغم من أن الوثيقة تقول بوضوح 1863. ولو لم ينظر أمين المحفوظات إلى الصورة الأصلية، لكان الكتالوج قد دخل بتاريخ خاطئ. الدرس المستفاد: لا يتم ترك الأرقام والتواريخ للذكاء الاصطناعي أبدًا، بل يتم التحقق منها بالصورة.
الحالة 3 - الخلط بين الصفحة ذات العمودين. تم دمج الصفحات المكونة من عمودين من الكتاب السنوي للقرن التاسع عشر في دفق واحد في التعرف الضوئي على الحروف وكانت الجمل متشابكة. كان الإخراج الخام غير قابل للقراءة. تحسن النص عندما قمت لأول مرة بتقسيم تخطيط الصفحة إلى مناطق (تجزئة) ومعالجة كل عمود على حدة. الدرس: في تخطيط الصفحة المعقد، البنية أولًا، والنص ثانيًا.
أربعة قوالب قابلة للنسخ
1) تصحيح التعرف الضوئي على الحروف بشكل آمن:
يوجد أدناه مخرجات التعرف الضوئي على الحروف (OCR) الأولية للوثيقة التاريخية. مهمتك هي تصحيح أخطاء التعرف البصري الواضحة فقط (على سبيل المثال rn→m,1→l, 0→O, long ſ→s). القواعد: (1) تفسير معنى النص. (2) صحح الكلمات غير المقروءة/الغامضة، واتركها كما هي، ثم ضع علامة [؟]. (3) ممنوع إضافة أو إزالة أو إكمال الجمل. (4) تغيير الأرقام والتواريخ؛ ضع علامة على [الرقم؟] إذا كنت في شك. التعرف الضوئي على الحروف الخام: [هنا]
2) تقرير جودة التعرف الضوئي على الحروف:
افحص مخرجات التعرف الضوئي على الحروف أدناه وقم بإعداد تقرير الجودة: (1) أدرج الكلمات التي تحتوي على أخطاء محتملة في التعرف، (2) حدد المناطق التي تبدو غير قابلة للقراءة/غير واضحة، (3) أدرج أسماء وتواريخ وأرقام محددة تتطلب فحصًا بشريًا. لا تصحح؛ إنشاء قائمة مرجعية فقط. النص: [هنا]
3) مساعدة في تحليل العمود/الهيكل:
نظرًا لأن نص التعرف الضوئي على الحروف الموجود أدناه يأتي من صفحة مكونة من عمودين، فقد يتم الخلط بين التدفق. أعد ترتيب النص إلى فقرات منطقية ولكن لا تغير أو تضيف أو تحذف أي كلمات. فقط قم بتصحيح الترتيب. ضع علامة على الطلب الذي لست متأكدًا منه باستخدام [الطلب؟]. النص: [هنا]
4) التطبيع إلى اللغة القياسية (اختياري، طبقة منفصلة):
قم بإنتاج نسخة قراءة مبسطة في تهجئة اليوم، في عمود منفصل، فوق النص التاريخي المصحح أدناه. لا تقم أبدًا بتغيير النص الأصلي؛ دع التبسيط يكون طبقة منفصلة. ما عليك سوى تحديث التهجئة/النطق دون إضافة معنى. الأصل: [هنا]
موجه ضعيف / موجه قوي
ضعيف:
قم بتصحيح وتجميل نص التعرف الضوئي على الحروف هذا.
يسمح "التجميل" للذكاء الاصطناعي بإعادة كتابة النص، وتعويض السهو، وتفسير المحتوى؛ يكسر الولاء.
قوي:
قم بإصلاح أخطاء التعرف البصري فقط في مخرجات التعرف الضوئي على الحروف (OCR) الأولية هذه. لا تقم بتفسير المعنى، أو إضافة/حذف الكلمات، أو ترك الأجزاء غير القابلة للقراءة باستخدام [؟]، أو تغيير الأرقام والتواريخ. اعرض كل تصحيح تقوم به في قائمة منفصلة بتنسيق "التصحيح الأصلي →" حتى أتمكن من التحقق منه. النص: [هنا]
الفرق: الرسوم المحدودة، وحظر التصنيع، ووضع العلامات على الغموض، وقائمة التصحيحات التي يمكن تتبعها تجعل المخرجات قابلة للتدقيق.
الأخطاء الشائعة
- المسح بدقة منخفضة. معظم أخطاء التعرف الضوئي على الحروف ناتجة عن صور سيئة؛ المسح الضوئي عالي الجودة هو الاستثمار الأرخص.
- تسمية الذكاء الاصطناعي بـ "اصنع الجمال". وهذا ينتج الطلاقة بدلاً من الإخلاص؛ تتم إعادة كتابة الوثيقة.
- ترك الأرقام والتواريخ للذكاء الاصطناعي. يتم إتلافها بصمت عند "تصحيحها" من السياق؛ يجب التحقق من الصورة.
- ملء المنطقة غير القابلة للقراءة مع التخمين. وينبغي أن تكون محمية بعدم اليقين [؟]، وليس مختلقة.
- عدم التحكم على الإطلاق بدلاً من أخذ العينات. وحتى الدقة البالغة 96% تعني وجود آلاف الأخطاء في 12000 صفحة؛ يتم فحص المناطق الحرجة.
باختصار
يفتح OCR الأرشيف للباحثين عن طريق تحويل المستندات التاريخية المطبوعة إلى نص قابل للبحث. يعد الذكاء الاصطناعي وسيلة مساعدة قوية في تصحيح أخطاء الأحرف في مخرجات التعرف الضوئي على الحروف (OCR) الأولية مع السياق؛ ولكن يجب عليك رسم الخط الفاصل بين التحرير وإعادة الكتابة. المسح الضوئي عالي الجودة، وتعليمات التصحيح الآمنة، والحفاظ على الغموض باستخدام [؟]، والتحقق من الأسماء/التواريخ/الأرقام بالعين البشرية، يجعل عملية الرقمنة سريعة وموثوقة. يقوم الذكاء الاصطناعي بتنظيف النص؛ أنت ولي الإخلاص.
مهمة التطبيق
امسح مستندًا تاريخيًا مطبوعًا ضوئيًا (صحيفة قديمة، رسالة رسمية، صفحة كتاب) أو احصل على نسخة مطبوعة بتقنية التعرف الضوئي على الحروف. قم بتصحيح النص باستخدام قالب "تصحيح التعرف الضوئي على الحروف الآمن" واطلب التصحيحات عبر قائمة "التصحيح الأصلي →". ثم قم بإزالة المناطق التي تتطلب التحكم البشري باستخدام "تقرير جودة التعرف الضوئي على الحروف". قارن كل تاريخ واسم علم في القائمة بالصورة الفعلية؛ لاحظ عدد الأشخاص الذين تم "تصحيحهم" بشكل غير صحيح.
قائمة مرجعية
- [ ] لقد قمت بمسح المستند ضوئيًا بدرجة 300 نقطة في البوصة على الأقل وبتباين جيد.
- [ ] لقد طلبت فقط من الذكاء الاصطناعي تصحيح الأخطاء البصرية، وليس إعادة الكتابة.
- [ ] قمت بحماية الأجزاء غير القابلة للقراءة باستخدام [؟].
- [ ] لقد قمت بالتحقق من جميع الأرقام والتواريخ وأسماء الأعلام بالصورة.
- [ ] لقد قمت بعمل عينة أو فحص كامل في المناطق الحرجة.