سود:
- امکان تصحیح اسناد اسکن شده با تبدیل آنها به متن با OCR و HTR و مقایسه خروجی با تصویر واقعی
- امکان حفظ اصالت و یکپارچگی سند آرشیو و جلوگیری از تغییر محتوا و بازیابی ساختگی توسط هوش مصنوعی
- امکان برنامه ریزی حفظ دیجیتال طولانی مدت با اطلاعات منشأ و فرمت های بادوام
یک آرشیودار وظیفه دارد مجلدات پنجاه ساله روزنامه، نامه های دست نویس یا عکس های قدیمی را به آینده حمل کند. این اسناد در طول زمان فرسوده می شوند. برای حفظ و دسترسی به آنها، دیجیتالی کردن انجام می شود: عمل اسکن یک سند فیزیکی و تبدیل آن به یک کپی دیجیتال. اما غربالگری به تنهایی کافی نیست. شی دیجیتال باید در دراز مدت قابل یافتن، خوانا و قابل نگهداری باشد. در این بخش، نحوه استفاده از هوش مصنوعی در گردش کار دیجیتالی، رونویسی و حفظ دیجیتال را یاد خواهید گرفت. اما خواهید آموخت که چرا مسئولیت اصالت و دقت را بر عهده خواهید داشت.
چند مفهوم OCR (تشخیص کاراکتر نوری) فناوری است که متن موجود در تصویر یک سند را به متن قابل ویرایش توسط ماشین تبدیل می کند. HTR (Handwritten Text Recognition) همین کار را برای اسناد دست نویس انجام می دهد و بسیار دشوارتر است. حفظ دیجیتال یک تلاش برنامه ریزی شده برای اطمینان از اینکه اشیاء دیجیتال برای چندین دهه قابل خواندن باقی می مانند، حتی با منسوخ شدن فرمت فایل ها و تغییر نرم افزار است. هوش مصنوعی یک دستیار قدرتمند اما معیوب در هر سه زمینه است.
گام به گام: از دیجیتال سازی تا حفظ
1. اولویت بندی کنید. شما نمی توانید همه چیز را یکجا دیجیتالی کنید. شکننده ترین، درخواستی ترین و منحصر به فرد ترین اسناد در درجه اول قرار می گیرند. این یک تصمیم قضایی است؛ هوش مصنوعی به ویرایش لیست کمک می کند، اما موسسه اولویت را تعیین می کند.
2. OCR/HTR را اسکن و اعمال کنید. سند را با وضوح بالا اسکن کنید، سپس از OCR یا HTR برای استخراج متن استفاده کنید. ابزارهای مبتنی بر هوش مصنوعی در اینجا بهتر و بهتر می شوند، حتی با متون قدیمی و دشوار.
3. متن را تصحیح و تأیید کنید. خروجی OCR/HTR هرگز کامل نیست. اشتباهات رایج هستند، به خصوص اگر نوشته های قدیمی، صفحات رنگ آمیزی شده یا یک دست نوشته وجود داشته باشد. مقایسه خروجی با تصویر واقعی و تصحیح آن ضروری است.
4. متادیتا و اطلاعات حفاظتی را اضافه کنید. منشأ، شرایط اسکن، اطلاعات قالب و منشأ را به شی دیجیتال اضافه کنید - سند از کجا آمده و چگونه پردازش شده است. این اطلاعات برای تأیید و محافظت در آینده بسیار مهم است.
5. برای حفاظت طولانی مدت برنامه ریزی کنید. فرمت های فایل باز، رایج و بادوام را انتخاب کنید. پشتیبان گیری در صورت منسوخ شدن قالب ها، یک برنامه مهاجرت ایجاد کنید.
نکته: خروجی OCR را به عنوان «متن واضح» نپذیرید. اگر یک سیستم جستجو از طریق این متن کار کند، کلمات نادرست شناسایی شده باعث پیدا نشدن منبع می شود. برای مجموعه های حیاتی، تصحیح خروجی OCR به چشم انسان، کیفیت تمام دسترسی های بعدی را تعیین می کند.
اصالت و یکپارچگی شی دیجیتال
در قلب کار بایگانی، اصالت و یکپارچگی است: اطمینان از اینکه یک سند واقعاً از منبع ادعا شده است و محتوای آن تغییر نکرده است. در این مرحله، هوش مصنوعی یک تهدید دو جانبه ایجاد می کند. ابتدا، در طول تصحیح OCR/HTR یا «بهبود»، هوش مصنوعی میتواند متن را بیصدا تغییر دهد. می تواند کلمه ای را که وجود ندارد به نام "اصلاح" اضافه کند. دوم، اگر "تعمیر" یا "بازیابی" تصویر با هوش مصنوعی انجام شود، ممکن است جزئیات غیر اصلی تولید شود.
قانون بایگانی روشن است: کپی حفظ دیجیتال باید به اصل وفادار باشد. هر پیشرفتی که با هوش مصنوعی انجام می شود باید مستند باشد و اسکن واقعی (خام) همیشه باید حفظ شود. «زیباسازی» یک سند می تواند ارزش شواهد تاریخی آن را از بین ببرد.
احتیاط: ممکن است "بهبود" یک عکس یا سند قدیمی با هوش مصنوعی وسوسه انگیز باشد. اما هوش مصنوعی قسمت های از دست رفته را با ساختن آنها پر می کند. در یک سند آرشیوی، این به معنای ایجاد شواهد تاریخی نادرست است. خروجی بازیابی هرگز جایگزین منبع اصلی نمی شود. به عنوان یک نوع جداگانه و به وضوح برچسب گذاری شده ذخیره می شود.
سه کیف کوچک
مورد 1 - آرشیو روزنامه ها قابل جستجو شد. کتابخانه ای مجموعه 30 ساله روزنامه های محلی خود را دیجیتالی کرده است. با OCR، 90000 صفحه رونویسی شد و قابل جستجو شد. جستجوی موضوعی که قبلاً روزها طول می کشید اکنون به چند ثانیه کاهش یافته است. با این حال، تیم متوجه شد که دقت OCR در صفحات قدیمی و لکهدار به 80 درصد کاهش یافته است و اصلاح سالهای برتر با چشم انسان را در اولویت قرار دادند.
مورد 2 - HTR نسخه خطی را باز کرد. یک آرشیو HTR را برای مجموعه ای از نامه های قرن نوزدهمی که خوانا نیستند، اعمال کرد. این سیستم با توجه به ماه ها مطالعه توسط کارشناسان سرعت زیادی به دست آورد. اما هر صفحه از چاپ شده توسط دیرینه نگار متخصص (متخصص نگارش باستانی) با نسخه اصلی مقایسه شد، زیرا در نام افراد و مکان ها اشتباهاتی وجود داشت.
مورد 3 - "ترمیم" جعلی رد شد. یک تیم به فکر "تعمیر" یک عکس تاریخی پاره شده با هوش مصنوعی بود. هوش مصنوعی قسمت های از دست رفته صورت را با جا دادن آنها تکمیل کرد. بایگانی متوجه شد که این جزئیات ساختگی شواهد تاریخی را تحریف می کند. تصویر تعمیر شده بهطور جداگانه در کنار تصویر اصلی ذخیره میشود، فقط با برچسب واضح "مشتق AI".
دسترسی به کپی، کپی حفظ و تصمیم فرمت
یک روش خوب در دیجیتالی کردن، جدا کردن کپی از یک شی برای اهداف مختلف است. استاد حفظ، شی دیجیتال واقعی است که به آینده منتقل می شود، در بالاترین وضوح، فرمت فشرده نشده یا بدون تلفات ذخیره می شود. به ندرت لمس می شود. کپی دسترسی یک نوع کوچکتر است که به راحتی باز می شود که به کاربر ارائه می شود. این تمایز مهم است زیرا قالبی که برای استفاده کاربردی است (کوچک، فشرده) ممکن است برای نگهداری طولانی مدت مناسب نباشد. فرمت ایده آل برای نگهداری (بزرگ، بدون تلفات) برای استفاده روزانه دست و پا گیر است. در این گردش کار، هوش مصنوعی میتواند در فهرستبندی فایلها، شناسایی انواع گمشده و ثابت نگه داشتن ابرداده بین دو نسخه کمک کند. با این حال، انتخاب قالب یک تصمیم حفظ است: قالبهای باز، مستند و بادوام باید ترجیح داده شوند (به جای قالبهای اختصاصی و بسته)، و در صورتی که قالبها در طول زمان منسوخ شوند، باید یک طرح مهاجرت آماده نگه داشته شود. حتی اگر هوش مصنوعی قالبی را پیشنهاد کند، سیاست حفظ بلندمدت موسسه حرف آخر را میزند.
نکته: برای هر شی دیجیتال، یک رکورد مختصر نگه دارید که به سؤالات "منبع اصلی کجاست، نسخه حفاظتی در چه قالبی است، نسخه دسترسی در چه قالبی است و کدام یک در دسترس کاربر قرار می گیرد؟" اختلاط این سه لایه باعث میشود که مشخص نشود که کدام فایل اصلی مورد اعتماد در آینده است.
چهار قالب قابل کپی
1) کمک به تصحیح خروجی OCR:
در زیر یک متن OCR و توضیحات صفحه واقعی آمده است. فقط خطاهای openOCR (کاراکترهای بد، ترکیب/تقسیم کلمات) را برطرف کنید. محتوا را تغییر ندهید، کلمات را اضافه یا حذف نکنید. اگر مطمئن نیستید، با "[؟]" علامت بزنید. متن OCR: [اینجا]
2) بررسی سازگاری متن-تصویر:
آیا اضافاتی در متن اصلاح شده زیر وجود دارد که انتظار نمی رفت در سند اصلی (که ممکن است ساخته شده باشد) باشد؟ هر قسمت مشکوک را علامت بزنید و بنویسید که چرا مشکوک است. متن: [اینجا]
3) پیش نویس ابرداده حفاظتی:
طرح کلی ابرداده حفظ را برای شی دیجیتالی زیر ایجاد کنید: منبع، منشأ، تاریخ/رزولوشن اسکن، قالب فایل، تاریخچه تراکنش. فقط از اطلاعاتی که ارائه کردم استفاده کنید، قسمت گم شده را خالی بگذارید. اطلاعات: [اینجا]
4) کمک به اولویت بندی:
در زیر لیستی از مجموعه های در انتظار دیجیتالی شدن است. به اولویت بندی بر اساس شکنندگی، تقاضا و منحصر به فرد بودن کمک کنید. برای هر منبع توجیه مختصری ارائه دهید. تصمیم نهایی را به من بسپارید. فهرست: [اینجا]
اعلان ضعیف / اعلان قوی
اعلان ضعیف:
این متن اسکن شده را تصحیح و زیبا کنید.
"Beautify" از هوش مصنوعی دعوت می کند تا محتوا را تغییر دهد، حذفیات را جبران کند. اصالت سند بایگانی آسیب دیده است.
اعلان قدرتمند:
نقش شما: دستیار ویرایشگر دیجیتالی سازی. در متن OCR زیر، فقط خطاهای تشخیص صریح (نویسه بد، تقسیم نادرست کلمه) را برطرف کنید. هیچ کلمه ای را اضافه، حذف یا تغییر ندهید. «[?]» را در جایی که مطمئن نیستید رها کنید. هر اصلاحی را که انجام داده اید در یک لیست جداگانه نشان دهید. متن: [اینجا]
فرمان قدرتمند هوش مصنوعی را فقط به تشخیص خطاها محدود می کند، آن را از لمس محتوا منع می کند و اصلاحات را قابل ردیابی می کند.
جدول گردش کار و ریسک
مرحله
سهم هوش مصنوعی
ریسک اصلی
اقدام حفاظتی
اسکن کنید
-
کیفیت پایین
وضوح بالا
OCR/HTR
تبدیل به متن
خطاهای تشخیص
اصلاح انسان
تصحیح
پیشنهاد خطا
تغییر محتوا
مقایسه با اورجینال
مرمت
مشتق تصویر
جزئیات مناسب
اصل خام را نگه دارید، روی آن برچسب بزنید
حفاظت
پیش نویس فراداده
از دست دادن مبدا
سابقه منشأ
اشتباهات رایج
- پذیرش خروجی OCR بدون اصلاح. خطاها جستجو و دسترسی را مختل می کنند.
- هوش مصنوعی را «زیبا کن» نامید. محتوا را تغییر می دهد و اصالت را از بین می برد.
- جایگزینی بازیابی هوش مصنوعی به جای شواهد واقعی جزئیات ساختگی تاریخچه نادرست ایجاد می کند.
- اسکن خام ذخیره نمی شود. هیچ تصحیحی بدون نسخه اصلی قابل تأیید نیست.
- حذف اطلاعات منشأ قابلیت اطمینان سند غیرقابل ردیابی می شود.
به طور خلاصه
هوش مصنوعی در آرشیوهای دیجیتال و دیجیتالی سازی؛ این کمک ارزشمندی است که رونویسی OCR/HTR، پیش نویس ابرداده و اولویت بندی را سرعت می بخشد. اما ماهیت کار آرشیوی اصالت و یکپارچگی است: خروجی OCR باید توسط چشم انسان تصحیح شود، هوش مصنوعی هرگز نباید بیصدا جایگزین محتوا شود، مشتقات بازیابی نباید جایگزین شواهد اصلی شوند، و اطلاعات اسکن خام و منشأ باید همیشه حفظ شود. از هوش مصنوعی بهعنوان ابزاری استفاده کنید که سند را «بهبود» نمیدهد، بلکه در عین اینکه به آن وفادار میماند، آن را در دسترس قرار میدهد.
وظیفه کاربردی
نمونه کوتاهی از خروجی OCR (چه تولیدی خودتان یا از یک اسکن واقعی) دریافت کنید. فقط خطاهای تشخیص را با الگوی «OCR output correction help» تصحیح کنید، سپس بررسی کنید که آیا هوش مصنوعی محتوایی را با الگوی «بررسی سازگاری متن-تصویر» اضافه کرده است یا خیر. سپس با الگوی "Preservation metadata draft" یک رکورد با اطلاعات منشأ و قالب برای شی ایجاد کنید.
چک لیست
- [ ] من خروجی OCR/HTR را با تصویر واقعی مقایسه کردم و آن را تصحیح کردم.
- [ ] من بررسی کرده ام که هوش مصنوعی محتوا را اضافه یا تغییر نمی دهد.
- [ ] اسکن خام (مستر) را جداگانه و بدون تغییر نگه داشتم.
- [ ] من اطلاعات منشأ و قالب را به ابرداده اضافه کردم.
- [ ] من به وضوح انواع بازسازی را به عنوان "مشتق AI" برچسب گذاری کرده ام.