Keuntungan:
- Kemampuan untuk mengatur alur kerja digitalisasi dan OCR (pemindaian, pra-pemrosesan, pengenalan, koreksi, verifikasi) langkah demi langkah
- Kemampuan menggunakan AI untuk memperbaiki kesalahan OCR dengan konteks sambil mempertahankan garis koreksi dan penulisan ulang serta menandai ambiguitas dengan [?]
- Pahami mengapa angka, tanggal, dan nama diri harus diverifikasi secara visual dan peran kendali mutu.
Jutaan halaman di rak fisik arsip atau perpustakaan hanya benar-benar terbuka bagi peneliti ketika halaman tersebut sudah didigitalkan dan dapat dicari. Digitalisasi adalah mengubah dokumen fisik menjadi gambar digital dengan memindai atau memotretnya. Namun foto suatu halaman belum menjadi "teks"; Bagi komputer, itu masih berupa gambar, Anda tidak dapat mencari di dalamnya. Di sinilah OCR berperan.
OCR (Optical Character Recognition) adalah teknologi yang mengenali huruf tercetak dalam gambar dokumen dan mengubahnya menjadi teks yang dapat dibaca dan dicari oleh mesin. Dalam unit ini, Anda akan mempelajari cara mendigitalkan dokumen cetak historis dengan OCR, bagaimana AI membantu memperbaiki kesalahan OCR dalam proses ini, dan pentingnya peran mata manusia. (Teks tulisan tangan memerlukan teknologi berbeda; kita akan membahasnya di unit berikutnya.)
Alur kerja digitalisasi: langkah demi langkah
1. Persiapan dan penyaringan. Pindai dokumen dengan kualitas setinggi mungkin. Aturan umum untuk penelitian sejarah adalah resolusi minimal 300-400 DPI (titik per inci). Resolusi rendah meningkatkan tingkat kesalahan pada tahap OCR berikutnya.
2. Pemrosesan awal gambar. Memperbaiki gambar sebelum OCR sangat meningkatkan keberhasilan: menghilangkan noda pada halaman yang dipindai, meningkatkan kontras, mengonversi menjadi hitam putih. Alat modern berbasis AI dapat mengotomatiskan langkah ini.
3. Aplikasi OCR. Anda memasukkan gambar ke mesin OCR; Mesin mengenali huruf dan menghasilkan teks. Outputnya biasanya terdiri dari dua lapisan: gambar dokumen yang terlihat dan "lapisan teks tersembunyi yang dapat dicari" di bawahnya.
4. Koreksi (pasca koreksi). Output OCR mentah tidak pernah sempurna. Karakter tidak terbaca dengan benar karena font lama, kertas menguning, noda tinta, dan kesalahan pemindaian. Di sinilah AI menjadi penolong yang ampuh: AI menyarankan dan memperbaiki kesalahan OCR menggunakan konteks.
5. Verifikasi dan pengendalian kualitas. Teks yang dikoreksi diperiksa oleh manusia berdasarkan sampel atau seluruhnya. Terutama area penting seperti nama, tanggal dan nomor harus diverifikasi secara visual.
Mengapa OCR membuat kesalahan, bagaimana AI membantu
Masalah umum yang menantang OCR dalam dokumen sejarah: font lama dan mewah, bentuk huruf usang seperti "s" (ſ) panjang, tata letak halaman dua kolom, catatan kaki, sisipan tulisan tangan, segel, dan tinta pudar. Karena mesin OCR "melihat" huruf satu per satu, sering kali mesin ini salah mengartikan biner "rn" sebagai "m", huruf "l" sebagai angka "1", dan huruf "O" sebagai "0".
Model bahasa AI menawarkan kekuatan berbeda di sini: mereka memahami konteks. Jika mesin OCR menulis "1stanbu1", AI dapat menyimpulkan dari konteksnya bahwa itu adalah "Istanbul". Namun ada bahaya besar di sini: ketika "mengoreksi" AI juga dapat mengubah teks. Dia dapat menambahkan "Saya mengoreksi" kata yang tidak ada atau mengisi bagian yang tidak jelas dengan tebakannya sendiri. Hal ini mengganggu keakuratan transkripsi.
Perhatian: Aturan utama dalam koreksi OCR adalah: AI hanya boleh memperbaiki kesalahan pengenalan yang jelas, bukan menafsirkan atau melengkapi konten teks. "1stanbu1 → Istanbul" sah; Ini bukan tentang mengisi kata yang tidak terbaca dengan tebakan. Tempat yang tidak pasti harus ditandai dengan [?] dan tidak boleh dibuat-buat.
Jenis kesalahan OCR dan pendekatannya dengan tabel
Jenis kesalahan
contoh
Bisakah AI memperbaikinya?
kendali manusia
pencampuran karakter
rn↔m, l↔1, O↔0
Ya, itu aman
sampel
bentuk huruf lama
panjang ſ → s
Ya, itu aman
sampel
Kata pudar/tidak terbaca
"ka____n"
Tidak, haruskah menempatkan [?]
wajib
nama/nama tempat yang tepat
"Konstantiniyah"
hati-hati
wajib
Nomor/tanggal
"1867" vs "1857"
berisiko
wajib
Tata letak halaman (kolom/catatan kaki)
aliran campuran
sebagian
wajib
Untuk meringkas gambarannya dalam satu kalimat: AI dengan andal membersihkan kesalahan karakter biasa; Tapi mata manusia diperlukan untuk nama khusus, nomor, tanggal dan tempat yang tidak terbaca.
tiga kasus mini
Kasus 1 — Arsip surat kabar dapat dicari. Perpustakaan universitas telah mendigitalkan 12.000 halaman surat kabar lokal sejak tahun 1930-an. Akurasi OCR mentah diperkirakan 82% (18 dari setiap 100 karakter salah). Koreksi berbasis AI meningkatkan akurasi hingga 96% dengan kamus dan konteks yang sesuai dengan bahasa surat kabar. Untuk kesalahan yang tersisa, pemeriksaan sampel dilakukan daripada teks lengkap; Koleksinya dapat dicari dalam 3 minggu.
Kasus 2 - AI “mengoreksi” dan memutarbalikkan sejarah. Seorang arsiparis meminta AI mengoreksi tanggal "1863" pada cetakan OCR. AI “mengoreksi” tanggal menjadi “1868” dengan melihat peristiwa lain dalam konteksnya – meskipun dokumen tersebut dengan jelas menyebutkan tahun 1863. Jika petugas arsip tidak melihat gambar aslinya, katalog akan memasukkan tanggal yang salah. Pelajaran: angka dan tanggal tidak pernah diserahkan kepada AI, mereka diverifikasi dengan gambar.
Kasus 3 — Halaman dua kolom tertukar. Halaman dua kolom dari buku tahunan abad ke-19 digabungkan menjadi satu aliran dalam OCR dan kalimat-kalimatnya saling terkait. Output mentahnya tidak dapat dibaca. Teksnya ditingkatkan ketika saya pertama kali membagi tata letak halaman menjadi beberapa wilayah (segmentasi) dan memproses setiap kolom secara terpisah. Pelajaran: dalam tata letak halaman yang rumit, struktur terlebih dahulu, teks kedua.
Empat templat yang dapat disalin
1) Amankan koreksi OCR:
Di bawah ini adalah keluaran OCR mentah dari dokumen sejarah. Tugas Anda adalah HANYA memperbaiki kesalahan pengenalan optik yang nyata (misalnya rn→m,1→l, 0→O, long ſ→s). Aturan: (1) Menafsirkan makna teks. (2) Perbaiki kata-kata yang tidak terbaca/ambigu, biarkan apa adanya dan tandai dengan [?]. (3) DILARANG menambah, menghilangkan atau melengkapi kalimat. (4) GANTI nomor dan tanggal; tandai [angka?] jika ragu. OCR mentah: [di sini]
2) Laporan kualitas OCR:
Periksa output OCR di bawah ini dan buatlah laporan kualitas: (1) Buat daftar kata-kata dengan kemungkinan kesalahan pengenalan, (2) Tandai area yang tampaknya tidak dapat dibaca/tidak jelas, (3) Buat daftar nama, tanggal, dan nomor tertentu yang memerlukan pemeriksaan manusia. JANGAN mengoreksi; buat daftar periksa saja. Teks: [di sini]
3) Bantuan penguraian kolom/struktur:
Karena teks OCR di bawah berasal dari halaman dua kolom, alurnya mungkin membingungkan. Susun ulang teks menjadi paragraf logis TETAPI jangan mengubah, menambah atau menghapus kata apa pun. Perbaiki saja pesanannya. Tandai pesanan yang Anda tidak yakin dengan [pesanan?]. Teks: [di sini]
4) Normalisasi ke bahasa standar (opsional, lapisan terpisah):
Hasilkan versi bacaan yang disederhanakan dalam ejaan hari ini, dalam kolom terpisah, DI ATAS teks sejarah yang telah dikoreksi di bawah. JANGAN PERNAH mengubah teks ASLI; Biarkan penyederhanaan menjadi lapisan terpisah. Cukup perbarui ejaan/pengucapan tanpa menambahkan makna. Asli: [di sini]
Perintah lemah / Perintah kuat
Lemah:
Perbaiki dan percantik teks OCR ini.
“Beautify” memungkinkan AI untuk menulis ulang teks, membuat kelalaian, dan menafsirkan konten; mematahkan kesetiaan.
Kuat:
Perbaiki HANYA kesalahan pengenalan optik dalam keluaran OCR mentah ini. Jangan mengartikan makna, menambah/menghapus kata, meninggalkan bagian yang tidak terbaca dengan [?], mengganti nomor dan tanggal. Tampilkan setiap koreksi yang Anda buat dalam daftar terpisah dalam format "asli → koreksi" sehingga saya dapat memverifikasinya. Teks: [di sini]
Perbedaannya: kewajiban yang terikat, larangan fabrikasi, ambiguitas penandaan, dan daftar koreksi yang dapat dilacak membuat keluarannya dapat diaudit.
Kesalahan umum
- Memindai dengan resolusi rendah. Kebanyakan kesalahan OCR disebabkan oleh gambar yang buruk; Pemindaian berkualitas adalah investasi termurah.
- Menyebut AI “menjadikan cantik.” Hal ini menghasilkan kefasihan, bukan kesetiaan; Dokumen tersebut ditulis ulang.
- Menyerahkan nomor dan tanggal pada AI. Ini secara diam-diam dirusak ketika "dikoreksi" dari konteksnya; harus diverifikasi dengan gambar.
- Mengisi area yang tidak terbaca dengan tebakan. Itu harus dilindungi oleh ketidakpastian [?], bukan dibuat-buat.
- Tidak mengontrol sama sekali, malah mengambil sampel. Bahkan akurasi 96% berarti ribuan kesalahan dalam 12.000 halaman; area kritis dipindai.
Singkatnya
OCR membuka arsip bagi peneliti dengan mengubah dokumen sejarah yang dicetak menjadi teks yang dapat dicari. AI adalah bantuan yang ampuh dalam memperbaiki kesalahan karakter dalam keluaran OCR mentah dengan konteks; Namun Anda harus menarik garis batas antara mengedit dan menulis ulang. Pemindaian berkualitas tinggi, instruksi koreksi yang aman, pelestarian ambiguitas dengan [?], dan verifikasi nama/tanggal/nomor dengan mata manusia menjadikan digitalisasi cepat dan andal. AI membersihkan teks; Anda adalah penjaga kesetiaan.
Tugas aplikasi
Pindai dokumen sejarah yang dicetak (koran bekas, surat resmi, halaman buku) atau ambil cetakan OCR. Koreksi teks dengan template “Koreksi OCR Aman” dan minta koreksi melalui daftar “asli → koreksi”. Kemudian, hapus area yang memerlukan kendali manusia dengan "laporan kualitas OCR". Bandingkan setiap tanggal dan nama diri dalam daftar dengan gambar sebenarnya; Perhatikan berapa banyak yang "diperbaiki" secara tidak benar.
daftar periksa
- [ ] Saya memindai dokumen dengan setidaknya 300 DPI dan kontras yang baik.
- [ ] Saya hanya meminta AI untuk koreksi kesalahan optik, bukan penulisan ulang.
- [ ] Saya melindungi bagian yang tidak dapat dibaca dengan [?].
- [ ] Saya memverifikasi semua nomor, tanggal, dan nama diri dengan gambar.
- [ ] Saya membuat sampel atau pemeriksaan penuh di area kritis.