Dokumentendigitalisierung und OCR: Konvertieren von gedrucktem Text in Maschinentext

Gewinne:

• Möglichkeit, den Digitalisierungs- und OCR-Workflow (Scannen, Vorverarbeitung, Erkennung, Korrektur, Verifizierung) Schritt für Schritt einzurichten
• Möglichkeit, mithilfe von KI OCR-Fehler mit Kontext zu korrigieren und dabei die Korrektur- und Umschreibelinie beizubehalten und Mehrdeutigkeiten mit [?] zu markieren.
• Verstehen Sie, warum Zahlen, Daten und Eigennamen visuell überprüft werden müssen und welche Rolle die Qualitätskontrolle spielt.

Die Millionen von Seiten in den physischen Regalen eines Archivs oder einer Bibliothek werden dem Forscher erst dann wirklich zugänglich, wenn sie digitalisiert und durchsuchbar sind. Bei der Digitalisierung wird ein physisches Dokument durch Scannen oder Fotografieren in ein digitales Bild umgewandelt. Aber ein Foto einer Seite ist noch kein „Text“; Für den Computer ist es immer noch ein Bild, man kann darin nicht suchen. Hier kommt OCR ins Spiel.

OCR (Optical Character Recognition) ist eine Technologie, die gedruckte Buchstaben in einem Dokumentbild erkennt und sie in maschinenlesbaren, durchsuchbaren Text umwandelt. In dieser Einheit erfahren Sie, wie Sie historische Druckdokumente mit OCR digitalisieren, wie KI dabei hilft, OCR-Fehler zu korrigieren und wo das menschliche Auge entscheidend ist. (Handschriftliche Texte erfordern eine andere Technologie; darauf gehen wir in der nächsten Einheit ein.)

Digitalisierungsworkflow: Schritt für Schritt

1. Vorbereitung und Screening. Scannen Sie das Dokument mit der höchstmöglichen Qualität. Als allgemeine Faustregel für historische Recherchen gilt eine Auflösung von mindestens 300-400 DPI (Punkte pro Zoll). Eine niedrige Auflösung lässt die Fehlerrate in der nachfolgenden OCR-Phase sprunghaft ansteigen.

2. Bildvorverarbeitung. Das Verbessern des Bildes vor der OCR steigert den Erfolg erheblich: Entzerren der gescannten Seite, Entfernen von Fehlern, Erhöhen des Kontrasts, Konvertieren in Schwarzweiß. Moderne KI-basierte Tools können diesen Schritt automatisieren.

3. OCR-Anwendung. Sie geben das Bild an die OCR-Engine weiter. Die Engine erkennt Buchstaben und erzeugt Text. Die Ausgabe besteht normalerweise aus zwei Ebenen: dem sichtbaren Dokumentbild und einer darunter liegenden „durchsuchbaren verborgenen Textebene“.

4. Korrektur (Nachkorrektur). Die Roh-OCR-Ausgabe ist nie perfekt. Zeichen werden aufgrund alter Schriftarten, vergilbtem Papier, verschmierter Tinte und Scanfehlern falsch gelesen. Hier ist KI ein mächtiger Helfer: Sie schlägt OCR-Fehler vor und korrigiert sie anhand des Kontexts.

5. Überprüfung und Qualitätskontrolle. Der korrigierte Text wird vom Menschen stichprobenartig oder vollständig überprüft. Besonders kritische Bereiche wie Namen, Daten und Nummern müssen visuell überprüft werden.

Warum OCR Fehler macht, wie KI hilft

Typische Probleme, die OCR in historischen Dokumenten herausfordern: alte und ausgefallene Schriftarten, veraltete Buchstabenformen wie lange „s“ (ſ), zweispaltiges Seitenlayout, Fußnoten, handschriftliche Einfügungen, Siegel und verblasste Tinte. Da eine OCR-Engine Buchstaben einzeln „sieht“, verwechselt sie häufig das binäre „rn“ mit „m“, den Buchstaben „l“ mit der Zahl „1“ und den Buchstaben „O“ mit „0“.

KI-Sprachmodelle bieten hier eine andere Stärke: Sie verstehen den Kontext. Wenn eine OCR-Engine „1stanbu1“ schrieb, könnte die KI aus dem Kontext schließen, dass es „Istanbul“ sein sollte. Doch hier besteht eine große Gefahr: Beim „Korrigieren“ kann die KI auch den Text verändern. Er kann ein nicht vorhandenes Wort „Ich habe korrigiert“ hinzufügen oder eine unklare Stelle mit seiner eigenen Vermutung ergänzen. Dies stört die Wiedergabetreue der Transkription.

Achtung: Die goldene Regel bei der OCR-Korrektur lautet: KI sollte nur offensichtliche Erkennungsfehler korrigieren, nicht den Textinhalt interpretieren oder ergänzen. „1stanbu1 → Istanbul“ ist legitim; Es geht nicht darum, ein unleserliches Wort mit Vermutungen zu füllen. Unsichere Orte sollten mit [?] gekennzeichnet und nicht nachgeholt werden.

OCR-Fehlertypen und Vorgehensweise mit einer Tabelle

Fehlertyp

Beispiel

Kann KI das Problem beheben?

menschliche Kontrolle

Charaktermischung

rn↔m, l↔1, O↔0

Ja, es ist sicher

Probe

alte Briefform

lang ſ → s

Ja, es ist sicher

Probe

Verblasstes/unleserliches Wort

„ka___n“

Nein, sollte [?]

obligatorisch

Eigenname/Ortsname

„Constantiniyye“

vorsichtig

obligatorisch

Nummer/Datum

„1867“ vs. „1857“

riskant

obligatorisch

Seitenlayout (Spalte/Fußnote)

gemischter Fluss

teilweise

obligatorisch

Um das Bild in einem Satz zusammenzufassen: KI bereinigt zuverlässig gewöhnliche Zeichenfehler; Für besondere Namen, Zahlen, Daten und unleserliche Orte ist jedoch das menschliche Auge erforderlich.

drei Mini-Koffer

Fall 1 – Zeitungsarchive wurden durchsuchbar. Eine Universitätsbibliothek hat 12.000 Seiten lokaler Zeitungen aus den 1930er Jahren digitalisiert. Die reine OCR-Genauigkeit betrug schätzungsweise 82 % (18 von 100 Zeichen waren falsch). Die KI-basierte Korrektur erhöhte die Genauigkeit mit einem der Zeitungssprache entsprechenden Wörterbuch und Kontext auf 96 %. Für verbleibende Fehler wurde eine Stichprobenprüfung statt des Volltextes durchgeführt; Die Sammlung wurde innerhalb von drei Wochen durchsuchbar.

Fall 2 – KI hat den Verlauf „korrigiert“ und verzerrt. Ein Archivar ließ das Datum „1863“ auf dem OCR-Ausdruck durch KI korrigieren. Die KI „korrigierte“ das Datum auf „1868“, indem sie sich ein anderes Ereignis im Kontext ansah – obwohl in dem Dokument eindeutig 1863 stand. Hätte der Archivar sich nicht das Originalbild angesehen, wäre der Katalog mit dem falschen Datum eingetragen worden. Lektion: Zahlen und Daten werden niemals der KI überlassen, sie werden anhand des Bildes überprüft.

Fall 3 – Zweispaltige Seite verwirrt. Die zweispaltigen Seiten eines Jahrbuchs aus dem 19. Jahrhundert wurden in OCR zu einem einzigen Stream gemischt und die Sätze miteinander verflochten. Die Rohausgabe war nicht lesbar. Der Text verbesserte sich, als ich das Seitenlayout zunächst in Bereiche unterteilte (Segmentierung) und jede Spalte separat verarbeitete. Lektion: Bei komplexen Seitenlayouts zuerst die Struktur und dann den Text.

Vier kopierbare Vorlagen

1) Sichere OCR-Korrektur:

Unten sehen Sie die OCR-Rohausgabe eines historischen Dokuments. Ihre Aufgabe besteht NUR darin, offensichtliche optische Erkennungsfehler zu korrigieren (z. B. rn→m,1→l, 0→O, lange ſ→s). Regeln: (1) Interpretieren Sie die Bedeutung des Textes. (2) Unleserliche/mehrdeutige Wörter korrigieren, unverändert lassen und mit [?] markieren. (3) KEIN Hinzufügen, Entfernen oder Vervollständigen von Sätzen. (4) Nummern und Daten ändern; Markieren Sie im Zweifelsfall [Nummer?]. Roh-OCR: [hier]

2) OCR-Qualitätsbericht:

Untersuchen Sie die OCR-Ausgabe unten und erstellen Sie einen Qualitätsbericht: (1) Listen Sie Wörter mit möglichen Erkennungsfehlern auf, (2) Markieren Sie Bereiche, die unlesbar/unklar erscheinen, (3) Listen Sie bestimmte Namen, Daten und Zahlen auf, die eine menschliche Überprüfung erfordern. NICHT korrigieren; Nur Checkliste erstellen.Text: [hier]

3) Hilfe beim Parsen von Spalten/Strukturen:

Da der OCR-Text unten von einer zweispaltigen Seite stammt, kann der Ablauf verwirrend sein. Ordnen Sie den Text in logische Absätze um, ABER ändern, fügen Sie keine Wörter hinzu oder löschen Sie sie. Korrigieren Sie einfach die Reihenfolge. Markieren Sie die Bestellung, bei der Sie sich nicht sicher sind, mit [Bestellung?]. Text: [hier]

4) Normalisierung auf Standardsprache (optional, separate Ebene):

Erstellen Sie eine vereinfachte Leseversion in der heutigen Schreibweise in einer separaten Spalte ÜBER dem korrigierten historischen Text unten. Ändern Sie NIEMALS den ORIGINAL-Text; Lassen Sie die Vereinfachung eine separate Ebene sein. Aktualisieren Sie einfach die Rechtschreibung/Aussprache, ohne Bedeutung hinzuzufügen. Original: [hier]

Schwache Eingabeaufforderung / Starke Eingabeaufforderung

Schwach:

Korrigieren und verschönern Sie diesen OCR-Text.

„Beautify“ ermöglicht es der KI, den Text neu zu schreiben, Auslassungen auszugleichen und den Inhalt zu interpretieren; bricht die Loyalität.

Stark:

Beheben Sie NUR optische Erkennungsfehler in dieser OCR-Rohausgabe. Interpretieren Sie die Bedeutung nicht, fügen Sie keine Wörter hinzu oder löschen Sie sie, lassen Sie unleserliche Teile nicht mit [?] stehen, ändern Sie keine Zahlen und Daten. Zeigen Sie jede Korrektur, die Sie vornehmen, in einer separaten Liste im Format „Original → Korrektur“ an, damit ich sie überprüfen kann. Text: [hier]

Der Unterschied: Eingeschränkte Pflicht, Fabrikationsverbot, Kennzeichnungsmehrdeutigkeit und nachvollziehbare Korrekturliste machen die Ausgabe überprüfbar.

Häufige Fehler

• Scannen mit niedriger Auflösung. Die meisten OCR-Fehler werden durch schlechte Bilder verursacht; Qualitätsscannen ist die günstigste Investition.
• KI als „schön machen“ bezeichnen. Dies führt eher zu Geläufigkeit als zu Treue; Das Dokument wird neu geschrieben.
• Überlassen Sie die Zahlen und Daten der KI. Diese werden stillschweigend beschädigt, wenn sie aus dem Kontext „korrigiert“ werden. muss per Bild überprüft werden.
• Füllen Sie den unlesbaren Bereich mit einer Vermutung aus. Es sollte durch Unsicherheit [?] geschützt und nicht erfunden werden.
• Überhaupt nicht kontrollieren statt probieren. Selbst eine Genauigkeit von 96 % bedeutet Tausende von Fehlern auf 12.000 Seiten; Kritische Bereiche werden gescannt.

Zusammenfassend

OCR öffnet Archive für Forscher, indem es gedruckte historische Dokumente in durchsuchbaren Text umwandelt. KI ist ein leistungsstarkes Hilfsmittel zur Korrektur von Zeichenfehlern in der Roh-OCR-Ausgabe mit Kontext; Aber Sie müssen die Grenze zwischen Bearbeiten und Umschreiben ziehen. Hochwertiges Scannen, sichere Korrekturanweisungen, die Wahrung von Mehrdeutigkeiten mit [?] und die Überprüfung von Namen/Daten/Nummern durch das menschliche Auge machen die Digitalisierung sowohl schnell als auch zuverlässig. KI bereinigt Text; Du bist der Hüter der Treue.

Anwendungsaufgabe

Scannen Sie ein gedrucktes historisches Dokument (alte Zeitung, offizieller Brief, Buchseite) oder erstellen Sie einen OCR-Ausdruck. Lassen Sie den Text mit der Vorlage „Sichere OCR-Korrektur“ korrigieren und fordern Sie Korrekturen über die Liste „Original → Korrektur“ an. Entfernen Sie dann mit dem „OCR-Qualitätsbericht“ die Bereiche, die eine menschliche Kontrolle erfordern. Vergleichen Sie jedes Datum und jeden Eigennamen in der Liste mit dem tatsächlichen Bild. Beachten Sie, wie viele falsch „korrigiert“ wurden.

Checkliste

• [ ] Ich habe das Dokument mit mindestens 300 DPI und gutem Kontrast gescannt.
• [ ] Ich habe die KI nur um eine optische Fehlerkorrektur gebeten, nicht um eine Neufassung.
• [ ] Ich habe die nicht lesbaren Teile mit [?] geschützt.
• [ ] Ich habe alle Zahlen, Daten und Eigennamen anhand des Bildes überprüft.
• [ ] Ich habe in kritischen Bereichen eine Stichprobe oder eine Vollprüfung durchgeführt.