Κέρδη:
- Δυνατότητα ρύθμισης της ροής εργασιών HTR και μεταγραφής και εξήγησης γιατί το μη επεξεργασμένο σχέδιο απαιτεί έλεγχο από ειδικούς γραμμή προς γραμμή
- Δυνατότητα προστασίας δυσανάγνωστων περιοχών ζητώντας εναλλακτικές λύσεις αντί για επιβολή ακριβούς ανάγνωσης σε περίπτωση ασάφειας φωνήεντος/γράμματος στα οθωμανικά τουρκικά
- Δυνατότητα διαχωρισμού της αρχικής μεταγραφής από ένα ξεχωριστό επίπεδο απλοποίησης, διατηρώντας την τελική επιστημονική ευθύνη με τον παλαιογράφο
Ίσως το πιο απαιτητικό κομμάτι της ιστορικής έρευνας είναι η μεταγραφή χειρογράφων και παλαιών γραπτών εγγράφων σε ευανάγνωστο κείμενο. Μια επιστολή, ένα σημειωματάριο, ένα δικαστικό πρακτικό ή ένα οθωμανικό έγγραφο γίνεται αναζητήσιμο μόνο αφού έχει μεταγραφεί. Η μεταγραφή είναι η πράξη μεταφοράς του περιεχομένου ενός εγγράφου (τις περισσότερες φορές χειρόγραφη ή αρχαία γραφή) σε ένα γραπτό, ευανάγνωστο κείμενο. Στην περίπτωση της οθωμανικής, αυτό συχνά συνοδεύεται από μεταγραφή: μεταφορά του κειμένου με αραβικά γράμματα στο λατινικό αλφάβητο με τα ισοδύναμα γράμμα προς γράμμα.
Χρησιμοποιήσαμε OCR για έντυπα κείμενα. Η γραφή απαιτεί μια διαφορετική τεχνολογία: HTR (Handwritten Text Recognition). Το HTR είναι μια τεχνολογία παρόμοια με το OCR, αλλά πολύ πιο απαιτητική που μετατρέπει χειρόγραφα έγγραφα σε κείμενο μηχανής. Σε αυτήν την ενότητα θα δούμε πώς να χρησιμοποιείτε το HTR και το AI στην οθωμανική και χειρόγραφη μεταγραφή, τα περιθώρια λάθους και γιατί η επαλήθευση είναι ακόμη πιο κρίσιμη εδώ.
Γιατί είναι τόσο δύσκολη η γραφή;
Η γραφή είναι πολύ πιο μεταβλητή από το έντυπο κείμενο: κάθε συγγραφέας έχει ένα μοναδικό χέρι, τα γράμματα συνδέονται μεταξύ τους, χρησιμοποιούνται συντομογραφίες και ειδικές πινακίδες, το μελάνι αιμορραγεί, το χαρτί φθείρεται. Στην οθωμανική τουρκική η δυσκολία πολλαπλασιάζεται:
- Μορφές γραμμάτων με βάση τα συμφραζόμενα: Το ίδιο γράμμα γράφεται διαφορετικά στην αρχή, στη μέση και στο τέλος της λέξης.
- Μη γραφή φωνηέντων: Τα σύντομα φωνήεντα συχνά δεν γράφονται. ο αναγνώστης συμπληρώνει από τα συμφραζόμενα. Αυτό δημιουργεί ασάφειες όπως "αποδοχή ή απόρριψη;"
- Διαφορετικά στυλ γραφής: Υπάρχουν διαφορετικά στυλ γραφής όπως rik'a, divani, ta'lik. Το καθένα απαιτεί διαφορετική εξειδίκευση στην ανάγνωση.
- Οθωμανικό λεξιλόγιο: Λέξεις από τα αραβικά και τα περσικά που δεν υπάρχουν στα σημερινά τουρκικά.
Επομένως, το HTR και το AI λειτουργούν με πολύ υψηλότερο περιθώριο σφάλματος στα οθωμανικά τουρκικά από το έντυπο OCR. Το μάτι ενός ειδικού παλαιογράφου (παλαιογραφία - η επιστήμη της ανάγνωσης αρχαίων γραπτών) δεν είναι εδώ εργαλείο, αλλά ανάγκη.
Ροή εργασίας: βήμα προς βήμα
1. Προετοιμάστε την ποιότητα του εγγράφου. Όπως και με το OCR, η υψηλή ανάλυση και η καλή αντίθεση είναι απαραίτητα. Αυτό είναι ακόμη πιο κρίσιμο στο χειρόγραφο.
2. Επιλέξτε μοντέλο HTR. Τα μοντέλα οθωμανικής, αραβικής γραφής ή HTR που έχουν εκπαιδευτεί ειδικά για μια συγκεκριμένη περίοδο είναι πολύ πιο επιτυχημένα από τα γενικά μοντέλα. Δοκιμάστε ποιο μοντέλο λειτουργεί καλά για περίοδο και στυλ γραφής.
3. Δημιουργήστε ακατέργαστη μεταγραφή. Το μοντέλο HTR παράγει ένα περίγραμμα. Στα οθωμανικά τουρκικά, αυτό το προσχέδιο είναι μια αρχή γεμάτη λάθη που ένα έμπειρο μάτι πρέπει να ελέγξει διεξοδικά.
4. Βελτίωση συμφραζομένων με AI. Μπορείτε να έχετε τις ασυνέπειες της σημαίας AI, πιθανές εναλλακτικές λύσεις ανάγνωσης και ύποπτες τοποθεσίες στην ακατέργαστη έξοδο. Αλλά η «διόρθωση» της τεχνητής νοημοσύνης είναι ιδιαίτερα επικίνδυνη εδώ: θα μπορούσε να προτείνει μια επινοημένη ανάγνωση.
5. Μεταγραφή και απλοποίηση (επίπεδη). Η μεταγραφή του κειμένου με αραβικά γράμματα σε λατινικά γράμματα, ακολουθούμενη από την απλοποιημένη ανάγνωσή του στα σημερινά τουρκικά, παράγεται ως ξεχωριστά στρώματα. Το πρωτότυπο δεν σπάει ποτέ.
6. Επαλήθευση εμπειρογνωμόνων. Η τελική μεταγραφή εγκρίνεται από ειδικό με γνώσεις παλαιογραφίας και περιόδου συγκρίνοντάς την με το έγγραφο.
Προσοχή: Στα οθωμανικά τουρκικά, όταν «μαντεύεις» μια λέξη με άγραφο φωνήεν από τα συμφραζόμενα, το AI μπορεί να παράγει μια εντελώς λανθασμένη ανάγνωση και να την παρουσιάσει σε μια σίγουρη γλώσσα. Μια διαφορά στα γράμματα, όπως "kabul" αντί για "kabil" ή "alem" αντί για "alim", αλλάζει εντελώς το νόημα. Κάθε αβέβαιη ανάγνωση θα πρέπει να παρουσιάζεται με εναλλακτικές και καμία οριστική ανάγνωση δεν πρέπει να επιβάλλεται.
Στρώματα και ευθύνη με τραπέζι
στρώμα
περιεχόμενο
Ο ρόλος της AI
Ο ρόλος του ειδικού
Εικόνα
πρωτότυπο έγγραφο
—
Πηγή
Προσχέδιο HTR
Ανάγνωση ακατέργαστων μηχανών
παράγει
Έλεγχος από την αρχή μέχρι το τέλος
μεταγραφή
Μεταφορά λατινικών γραμμάτων
προτείνει το σχέδιο
Διορθώνει, διορθώνει
Σημειώσεις αβεβαιότητας
[?] και εναλλακτικές
σημάδια
αποφασίζει
Απλοποίηση
Τουρκικό σήμερα
προτείνει το σχέδιο
Εγκρίσεις
επιστημονική δημοσίευση
Τελικό κείμενο + σημειώσεις
—
Μόνο ειδικός
τρεις μίνι θήκες
Περίπτωση 1 — Το HTR επιτάχυνε το πρώτο σχέδιο κατά 5 φορές. Ένας διδακτορικός φοιτητής θα μετέγραφε ένα οθωμανικό τετράδιο 200 σελίδων. Η πλήρης μη αυτόματη μεταγραφή υπολογίστηκε σε 60 εργάσιμες ημέρες. Με ένα μοντέλο HTR εκπαιδευμένο για την περίοδο, το ακατέργαστο βύθισμα βγήκε σε λίγες ώρες. Ο μαθητής διόρθωσε αυτό το προσχέδιο και μείωσε την εργασία σε 12 εργάσιμες ημέρες. Αλλά έπρεπε να συγκρίνει κάθε σελίδα με το έγγραφο, γραμμή προς γραμμή. Περίπου το 30% του σχεδίου ήταν λανθασμένο.
Περίπτωση 2 — Ένα γράμμα, ένα νόημα. Ένας ερευνητής βασίστηκε σε μια λέξη που η AI διάβαζε ως "κυβερνήτης". Υπό τον έλεγχο των ειδικών, έγινε κατανοητό ότι η λέξη ήταν στην πραγματικότητα "κηδεμόνας" (υπεύθυνος για ένα παιδί/άτομο) και επειδή το φωνήεν δεν ήταν επισημασμένο, η AI το μάντεψε λάθος. Το νομικό νόημα του εγγράφου άλλαζε εντελώς. Μάθημα: Στα οθωμανικά τουρκικά, μια διαφορά γραμμάτων/φωνηέντων προκαλεί την ερμηνεία του εγγράφου από την αρχή. απαιτείται ειδικός.
Περίπτωση 3 — Επινοημένη ολοκλήρωση. Σε μια γραμμή της οποίας το μελάνι είχε τελειώσει και μια λέξη της οποίας ήταν δυσανάγνωστη, το AI γέμισε το κενό με μια «λογική» λέξη. Ο ειδικός συνειδητοποίησε ότι αυτό το κενό ήταν στην πραγματικότητα ένα τοπωνύμιο και ότι η τεχνητή νοημοσύνη το είχε φτιάξει. Απομένει κενό ως [μη ευανάγνωστο]. Μάθημα: ο μη αναγνώσιμος χώρος δεν συμπληρώνεται, επισημαίνεται.
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) Μεταγραφή που διατηρεί την ασάφεια:
Παρακάτω είναι η ακατέργαστη έξοδος HTR/μεταγραφή ενός οθωμανικού εγγράφου. Η αποστολή σας είναι να ελέγξετε το κείμενο και να επισημάνετε πιθανά σφάλματα ανάγνωσης. Κανόνες: (1) Προσφέρετε 2-3 πιθανές εναλλακτικές για ανάγνωση για κάθε λέξη για την οποία δεν είστε σίγουροι, μην επιβάλλετε μία. (2) Αφήστε [δυσανάγνωστα] στις δυσανάγνωστες περιοχές, μην τις γεμίσετε. (3) ΠΡΟΣΘΗΚΗ λέξεων που δεν υπάρχουν στο κείμενο. (4) Δείξτε εναλλακτικές σε λέξεις με διφορούμενα φωνήεντα. Κείμενο: [εδώ]
2) Πολυεπίπεδη ανάγνωση (πρωτότυπο + απλοποίηση):
Δημιουργήστε ΔΥΟ στήλες για την ακόλουθη επαληθευμένη οθωμανική μεταγραφή: (1) Αυθεντική μεταγραφή (αφή), (2) Απλοποιημένη ανάγνωση στα σημερινά τουρκικά. ΠΡΟΣΘΗΚΗ σημασίας, προσθήκη ερμηνείας με απλοποίηση. απλά ενημερώστε τη γλώσσα. Σημειώστε μέρη με διφορούμενη σημασία[ασαφής]. Μεταγραφή: [εδώ]
3) Εξαγωγή όρου και προσώπου:
Τα προσωπικά ονόματα, τοπωνύμια, τίτλοι και περιοδικοί όροι που αναφέρονται στην παρακάτω μεταγραφή εμφανίζονται σε ξεχωριστούς καταλόγους. Πάρτε μόνο αυτά που αναφέρονται ΞΕΚΑΘΑΡΑ στο κείμενο. Μην προσθέτετε μαντεύοντας. Σημειώστε με [?] εάν δεν είστε σίγουροι για την προφορά. Κείμενο: [εδώ]
4) Ύποπτος έλεγχος ανάγνωσης:
Έμπειρος ελεγκτής παλαιογραφίας στον ρόλο. Στην παρακάτω μεταγραφή, σημειώστε τις λέξεις που είναι ασυνεπείς ως προς το νόημα, δεν ταιριάζουν στην περίοδο ή δεν ταιριάζουν στο πλαίσιο και γράψτε γιατί είναι ύποπτες. Επιβολή οριστικής διόρθωσης. Δημιουργήστε μια λίστα υποψιών ότι ο ειδικός στον άνθρωπο θα συγκρίνει με το έγγραφο. Κείμενο: [εδώ]
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμο:
Διαβάστε αυτό το οθωμανικό κείμενο και δώστε μου τη μετάφρασή του.
Αυτό ωθεί την τεχνητή νοημοσύνη να παράγει μια ενιαία, οριστική ανάγνωση, να κρύβει ασάφειες και να ταιριάζει σε κενά. Στην οθωμανική τουρκική, αυτό είναι σχεδόν εγγυημένο λάθος.
Ισχυρός:
Δείτε την οθωμανική μεταγραφή παρακάτω. Μια οριστική ανάγνωση: ΕΠΙΒΟΛΗ. Δώστε πιθανές εναλλακτικές για κάθε διφορούμενη λέξη, αφήστε έξω [αδιάβαστα] μέρη, μην προσθέσετε τίποτα που δεν υπάρχει στο κείμενο. Δώστε την απλοποιημένη ανάγνωση στα σημερινά τουρκικά σε ξεχωριστή στήλη, αλλά κρατήστε το πρωτότυπο. Σημειώστε οτιδήποτε δεν είστε σίγουροι με το [?], ώστε ο ειδικός να το συγκρίνει με το έγγραφο. Κείμενο: [εδώ]
Η διαφορά: η αυστηρή απαγόρευση ανάγνωσης, η αίτηση εναλλακτικών, η διατήρηση του κενού χώρου και η πολυεπίπεδη έξοδος επιτρέπουν την επαλήθευση από ειδικούς.
Συνήθη λάθη
- Λάθος το προσχέδιο HTR ως σωστό. Στα οθωμανικά τουρκικά, μεγάλο μέρος του ακατέργαστου σχεδίου μπορεί να είναι ανακριβές. Ο έλεγχος γραμμή προς γραμμή είναι απαραίτητος.
- Η μόνη οριστική ανάγνωση είναι η επιβολή. Εάν κρύβονται εναλλακτικές σε λέξεις των οποίων τα φωνήεντα δεν είναι γραμμένα, θα καταγραφεί το λάθος νόημα.
- Συμπλήρωση της δυσανάγνωστης περιοχής. Θα πρέπει να προστατεύεται με κενό διάστημα [ δυσανάγνωστο], όχι με φτιαγμένο.
- Ανάμειξη του πρωτοτύπου με απλοποίηση. Η απλοποίηση πρέπει να είναι ένα ξεχωριστό επίπεδο. Η αρχική μεταγραφή δεν πρέπει να παραμορφώνεται.
- Απενεργοποίηση του ειδικού. Χωρίς γνώση της παλαιογραφίας και της περιόδου, η ανάγνωση του AI είναι μια εικασία χωρίς επιστημονική αξία.
Συνοπτικά
Η οθωμανική μεταγραφή και η μεταγραφή χειρογράφων μπορεί να επιταχυνθεί σε μεγάλο βαθμό στο στάδιο του ακατέργαστου σχεδίου με HTR και AI. Λαμβάνετε ένα πρώτο αποτέλεσμα που μειώνει τις ημέρες εργασίας σε ώρες. Αλλά ακριβώς σε αυτόν τον τομέα είναι που ένα μόνο γράμμα, μια διαφορά φωνήεντος αλλάζει το νόημα. Η τεχνητή νοημοσύνη τείνει να κρύβει την αβεβαιότητα και να γεμίζει τα κενά. Η σωστή μέθοδος είναι πολυεπίπεδη: ακατέργαστο περίγραμμα, εναλλακτικές σημειώσεις ασάφειας, ξεχωριστό επίπεδο απλοποίησης και, κυρίως, επαλήθευση γραμμής προς γραμμή του εγγράφου από έναν ειδικό εξοικειωμένο με την παλαιογραφία. Το AI επιταχύνει την αρχική ανάγνωση. Η επιστημονική ευθύνη ανήκει στον ειδικό.
Εργασία εφαρμογής
Αποκτήστε μεταγραφή ενός οθωμανικού ή χειρόγραφου εγγράφου (δική σας παραγωγή ή δημοσιευμένο αντίγραφο). Ζητήστε από την τεχνητή νοημοσύνη μια εναλλακτική ανάγνωση με το πρότυπο "μεταγραφή που διατηρεί την ασάφεια". Στη συνέχεια, δημιουργήστε το επίπεδο απλοποίησης ξεχωριστά με "επίπεδη ανάγνωση". Συγκρίνετε κάθε λέξη με αόριστη επισήμανση με μια ειδική πηγή ή λεξικό. Σημειώστε πόσα σφάλματα θα παρήγαγε η τεχνητή νοημοσύνη εάν επέβαλε μία μόνο ανάγνωση.
λίστα ελέγχου
- [ ] Χρησιμοποίησα ένα HTR/μοντέλο κατάλληλο για την περίοδο και το στυλ γραφής.
- [ ] Ζήτησα από το AI εναλλακτικές λύσεις για την ακριβή ανάγνωση.
- [ ] Προστάτεψα τα μη αναγνώσιμα μέρη με [μη αναγνώσιμο].
- [ ] Κράτησα την αρχική μεταγραφή χωριστά από την απλοποίηση.
- [ ] Είχα το τελικό κείμενο επαληθευμένο από έναν ειδικό/ντοκιμαντέρ που γνωρίζει παλαιογραφία.