Κέρδη:
- Δυνατότητα εξαγωγής μοτίβων από μεγάλα σύνολα κειμένου χρησιμοποιώντας τεχνικές όπως NER, εξαγωγή σχέσεων, χρονοδιάγραμμα και ανάλυση δικτύου
- Να είστε σε θέση να δείτε το μοτίβο ως υπόθεση και όχι ως απόδειξη, συνδέοντας τις οντότητες με την πηγή και κανονικοποιώντας τις με ανθρώπινη έγκριση
- Ικανότητα κατανόησης του τρόπου με τον οποίο οι αριθμοί μπορεί να είναι παραπλανητικοί λόγω έλλειψης δεδομένων και μεροληψίας δειγματοληψίας και αποφυγής κατασκευασμένων σχέσεων και χρονολογιών.
Η ιστορική έρευνα δεν αφορά μόνο την ανάγνωση μεμονωμένων εγγράφων. συχνά αναζητούν μοτίβα σε μεγάλα σετ εγγράφων. Σε ποια πλαίσια εμφανίζεται ένα συγκεκριμένο όνομα με τα χρόνια; Ποια άτομα συνδέονται με έναν οικισμό; Πώς αλλάζει ένα θέμα με την πάροδο του χρόνου; Ποιος αλληλογραφεί με ποιον; Τέτοιες ερωτήσεις απαιτούν την εξέταση όχι ενός μόνο εγγράφου, αλλά εκατοντάδων εγγράφων συλλογικά. Αυτό ονομάζεται συχνά ψηφιακές ανθρωπιστικές επιστήμες - η εφαρμογή υπολογιστικών μεθόδων σε πεδία όπως η ιστορία και η λογοτεχνία.
Το AI είναι ισχυρό στην εξαγωγή δομημένων πληροφοριών από μεγάλα σύνολα κειμένου. Σε αυτή την ενότητα, θα μάθετε NER (ονομαζόμενη αναγνώριση οντοτήτων), εξαγωγή προτύπων και σχέσεων, λογική μοντελοποίησης θεμάτων και δημιουργία λωρίδας χρόνου. αλλά θα συζητήσουμε επίσης την πιο επικίνδυνη παγίδα αυτών των τεχνικών - η τεχνητή νοημοσύνη να παρουσιάζεται ότι «βρήκε» ένα μοτίβο που δεν υπάρχει.
Βασικές τεχνικές
- NER (Named Entity Recognition): Αυτόματη εξαγωγή οντοτήτων όπως πρόσωπο, τόπος, ίδρυμα, ημερομηνία από το κείμενο. Παράγει μια λίστα όπως "Όλα τα τοπωνύμια που αναφέρονται σε αυτά τα 500 έγγραφα" μέσα σε λίγα λεπτά.
- Συμπέρασμα σχέσης: Σήμανση δεσμών μεταξύ οντοτήτων ("Πρόσωπο Χ στον τόπο Υ", "Α αντιστοιχεί με Β").
- Μοντελοποίηση θεμάτων: Στατιστική εύρεση συστάδων επαναλαμβανόμενων θεμάτων σε ένα μεγάλο σύνολο κειμένου. Δείχνει ποια θέματα συγκεντρώνονται σε ποια περίοδο.
- Συμπεράσματα χρονοδιαγράμματος: Τακτοποίηση γεγονότων με ημερομηνία σε έγγραφα με χρονολογική σειρά.
- Ανάλυση δικτύου: Οπτικοποίηση των σχέσεων μεταξύ ατόμων/θεσμών ως δίκτυο (ποιος είναι το κέντρο, ποιος είναι το σημείο σύνδεσης).
Ο κοινός στόχος όλων αυτών είναι να αποκαλύψουν δομές που δεν εμφανίζονται σε ένα μόνο έγγραφο αλλά εμφανίζονται σε όλη τη συλλογή. Αυτές οι τεχνικές κάνουν ορατά μοτίβα που δεν θα ήταν ποτέ ορατά μόνο μέσω της ανάγνωσης. Αλλά το καθένα από αυτά είναι ένα «σημάδι», όχι ένα «απόδειξη». Είναι απαραίτητο να επαληθεύσετε τι βρίσκεται στο πρωτότυπο έγγραφο.
Μια έννοια που χρησιμοποιείται συχνά σε αυτόν τον τομέα είναι η διάκριση μεταξύ της κοντινής ανάγνωσης (διαβάζοντας ένα κείμενο σε βάθος, γραμμή προς γραμμή) και της ανάγνωσης από απόσταση (εξετάζοντας εκατοντάδες/χιλιάδες κείμενα συλλογικά, στατιστικά). Η τεχνητή νοημοσύνη καθιστά δυνατή την απομακρυσμένη ανάγνωση: βλέπετε μοτίβα σε ένα σώμα αρκετά μεγάλο για να διαρκέσει μια μόνο ανθρώπινη ζωή. Όταν όμως η μακρινή ανάγνωση δείχνει ένα μοτίβο, είναι απαραίτητο να επιστρέψουμε στην ανάγνωση από κοντά, δηλαδή στο αρχικό έγγραφο, για να το κατανοήσουμε. Οι δύο μέθοδοι δεν είναι εναλλάξιμες. Το ένα δείχνει το μοτίβο, το άλλο δίνει το νόημά του. Η πιο ισχυρή έρευνα χρησιμοποιεί και τα δύο μαζί.
Συμβουλή: Χρησιμοποιήστε την ανάλυση προτύπων ως γεννήτρια υποθέσεων: "Το AI έχει εντοπίσει ένα μοτίβο εδώ, είναι πραγματικό;" Στη συνέχεια, ελέγξτε αυτό το μοτίβο στα έγγραφα ένα προς ένα. Το μοτίβο είναι το σημείο εκκίνησης της έρευνάς σας, όχι το αποτέλεσμα.
Ροή εργασίας: βήμα προς βήμα
1. Διευκρινίστε την ερώτηση. «Ποια άτομα εμφανίζονται πιο συχνά μαζί σε αυτή τη συλλογή;» Ένα σαφές μοτίβο ερώτηση όπως.
2. Προετοιμάστε και επισημάνετε τα δεδομένα. Οργανώστε το κείμενο με αναφορές πηγής, έτσι ώστε τυχόν στοιχεία που βρέθηκαν να μπορούν να συνδεθούν ξανά στο έγγραφο.
3. Εμφανίζεται η οντότητα/μοτίβο. Δημιουργήστε περίγραμμα NER, σχέσης ή χρονοδιαγράμματος με AI.
4. Κανονικοποιήστε. Συνδυάστε διαφορετικές ορθογραφίες του ίδιου προσώπου/τόπου («Istanbul / Istanbul / Kostantiniyye» το ίδιο μέρος;). Αυτό το βήμα είναι κρίσιμο. Εάν παραλειφθεί, το σχέδιο θα καταρρεύσει.
5. Επαλήθευση σε έγγραφο. Ελέγξτε τα πραγματικά έγγραφα για τυχόν σημαντικά μοτίβα που έχουν επισημανθεί. Βεβαιωθείτε ότι το AI δεν προσθέτει έναν κατασκευασμένο σύνδεσμο.
6. Σχόλιο. Αυτό που σημαίνει το μοτίβο είναι η κρίση του ιστορικού. Το AI απλώς σηματοδοτεί το μοτίβο.
Αριθμός και παγίδα στατιστικών
Η ανάλυση προτύπων συχνά παράγει αριθμούς: «το όνομα Χ εμφανίζεται 47 φορές», «αυτό το θέμα υπάρχει στο 30% των εγγράφων». Αυτοί οι αριθμοί φαίνονται αντικειμενικοί, αλλά μπορεί να είναι παραπλανητικοί:
- Λείπουν δεδομένα: Εάν η συλλογή είναι ήδη ελλιπής (τα έγγραφα έχουν χαθεί, μια ομάδα δεν έχει καταγραφεί ποτέ), ο αριθμός αντικατοπτρίζει τα σωζόμενα έγγραφα και όχι την πραγματικότητα.
- Σφάλμα κανονικοποίησης: Εάν το ίδιο άτομο γράφεται διαφορετικά και μετράται ξεχωριστά, ο αριθμός θα είναι λανθασμένος.
- Απώλεια του πλαισίου: "συμβαίνει 47 φορές" δεν λέει τίποτα. Το πώς περνάει (θετικό/αρνητικό, θέμα/αντικείμενο) είναι σημαντικό.
έξοδος μοτίβου
φαινομενικό νόημα
πραγματικό κίνδυνο
"Το X εμφανίζεται 47 φορές"
σημαντικό πρόσωπο
Ελλιπής συλλογή, ορθογραφική παραλλαγή
"Θέμα 30%"
κυρίαρχο θέμα
μεροληψία δειγματοληψίας
"Α-Β συχνά μαζί"
οικεία σχέση
Σύμπτωση, πλαίσιο που λείπει
"χρονοδιάγραμμα"
ακριβής χρονολογία
Αχρονολόγητα έγγραφα, κατασκευασμένη παραγγελία
τρεις μίνι θήκες
Περίπτωση 1 — Η ανάλυση δικτύου αποκάλυψε έναν κρυφό ενδιάμεσο. Ένας ερευνητής εξέτασε μια συλλογή αλληλογραφίας 800 επιστολών. Με AI, ποιος έγραψε σε ποιον αποφασίστηκε και δημιουργήθηκε ένα δίκτυο. Το δίκτυο έδειξε ότι ένα φαινομενικά ασήμαντο άτομο με την πρώτη ματιά ήταν στην πραγματικότητα το βασικό σημείο επαφής μεταξύ των δύο ομάδων. Ο ερευνητής εστίασε στα γράμματα αυτού του ατόμου και κατέληξε σε ένα νέο εύρημα. Αλλά πρώτα επαληθεύσατε όλους τους συνδέσμους στα έγγραφα.
Περίπτωση 2 — Το σφάλμα κανονικοποίησης κατέστρεψε τον αριθμό. Ένας μαθητής τους έβαλε να μετρήσουν πόσες φορές εμφανίστηκε ένα μέρος στα έγγραφα. Δεδομένου ότι το AI μέτρησε τρεις διαφορετικές ορθογραφίες του ίδιου μέρους χωριστά, ο αριθμός αποδείχθηκε ότι ήταν το ένα τρίτο του πραγματικού αριθμού. Όταν συνδυάστηκαν τα ορθογραφικά, το μέρος ήταν στην πραγματικότητα στην τρίτη πιο συχνά εμφανιζόμενη θέση. Μάθημα: χωρίς κανονικοποίηση ο αριθμός δεν μπορεί να είναι αξιόπιστος.
Περίπτωση 3 — Φτιαγμένο χρονοδιάγραμμα. Ένας ερευνητής δημιούργησε ένα χρονοδιάγραμμα από έγγραφα χωρίς ημερομηνία. Η AI τακτοποίησε τα άγνωστα γεγονότα με μια «λογική» σειρά και παρουσίασε μια ακριβή χρονολογία. Ωστόσο, αυτή η ακολουθία δεν υπήρχε στα έγγραφα, η AI την είχε φτιάξει. Μάθημα: το χρονοδιάγραμμα δημιουργείται μόνο από συμβάντα που έχουν ημερομηνία στο έγγραφο. τα υπόλοιπα μένουν «αχρονολόγητα».
Τέσσερα πρότυπα με δυνατότητα αντιγραφής
1) NER (συμπέρασμα οντότητας):
Τα πρόσωπα, τα μέρη, τα ιδρύματα και οι ημερομηνίες που αναφέρονται στα παρακάτω έγγραφα εμφανίζονται ως ΞΕΧΩΡΙΣΤΕΣ λίστες. Αναφέρετε σε ποιο έγγραφο (αναφορά) αναφέρεται κάθε οντότητα. Πάρτε μόνο αυτό που αναφέρεται ΞΕΚΑΘΑΡΑ στο κείμενο. προσθήκη με εικασία. Σημειώστε [?] εάν δεν είστε σίγουροι για την προφορά. Έγγραφα: [εδώ]
2) Κανονικοποίηση οντοτήτων:
Στην παρακάτω λίστα οντοτήτων, ομαδοποιήστε διαφορετικές ορθογραφίες που θα μπορούσαν να είναι το ίδιο άτομο/τόπος (π.χ. "Istanbul / Kostantiniyye"). Προτείνετε την πιθανή κοινή μορφή για κάθε ομάδα ΑΛΛΑ μην επιβάλετε τον ακριβή συνδυασμό. Προσθέστε τη σημείωση "ίσως το ίδιο, αφήστε τον κόσμο να επαληθεύσει". Αφήστε το ήσυχο αν δεν είστε σίγουροι. Λίστα: [εδώ]
3) Περίγραμμα σχέσης/δικτύου:
Εξάγετε τους συνδέσμους "ποιος έχει σχέση με ποιον" από το ακόλουθο σύνολο αλληλογραφίας/εγγράφων. Για κάθε σύνδεσμο, υποδείξτε σε ποιο έγγραφο (αναφορά) βασίζεται. Φτιάξε μια σχέση που δεν είναι ξεκάθαρα στο έγγραφο. Επισήμανση διφορούμενων συνδέσμων [ασαφής]. Τεκμηρίωση: [εδώ]
4) Χρονολόγιο με ημερομηνία:
Καταγράψτε με χρονολογική σειρά μόνο τα γεγονότα που αναφέρονται Σαφώς στα ακόλουθα έγγραφα. Συνδέστε κάθε συμβάν με την πηγή του. Καταχωρίστε τα γεγονότα με αβέβαιες ημερομηνίες ξεχωριστά κάτω από την επικεφαλίδα "χωρίς ημερομηνία", ΜΗΝ τα βάλετε σε σειρά. ΜΗΝ συνθέσετε την εκτιμώμενη ημερομηνία. Τεκμηρίωση: [εδώ]
Αδύναμη προτροπή / Ισχυρή προτροπή
Αδύναμο:
Αναλύστε αυτά τα έγγραφα και εξάγετε σημαντικά μοτίβα, σχέσεις και χρονοδιαγράμματα.
Η «Εξαγωγή σημαντικών μοτίβων» ωθεί την τεχνητή νοημοσύνη να εφεύρει ανύπαρκτες συνδέσεις και ακριβείς χρονολογίες, παρουσιάζοντας αριθμούς χωρίς κανονικοποίηση.
Ισχυρός:
Εξάγει το πρόσωπο/τόπο/οντότητες ιδρύματος από τα ακόλουθα έγγραφα συνδέοντας το καθένα με την αναφορά του εγγράφου. Σημειώστε διαφορετικές ορθογραφίες που μπορεί να είναι ίδιες με το "μπορεί να συγχωνευθούν", αλλά μην συγχωνεύονται. Σχέσεις που δεν αναφέρονται ξεκάθαρα στο έγγραφο και γεγονότα με αβέβαιες ημερομηνίες ΔΕΝ ΠΛΑΣΤΟΥΝΤΑΙ. κρατήστε ξεχωριστά αυτά που δεν έχουν ημερομηνίες. Τεκμηρίωση: [εδώ]
Η διαφορά: η απόδοση στην πηγή, η εξομάλυνση στους ανθρώπους, η απαγόρευση εικονικών δεσμών/ιστορίας και ο διαχωρισμός γεγονότων χωρίς ημερομηνία καθιστούν το μοτίβο υπερασπίσιμο.
Συνήθη λάθη
- Παρεξήγηση του μοτίβου ως αποδεικτικό στοιχείο. Το πρότυπο είναι η υπόθεση. επαληθεύεται στο έγγραφο.
- Παράλειψη κανονικοποίησης. Διαφορετικές ορθογραφίες της ίδιας οντότητας παραμορφώνουν τον αριθμό και το δίκτυο.
- Τυφλή εμπιστοσύνη στους αριθμούς. Η ελλιπής συλλογή και η μεροληψία δειγματοληψίας καθιστούν τον αριθμό παραπλανητικό.
- Φτιαγμένο χρονοδιάγραμμα. Τα γεγονότα χωρίς ημερομηνία δεν περιλαμβάνονται στο χρονολόγιο.
- Αγνοώντας το πλαίσιο. Σημασία δεν έχει το «πόσες φορές πέρασε», αλλά το «πώς πέρασε».
Συνοπτικά
Η ανάλυση περιεχομένου και η ανακάλυψη προτύπων είναι ένα ισχυρό πεδίο όπου το AI κάνει ορατές δομές που δεν θα ήταν ορατές μόνο μέσω της ανάγνωσης: εξαγωγή οντοτήτων, δίκτυα σχέσεων, συμπλέγματα θεμάτων, χρονοδιαγράμματα. Αλλά κάθε πρότυπο είναι μια υπόθεση, όχι μια απόδειξη. Συνδέστε στοιχεία με την πηγή, κανονικοποιήστε προσεκτικά και με ανθρώπινη επικύρωση, αναζητήστε αριθμούς για δεδομένα που λείπουν και μεροληψία, αποφύγετε επινοημένες σχέσεις και χρονολογίες. Το AI σηματοδοτεί το μοτίβο. Το τι σημαίνει και αν είναι αλήθεια είναι η κρίση του ιστορικού.
Εργασία εφαρμογής
Συλλέξτε τουλάχιστον 15 τεκμηρίωση (με παραπομπές). Εξαγωγή οντοτήτων ατόμων και μερών με το πρότυπο "NER". Στη συνέχεια, ομαδοποιήστε τις διαφορετικές ορθογραφίες με "κανονικοποίηση οντοτήτων" και επαληθεύστε τις ομάδες μόνοι σας. Τέλος, εκτελέστε το πρότυπο "Dated Timeline" και δείτε πόσα συμβάντα παραμένουν "χωρίς ημερομηνία". Συγκρίνετε πόσες επινοημένες συνδέσεις ή χρονολογίες θα παρήγαγε το AI με κακή προτροπή.
λίστα ελέγχου
- [ ] Έχω ορίσει με σαφήνεια την ερώτηση του μοτίβου μου.
- [ ] Έχω κάθε οντότητα συνδεδεμένη με την αναφορά εγγράφου.
- [ ] Κανονοποίησα την πληκτρολόγηση οντοτήτων και τη συνδύασα με ανθρώπινη έγκριση.
- [ ] Αμφισβήτησα τους αριθμούς για ελλιπή δεδομένα και προκατάληψη.
- [ ] Δεν έβαλα τα αχρονολόγητα γεγονότα σε χρονολογία, τα κράτησα χωριστά.