Câștiguri:
- Abilitatea de a extrage modele din seturi mari de text folosind tehnici precum NER, extragerea relațiilor, cronologia și analiza rețelei
- Capacitatea de a vedea modelul ca o ipoteză mai degrabă decât o dovadă, legând entitățile de sursă și normalizându-le cu aprobarea umană
- Capacitatea de a înțelege modul în care numerele pot induce în eroare din cauza lipsei de date și a prejudiciului de eșantionare și de a evita relațiile și cronologiile artificioase.
Cercetarea istorică nu se referă doar la citirea documentelor individuale; caută adesea modele în seturi mari de documente. În ce contexte apare un anumit nume de-a lungul anilor? Ce persoane sunt asociate cu o așezare? Cum se schimbă un subiect în timp? Cine corespunde cu cine? Astfel de întrebări necesită analizarea nu a unui singur document, ci a sutelor de documente în mod colectiv. Aceasta este adesea numită științe umaniste digitale - aplicarea metodelor de calcul în domenii precum istoria și literatura.
AI este puternic în extragerea de informații structurate din seturi mari de text. În această unitate, veți învăța NER (recunoașterea entității numite), extragerea modelelor și a relațiilor, logica modelării subiectelor și crearea cronologiei; dar vom discuta și despre cea mai periculoasă capcană a acestor tehnici – IA care se prezintă ca „găsind” un model care nu există.
Tehnici de bază
- NER (Named Entity Recognition): Extragerea automată a entităților precum persoană, loc, instituție, data din text. Produce o listă precum „Toate numele locurilor menționate în aceste 500 de documente” în câteva minute.
- Deducerea relațiilor: marcarea legăturilor între entități („Persoana X la locul Y”, „A corespunde cu B”).
- Modelarea subiectelor: Găsirea statistică a grupurilor de subiecte recurente într-un set mare de text. Arată ce teme sunt concentrate în ce perioadă.
- Inferență cronologică: aranjarea evenimentelor datate în documente într-o ordine cronologică.
- Analiza rețelei: Vizualizarea relațiilor inter-persoane/instituționale ca o rețea (cine este centrul, cine este punctul de legătură).
Scopul comun al tuturor acestora este de a dezvălui structuri care nu apar într-un singur document, ci apar în întreaga colecție. Aceste tehnici fac modele vizibile care nu ar fi niciodată vizibile doar prin citire. Dar fiecare dintre ele este un „semn”, nu o „dovadă”; Este esențial să verificați ceea ce se găsește în documentul original.
Un concept folosit frecvent în acest domeniu este distincția dintre lectura apropiată (citirea unui text în profunzime, rând cu rând) și lectura la distanță (privirea a sute/mii de texte colectiv, statistic). AI face posibilă citirea de la distanță: vezi modele într-un corpus suficient de mare pentru a dura o singură viață umană. Dar când citirea la distanță indică un model, este necesar să revenim la citirea apropiată, adică la documentul original, pentru a-i da sens. Cele două metode nu sunt interschimbabile; Unul arată modelul, celălalt îi dă sensul. Cea mai robustă cercetare le folosește pe ambele împreună.
Sfat: Folosiți analiza de modele ca generator de ipoteze: „AI a descoperit un model aici, este real?” Apoi verificați acel model în documente unul câte unul. Modelul este punctul de plecare al cercetării tale, nu rezultatul.
Flux de lucru: pas cu pas
1. Clarificați întrebarea. „Care persoane apar împreună cel mai des în această colecție?” O întrebare clară, cum ar fi.
2. Pregătiți și etichetați datele. Organizați textul cu referințe la sursă, astfel încât toate materialele găsite să poată fi legate înapoi la document.
3. Apare entitatea/modelul. Generați NER, relație sau schiță cronologică cu AI.
4. Normalizează. Combinați diferite ortografii ale aceleiași persoane/loc („Istanbul / Istanbul / Kostantiniyye” în același loc?). Acest pas este critic; Dacă este omis, modelul se va destrăma.
5. Verificați în document. Verificați documentele reale pentru orice tipare semnificative care sunt semnalate. Asigurați-vă că AI nu adaugă un link inventat.
6. Comentează. Ceea ce înseamnă modelul este judecata istoricului; AI doar marchează modelul.
Capcană de număr și statistici
Analiza modelelor produce adesea numere: „numele X apare de 47 de ori”, „această temă este prezentă în 30% din documente”. Aceste cifre par obiective, dar pot induce în eroare:
- Date lipsă: Dacă colecția este deja incompletă (documentele s-au pierdut, un grup nu a fost niciodată înregistrat), numărul reflectă documentele supraviețuitoare, nu realitatea.
- Eroare de normalizare: dacă aceeași persoană este scrisă diferit și numărată separat, numărul va fi incorect.
- Pierderea contextului: „apare de 47 de ori” nu spune nimic; Modul în care este trecut (pozitiv/negativ, subiect/obiect) este important.
ieșire model
sens aparent
risc real
„X apare de 47 de ori”
persoana importanta
Colecție incompletă, variație de ortografie
„Tema 30%”
subiect dominant
prejudecată de eșantionare
„A-B adesea împreună”
relație intimă
Coincidență, lipsește contextul
"cronologie"
cronologie exactă
Documente nedatate, comandă fabricată
trei mini cutii
Cazul 1 – Analiza rețelei a relevat un intermediar ascuns. Un cercetător a examinat o colecție de corespondență de 800 de scrisori. Cu AI, cine a scris cui a fost determinat și a fost creată o rețea. Rețeaua a arătat că o persoană aparent nesemnificativă la prima vedere era de fapt punctul cheie de contact între cele două grupuri. Cercetătorul s-a concentrat pe scrisorile acestei persoane și a ajuns la o nouă constatare. Dar mai întâi a verificat toate legăturile din documente.
Cazul 2 — Eroare de normalizare a corupt numărul. Un student i-a pus să numere de câte ori a apărut un loc în documente. Deoarece AI a numărat separat trei ortografii diferite ale aceluiași loc, numărul s-a dovedit a fi o treime din numărul real. Când ortografiile au fost combinate, locul era de fapt pe a treia poziție cea mai frecventă. Lecție: fără normalizare, numărul nu poate fi de încredere.
Cazul 3 — Cronologie inventată. Un cercetător a creat o cronologie din documente nedatate. AI a aranjat evenimentele necunoscute într-o ordine „logică” și a prezentat o cronologie precisă. Cu toate acestea, această secvență nu era în documente, AI o inventase. Lecție: cronologia este construită numai din evenimente care au o dată în document; restul rămâne „nedatat”.
Patru șabloane copiabile
1) NER (inferență de entitate):
Persoanele, locurile, instituțiile și datele menționate în documentele de mai jos apar ca liste SEPARATE. Indicați în ce document (referință) este menționată fiecare entitate. Luați doar ceea ce este clar menționat în text; adaugă prin ghicire. Marcați [?] dacă nu sunteți sigur de pronunție. Documente: [aici]
2) Normalizarea entității:
În lista de entități de mai jos, grupați diferite ortografii care ar putea fi aceeași persoană/loc (de exemplu, „Istanbul / Kostantiniyye”). Sugerați un format comun posibil pentru fiecare grup DAR nu impuneți combinația exactă; Adăugați nota „poate la fel, lăsați oamenii să verifice”. Lasă-l în pace dacă nu ești sigur. Lista: [aici]
3) Structura relației/rețelei:
Extrageți linkurile „cine are legătură cu cine” din următorul set de corespondență/documente. Pentru fiecare link, indicați pe ce document (referință) se bazează. A FACUT o relație care nu este CLAR în document. Marcați legăturile ambigue [indistincte]. Documentatie: [aici]
4) Cronologie datată:
Enumerați în ordine cronologică numai evenimentele menționate CLAR în următoarele documente; Conectați fiecare eveniment la sursa lui. Enumerați separat evenimentele cu date incerte la rubrica „nedatate”, NU le puneți în ordine. NU inventați data estimată. Documentatie: [aici]
Prompt slab / Prompt puternic
slab:
Analizați aceste documente și extrageți modele, relații și cronologie importante.
„Extrage modele importante” împinge AI să inventeze conexiuni inexistente și cronologii precise, prezentând numere fără normalizare.
Puternic:
Extrage entitățile persoana/locul/instituția din următoarele documente conectând fiecare la referința documentului. Marcați ortografii diferite care pot fi aceleași cu „pot fi îmbinate”, dar nu îmbinați. Relațiile care nu sunt precizate clar în document și evenimentele cu date incerte NU FALSE; păstrați-le pe cele fără date separate. Documentatie: [aici]
Diferența: atribuirea la sursă, lăsarea normalizării în seama oamenilor, interzicerea legăturilor/istoriei fictive și separarea evenimentelor nedatate fac modelul defensabil.
Greșeli comune
- Confundarea tiparului cu dovezi. Modelul este ipoteza; se verifică în document.
- Sari peste normalizare. Ortografii diferite ale aceleiași entități distorsionează numărul și rețeaua.
- Încredere oarbă în cifre. Colectarea incompletă și prejudecata de eșantionare fac ca numărul să inducă în eroare.
- Cronologie alcătuită. Evenimentele nedatate nu sunt incluse în cronologie.
- Ignorarea contextului. Nu „de câte ori a fost trecut”, ci „cum a fost trecut” este important.
În concluzie
Analiza conținutului și descoperirea modelelor este un domeniu puternic în care AI face vizibile structuri care nu ar fi vizibile doar prin citire: extragerea de entități, rețele de relații, grupuri de subiecte, cronologie. Dar fiecare tipar este o ipoteză, nu o dovadă. Conectați activele la sursă, normalizați cu atenție și cu validare umană, interogați numerele de date lipsă și părtinire, evitați relațiile și cronologiile artificiale. AI marchează modelul; Ce înseamnă și dacă este adevărat este judecata istoricului.
Sarcina de aplicare
Colectați cel puțin 15 documente (cu referințe). Extrageți entități persoane și locuri cu șablonul „NER”. Apoi grupați diferitele ortografii cu „normalizare entități” și verificați singuri grupurile. În cele din urmă, rulați șablonul „cronologie datată” și vedeți câte evenimente rămân „nedatate”. Comparați câte legături sau cronologii născocite ar produce AI cu o solicitare slabă.
lista de verificare
- [ ] Mi-am definit clar întrebarea tip model.
- [ ] Am fiecare entitate legată de referința documentului.
- [ ] Am normalizat tastarea entităților și am combinat-o cu aprobarea umană.
- [ ] Am pus la îndoială cifrele pentru datele lipsă și părtinire.
- [ ] Nu am pus în cronologie evenimentele nedatate, le-am păstrat separat.