Dobički:
- Sposobnost ekstrahiranja vzorcev iz velikih nizov besedila z uporabo tehnik, kot so NER, ekstrakcija odnosov, časovna premica in analiza omrežja
- Biti sposoben videti vzorec kot hipotezo in ne kot dokaz, povezati entitete z virom in jih normalizirati s človeško odobritvijo
- Sposobnost razumeti, kako so lahko številke zavajajoče zaradi manjkajočih podatkov in pristranskosti vzorčenja, ter se izogniti izmišljenim odnosom in kronologijam.
Pri zgodovinskem raziskovanju ne gre le za branje posameznih dokumentov; pogosto iščejo vzorce v velikih sklopih dokumentov. V kakšnih kontekstih se skozi leta pojavlja določeno ime? Kateri ljudje so povezani z naseljem? Kako se tema spreminja skozi čas? Kdo si s kom dopisuje? Takšna vprašanja ne zahtevajo pregleda enega samega dokumenta, ampak več sto dokumentov skupaj. To se pogosto imenuje digitalna humanistika – uporaba računalniških metod na področjih, kot sta zgodovina in literatura.
AI je močan pri pridobivanju strukturiranih informacij iz velikih sklopov besedila. V tej enoti se boste naučili NER (prepoznavanje poimenovanih entitet), ekstrakcijo vzorcev in razmerij, logiko modeliranja tem in ustvarjanje časovnice; razpravljali pa bomo tudi o najnevarnejši pasti teh tehnik – AI, ki se predstavlja, kot da je »našel« vzorec, ki ne obstaja.
Osnovne tehnike
- NER (Named Entity Recognition): Samodejno ekstrahiranje entitet, kot so oseba, kraj, ustanova, datum iz besedila. V nekaj minutah ustvari seznam, kot je "Vsa imena krajev, omenjena v teh 500 dokumentih".
- Sklep o odnosu: Označevanje vezi med entitetami (»oseba X na mestu Y«, »A se ujema z B«).
- Modeliranje tem: statistično iskanje skupin ponavljajočih se tem v velikem nizu besedila. Prikazuje, katere teme so koncentrirane v katerem obdobju.
- Sklepanje na časovni premici: Urejanje datiranih dogodkov v dokumentih v kronološki vrstni red.
- Analiza mreže: Vizualizacija medosebnih/institucionalnih odnosov kot mreže (kdo je središče, kdo povezovalna točka).
Skupni cilj vseh teh je razkriti strukture, ki se ne pojavijo v enem samem dokumentu, ampak se pojavljajo v celotni zbirki. Te tehnike naredijo vidne vzorce, ki nikoli ne bi bili vidni samo z branjem. Toda vsak od njih je »znak«, ne »dokaz«; Bistveno je preveriti, kaj se nahaja v izvirnem dokumentu.
Pogosto uporabljen koncept na tem področju je razlikovanje med branjem od blizu (poglobljeno branje besedila, vrstico za vrstico) in branjem na daljavo (zbirno gledanje na stotine/tisoč besedil, statistično). AI omogoča branje na daljavo: vidite vzorce v korpusu, ki je dovolj velik, da traja eno samo človeško življenje. Ko pa branje na daljavo pokaže na vzorec, se je treba vrniti k branju od blizu, torej k izvirnemu dokumentu, da ga osmislimo. Obe metodi nista zamenljivi; Eden prikazuje vzorec, drugi podaja njegov pomen. Najbolj robustna raziskava uporablja oboje skupaj.
Nasvet: Uporabite analizo vzorcev kot generator hipotez: "Umetna inteligenca je tukaj opazila vzorec, ali je resničen?" Nato preverite ta vzorec v dokumentih enega za drugim. Vzorec je izhodišče vaše raziskave, ne rezultat.
Potek dela: korak za korakom
1. Pojasnite vprašanje. "Kateri ljudje se najpogosteje pojavljajo skupaj v tej zbirki?" Vprašanje z jasnim vzorcem, kot je.
2. Pripravite in označite podatke. Organizirajte besedilo s sklici na vire, tako da je mogoče vsa najdena sredstva povezati nazaj z dokumentom.
3. Prikaže se entiteta/vzorec. Ustvarite NER, odnos ali oris časovnice z AI.
4. Normalizirajte. Združite različne zapise iste osebe/kraja (»Istanbul / Istanbul / Kostantiniyye« isti kraj?). Ta korak je kritičen; Če ga izpustite, bo vzorec razpadel.
5. Preverite v dokumentu. Preverite dejanske dokumente za morebitne pomembne vzorce, ki so označeni. Prepričajte se, da AI ne doda izmišljene povezave.
6. Komentiraj. Kaj vzorec pomeni, je zgodovinarjeva presoja; AI samo označuje vzorec.
Past številk in statistike
Analiza vzorcev pogosto proizvede številke: "ime X se pojavi 47-krat", "ta tema je prisotna v 30 % dokumentov". Te številke se zdijo objektivne, vendar so lahko zavajajoče:
- Manjkajoči podatki: Če je zbirka že nepopolna (dokumenti so bili izgubljeni, skupina ni bila nikoli zabeležena), številka odraža ohranjene dokumente, ne resničnosti.
- Napaka normalizacije: če je ista oseba napisana drugače in se šteje ločeno, bo številka napačna.
- Izguba konteksta: "se pojavi 47-krat" ne pove ničesar; Pomembno je, kako je podano (pozitivno/negativno, subjekt/objekt).
izpis vzorca
navidezni pomen
resnično tveganje
"X se pojavi 47-krat"
pomembna oseba
Nepopolna zbirka, variacija črkovanja
"Tema 30%"
dominantna tema
pristranskost vzorčenja
"A-B pogosto skupaj"
intimno razmerje
Naključje, manjka kontekst
"časovnica"
natančna kronologija
Dokumenti brez datuma, izmišljeno naročilo
trije mini kovčki
Primer 1 – Analiza omrežja je razkrila skritega posrednika. Raziskovalec je pregledal korespondenčno zbirko 800 pisem. Z AI se je določilo, kdo je komu pisal in nastala je mreža. Mreža je pokazala, da je bila na prvi pogled nepomembna oseba pravzaprav ključna stična točka med skupinama. Raziskovalec se je osredotočil na pisma te osebe in prišel do nove ugotovitve. Toda najprej preverite vse povezave v dokumentih.
2. primer — Napaka normalizacije je poškodovala številko. Študent jim je dal prešteti, kolikokrat se kraj pojavi v dokumentih. Ker je umetna inteligenca ločeno preštela tri različne zapise istega mesta, se je izkazalo, da je številka ena tretjina dejanskega števila. Ko so črkovanja združili, je bilo mesto pravzaprav na tretjem najpogosteje pojavljajočem mestu. Nauk: brez normalizacije številki ni mogoče zaupati.
Primer 3 – Izdelana časovnica. Raziskovalec je ustvaril časovnico iz dokumentov brez datuma. Umetna inteligenca je neznane dogodke uredila v "logičen" vrstni red in predstavila natančno kronologijo. Vendar tega zaporedja ni bilo v dokumentih, umetna inteligenca si ga je izmislila. Nauk: časovnica je sestavljena samo iz dogodkov, ki imajo datum v dokumentu; ostalo ostaja "brez datuma".
Štiri predloge za kopiranje
1) NER (sklepanje entitete):
Osebe, kraji, ustanove in datumi, omenjeni v spodnjih dokumentih, so prikazani kot LOČENI seznami. Navedite, v katerem dokumentu (sklicu) je posamezen subjekt omenjen. Vzemite samo tisto, kar je JASNO navedeno v besedilu; dodaj po ugibanju. Označite [?], če niste prepričani o izgovorjavi. Dokumenti: [tukaj]
2) Normalizacija entitete:
Na spodnjem seznamu entitet združite različne zapise, ki bi lahko bili ista oseba/kraj (npr. "Istanbul / Kostantiniyye"). Predlagajte možno skupno obliko za vsako skupino, VENDAR ne vsiljujte natančne kombinacije; Dodajte opombo "morda enako, naj ljudje preverijo". Pustite pri miru, če niste prepričani. Seznam: [tukaj]
3) Oris razmerja/omrežja:
Izvlecite povezave "kdo je s kom v sorodu" iz naslednjega niza korespondence/dokumentov. Za vsako povezavo označite, na kateri dokument (referenco) temelji. IZMISLIL razmerje, ki v dokumentu ni JASNO. Označi dvoumne povezave [nerazločno]. Dokumentacija: [tukaj]
4) Datirana časovnica:
Navedite v kronološkem vrstnem redu samo dogodke, ki so JASNO navedeni v naslednjih dokumentih; Povežite vsak dogodek z njegovim virom. Dogodke z negotovim datumom navedite ločeno pod naslovom "brez datuma", NE postavljajte jih po vrsti. NE izmišljajte predvidenega datuma. Dokumentacija: [tukaj]
Šibek poziv/močan poziv
Šibko:
Analizirajte te dokumente in izluščite pomembne vzorce, odnose in časovnice.
»Izvleček pomembnih vzorcev« prisili AI, da izumi neobstoječe povezave in natančne kronologije ter predstavi številke brez normalizacije.
Močno:
Izvleče subjekte osebe/kraja/institucije iz naslednjih dokumentov tako, da vsakega poveže z referenco dokumenta. Označite različne zapise, ki so lahko enaki kot "lahko se združijo", vendar se ne združijo. Razmerja, ki v dokumentu niso jasno navedena, in dogodki z negotovimi datumi NE PONAREJAJO; tiste brez datumov hranite ločeno. Dokumentacija: [tukaj]
Razlika: pripisovanje viru, prepuščanje normalizacije ljudem, prepoved fiktivnih vezi/zgodovine in ločevanje nedatiranih dogodkov naredijo vzorec upravičljiv.
Pogoste napake
- Zamenjati vzorec za dokaz. Vzorec je hipoteza; je preverjeno v dokumentu.
- Preskok normalizacije. Različni zapisi iste entitete popačijo številko in omrežje.
- Slepo zaupanje v številke. Zaradi nepopolnega zbiranja in pristranskosti vzorčenja je številka zavajajoča.
- Izdelana časovnica. Nedatirani dogodki niso vključeni v kronologijo.
- Ignoriranje konteksta. Ni pomembno "kolikokrat je bila opravljena", ampak "kako je bila opravljena".
Če povzamem
Analiza vsebine in odkrivanje vzorcev je močno področje, kjer umetna inteligenca naredi vidne strukture, ki ne bi bile vidne samo z branjem: ekstrakcija entitet, mreže odnosov, tematski grozdi, časovnice. Toda vsak vzorec je hipoteza, ne dokaz. Povežite sredstva z virom, normalizirajte previdno in s človeško potrditvijo, poizvedujte s številkami za manjkajoče podatke in pristranskost, izogibajte se izmišljenim odnosom in kronologijam. AI označuje vzorec; Kaj to pomeni in ali je res, je presoja zgodovinarja.
Aplikacijska naloga
Zbrati vsaj 15 kosov dokumentacije (z referencami). Ekstrahirajte entitete osebe in mesta s predlogo »NER«. Nato združite različna črkovanja z "normalizacijo entitete" in sami preverite skupine. Na koncu zaženite predlogo »datirana časovnica« in si oglejte, koliko dogodkov je ostalo »brez datuma«. Primerjajte, koliko izmišljenih povezav ali kronologij bi ustvaril AI s slabim spodbujanjem.
kontrolni seznam
- [ ] Jasno sem definiral svoje vprašanje vzorca.
- [ ] Vsako entiteto imam povezano s sklicem na dokument.
- [ ] Normaliziral sem tipkanje entitet in ga združil s človeško odobritvijo.
- [ ] Podvomil sem o številkah zaradi manjkajočih podatkov in pristranskosti.
- [ ] Nedatiranih dogodkov nisem uvrščal v kronologijo, hranil sem jih ločeno.