Kasu:
- Võimalus eraldada mustreid suurtest tekstikomplektidest, kasutades selliseid tehnikaid nagu NER, suhete eraldamine, ajaskaala ja võrguanalüüs
- Võimalus näha mustrit pigem hüpoteesi kui tõendusmaterjalina, siduda üksused allikaga ja normaliseerida need inimeste heakskiidul
- Oskus mõista, kuidas numbrid võivad puuduvate andmete ja valimite kõrvalekalde tõttu olla eksitavad, ning vältida väljamõeldud seoseid ja kronoloogiaid.
Ajaloouurimine ei seisne ainult üksikute dokumentide lugemises; otsides sageli mustreid suurtest dokumendikomplektidest. Millises kontekstis konkreetne nimi aastate jooksul ilmub? Millised inimesed on asumiga seotud? Kuidas teema ajas muutub? Kes kellega suhtleb? Sellised küsimused nõuavad mitte ühe dokumendi vaatamist, vaid sadu dokumente ühiselt. Seda nimetatakse sageli digitaalseks humanitaariaks – arvutusmeetodite rakendamiseks sellistes valdkondades nagu ajalugu ja kirjandus.
AI on võimas struktureeritud teabe eraldamisel suurtest tekstikomplektidest. Selles üksuses õpite tundma NER-i (nimega üksuse tuvastamist), mustrite ja suhete eraldamist, teemade modelleerimise loogikat ja ajaskaala loomist; kuid käsitleme ka nende tehnikate kõige ohtlikumat lõksu – tehisintellekti, mis esitleb end olevat "leidnud" mustri, mida pole olemas.
Põhitehnikad
- NER (nimega üksuse tuvastamine): üksuste, nagu isik, koht, institutsioon, kuupäev, automaatne ekstraheerimine tekstist. See loob minutitega loendi, näiteks "Kõik nendes 500 dokumendis mainitud kohanimed".
- Seoste järeldus: olemite vaheliste sidemete märgistamine (“Isik X kohas Y”, “A vastab B-le”).
- Teemade modelleerimine: Korduvate teemade klastrite statistiline leidmine suurest tekstikomplektist. See näitab, millised teemad mis perioodi on koondunud.
- Ajaskaala järeldus: dateeritud sündmuste järjestamine dokumentides kronoloogilises järjekorras.
- Võrgustiku analüüs: Inimestevaheliste/institutsiooniliste suhete visualiseerimine võrgustikuna (kes on keskus, kes ühenduspunkt).
Kõigi nende ühine eesmärk on paljastada struktuure, mis ei esine ühes dokumendis, vaid esinevad kogu kogu ulatuses. Need tehnikad muudavad nähtavaks mustrid, mis ei oleks kunagi nähtavad ainult lugemise kaudu. Kuid igaüks neist on "märk", mitte "tõend"; Oluline on kontrollida originaaldokumendis leiduvat.
Selles valdkonnas sageli kasutatav mõiste on vahetegemine lähedalt lugemise (teksti süvitsi, rida-realt lugemine) ja kauglugemise (sadade/tuhandete tekstide kollektiivne, statistiline vaatamine) eristamine. Tehisintellekt võimaldab kauglugemist: näete mustreid korpuses, mis on piisavalt suur, et kesta kogu inimelu. Aga kui kauglugemine osutab mustrile, tuleb selle mõtestamiseks tagasi pöörduda lähilugemise ehk algdokumendi juurde. Need kaks meetodit ei ole omavahel asendatavad; Üks näitab mustrit, teine annab selle tähenduse. Kõige jõulisem uurimus kasutab mõlemat koos.
Näpunäide: kasutage hüpoteesi generaatorina mustrianalüüsi: "AI on avastanud siin mustri, kas see on tõeline?" Seejärel kontrollige seda mustrit dokumentides ükshaaval. Muster on teie uurimistöö lähtepunkt, mitte tulemus.
Töövoog: samm-sammult
1. Täpsustage küsimust. "Millised inimesed esinevad selles kollektsioonis kõige sagedamini koos?" Selge mustriga küsimus nagu.
2. Valmistage ette ja märgistage andmed. Korraldage tekst allikaviidetega, et kõik leitud varad saaksid dokumendiga tagasi linkida.
3. Ilmub olem/muster. Looge tehisintellektiga NER-i, suhte või ajajoone ülevaade.
4. Normaliseeri. Kombineerige sama isiku/koha erinevad kirjapildid ("Istanbul / Istanbul / Kostantiniyye" sama koht?). See samm on kriitiline; Kui see ära jätta, läheb muster laiali.
5. Kinnitage dokumendis. Kontrollige tegelikest dokumentidest olulisi märgistatud mustreid. Veenduge, et AI ei lisaks väljamõeldud linki.
6. Kommentaar. See, mida muster tähendab, on ajaloolase otsustus; AI lihtsalt märgib mustrit.
Numbri- ja statistikalõks
Mustrite analüüs toodab sageli numbreid: "nimi X esineb 47 korda", "see teema esineb 30% dokumentidest". Need arvud tunduvad objektiivsed, kuid võivad olla eksitavad:
- Puuduvad andmed: kui kogu on juba poolik (dokumendid on kadunud, gruppi pole kunagi salvestatud), kajastab arv säilinud dokumente, mitte tegelikkust.
- Normaliseerimisviga: kui sama isik kirjutatakse erinevalt ja loetakse eraldi, on number vale.
- Konteksti kaotus: "esineb 47 korda" ei ütle midagi; Oluline on selle edastamise viis (positiivne/negatiivne, subjekt/objekt).
mustri väljund
näiline tähendus
reaalne risk
"X esineb 47 korda"
tähtis inimene
Mittetäielik kogu, õigekirja variatsioon
"Teema 30%"
domineeriv teema
valimi kallutatus
"A-B sageli koos"
intiimne suhe
Kokkusattumus, puuduv kontekst
"ajaskaala"
täpne kronoloogia
Dateerimata dokumendid, fabritseeritud tellimus
kolm minikarpi
Juhtum 1 – võrguanalüüs paljastas peidetud vahendaja. Teadlane uuris 800 kirjast koosnevat kirjavahetust. Tehisintellektiga tehti kindlaks, kes kellele kirjutas ja tekkis võrk. Võrgustik näitas, et esmapilgul tühine inimene oli tegelikult kahe grupi peamine kokkupuutepunkt. Uurija keskendus selle inimese kirjadele ja jõudis uue leiuni. Kuid kõigepealt kontrollis kõik lingid dokumentides.
Juhtum 2 – normaliseerimisviga rikkus numbri. Üks õpilane lasi neil kokku lugeda, mitu korda mõni koht dokumentides esines. Kuna tehisintellekt luges sama koha kolm erinevat kirjapilti eraldi, osutus see arv kolmandikuks tegelikust arvust. Kui kirjapilte kombineeriti, oli koht tegelikult kolmandal kõige sagedamini esineval positsioonil. Õppetund: ilma normaliseerimiseta ei saa numbrit usaldada.
3. juhtum – väljamõeldud ajaskaala. Teadlane lõi ajaskaala dateerimata dokumentidest. AI paigutas tundmatud sündmused "loogilisse" järjekorda ja esitas täpse kronoloogia. Seda jada aga dokumentides ei olnud, AI oli selle välja mõelnud. Õppetund: ajaskaala konstrueeritakse ainult sündmustest, millel on dokumendis kuupäev; ülejäänu jääb "kuupäevaks".
Neli kopeeritavat malli
1) NER (olemi järeldus):
Allolevates dokumentides nimetatud isikud, kohad, asutused ja kuupäevad on ERALDI nimekirjad. Märkige, millises dokumendis (viites) iga olemit mainitakse. Võtke ainult see, mis on tekstis SELGELT öeldud; lisa arvamise teel. Märkige [?], kui te pole häälduses kindel. Dokumendid: [siin]
2) Olemi normaliseerimine:
Rühmitage allolevas olemiloendis erinevad kirjaviisid, mis võivad olla sama isik/koht (nt "Istanbul / Kostantiniyye"). Soovitage iga rühma jaoks võimalikku ühist vormingut, KUID ärge kehtestage täpset kombinatsiooni; Lisage märge "võib-olla sama, laske inimestel kontrollida". Jätke see rahule, kui te pole kindel. Nimekiri: [siin]
3) Suhte/võrgustiku ülevaade:
Järgmisest kirjavahetusest/dokumentidest eraldage lingid "kes on kellega seotud". Iga lingi juures märkige, millisel dokumendil (viitel) see põhineb. LÕITAS välja suhte, mida dokumendis SELGELT ei ole. Märkige mitmetähenduslikud lingid [ebaselged]. Dokumentatsioon: [siin]
4) Dateeritud ajaskaala:
Loetlege kronoloogilises järjekorras ainult need sündmused, mis on SELGELT välja toodud järgmistes dokumentides; Linkige iga sündmus selle allikaga. Ebakindla kuupäevaga sündmused loetlege eraldi rubriigis "dateerimata", ÄRGE pane neid järjekorda. ÄRGE arvestage hinnangulist kuupäeva. Dokumentatsioon: [siin]
Nõrk viip / Tugev viip
Nõrk:
Analüüsige neid dokumente ja eraldage olulised mustrid, suhted ja ajajooned.
„Oluliste mustrite ekstraheerimine” sunnib AI-d leiutama olematuid seoseid ja täpseid kronoloogiaid, esitades numbreid ilma normaliseerimiseta.
Tugev:
Eraldab isiku/koha/asutuse olemid järgmistest dokumentidest, ühendades need dokumendi viitega. Märkige erinevad kirjapildid, mis võivad olla samad kui "võib olla ühendatud", kuid ärge ühendage. Seosed, mis ei ole dokumendis selgelt välja toodud, ja sündmused, mille kuupäev on ebaselge, EI VÄLJA; hoidke need ilma kuupäevadeta eraldi. Dokumentatsioon: [siin]
Erinevus: allikale omistamine, normaliseerimise inimeste hooleks jätmine, fiktiivsete sidemete/ajaloo keeld ja dateerimata sündmuste eraldamine muudavad mustri kaitstavaks.
Levinud vead
- Tõendite mustri eksitamine. Muster on hüpotees; on dokumendis kinnitatud.
- Normaliseerimise vahelejätmine. Sama olemi erinevad kirjapildid moonutavad numbrit ja võrku.
- Pime usaldus numbrite vastu. Mittetäielik kogumine ja valimite kallutatus muudavad arvu eksitavaks.
- Väljamõeldud ajaskaala. Dateerimata sündmused ei kuulu kronoloogiasse.
- Konteksti ignoreerimine. Tähtis pole mitte see, "mitu korda see läbi sai", vaid "kuidas läbiti".
Kokkuvõttes
Sisuanalüüs ja mustrite avastamine on võimas valdkond, kus tehisintellekt teeb nähtavaks struktuurid, mis ei oleks nähtavad ainult lugemise kaudu: olemi väljavõte, suhtevõrgustikud, teemaklastrid, ajajooned. Kuid iga muster on hüpotees, mitte tõend. Linkige varad allikaga, normaliseerige hoolikalt ja inimese kontrolliga, küsige puuduvate andmete ja kallutamise numbreid, vältige väljamõeldud seoseid ja kronoloogiaid. AI tähistab mustrit; Mida see tähendab ja kas see vastab tõele, on ajaloolase hinnang.
Rakenduse ülesanne
Koguge kokku vähemalt 15 dokumenti (koos viidetega). Ekstraktige isik ja asetage üksused malliga „NER”. Seejärel rühmitage erinevad kirjapildid "olemi normaliseerimisega" ja kontrollige rühmi ise. Lõpuks käivitage "kuupäevaga ajaskaala" mall ja vaadake, kui palju sündmusi jääb "kuupäevata". Võrrelge, kui palju väljamõeldud linke või kronoloogiaid tehisintellekt halva viipaga toodaks.
kontrollnimekiri
- [ ] Olen oma mustriküsimuse selgelt määratlenud.
- [ ] Mul on iga olem lingitud dokumendi viitega.
- [ ] Normaliseerisin olemi sisestamise ja ühendasin selle inimeste heakskiiduga.
- [ ] Küsisin arvudes puuduvaid andmeid ja eelarvamusi.
- [ ] Dateerimata sündmusi ma kronoloogiasse ei pannud, hoidsin need eraldi.