Gevinster:
- Evne til å trekke ut mønstre fra store sett med tekst ved hjelp av teknikker som NER, relasjonsekstraksjon, tidslinje og nettverksanalyse
- Å kunne se mønsteret som en hypotese snarere enn bevis, knytte enheter til kilden og normalisere dem med menneskelig godkjenning
- Evne til å forstå hvordan tall kan være misvisende på grunn av manglende data og samplingskjevhet, og unngå konstruerte sammenhenger og kronologier.
Historisk forskning handler ikke bare om å lese enkeltdokumenter; leter ofte etter mønstre i store sett med dokumenter. I hvilke sammenhenger dukker et bestemt navn opp gjennom årene? Hvilke personer er knyttet til et oppgjør? Hvordan endrer et emne seg over tid? Hvem korresponderer med hvem? Slike spørsmål krever ikke å se på et enkelt dokument, men hundrevis av dokumenter samlet. Dette kalles ofte digital humaniora - bruken av beregningsmetoder på felt som historie og litteratur.
AI er kraftig til å trekke ut strukturert informasjon fra store sett med tekst. I denne enheten vil du lære NER (navngitt enhetsgjenkjenning), mønster- og relasjonsekstraksjon, emnemodelleringslogikk og tidslinjeoppretting; men vi vil også diskutere den farligste fallgruven ved disse teknikkene - AI som presenterer seg selv som å ha "funnet" et mønster som ikke eksisterer.
Grunnleggende teknikker
- NER (Named Entity Recognition): Automatisk uttrekk av enheter som person, sted, institusjon, dato fra teksten. Den produserer en liste som "Alle stedsnavn nevnt i disse 500 dokumentene" i løpet av minutter.
- Relasjonsslutning: Markering av bånd mellom enheter ("Person X på sted Y", "A korresponderer med B").
- Emnemodellering: Statistisk finne klynger av gjentagende emner i et stort sett med tekst. Den viser hvilke temaer som er konsentrert i hvilken periode.
- Tidslinjeslutning: Ordne daterte hendelser i dokumenter i kronologisk rekkefølge.
- Nettverksanalyse: Visualisere mellommenneskelige/institusjonelle relasjoner som et nettverk (hvem er sentrum, hvem er koblingspunktet).
Det felles målet for alle disse er å avsløre strukturer som ikke vises i et enkelt dokument, men som vises gjennom hele samlingen. Disse teknikkene gjør synlige mønstre som aldri ville vært synlige gjennom lesing alene. Men hver av dem er et "tegn", ikke et "bevis"; Det er viktig å verifisere hva som finnes i originaldokumentet.
Et ofte brukt begrep på dette feltet er skillet mellom nærlesing (lese en tekst i dybden, linje for linje) og fjernlesing (se på hundrevis/tusenvis av tekster samlet, statistisk). AI gjør det mulig å lese eksternt: du ser mønstre i et korpus som er stort nok til å vare et enkelt menneskeliv. Men når fjernlesing peker på et mønster, er det nødvendig å gå tilbake til nærlesing, det vil si til originaldokumentet, for å forstå det. De to metodene er ikke utskiftbare; Den ene viser mønsteret, den andre gir dens betydning. Den mest robuste forskningen bruker begge sammen.
Tips: Bruk mønsteranalyse som en hypotesegenerator: "AI har oppdaget et mønster her, er det ekte?" Sjekk deretter det mønsteret i dokumentene én etter én. Mønsteret er utgangspunktet for forskningen din, ikke resultatet.
Arbeidsflyt: trinn for trinn
1. Avklar spørsmålet. "Hvilke personer vises oftest sammen i denne samlingen?" Et tydelig mønsterspørsmål som.
2. Klargjør og merk dataene. Organiser tekst med kildereferanser slik at eventuelle eiendeler som finnes kan kobles tilbake til dokumentet.
3. Entiteten/mønsteret vises. Generer NER, relasjons- eller tidslinjeoversikt med AI.
4. Normaliser. Kombiner forskjellige stavemåter av samme person/sted ("Istanbul / Istanbul / Kostantiniyye" samme sted?). Dette trinnet er kritisk; Hvis det utelates, vil mønsteret falle fra hverandre.
5. Bekreft i dokumentet. Sjekk de faktiske dokumentene for eventuelle signifikante mønstre som er flagget. Sørg for at AI ikke legger til en sammensatt lenke.
6. Kommentar. Det mønsteret betyr er historikerens vurdering; AI markerer bare mønsteret.
Tall- og statistikkfelle
Mønsteranalyse produserer ofte tall: "navn X forekommer 47 ganger", "dette temaet er tilstede i 30 % av dokumentene". Disse tallene virker objektive, men kan være misvisende:
- Manglende data: Hvis innsamlingen allerede er ufullstendig (dokumenter har gått tapt, en gruppe har aldri blitt registrert), gjenspeiler antallet overlevende dokumenter, ikke virkeligheten.
- Normaliseringsfeil: Hvis samme person staves annerledes og telles separat, vil tallet være feil.
- Tap av kontekst: "oppstår 47 ganger" sier ingenting; Hvordan det er bestått (positivt/negativt, emne/objekt) er viktig.
mønsterutgang
tilsynelatende mening
reell risiko
"X forekommer 47 ganger"
viktig person
Ufullstendig samling, stavevariasjon
"Tema 30 %"
dominerende tema
prøvetakingsskjevhet
"A-B ofte sammen"
intimt forhold
Tilfeldighet, manglende kontekst
"tidslinje"
eksakt kronologi
Udaterte dokumenter, fabrikkert ordre
tre minisaker
Sak 1 - Nettverksanalyse avslørte en skjult mellommann. En forsker undersøkte en korrespondansesamling på 800 brev. Med AI, hvem skrev til hvem ble bestemt og et nettverk ble opprettet. Nettverket viste at en tilsynelatende ubetydelig person ved første øyekast faktisk var det viktigste kontaktpunktet mellom de to gruppene. Forskeren fokuserte på denne personens brev og kom til et nytt funn. Men først verifisert alle koblingene i dokumentene.
Tilfelle 2 — Normaliseringsfeil skadet nummeret. En student fikk dem til å telle antall ganger et sted dukket opp i dokumentene. Siden AI telte tre forskjellige stavemåter av samme sted separat, viste tallet seg å være en tredjedel av det reelle tallet. Når skrivemåtene ble kombinert, var stedet faktisk i den tredje hyppigst forekommende posisjonen. Leksjon: uten normalisering kan ikke nummeret stoles på.
Case 3 — Sammensatt tidslinje. En forsker laget en tidslinje fra udaterte dokumenter. AI arrangerte de ukjente hendelsene i en "logisk" rekkefølge og presenterte en presis kronologi. Denne sekvensen var imidlertid ikke i dokumentene, AI hadde laget den. Leksjon: tidslinjen er kun konstruert fra hendelser som har en dato i dokumentet; resten forblir "udatert".
Fire kopierbare maler
1) NER (entitetsslutning):
Personene, stedene, institusjonene og datoene nevnt i dokumentene nedenfor vises som SEPARATE lister. Angi i hvilket dokument (referanse) hver enhet er nevnt. Ta kun det som står TYDELIGT i teksten; legg til ved å gjette. Merk [?] hvis du ikke er sikker på uttalen. Dokumenter: [her]
2) Enhetsnormalisering:
I enhetslisten nedenfor, grupper forskjellige stavemåter som kan være samme person/sted (f.eks. "Istanbul / Kostantiniyye"). Foreslå mulig felles format for hver gruppe MEN ikke påtving den nøyaktige kombinasjonen; Legg til merknad "kanskje det samme, la folk bekrefte". La det være i fred hvis du ikke er sikker. Liste: [her]
3) Forhold/nettverksoversikt:
Trekk ut "hvem er relatert til hvem"-lenkene fra følgende sett med korrespondanse/dokumenter. For hver lenke, angi hvilket dokument (referanse) den er basert på. SAMLET opp et forhold som ikke er TYDELIGT i dokumentet. Merk tvetydige lenker [utydelige]. Dokumentasjon: [her]
4) Datert tidslinje:
List opp i kronologisk rekkefølge kun hendelsene som er KLART angitt i følgende dokumenter; Koble hver hendelse til kilden. List opp hendelsene med usikre datoer separat under overskriften «udatert», IKKE sett dem i rekkefølge. IKKE gjør opp den beregnede datoen. Dokumentasjon: [her]
Svak forespørsel / Sterk forespørsel
Svak:
Analyser disse dokumentene og trekk ut viktige mønstre, relasjoner og tidslinjer.
"Trekk ut viktige mønstre" presser AI til å finne opp ikke-eksisterende forbindelser og presise kronologier, og presenterer tall uten normalisering.
Sterk:
Trekker ut person/sted/institusjonsenhetene fra følgende dokumenter ved å koble hver til dokumentreferansen. Merk forskjellige stavemåter som kan være det samme som "kan slås sammen", men ikke slå sammen. Forhold som ikke er tydelig angitt i dokumentet og hendelser med usikre datoer FALKER IKKE; hold de uten datoer atskilt. Dokumentasjon: [her]
Forskjellen: tilskrivelse til kilde, overlate normalisering til mennesker, forbud mot fiktive bånd/historie, og separasjon av udaterte hendelser gjør mønsteret forsvarlig.
Vanlige feil
- Ta feil av mønsteret for bevis. Mønsteret er hypotesen; er bekreftet i dokumentet.
- Hopp over normalisering. Ulike stavemåter av samme enhet forvrenger tallet og nettverket.
- Blind tillit til tall. Ufullstendig innsamling og prøvetakingsskjevhet gjør tallet misvisende.
- Sammensatt tidslinje. Udaterte hendelser er ikke inkludert i kronologien.
- Ignorer kontekst. Det er ikke «hvor mange ganger den ble bestått», men «hvordan den ble bestått» som er viktig.
Oppsummert
Innholdsanalyse og mønsteroppdagelse er et kraftig felt der AI synliggjør strukturer som ikke ville vært synlige gjennom lesing alene: enhetsutvinning, relasjonsnettverk, emneklynger, tidslinjer. Men hvert mønster er en hypotese, ikke bevis. Koble eiendeler til kilden, normaliser nøye og med menneskelig validering, spør tall for manglende data og skjevheter, unngå konstruerte relasjoner og kronologier. AI markerer mønsteret; Hva det betyr og om det er sant er historikerens vurdering.
Søknadsoppgave
Samle minst 15 stykker dokumentasjon (med referanser). Trekk ut person- og stedsentiteter med "NER"-malen. Grupper deretter de forskjellige stavemåtene med "entitetsnormalisering" og verifiser gruppene selv. Til slutt, kjør malen "datert tidslinje" og se hvor mange hendelser som forblir "udatert." Sammenlign hvor mange sammendiktede lenker eller kronologier AI vil produsere med dårlige spørsmål.
sjekkliste
- [ ] Jeg har klart definert mønsterspørsmålet mitt.
- [ ] Jeg har hver enhet knyttet til dokumentreferansen.
- [ ] Jeg normaliserte enhetsskriving og kombinerte det med menneskelig godkjenning.
- [ ] Jeg stilte spørsmål ved tallene for manglende data og skjevhet.
- [ ] Jeg satte ikke de udaterte hendelsene i kronologi, jeg holdt dem separat.