Voitot:
- Kyky poimia kuvioita suurista tekstijoukoista käyttämällä tekniikoita, kuten NER, suhteiden purkaminen, aikajana ja verkkoanalyysi
- Kyky nähdä malli hypoteesina eikä todisteena, linkittää entiteetit lähteeseen ja normalisoida ne ihmisen hyväksynnällä
- Kyky ymmärtää, kuinka luvut voivat olla harhaanjohtavia puuttuvien tietojen ja otannan harhaan johtuen, ja välttää keinotekoisia suhteita ja kronologioita.
Historian tutkimus ei ole vain yksittäisten asiakirjojen lukemista; etsivät usein kuvioita suurista asiakirjoista. Missä yhteyksissä tietty nimi esiintyy vuosien varrella? Ketkä ihmiset liittyvät siirtokuntaan? Miten aihe muuttuu ajan myötä? Kuka vastaa kenen kanssa? Tällaiset kysymykset eivät vaadi yksittäisen asiakirjan tarkastelua, vaan satoja asiakirjoja yhdessä. Tätä kutsutaan usein digitaaliseksi humanistiseksi tieteeksi – laskennallisten menetelmien soveltamiseksi sellaisilla aloilla kuin historia ja kirjallisuus.
AI on tehokas poimimaan jäsenneltyä tietoa suurista tekstijoukoista. Tässä osiossa opit NER:n (nimetyn entiteettien tunnistamisen), kuvioiden ja suhteiden purkamisen, aiheen mallinnuslogiikan ja aikajanan luomisen; mutta keskustelemme myös näiden tekniikoiden vaarallisimmasta sudenkuopasta – tekoälystä, joka esittää itsensä "löydyttäneensä" kuvion, jota ei ole olemassa.
Perustekniikat
- NER (Nimetön kokonaisuuden tunnistus): Automaattinen kokonaisuuden, kuten henkilön, paikan, laitoksen ja päivämäärän, poimiminen tekstistä. Se tuottaa minuuteissa luettelon, kuten "Kaikki näissä 500 asiakirjassa mainitut paikannimet".
- Suhdepäätelmä: Siteiden merkitseminen entiteettien välillä ("Henkilö X paikassa Y", "A vastaa B:tä").
- Aihemallinnus: Toistuvien aiheiden ryhmien tilastollinen löytäminen suuresta tekstijoukosta. Se näyttää, mitkä teemat ovat keskittyneet mihinkin ajanjaksoon.
- Aikajanan päättely: päivättyjen tapahtumien järjestäminen asiakirjoissa kronologiseen järjestykseen.
- Verkostoanalyysi: Ihmisten/instituutioiden välisten suhteiden visualisointi verkostona (kuka on keskus, kuka yhteyspiste).
Näiden kaikkien yhteinen tavoite on paljastaa rakenteita, jotka eivät näy yhdessä dokumentissa, vaan näkyvät koko kokoelmassa. Nämä tekniikat tekevät näkyvistä kuvioita, joita ei koskaan näkyisi pelkän lukemisen kautta. Mutta jokainen niistä on "merkki", ei "todiste"; On välttämätöntä tarkistaa, mitä alkuperäisestä asiakirjasta löytyy.
Tällä alalla usein käytetty käsite on ero lähilukemisen (tekstin syvällinen lukeminen rivi riviltä) ja etälukemisen (satojen/tuhansien tekstien kollektiivinen tarkastelu tilastollisesti) välillä. Tekoäly mahdollistaa etälukemisen: näet kuvioita rungossa, joka on riittävän suuri kestämään yhden ihmisen eliniän. Mutta kun etäluku osoittaa kuvioon, on välttämätöntä palata läheiseen lukemiseen, eli alkuperäiseen asiakirjaan, jotta se ymmärretään. Nämä kaksi menetelmää eivät ole keskenään vaihdettavissa; Toinen näyttää kuvion, toinen antaa sen merkityksen. Vahvin tutkimus käyttää molempia yhdessä.
Vinkki: Käytä kuvioanalyysiä hypoteesigeneraattorina: "Tekoäly on havainnut kuvion täällä, onko se totta?" Tarkista sitten tämä kuvio asiakirjoista yksitellen. Malli on tutkimuksesi lähtökohta, ei tulos.
Työnkulku: askel askeleelta
1. Selvennä kysymystä. "Ketkä ihmiset esiintyvät yhdessä useimmin tässä kokoelmassa?" Selkeä kaavakysymys kuten.
2. Valmistele ja merkitse tiedot. Järjestä teksti lähdeviittauksilla niin, että löydetyt resurssit voidaan linkittää takaisin dokumenttiin.
3. Entiteetti/kuvio tulee näkyviin. Luo NER, suhde tai aikajanan ääriviivat tekoälyn avulla.
4. Normalisoi. Yhdistä saman henkilön/paikan eri kirjoitusasuja ("Istanbul / Istanbul / Kostantiniyye" sama paikka?). Tämä vaihe on kriittinen; Jos se jätetään pois, kuvio hajoaa.
5. Vahvista asiakirjassa. Tarkista todellisista asiakirjoista merkittäviä merkittyjä kuvioita. Varmista, että tekoäly ei lisää keksittyä linkkiä.
6. Kommentoi. Malli tarkoittaa historioitsijan arviota; AI vain merkitsee kuviota.
Numero- ja tilastoloukku
Kuvioanalyysi tuottaa usein lukuja: "nimi X esiintyy 47 kertaa", "tämä teema on läsnä 30 %:ssa asiakirjoista". Nämä luvut vaikuttavat objektiivisilta, mutta voivat olla harhaanjohtavia:
- Puuttuvat tiedot: Jos kokoelma on jo epätäydellinen (asiakirjoja on kadonnut, ryhmää ei ole koskaan tallennettu), numero kuvastaa säilyneitä asiakirjoja, ei todellisuutta.
- Normalisointivirhe: Jos sama henkilö kirjoitetaan eri tavalla ja lasketaan erikseen, numero on virheellinen.
- Kontekstin menetys: "tapahtuu 47 kertaa" ei kerro mitään; Se miten se välitetään (positiivinen/negatiivinen, aihe/objekti) on tärkeää.
kuvion lähtö
näennäinen merkitys
todellinen riski
"X esiintyy 47 kertaa"
tärkeä henkilö
Epätäydellinen kokoelma, oikeinkirjoituksen vaihtelu
"Teema 30%"
hallitseva aihe
näytteenoton harha
"A-B usein yhdessä"
intiimi suhde
Sattuma, puuttuva konteksti
"aikajana"
tarkka kronologia
Päiväämättömät asiakirjat, tekotilaus
kolme minilaukkua
Tapaus 1 – Verkkoanalyysi paljasti piilotetun välittäjän. Tutkija tutki 800 kirjeen kirjekokoelmaa. Tekoälyn kanssa päätettiin, kuka kirjoitti kenelle ja verkosto luotiin. Verkosto osoitti, että ensi silmäyksellä merkityksettömältä näyttävä henkilö oli itse asiassa avainkohta näiden kahden ryhmän välillä. Tutkija keskittyi tämän henkilön kirjeisiin ja saavutti uuden löydön. Mutta ensin tarkistettiin kaikki linkit asiakirjoissa.
Tapaus 2 — Normalisointivirhe vioitti numeron. Opiskelija pyysi heitä laskemaan, kuinka monta kertaa jokin paikka esiintyi asiakirjoissa. Koska tekoäly laski kolme eri kirjoitusasua samasta paikasta erikseen, luku osoittautui kolmannekseksi todellisesta numerosta. Kun oikeinkirjoitukset yhdistettiin, paikka oli itse asiassa kolmannella yleisimmin esiintyvällä paikalla. Oppitunti: ilman normalisointia numeroon ei voi luottaa.
Tapaus 3 – Muokattu aikajana. Tutkija loi aikajanan päivättämättömistä asiakirjoista. Tekoäly järjesti tuntemattomat tapahtumat "loogiseen" järjestykseen ja esitti tarkan kronologian. Tämä sekvenssi ei kuitenkaan ollut asiakirjoissa, tekoäly oli keksinyt sen. Oppitunti: aikajana on rakennettu vain tapahtumista, joilla on päivämäärä dokumentissa; loput jää "päivättömäksi".
Neljä kopioitavaa mallia
1) NER (entiteettipäätelmä):
Alla olevissa asiakirjoissa mainitut henkilöt, paikat, laitokset ja päivämäärät näkyvät ERILLISIÄ luetteloina. Ilmoita missä asiakirjassa (viite) kukin entiteetti mainitaan. Ota vain se, mikä on selkeästi sanottu tekstissä; lisää arvauksella. Merkitse [?], jos et ole varma ääntämisestä. Asiakirjat: [täällä]
2) Entiteetin normalisointi:
Ryhmittele alla olevaan entiteettiluetteloon eri kirjoitusasuja, jotka voivat olla sama henkilö/paikka (esim. "Istanbul / Kostantiniyye"). Ehdota mahdollista yhteistä muotoa jokaiselle ryhmälle, MUTTA älä vaadi tarkkaa yhdistelmää; Lisää huomautus "ehkä sama, anna ihmisten vahvistaa". Jätä se rauhaan, jos et ole varma. Lista: [täällä]
3) Suhteen/verkoston pääpiirteet:
Pura "kuka on sukua kenelle" -linkit seuraavista kirjeenvaihdosta/asiakirjoista. Ilmoita jokaisen linkin kohdalla, mihin asiakirjaan (viitteeseen) se perustuu. LOPETTI suhteen, joka ei ole selkeästi asiakirjassa. Merkitse epäselvät linkit [epäselväksi]. Dokumentaatio: [täällä]
4) Päivätty aikajana:
Listaa kronologisessa järjestyksessä vain seuraavissa asiakirjoissa selkeesti ilmaistut tapahtumat; Linkitä jokainen tapahtuma sen lähteeseen. Listaa tapahtumat, joilla on epävarma päivämäärä, erikseen otsikon "päivätty" alle, ÄLÄ laita niitä järjestykseen. ÄLÄ päätä arvioitua päivämäärää. Dokumentaatio: [täällä]
Heikko kehote / Vahva kehote
Heikko:
Analysoi nämä asiakirjat ja poimi tärkeitä malleja, suhteita ja aikajanat.
Tärkeiden kuvioiden purkaminen pakottaa tekoälyn keksimään olemattomia yhteyksiä ja tarkkoja kronologioita esittäen numeroita ilman normalisointia.
Vahva:
Poimii henkilön/paikan/laitoksen entiteetit seuraavista asiakirjoista yhdistämällä kunkin asiakirjaviitteeseen. Merkitse eri kirjoitusasuja, jotka voivat olla samat kuin "voidaan yhdistää", mutta älä yhdistä. Suhteet, joita ei ole selkeästi mainittu asiakirjassa, ja tapahtumat, joiden päivämäärät ovat epävarmoja, ÄLÄ VÄÄNNE; pidä ne ilman päivämääriä erillään. Dokumentaatio: [täällä]
Ero: lähteen antaminen, normalisoinnin jättäminen ihmisille, kuvitteellisten siteiden/historian kielto ja päivättymättömien tapahtumien erottaminen tekevät mallista puolustettavan.
Yleisiä virheitä
- Väärennetään mallia todisteeksi. Malli on hypoteesi; on vahvistettu asiakirjassa.
- Normalisoinnin ohittaminen. Saman entiteetin eri kirjoitusasut vääristävät numeroa ja verkkoa.
- Sokea luottamus numeroihin. Epätäydellinen keräys ja otantaharha tekevät numerosta harhaanjohtavan.
- Tehty aikajana. Päivättymättömät tapahtumat eivät sisälly kronologiaan.
- Kontekstin huomioiminen. Tärkeää ei ole "kuinka monta kertaa se läpäistiin", vaan "kuinka se läpäistiin".
Yhteenvetona
Sisältöanalyysi ja kuvioiden löytäminen on voimakas kenttä, jossa tekoäly tekee näkyviä rakenteita, jotka eivät näkyisi pelkän lukemisen kautta: kokonaisuuden poimiminen, suhdeverkostot, aiheklusterit, aikajanat. Mutta jokainen malli on hypoteesi, ei todiste. Linkitä resurssit lähteeseen, normalisoi huolellisesti ja ihmisen validoinnilla, etsi numerot puuttuvien tietojen ja harhaan liittyvien tietojen varalta, vältä keinotekoisia suhteita ja kronologioita. AI merkitsee kuvion; Mitä se tarkoittaa ja onko se totta, on historioitsijan arvio.
Sovellustehtävä
Kerää vähintään 15 dokumenttia (viitteineen). Pura henkilö ja aseta entiteetit "NER"-mallin avulla. Ryhmittele sitten eri oikeinkirjoitukset "kokonaisuuksien normalisoinnilla" ja tarkista ryhmät itse. Suorita lopuksi "päivätty aikajana" -malli ja katso, kuinka monta tapahtumaa on "päivättynä". Vertaa kuinka monta keksittyä linkkiä tai kronologiaa tekoäly tuottaisi huonolla kehotuksella.
tarkistuslista
- [ ] Olen määritellyt mallikysymykseni selkeästi.
- [ ] Minulla on jokainen kokonaisuus linkitettynä asiakirjaviitteeseen.
- [ ] Normalisoin entiteettien kirjoittamisen ja yhdistin sen ihmisen hyväksynnällä.
- [ ] Kyseenalaistin numerot puuttuvien tietojen ja harhan vuoksi.
- [ ] En laittanut päivättymättömiä tapahtumia kronologiaan, vaan pidin ne erikseen.