Pelnas:
- Galimybė išgauti šablonus iš didelių teksto rinkinių naudojant tokias technologijas kaip NER, santykių ištraukimas, laiko juosta ir tinklo analizė
- Gebėjimas matyti modelį kaip hipotezę, o ne įrodymą, susieti subjektus su šaltiniu ir normalizuoti juos su žmogaus sutikimu
- Gebėjimas suprasti, kaip skaičiai gali būti klaidinantys dėl trūkstamų duomenų ir atrankos šališkumo, ir išvengti sugalvotų ryšių ir chronologijų.
Istoriniai tyrimai nėra vien atskirų dokumentų skaitymas; dažnai ieško raštų dideliuose dokumentų rinkiniuose. Kokiuose kontekstuose bėgant metams atsiranda konkretus vardas? Kurie žmonės yra susiję su gyvenviete? Kaip tema keičiasi laikui bėgant? Kas su kuo susirašinėja? Tokie klausimai reikalauja žiūrėti ne į vieną dokumentą, o į šimtus dokumentų kartu. Tai dažnai vadinama skaitmeniniais humanitariniais mokslais – skaičiavimo metodų taikymu tokiose srityse kaip istorija ir literatūra.
AI yra galingas išgaunant struktūrizuotą informaciją iš didelių teksto rinkinių. Šiame skyriuje išmoksite NER (pavadinto subjekto atpažinimo), modelių ir santykių ištraukimo, temų modeliavimo logikos ir laiko juostos kūrimo; bet mes taip pat aptarsime pavojingiausią šių metodų spąstą – dirbtinį intelektą, kuris prisistato kaip „radęs“ modelį, kurio nėra.
Pagrindinės technikos
- NER (pavadinto objekto atpažinimas): automatinis subjektų, tokių kaip asmuo, vieta, institucija, data, ištraukimas iš teksto. Per kelias minutes sukuriamas sąrašas, pvz., „Visi vietovardžiai, paminėti šiuose 500 dokumentų“.
- Santykių išvada: ryšių tarp esybių žymėjimas („asmuo X vietoje Y“, „A atitinka B“).
- Temų modeliavimas: statistinis pasikartojančių temų grupių radimas dideliame teksto rinkinyje. Tai parodo, kurios temos kuriame laikotarpyje yra sutelktos.
- Laiko juostos išvada: datuotų įvykių išdėstymas dokumentuose chronologine tvarka.
- Tinklo analizė: tarpasmeninių/institucinių santykių kaip tinklo vizualizavimas (kas centras, kas ryšio taškas).
Visų šių bendras tikslas – atskleisti struktūras, kurios neatsiranda viename dokumente, bet atsiranda visame kolekcijoje. Šie metodai sukuria matomus modelius, kurie niekada nebūtų matomi vien skaitant. Bet kiekvienas iš jų yra „ženklas“, o ne „įrodymas“; Būtina patikrinti, kas rasta pirminiame dokumente.
Šioje srityje dažnai vartojama sąvoka yra skirtumas tarp artimo skaitymo (teksto skaitymas nuodugniai, eilutę po eilutės) ir nuotolinio skaitymo (šimtų/tūkstančių tekstų žiūrėjimas bendrai, statistiškai). AI suteikia galimybę skaityti nuotoliniu būdu: matote modelius korpuse, pakankamai dideliame, kad išliktų visą žmogaus gyvenimą. Tačiau kai tolimasis skaitymas rodo modelį, reikia grįžti prie artimo skaitymo, tai yra prie originalaus dokumento, kad jį įprastume. Abu metodai nepakeičiami; Vienas rodo modelį, kitas suteikia jo prasmę. Labiausiai patikimuose tyrimuose abu naudojami kartu.
Patarimas: naudokite modelio analizę kaip hipotezės generatorių: „AI čia aptiko modelį, ar tai tikra? Tada po vieną patikrinkite tą modelį dokumentuose. Modelis yra jūsų tyrimo pradžios taškas, o ne rezultatas.
Darbo eiga: žingsnis po žingsnio
1. Paaiškinkite klausimą. „Kokie žmonės dažniausiai pasirodo kartu šioje kolekcijoje? Aiškus modelio klausimas kaip.
2. Paruoškite ir pažymėkite duomenis. Tvarkykite tekstą su šaltinio nuorodomis, kad visus rastus išteklius būtų galima susieti su dokumentu.
3. Rodomas objektas / šablonas. Sukurkite NER, santykių arba laiko juostos kontūrus naudodami AI.
4. Normalizuokite. Sujunkite skirtingas to paties asmens / vietos rašybą („Stambulas / Stambulas / Kostantiniyye“ ta pati vieta?). Šis žingsnis yra labai svarbus; Jei jis bus praleistas, modelis subyrės.
5. Patvirtinkite dokumente. Patikrinkite faktinius dokumentus, ar nėra reikšmingų pažymėtų raštų. Įsitikinkite, kad AI neprideda sugalvotos nuorodos.
6. Komentuoti. Tai, ką šis modelis reiškia, yra istoriko sprendimas; AI tik pažymi modelį.
Skaičių ir statistikos spąstai
Modelių analizė dažnai pateikia skaičius: „vardas X pasitaiko 47 kartus“, „ši tema yra 30% dokumentų“. Šie skaičiai atrodo objektyvūs, tačiau gali būti klaidinantys:
- Trūksta duomenų: jei kolekcija jau nepilna (pamesti dokumentai, niekada nebuvo įrašyta grupė), skaičius atspindi išlikusius dokumentus, o ne tikrovę.
- Normalizavimo klaida: jei tas pats asmuo rašomas skirtingai ir skaičiuojamas atskirai, skaičius bus neteisingas.
- Konteksto praradimas: „pasireiškia 47 kartus“ nieko nesako; Svarbu, kaip jis perduodamas (teigiamas / neigiamas, dalykas / objektas).
modelio išvestis
matoma prasmė
reali rizika
„X pasitaiko 47 kartus“
svarbus asmuo
Nepilnas rinkinys, rašybos variacija
"Tema 30%"
dominuojanti tema
atrankos šališkumas
"A-B dažnai kartu"
intymūs santykiai
Sutapimas, trūksta konteksto
"laiko juosta"
tiksli chronologija
Dokumentai be datos, sufabrikuotas užsakymas
trys mini dėklai
1 atvejis – tinklo analizė atskleidė paslėptą tarpininką. Tyrėjas ištyrė 800 laiškų susirašinėjimo kolekciją. Su AI, kas kam parašė, buvo nuspręsta ir buvo sukurtas tinklas. Tinklas parodė, kad iš pirmo žvilgsnio nereikšmingas asmuo iš tikrųjų buvo pagrindinis dviejų grupių sąlyčio taškas. Tyrėjas sutelkė dėmesį į šio asmens laiškus ir pasiekė naują radinį. Bet pirmiausia patikrino visas nuorodas dokumentuose.
2 atvejis – normalizavimo klaida sugadino numerį. Studentas liepė jiems suskaičiuoti, kiek kartų dokumentuose buvo nurodyta vieta. Kadangi dirbtinis intelektas atskirai suskaičiavo tris skirtingas tos pačios vietos rašybą, skaičius pasirodė esąs trečdalis tikrojo skaičiaus. Sujungus rašybą, vieta iš tikrųjų buvo trečioje dažniausiai pasitaikančioje pozicijoje. Pamoka: be normalizavimo numeriu negalima pasitikėti.
3 atvejis. Sudaryta laiko juosta. Tyrėjas sukūrė laiko juostą iš dokumentų be datos. AI sutvarkė nežinomus įvykius „logiška“ tvarka ir pateikė tikslią chronologiją. Tačiau šios sekos dokumentuose nebuvo, AI ją sugalvojo. Pamoka: laiko juosta konstruojama tik iš įvykių, kurių dokumente yra data; likusi dalis lieka „nebegaliojanti“.
Keturi kopijuojami šablonai
1) NER (subjekto išvada):
Žemiau esančiuose dokumentuose minimi asmenys, vietos, įstaigos ir datos yra ATSKIRTI sąrašai. Nurodykite, kuriame dokumente (nuorodoje) paminėtas kiekvienas subjektas. Imk tik tai, kas AIŠKIAI pasakyta tekste; pridėti pagal spėjimą. Pažymėkite [?], jei nesate tikri dėl tarimo. Dokumentai: [čia]
2) Objekto normalizavimas:
Toliau esančiame objektų sąraše sugrupuokite skirtingas rašybą, kuri gali būti tas pats asmuo / vieta (pvz., „Stambulas / Kostantiniyye“). Pasiūlykite galimą bendrą formatą kiekvienai grupei, BET neprimeskite tikslaus derinio; Pridėkite pastabą "galbūt tas pats, tegul žmonės patvirtina". Palikite tai ramybėje, jei nesate tikri. Sąrašas: [čia]
3) Santykių / tinklo kontūrai:
Iš toliau pateikto susirašinėjimo / dokumentų rinkinio ištraukite nuorodas „kas yra susijęs su kuo“. Prie kiekvienos nuorodos nurodykite, kuriuo dokumentu (nuoroda) ji pagrįsta. Sukūrė santykius, kurie nėra AIŠKIAI nurodyti dokumente. Pažymėkite dviprasmiškas nuorodas [neaiškios]. Dokumentacija: [čia]
4) Datos laiko juosta:
Chronologine tvarka išvardykite tik AIŠKIAI nurodytus įvykius šiuose dokumentuose; Susiekite kiekvieną įvykį su jo šaltiniu. Įvykius su neaiškiomis datomis išvardykite atskirai po antrašte „data“, NEREIKIA jų eilės. NENAUDOKITE numatomos datos. Dokumentacija: [čia]
Silpnas raginimas / Stiprus raginimas
Silpnas:
Išanalizuokite šiuos dokumentus ir ištraukite svarbius modelius, ryšius ir laiko juostas.
„Išskirkite svarbius modelius“ skatina dirbtinį intelektą išrasti neegzistuojančius ryšius ir tikslią chronologiją, pateikiant skaičius be normalizavimo.
Stiprus:
Iš toliau nurodytų dokumentų ištraukia asmens/vietos/įstaigos subjektus, kiekvieną prijungiant prie dokumento nuorodos. Pažymėkite skirtingas rašybą, kuri gali būti tokia pati kaip „gali būti sujungta“, bet nesujunkite. Neaiškiai dokumente nurodyti ryšiai ir įvykiai su neaiškiomis datomis NESUKLASTOJAMA; tuos be datų laikykite atskirai. Dokumentacija: [čia]
Skirtumas: priskyrimas šaltiniui, normalizavimo palikimas žmonėms, fiktyvių ryšių / istorijos draudimas ir nedatuotų įvykių atskyrimas daro modelį pateisinamą.
Dažnos klaidos
- Klaidingas įrodymų modelis. Modelis yra hipotezė; yra patvirtinta dokumente.
- Normalizavimo praleidimas. Skirtingos to paties objekto rašybos iškraipo numerį ir tinklą.
- Aklas pasitikėjimas skaičiais. Dėl nepilno surinkimo ir atrankos paklaidos skaičius klaidinantis.
- Sugalvota laiko juosta. Nedatuoti įvykiai neįtraukiami į chronologiją.
- Konteksto ignoravimas. Svarbu ne „kiek kartų buvo pravesta“, o „kaip praėjo“.
Apibendrinant
Turinio analizė ir modelių atradimas yra galingas laukas, kuriame dirbtinis intelektas sukuria matomas struktūras, kurios nebūtų matomos vien skaitant: objektų ištraukimas, santykių tinklai, temų grupės, laiko juostos. Bet kiekvienas modelis yra hipotezė, o ne įrodymas. Susiekite išteklius su šaltiniu, normalizuokite atidžiai ir atlikdami žmogaus patvirtinimą, ieškokite trūkstamų duomenų ir šališkumo, venkite sugalvotų ryšių ir chronologijų. AI žymi modelį; Ką tai reiškia ir ar tai tiesa – istoriko sprendimas.
Taikymo užduotis
Surinkite ne mažiau kaip 15 dokumentų (su nuorodomis). Išskleiskite asmenį ir įdėkite objektus naudodami „NER“ šabloną. Tada sugrupuokite skirtingas rašybą naudodami „esybės normalizavimą“ ir patys patikrinkite grupes. Galiausiai paleiskite „datos laiko juostos“ šabloną ir pažiūrėkite, kiek įvykių liko „nedatuota“. Palyginkite, kiek sugalvotų nuorodų ar chronologijų AI sukurtų su prastu raginimu.
kontrolinis sąrašas
- [ ] Aš aiškiai apibrėžiau savo modelio klausimą.
- [ ] Turiu kiekvieną objektą susietą su dokumento nuoroda.
- [ ] Normalizavau objekto įvedimą ir derinau jį su žmogaus patvirtinimu.
- [ ] Aš suabejojau skaičiais dėl trūkstamų duomenų ir šališkumo.
- [ ] Nedatuotų įvykių į chronologiją nesudėliojau, saugojau atskirai.