Hagnaður:
- Geta til að draga mynstur úr stórum textasettum með því að nota tækni eins og NER, tengslaútdrátt, tímalínu og netgreiningu
- Að geta séð mynstrið sem tilgátu frekar en sönnunargögn, tengja einingar við upprunann og staðla þær með mannlegu samþykki
- Hæfni til að skilja hvernig tölur geta verið villandi vegna skorts á gögnum og sýnatökuhlutdrægni og til að forðast tilgerðarleg tengsl og tímaröð.
Sögulegar rannsóknir snúast ekki bara um að lesa einstök skjöl; oft að leita að mynstrum í stórum skjölum. Í hvaða samhengi birtist tiltekið nafn í gegnum árin? Hvaða fólk tengist byggð? Hvernig breytist efni með tímanum? Hver er í samskiptum við hvern? Slíkar spurningar krefjast þess að skoða ekki eitt skjal, heldur hundruð skjala saman. Þetta er oft kallað stafræn hugvísindi - beiting reikniaðferða á sviðum eins og sögu og bókmenntum.
AI er öflugt við að draga út skipulagðar upplýsingar úr stórum textasettum. Í þessari einingu muntu læra NER (nefnd einingarviðurkenning), mynstur- og tengslaútdrátt, efnislíkanafræði og tímalínusköpun; en við munum líka ræða hættulegustu gryfjuna af þessum aðferðum - gervigreindin sýnir sig sem að hafa "fundið" mynstur sem er ekki til.
Grunntækni
- NER (Named Entity Recognition): Sjálfvirk útdráttur eininga eins og persónu, stað, stofnunar, dagsetningu úr textanum. Það framleiðir lista eins og "Öll örnefni nefnd í þessum 500 skjölum" á mínútum.
- Ályktun um tengsl: Merkir tengsl milli eininga ("Persónu X á stað Y", "A samsvarar B").
- Efnislíkan: Að finna tölfræðilega klasa endurtekinna efnisþátta í stórum texta. Það sýnir hvaða þemu eru einbeitt á hvaða tímabili.
- Tímalínuályktun: Að raða dagsettum atburðum í skjölum í tímaröð.
- Netgreining: Að sjá fyrir samböndum milli einstaklinga/stofnana sem tengslanet (hver er miðpunkturinn, hver er tengipunkturinn).
Sameiginlegt markmið allra þessara er að afhjúpa mannvirki sem ekki koma fyrir í einu skjali en birtast í öllu safninu. Þessar aðferðir búa til sýnilegt mynstur sem myndi aldrei vera sýnilegt með lestri einum saman. En hvert þeirra er „merki“, ekki „sönnun“; Nauðsynlegt er að sannreyna það sem er að finna í upprunalegu skjalinu.
Oft notað hugtak á þessu sviði er greinarmunurinn á nærlestri (lestur texta í dýpt, línu fyrir línu) og fjarlestur (að skoða hundruð/þúsundir texta saman, tölfræðilega). Gervigreind gerir það mögulegt að lesa fjarstýrt: þú sérð mynstur í safni sem er nógu stórt til að endast eina mannsævi. En þegar fjarlestur bendir á mynstur er nauðsynlegt að fara aftur í lokalestur, það er að segja upprunalega skjalið, til að skilja það. Aðferðirnar tvær eru ekki skiptanlegar; Annar sýnir mynstrið, hitt gefur merkingu þess. Öflugustu rannsóknirnar nota bæði saman.
Ábending: Notaðu mynsturgreiningu sem tilgátuframleiðanda: „Gigreindin hefur komið auga á mynstur hér, er það raunverulegt? Athugaðu síðan það mynstur í skjölunum eitt af öðru. Mynstrið er upphafspunktur rannsóknarinnar þinnar, ekki niðurstaðan.
Verkflæði: skref fyrir skref
1. Skýrðu spurninguna. "Hvaða fólk kemur oftast saman í þessu safni?" Skýr mynsturspurning eins og.
2. Undirbúðu og merktu gögnin. Skipuleggðu texta með heimildatilvísunum þannig að hægt sé að tengja allar eignir sem finnast aftur við skjalið.
3. Einingin/mynstrið birtist. Búðu til NER, samband eða tímalínu með gervigreind.
4. Samræma. Sameina mismunandi stafsetningu sama einstaklings/staðs („Istanbúl / Istanbul / Kostantiniyye“ sama stað?). Þetta skref er mikilvægt; Ef því er sleppt mun mynstrið falla í sundur.
5. Staðfestu í skjali. Athugaðu raunveruleg skjöl fyrir mikilvæg mynstur sem eru merkt. Gakktu úr skugga um að gervigreindin bæti ekki tilbúnum hlekk.
6. Athugasemd. Það sem mynstrið þýðir er dómgreind sagnfræðingsins; AI markar bara mynstrið.
Talna- og tölfræðigildra
Mynsturgreining gefur oft tölur: „nafn X kemur 47 sinnum fyrir“, „þetta þema er til staðar í 30% skjala“. Þessar tölur virðast hlutlægar en geta verið villandi:
- Gögn sem vantar: Ef söfnunin er þegar ófullnægjandi (skjöl hafa týnst, hópur hefur aldrei verið skráður), endurspeglar númerið eftirlifandi skjöl, ekki raunveruleikann.
- Stöðlunarvilla: Ef sami einstaklingur er stafsettur á annan hátt og talinn sérstaklega verður talan röng.
- Samhengisleysi: "kemur 47 sinnum fyrir" segir ekki neitt; Hvernig það er staðist (jákvætt/neikvætt, viðfangsefni/hlutur) skiptir máli.
mynstur framleiðsla
augljós merking
raunveruleg áhætta
"X kemur 47 sinnum"
mikilvæg manneskja
Ófullkomið safn, stafsetningarafbrigði
"Þema 30%"
ráðandi umræðuefni
sýnatökuhlutdrægni
"A-B oft saman"
náið samband
Tilviljun, vantar samhengi
"tímalína"
nákvæm tímaröð
Ódagsett skjöl, uppspuni röð
þrjú smámál
Tilvik 1 - Netgreining leiddi í ljós falinn millilið. Rannsakandi skoðaði bréfasafn með 800 bréfum. Með gervigreind, hver skrifaði hverjum var ákveðinn og net var búið til. Netið sýndi að við fyrstu sýn virtist ómerkilegur einstaklingur í raun og veru lykiltengiliður milli hópanna tveggja. Rannsakandi einbeitti sér að bréfum þessa einstaklings og komst að nýrri niðurstöðu. En fyrst staðfestu alla tenglana í skjölunum.
Tilvik 2 - Venjuleg villa skemmdi númerið. Nemandi lét þá telja hversu oft staður birtist í skjölunum. Þar sem gervigreindin taldi þrjár mismunandi stafsetningar á sama stað sérstaklega, reyndist talan vera þriðjungur af rauntölunni. Þegar stafsetningarnar voru sameinaðar var staðurinn í raun í þriðja algengasta stöðunni. Lexía: án staðsetningar er ekki hægt að treysta númerinu.
Mál 3 — Tilbúin tímalína. Rannsakandi bjó til tímalínu úr ódagsettum skjölum. AI raðaði óþekktu atburðunum í "rökrétta" röð og setti fram nákvæma tímaröð. Hins vegar var þessi röð ekki í skjölunum, gervigreind hafði búið hana til. Lexía: tímalínan er eingöngu byggð upp úr atburðum sem hafa dagsetningu í skjalinu; restin er áfram "ódagsett".
Fjögur afritanleg sniðmát
1) NER (ályktun eininga):
Þeir einstaklingar, staðir, stofnanir og dagsetningar sem getið er um í skjölunum hér að neðan birtast sem SÉRSTAKIR listar. Tilgreinið í hvaða skjali (tilvísun) hver eining er nefnd. Taktu aðeins það sem kemur skýrt fram í textanum; bæta við með ágiskun. Merktu við [?] ef þú ert ekki viss um framburðinn. Skjöl: [hér]
2) Stöðlun eininga:
Í einingalistanum hér að neðan skaltu flokka mismunandi stafsetningar sem gætu verið sama einstaklingurinn/staðurinn (t.d. "Istanbul / Kostantiniyye"). Stingdu upp á mögulegu sameiginlegu sniði fyrir hvern hóp EN ekki setja nákvæma samsetningu; Bættu við athugasemdinni "kannski það sama, láttu fólk staðfesta". Láttu það í friði ef þú ert ekki viss. Listi: [hér]
3) Tengsl/netkerfi:
Dragðu út „hver er skyldur hverjum“ hlekkina úr eftirfarandi setti af bréfaskiptum/skjölum. Tilgreinið fyrir hvern hlekk á hvaða skjal (tilvísun) það er byggt. BJÓÐIÐ til samband sem er ekki KLÁRLEGT í skjalinu. Merktu við óljósa tengla [ógreinilega]. Skjöl: [hér]
4) Dagsett tímalína:
Skráðu í tímaröð aðeins þá atburði sem koma skýrt fram í eftirfarandi skjölum; Tengdu hvern viðburð við uppruna sinn. Skráðu atburði með óvissum dagsetningum sérstaklega undir fyrirsögninni „ódagsett“, EKKI setja þá í röð. EKKI gera upp áætlaða dagsetningu. Skjöl: [hér]
Veik kvaðning / Sterk kvaðning
Veik:
Greindu þessi skjöl og dragðu út mikilvæg mynstur, sambönd og tímalínur.
„Dregið út mikilvæg mynstur“ ýtir gervigreind til að finna upp tengingar sem ekki eru til og nákvæma tímaröð, sem sýnir tölur án staðsetningar.
Sterkur:
Tekur einstaklinginn/staðinn/stofnunina út úr eftirfarandi skjölum með því að tengja hvert við skjaltilvísunina. Merktu mismunandi stafsetningar sem gætu verið það sama og "má vera sameinuð", en ekki sameinast. Tengsl sem eru ekki skýrt tilgreind í skjalinu og atburðir með óvissum dagsetningum FALSA EKKI; halda þeim án dagsetninga aðskildum. Skjöl: [hér]
Munurinn: að eignast uppruna, eftirláta mönnum eðlilegt ástand, bann við uppdiktuðum tengslum/sögu og aðskilnaður ódagsettra atburða gera mynstrið forsvaranlegt.
Algeng mistök
- Að misskilja mynstrið fyrir sönnunargögnum. Mynstrið er tilgátan; er staðfest í skjalinu.
- Að sleppa eðlilegri þróun. Mismunandi stafsetningar sama aðila skekkir númerið og netið.
- Blint traust á tölum. Ófullkomin söfnun og hlutdrægni í sýnatöku gerir töluna villandi.
- Tilbúin tímalína. Ódagsettir atburðir eru ekki teknir með í tímaröð.
- Hunsa samhengi. Það er ekki „hversu oft það var samþykkt“ heldur „hvernig það var samþykkt“ sem skiptir máli.
Í stuttu máli
Innihaldsgreining og mynsturuppgötvun er öflugt svið þar sem gervigreind gerir sýnileg strúktúr sem væri ekki sýnileg með lestri einum saman: útdráttur eininga, tengslanet, efnisklasa, tímalínur. En hvert mynstur er tilgáta, ekki sönnunargögn. Tengdu eignir við upprunann, staðlaðu vandlega og með mannlegri sannprófun, leitaðu að númerum fyrir vantar gögn og hlutdrægni, forðastu tilgerðarleg tengsl og tímaröð. AI merkir mynstur; Hvað það þýðir og hvort það er satt er mat sagnfræðingsins.
Umsóknarverkefni
Safnaðu að minnsta kosti 15 skjölum (með tilvísunum). Dragðu út persónu- og staðeiningar með „NER“ sniðmátinu. Flokkaðu síðan mismunandi stafsetningu með "eininganormalization" og staðfestu hópana sjálfur. Að lokum skaltu keyra „dagsett tímalínu“ sniðmátið og sjáðu hversu margir atburðir eru áfram „ódagsettir“. Berðu saman hversu marga samsetta hlekki eða tímaröð gervigreind myndi framleiða með lélegri hvatningu.
gátlisti
- [ ] Ég hef skýrt skilgreint mynsturspurninguna mína.
- [ ] Ég hef hverja einingu tengda við skjaltilvísunina.
- [ ] Ég staðlaði einingaritun og sameinaði hana með samþykki manna.
- [ ] Ég efaðist um tölurnar vegna vantandi gagna og hlutdrægni.
- [ ] Ég setti ekki ódagsetta atburði í tímaröð, ég geymdi þá sérstaklega.