Fitimet:
- Aftësia për të nxjerrë modele nga grupe të mëdha teksti duke përdorur teknika të tilla si NER, nxjerrja e marrëdhënieve, afati kohor dhe analiza e rrjetit
- Të jesh në gjendje ta shohësh modelin si një hipotezë dhe jo si provë, duke i lidhur entitetet me burimin dhe duke i normalizuar ato me miratimin njerëzor
- Aftësia për të kuptuar se si numrat mund të jenë mashtrues për shkak të mungesës së të dhënave dhe paragjykimeve të kampionimit, dhe për të shmangur marrëdhëniet dhe kronologjitë e sajuara.
Hulumtimi historik nuk ka të bëjë vetëm me leximin e dokumenteve individuale; shpesh duke kërkuar modele në grupe të mëdha dokumentesh. Në çfarë kontekstesh shfaqet një emër i veçantë ndër vite? Cilët njerëz janë të lidhur me një vendbanim? Si ndryshon një temë me kalimin e kohës? Kush korrespondon me kë? Pyetje të tilla kërkojnë të shikohet jo një dokument i vetëm, por qindra dokumente kolektivisht. Kjo shpesh quhet shkenca humane dixhitale - aplikimi i metodave llogaritëse në fusha të tilla si historia dhe letërsia.
AI është i fuqishëm në nxjerrjen e informacionit të strukturuar nga grupe të mëdha tekstesh. Në këtë njësi, do të mësoni NER (njohja e entitetit të emërtuar), nxjerrjen e modeleve dhe marrëdhënieve, logjikën e modelimit të temave dhe krijimin e afatit kohor; por ne do të diskutojmë edhe kurthin më të rrezikshëm të këtyre teknikave - inteligjenca artificiale e paraqet veten se ka "gjetur" një model që nuk ekziston.
Teknikat bazë
- NER (Njohja e njësive të emërtuara): Nxjerrja automatike e subjekteve si personi, vendi, institucioni, data nga teksti. Ai prodhon një listë si "Të gjithë emrat e vendeve të përmendura në këto 500 dokumente" në minuta.
- Konkluzioni i marrëdhënies: Shënimi i lidhjeve ndërmjet entiteteve ("Personi X në vendin Y", "A korrespondon me B").
- Modelimi i temës: Gjetja statistikore e grupeve të temave të përsëritura në një grup të madh teksti. Ai tregon se cilat tema janë të përqendruara në cilën periudhë.
- Konkluzioni i afatit kohor: Rregullimi i ngjarjeve të datës në dokumente në një rend kronologjik.
- Analiza e rrjetit: Vizualizimi i marrëdhënieve ndërpersonale/institucionale si një rrjet (kush është qendra, kush është pika e lidhjes).
Qëllimi i përbashkët i të gjitha këtyre është zbulimi i strukturave që nuk shfaqen në një dokument të vetëm, por shfaqen në të gjithë koleksionin. Këto teknika bëjnë modele të dukshme që nuk do të ishin kurrë të dukshme vetëm përmes leximit. Por secila prej tyre është një “shenjë”, jo një “dëshmi”; Është thelbësore të verifikohet se çfarë gjendet në dokumentin origjinal.
Një koncept i përdorur shpesh në këtë fushë është dallimi midis leximit nga afër (leximi i një teksti në thellësi, rresht pas rreshti) dhe leximi në distancë (duke shikuar qindra/mijëra tekste kolektivisht, statistikisht). AI bën të mundur leximin nga distanca: ju shihni modele në një korpus mjaft të madh për të zgjatur një jetë të vetme njerëzore. Por kur leximi në distancë tregon për një model, është e nevojshme të ktheheni në leximin e afërt, domethënë në dokumentin origjinal, për t'i dhënë kuptim. Të dy metodat nuk janë të këmbyeshme; Njëra tregon modelin, tjetra jep kuptimin e saj. Hulumtimi më i fuqishëm i përdor të dyja së bashku.
Këshillë: Përdorni analizën e modelit si gjenerues të hipotezave: "Inteligjenca artificiale ka vërejtur një model këtu, a është real?" Pastaj kontrolloni atë model në dokumente një nga një. Modeli është pika fillestare e kërkimit tuaj, jo rezultati.
Rrjedha e punës: hap pas hapi
1. Sqaroni pyetjen. "Cilët njerëz shfaqen së bashku më shpesh në këtë koleksion?" Një pyetje e qartë model si.
2. Përgatitni dhe emërtoni të dhënat. Organizoni tekstin me referenca burimore në mënyrë që çdo pasuri e gjetur të mund të lidhet përsëri me dokumentin.
3. Shfaqet entiteti/modeli. Gjeneroni skicën e NER, marrëdhënieve ose kronologjisë me AI.
4. Normalizoni. Kombinoni drejtshkrime të ndryshme të të njëjtit person/vend (“Stamboll / Stamboll / Kostantiniyye” i njëjti vend?). Ky hap është kritik; Nëse hiqet, modeli do të shpërbëhet.
5. Verifiko në dokument. Kontrolloni dokumentet aktuale për çdo model të rëndësishëm që është shënuar. Sigurohuni që AI të mos shtojë një lidhje të krijuar.
6. Koment. Ajo që do të thotë modeli është gjykimi i historianit; AI thjesht shënon modelin.
Kurthi i numrave dhe statistikave
Analiza e modelit shpesh prodhon numra: "emri X shfaqet 47 herë", "kjo temë është e pranishme në 30% të dokumenteve". Këto shifra duken objektive, por mund të jenë mashtruese:
- Mungojnë të dhënat: Nëse koleksioni tashmë është i paplotë (dokumentet kanë humbur, një grup nuk është regjistruar kurrë), numri pasqyron dokumentet e mbijetuara, jo realitetin.
- Gabim normalizimi: Nëse i njëjti person shkruhet ndryshe dhe numërohet veçmas, numri do të jetë i pasaktë.
- Humbja e kontekstit: "ndodh 47 herë" nuk thotë asgjë; Është e rëndësishme se si kalohet (pozitive/negative, subjekt/objekt).
prodhimi i modelit
kuptimi i dukshëm
rrezik real
"X ndodh 47 herë"
person i rëndësishëm
Mbledhja e paplotë, variacion drejtshkrimor
"Tema 30%"
temë dominuese
paragjykimi i kampionimit
"A-B shpesh bashkë"
marrëdhënie intime
Rastësi, kontekst i munguar
"afati kohor"
kronologjinë e saktë
Dokumenta pa datë, porosi e fabrikuar
tre mini kuti
Rasti 1 — Analiza e rrjetit zbuloi një ndërmjetës të fshehur. Një studiues ekzaminoi një koleksion korrespondence prej 800 letrash. Me AI, kush i shkruante kujt u përcaktua dhe u krijua një rrjet. Rrjeti tregoi se një person në dukje i parëndësishëm në shikim të parë ishte në fakt pika kyçe e kontaktit mes dy grupeve. Studiuesi u fokusua në letrat e këtij personi dhe arriti në një gjetje të re. Por së pari verifikoi të gjitha lidhjet në dokumente.
Rasti 2 - Gabimi i normalizimit ka korruptuar numrin. Një student i kërkoi të numëronin sa herë një vend u shfaq në dokumente. Meqenëse AI numëronte tre drejtshkrime të ndryshme të të njëjtit vend veçmas, numri doli të ishte një e treta e numrit real. Kur u kombinuan drejtshkrimet, vendi ishte në të vërtetë në pozicionin e tretë më të shpeshtë. Mësimi: pa normalizim, numri nuk mund të besohet.
Rasti 3 - Afati kohor i krijuar. Një studiues krijoi një afat kohor nga dokumentet pa datë. AI i rregulloi ngjarjet e panjohura në një rend "logjik" dhe paraqiti një kronologji të saktë. Megjithatë, kjo sekuencë nuk ishte në dokumente, AI e kishte krijuar atë. Mësimi: afati kohor ndërtohet vetëm nga ngjarjet që kanë një datë në dokument; pjesa tjetër mbetet “pa datë”.
Katër shabllone të kopjueshëm
1) NER (konkluzion i njësisë ekonomike):
Personat, vendet, institucionet dhe datat e përmendura në dokumentet e mëposhtme shfaqen si lista të VEÇANTA. Tregoni në cilin dokument (referencë) përmendet secili ent. Merrni vetëm atë që thuhet QARTË në tekst; shtoni me hamendje. Shënoni [?] nëse nuk jeni të sigurt për shqiptimin. Dokumentet: [këtu]
2) Normalizimi i entitetit:
Në listën e entiteteve më poshtë, gruponi drejtshkrime të ndryshme që mund të jenë i njëjti person/vend (p.sh. "Stamboll / Kostantiniyye"). Sugjeroni formatin e mundshëm të përbashkët për secilin grup POR mos impononi kombinimin e saktë; Shto shënimin "ndoshta e njëjta gjë, lërini njerëzit të verifikojnë". Lëreni të qetë nëse nuk jeni të sigurt. Lista: [këtu]
3) Skica e marrëdhënieve/rrjetit:
Nxirrni lidhjet "kush ka lidhje me kë" nga grupi i mëposhtëm i korrespondencës/dokumenteve. Për çdo lidhje, tregoni se në cilin dokument (referencë) bazohet. Krijoi një marrëdhënie që nuk është e qartë në dokument. Shënoni lidhjet e paqarta [të paqarta]. Dokumentacioni: [këtu]
4) Afati kohor i datës:
Rendisni sipas rendit kronologjik vetëm ngjarjet e deklaruara QARTËSISË në dokumentet e mëposhtme; Lidhni çdo ngjarje me burimin e saj. Rendisni ngjarjet me data të pasigurta veçmas nën titullin "pa datë", MOS i vendosni ato në rregull. MOS caktoni datën e parashikuar. Dokumentacioni: [këtu]
Prompt i dobët / Prompt i fortë
I dobët:
Analizoni këto dokumente dhe nxirrni modele, marrëdhënie dhe afate kohore të rëndësishme.
"Nxjerrja e modeleve të rëndësishme" e shtyn AI të shpikë lidhje joekzistente dhe kronologji të sakta, duke paraqitur numra pa normalizim.
E fortë:
Nxjerrë personin/vendin/entitetet e institucionit nga dokumentet e mëposhtme duke e lidhur secilin me referencën e dokumentit. Shënoni drejtshkrime të ndryshme që mund të jenë të njëjta me "mund të shkrihen", por mos u bashkoni. Marrëdhëniet që nuk janë të përcaktuara qartë në dokument dhe ngjarjet me data të pasigurta NUK FAQEN; mbajini të ndara ato pa data. Dokumentacioni: [këtu]
Dallimi: atribuimi tek burimi, lënia e normalizimit tek njerëzit, ndalimi i lidhjeve/historisë fiktive dhe ndarja e ngjarjeve pa datë e bëjnë modelin të mbrojtshëm.
Gabimet e zakonshme
- Gabimi i modelit për provë. Modeli është hipoteza; verifikohet në dokument.
- Duke anashkaluar normalizimin. Shkrime të ndryshme të të njëjtit entitet shtrembërojnë numrin dhe rrjetin.
- Besim i verbër në numra. Mbledhja jo e plotë dhe paragjykimi i kampionimit e bëjnë numrin mashtrues.
- Afati kohor i krijuar. Ngjarjet pa datë nuk përfshihen në kronologji.
- Injorimi i kontekstit. Nuk është e rëndësishme "sa herë u kalua", por "si u kalua".
Në përmbledhje
Analiza e përmbajtjes dhe zbulimi i modeleve është një fushë e fuqishme ku AI bën struktura të dukshme që nuk do të ishin të dukshme vetëm përmes leximit: nxjerrja e entiteteve, rrjetet e marrëdhënieve, grupimet e temave, afatet kohore. Por çdo model është një hipotezë, jo provë. Lidhni asetet me burimin, normalizoni me kujdes dhe me vërtetim njerëzor, kërkoni numrat për të dhëna të munguara dhe paragjykime, shmangni marrëdhëniet dhe kronologjitë e sajuara. AI shënon modelin; Çfarë do të thotë dhe nëse është e vërtetë është gjykimi i historianit.
Detyra e aplikimit
Mblidhni të paktën 15 pjesë të dokumentacionit (me referenca). Ekstraktoni entitetet e personave dhe vendeve me shabllonin "NER". Më pas gruponi drejtshkrimet e ndryshme me "normalizimin e entitetit" dhe verifikoni vetë grupet. Më në fund, ekzekutoni shabllonin "vijë kohore me datë" dhe shikoni se sa ngjarje mbeten "pa datë". Krahasoni sa lidhje ose kronologji të sajuara do të prodhonte AI me një nxitje të dobët.
listë kontrolli
- [ ] Unë e kam përcaktuar qartë pyetjen time të modelit.
- [ ] Unë kam çdo entitet të lidhur me referencën e dokumentit.
- [ ] Unë normalizova shtypjen e entitetit dhe e kombinova atë me miratimin njerëzor.
- [ ] I vura në dyshim numrat për mungesë të të dhënave dhe paragjykim.
- [ ] Ngjarjet pa datë nuk i kam futur në kronologji, i kam mbajtur veçmas.