Gnóthachain:
- Cumas patrúin a bhaint as tacair mhóra téacs ag baint úsáide as teicníochtaí ar nós NER, eastóscadh caidrimh, amlíne agus anailís líonra
- Bheith in ann an patrún a fheiceáil mar hipitéis seachas mar fhianaise, ag nascadh eintitis leis an bhfoinse agus á normalú le ceadú an duine
- Cumas tuiscint a fháil ar an gcaoi ar féidir le huimhreacha a bheith míthreorach de bharr sonraí a bheith in easnamh agus laofacht samplála, agus caidreamh agus croineolaíocht bhréagnaithe a sheachaint.
Ní bhaineann taighde stairiúil le doiciméid aonair a léamh amháin; go minic ag lorg patrúin i dtacar mór doiciméad. Cad iad na comhthéacsanna ina bhfuil ainm ar leith le feiceáil thar na blianta? Cé na daoine a bhfuil baint acu le lonnaíocht? Conas a athraíonn topaic le himeacht ama? Cé atá ar comhréir lena? Ní mór breathnú ar na céadta doiciméad i dteannta a chéile le ceisteanna den sórt sin. Is minic a thugtar air seo na daonnachtaí digiteacha - cur i bhfeidhm modhanna ríomhaireachtúla i réimsí mar stair agus litríocht.
Tá AI cumhachtach maidir le faisnéis struchtúrtha a bhaint as tacair mhóra téacs. San aonad seo, foghlaimeoidh tú NER (aitheantas aonáin ainmnithe), eastóscadh patrúin agus caidrimh, loighic samhaltaithe topaicí agus cruthú amlíne; ach pléifimid freisin na gaistí is contúirtí a bhaineann leis na teicníochtaí seo—tá an AI ag cur i láthair gur “aimsigh” patrún nach bhfuil ann.
Teicnící bunúsacha
- NER (Aitheantas Aonán Ainmnithe): Eastóscadh uathoibríoch eintiteas ar nós duine, áit, institiúid, dáta ón téacs. Táirgeann sé liosta cosúil le "Gach logainm a luaitear sna 500 doiciméad seo" i nóiméid.
- Tátal an chaidrimh: Na naisc idir eintitis a mharcáil (“Duine X ag áit Y”, “Freagróidh A do B”).
- Samhaltú topaicí: Braislí de thopaicí athfhillteacha a aimsiú go staitistiúil i sraith mór téacs. Léiríonn sé cé na téamaí atá dírithe ar cén tréimhse.
- Tátal amlíne: Imeachtaí dátaithe i ndoiciméid a shocrú in ord croineolaíoch.
- Anailís líonra: Amharc ar chaidrimh idirdhaoine/institiúideacha mar líonra (cé hé an t-ionad, cé hé/hí an pointe nasctha).
Is é an comhsprioc atá acu seo go léir ná struchtúir a nochtadh nach bhfuil in aon doiciméad amháin ach atá le feiceáil tríd an mbailiúchán. Déanann na teicníochtaí seo patrúin sofheicthe nach mbeadh le feiceáil choíche trí léamh amháin. Ach is "comhartha", ní "fianaise" gach ceann acu; Tá sé riachtanach an méid atá le fáil sa bhundoiciméad a fhíorú.
Coincheap a úsáidtear go minic sa réimse seo is ea an t-idirdhealú idir dlúthléamh (téacs a léamh go domhain, líne ar líne) agus léamh i bhfad i gcéin (féachaint ar na céadta/míle téacs i dteannta a chéile, go staitistiúil). Is féidir léamh cianda a dhéanamh ar AI: feiceann tú patrúin i gcorpas atá mór go leor le go mairfeadh saol daonna amháin. Ach nuair a dhíríonn léamh i bhfad i gcéin ar phatrún, is gá filleadh ar an dhlúthléamh, is é sin, go dtí an doiciméad bunaidh, chun ciall a bhaint as. Níl an dá mhodh idirmhalartaithe; Taispeánann ceann amháin an patrún, tugann an ceann eile a bhrí. Úsáideann an taighde is láidre an dá rud le chéile.
Leid: Bain úsáid as anailís patrún mar ghineadóir hipitéise: "Tá an AI tar éis patrún a chonaic anseo, an bhfuil sé fíor?" Ansin seiceáil an patrún sin sna doiciméid ceann ar cheann. Is é an patrún pointe tosaigh do chuid taighde, ní an toradh.
Sreabhadh oibre: céim ar chéim
1. An cheist a shoiléiriú. “Cé na daoine is minice a bhíonn le chéile sa bhailiúchán seo?” Ceist patrún soiléir mar.
2. Ullmhaigh agus lipéadaigh na sonraí. Eagraigh téacs le tagairtí foinse ionas gur féidir aon sócmhainní a aimsítear a nascadh leis an doiciméad.
3. Tá an t-aonán/patrún le feiceáil. Gin imlíne NER, gaol nó amlíne le AI.
4. Normalaigh. Comhcheangail litrithe éagsúla an duine/áit chéanna (“Iostanbúl / Iostanbúl / Kostantiniyye” an áit chéanna?). Tá an chéim seo ríthábhachtach; Má fhágtar ar lár é, beidh an patrún ag titim as a chéile.
5. Fíoraigh i ndoiciméad. Seiceáil na doiciméid iarbhír le haghaidh aon phatrúin shuntasacha a bhfuil bratach orthu. Déan cinnte nach gcuireann an AI nasc déanta suas.
6. Trácht. Is é a chiallaíonn an patrún ná breithiúnas an staraí; Ní dhéanann AI ach an patrún a mharcáil.
Gaiste uimhreacha agus staitisticí
Is minic a tháirgeann anailís patrún uimhreacha: “tarlaíonn ainm X 47 uair”, “tá an téama seo i láthair i 30% de na doiciméid”. Is cosúil go bhfuil na huimhreacha seo oibiachtúil ach is féidir leo a bheith míthreorach:
- Sonraí ar iarraidh: Má tá an bailiúchán neamhiomlán cheana féin (caillteadh doiciméid, níor taifeadadh grúpa riamh), léiríonn an uimhir na doiciméid marthanacha, ní an réaltacht.
- Earráid normalaithe: Má tá an duine céanna litrithe go difriúil agus a chomhaireamh ar leithligh, beidh an uimhir mícheart.
- Caillteanas comhthéacs: ní deir "tarlaíonn 47 uair" faic; Tá an chaoi a gcuirtear ar aghaidh é (dearfach/diúltach, ábhar/réad) tábhachtach.
aschur patrún
bhrí dealraitheach
riosca fíor
"Tarlaíonn X 47 uair"
duine tábhachtach
Bailiúchán neamhiomlán, éagsúlacht litrithe
"Téama 30%"
topaic ceannasach
claonadh samplála
"A-B le chéile go minic"
caidreamh dlúth
Comhtharlú, comhthéacs ar iarraidh
"amlíne"
croineolaíocht cruinn
Doiciméid gan dáta, ordú déanta
trí chás mion
Cás 1 - Nocht anailís líonra idirghabhálaí folaithe. Scrúdaigh taighdeoir bailiúchán comhfhreagrais de 800 litir. Le AI, cé a scríobh chuige a cinneadh agus a cruthaíodh líonra. Thaispeáin an líonra gur duine neamhshuntasach ar an gcéad amharc an príomhphointe teagmhála idir an dá ghrúpa. Dhírigh an taighdeoir ar litreacha an duine seo agus tháinig sé ar chinneadh nua. Ach fíoraíodh na naisc go léir sna doiciméid ar dtús.
Cás 2 - truaillithe earráid normalaithe an uimhir. Chuir mac léinn orthu an líon uaireanta a bhí áit sna doiciméid a chomhaireamh. Ós rud é gur chomhaireamh an AI trí litriú éagsúla den áit chéanna ar leithligh, d'éirigh an uimhir amach mar aon trian den fhíoruimhir. Nuair a cuireadh na litrithe le chéile, bhí áit sa tríú háit is minicí a tharla. Ceacht: gan normalú ní féidir muinín a chur san uimhir.
Cás 3 - Amlíne déanta suas. Chruthaigh taighdeoir amlíne ó dhoiciméid gan dáta. D'eagraigh AI na himeachtaí anaithnid in ord "loighciúil" agus chuir sé croineolaíocht chruinn i láthair. Mar sin féin, ní raibh an seicheamh seo sna doiciméid, bhí AI tar éis é a dhéanamh. Ceacht: ní dhéantar an t-amlíne ach amháin ó imeachtaí a bhfuil dáta sa doiciméad; tá an chuid eile fós "gan dáta".
Ceithre theimpléad inchóipeála
1) NER (tátal aonáin):
Léirítear na daoine, na háiteanna, na hinstitiúidí agus na dátaí a luaitear sna doiciméid thíos mar liostaí ar leith. Cuir in iúl cén doiciméad (tagairt) a luaitear gach aonán. Ná déan ach an méid atá ráite go soiléir sa téacs; cuir le buille faoi thuairim. Marcáil [?] mura bhfuil tú cinnte faoin bhfuaimniú. Doiciméid: [anseo]
2) normalú eintiteas:
I liosta na n-eintiteas thíos, grúpáil litrithe éagsúla a d’fhéadfadh a bheith mar an duine/áit chéanna (m.sh. “Iostanbúl / Kostantiniyye”). Mol formáid choiteann fhéideartha do gach grúpa ACH ná cuir an teaglaim bheacht i bhfeidhm; Cuir nóta leis "b'fhéidir mar an gcéanna, lig do dhaoine a fhíorú". Fág é mura bhfuil tú cinnte. Liosta: [anseo]
3) Imlíne caidrimh/líonra:
Sliocht na naisc "cé a bhaineann le cé leis" as an tacar comhfhreagrais/doiciméid seo a leanas. Maidir le gach nasc, cuir in iúl cén doiciméad (tagairt) ar a bhfuil sé bunaithe. RINNEADH caidreamh nach bhfuil go soiléir sa doiciméad. Marcáil naisc dhébhríocha [indistinct]. Doiciméadúchán: [anseo]
4) Amlíne dar dáta:
Liostaigh in ord croineolaíoch amháin na himeachtaí atá luaite go soiléir sna doiciméid seo a leanas; Nasc gach imeacht lena fhoinse. Déan liosta de na himeachtaí le dátaí éiginnte ar leithligh faoin gceannteideal "gan dáta", NÁ cuir in ord iad. NÁ hionann an dáta measta. Doiciméadúchán: [anseo]
Leid lag / Pras láidir
Lag:
Déan anailís ar na doiciméid seo agus bain amach patrúin, caidrimh agus amlínte tábhachtacha.
Cuireann “sliocht patrúin tábhachtacha” brú ar AI naisc nach bhfuil ann agus croineolaíochtaí cruinne a chumadh, ag cur uimhreacha i láthair gan normalú.
Láidir:
Sliocht an duine/áit/aonáin institiúide as na doiciméid seo a leanas trí gach ceann acu a nascadh le tagairt an doiciméid. Marcáil litriú éagsúla a d'fhéadfadh a bheith mar an gcéanna le "may be merged", ach ná cumasc. NÍ FÉIDIR caidreamh nach bhfuil sonraithe go soiléir sa doiciméad agus imeachtaí le dátaí éiginnte; coinnigh iad siúd gan dátaí ar leith. Doiciméadúchán: [anseo]
An difríocht: fágtar an patrún inchosanta mar gheall ar chur i leith na foinse, ag fágáil normalú do dhaoine, toirmeasc ar naisc bhréige/staire, agus imeachtaí gan dáta a scaradh.
Botúin choitianta
- An patrún fianaise a chur amú. Is é an patrún an hipitéis; atá fíoraithe sa doiciméad.
- Gan bacadh le normalú. Déanann litriú éagsúla an aonáin chéanna an uimhir agus an líonra a shaobhadh.
- Iontaobhas dall in uimhreacha. Tá an uimhir míthreorach mar gheall ar bhailiú neamhiomlán agus laofacht samplála.
- Amlíne déanta suas. Ní chuirtear imeachtaí gan dáta san áireamh sa chroineolaíocht.
- Neamhaird a thabhairt ar chomhthéacs. Ní hé "cé mhéad uair a ritheadh é", ach "conas a ritheadh é" atá tábhachtach.
Go hachomair
Is réimse cumhachtach é anailís inneachair agus fionnachtain patrún ina ndéanann AI struchtúir infheicthe nach mbeadh infheicthe trí léamh amháin: eastóscadh eintitis, líonraí caidrimh, braislí topaicí, línte ama. Ach is hipitéis é gach patrún, ní fianaise. Sócmhainní a nascadh leis an bhfoinse, normalú go cúramach agus le bailíochtú daonna, uimhreacha fiosrúcháin le haghaidh sonraí atá in easnamh agus laofacht, seachain caidrimh agus croineolaíochtaí suarach. Marcálann AI an patrún; Cad a chiallaíonn sé agus cibé an bhfuil sé fíor é breithiúnas an staraí.
Tasc feidhmchláir
Bailigh ar a laghad 15 phíosa doiciméadaithe (le tagairtí). Sliocht duine agus aonáin áit leis an teimpléad "NER". Ansin grúpáil na litrithe éagsúla le "normalú eintiteas" agus deimhnigh na grúpaí tú féin. Ar deireadh, rith an teimpléad “amlíne dátaithe” agus féach cé mhéad imeacht atá “gan dáta.” Déan comparáid idir cé mhéad nasc nó croineolaíocht chomhdhéanta a thiocfadh leis an AI a tháirgeadh le leideanna lag.
seicliosta
- [ ] Tá mo cheist phatrúin sainmhínithe go soiléir agam.
- [ ] Tá gach aonán agam atá nasctha le tagairt an doiciméid.
- [ ] normalaigh mé clóscríobh eintitis agus chomhcheangail mé é le ceadú an duine.
- [ ] Cheistigh mé na huimhreacha le haghaidh sonraí a bhí in easnamh agus laofacht.
- [ ] Níor chuir mé na himeachtaí gan dáta sa chroineolaíocht, choinnigh mé ar leithligh iad.