Gnóthachain:
- Cumas sláine sonraí a chothabháil agus aonaid taifeadta amhail comhthéacs/lócas, stratagrafaíocht agus Maitrís Harris a dhigitiú agus a chaighdeánú le hintleachta saorga
- Cumas sonraí amha a chosaint agus gach claochlú a choinneáil inrianaithe i gcoinne riosca na hintleachta saorga sonraí atá in easnamh a chomhlánú agus athruithe ciúine a dhéanamh
- A thuiscint cén fáth a bhfuil foclóir rialaithe, meiteashonraí, agus prionsabail oscailte/FAIR riachtanach d’inúsáidteacht sonraí sa todhchaí.
Ní luíonn luach eolaíoch tochailte sna fionnachtana óir a eascraíonn as, ach i gcáilíocht a taifead. Tá fionnachtain nach bhfuil dea-dhoiciméadaithe beagnach neamhábhartha don eolaíocht; Toisc gur rud é nach bhfuil ar eolas cén áit, cén ciseal, agus cad a aimsítear é, níl ann ach réad álainn. San aonad seo féachfaimid ar logáil tochailte (trascríobh córasach agus bunachar sonraí de gach comhthéacs, aimsiú agus breathnóireacht) agus conas is féidir le AI iontráil sonraí, eagrú agus caighdeánú a bhrostú, ach cén fáth go bhfuil an fhreagracht as sláine sonraí fós ar dhaoine.
Bunphrionsabal: cuidíonn AI taifid scaipthe a eagrú, iad a chaighdeánú agus neamhréireachtaí a aimsiú; Ach cé na sonraí atá cruinn, cibé an léiríonn taifead an fhírinne, agus is freagracht dhaonna atá sláine na sonraí. Déanann AI cruth na sonraí a cheartú, ní ráthaíonn sé a cruinneas.
Aonaid bhunúsacha den taifead seandálaíochta
Comhthéacs/lócas. Roinneann gach tochailt an suíomh ina aonaid comhthéacs (comhthéacs/lócas – sil-leagan aonair, ciseal, clais, nó balla; an t-aonad brí is lú den tochailt). Faigheann gach comhthéacs uimhir uathúil agus baintear gach fionnachtain leis an uimhir sin.
Stratigraphy agus Harris Maitrís. Is í an stratagrafaíocht (an gaol roimh i ndiaidh na sraitheanna i gcoibhneas lena chéile) bunús an dátú coibhneasta. Déanann Maitrís Harris (léaráid a thaispeánann ord comhthéacsanna i gcoibhneas lena chéile) na caidrimh seo a shamhlú. Cuidíonn AI le gaolmhaireachtaí stratagrafacha neamh-chomhsheasmhacha a bhrath (m.sh. earráid thimthriallach “A tá os cionn agus faoi bhun B”).
Faigh fardal. Gach aimsiú; Taifeadtar an comhthéacs le huimhir, cineál, méid, ábhar, riocht agus grianghraf.
Caighdeáin sonraí. Úsáidtear caighdeáin choiteanna chun taifid a dhéanamh inroinnte agus inchomparáide. Cuireann CIDOC-CRM (creat coincheapúil idirnáisiúnta/ontology a forbraíodh chun cur síos a dhéanamh ar shonraí oidhreachta cultúrtha) ar chumas sonraí ó institiúidí éagsúla labhairt lena chéile. Úsáidtear foclóir téarmaí rialaithe (liosta ceadaithe a chinntíonn go n-úsáideann gach duine an téarma céanna don choincheap céanna).
Leid: Bain úsáid as AI chun sonraí a “eagrú agus a iniúchadh”, ní “léirmhíniú” orthu. “Cén líon comhthéacs atá contrártha sna taifid seo?” Is ceist mhaith í; "Cén tréimhse lena mbaineann an comhthéacs seo?" Is cinneadh saineolaí é. Is é an áit is láidre AI ná seiceáil comhsheasmhachta.
Róil AI i gclárú agus i mbunachar sonraí
- Digitiú. Iompórtáiltear leabhair nótaí tochailte lámhscríofa, cártaí fardail agus sean-líníochtaí isteach sa bhunachar sonraí le haithint téacs AI-chumhachta (nascann sé seo le HTR in aonad 6).
- Caighdeánú. Déantar litriú éagsúla ("byzantium", "Byzantium", "byz.") a mhapáil isteach sa bhfoclóir rialaithe; cuirtear dátaí agus tomhais i bhfoirm aonfhoirmeach.
- Seiceáil comhsheasmhachta. Marcáiltear earráidí ar nós uimhir chomhthéacs in easnamh, stratagrafaíocht chodarsnach, úsáid na huimhreach céanna in dhá fhionnachtain dhifriúla.
- Ceist agus achoimre. Gintear go tapa fiosrúcháin ar nós “Faigheann gach gloine sa chomhthéacs seo a leanas” agus táblaí achoimre.
Rabhadh: Agus é ag caighdeánú, féadfaidh an AI sonraí a mhodhnú go ciúin agus é ag iarraidh é a "shocrú"; mar shampla, féadfaidh sé tomhas a shlánú go luach “réasúnta” nó léamh éiginnte a chomhlánú lena mheastachán féin. Ní mór gach athrú uathoibríoch a bheith inrianaithe agus ní mór an taifead bunaidh a chaomhnú. Ní dhéantar sonraí amh a fhorscríobh riamh.
trí chás mion
Cás 1 - Shábháil digitiú an chartlann. Bhí músaem ag stóráil 40 bliain de chártaí fardail lámhscríofa (thart ar 22,000 cárta) i mbaol a bheith caillte. Iompórtáladh na cártaí isteach i mbunachar sonraí inchuardaithe le haithint agus caighdeánú téacs faoi thiomáint AI; Sheiceáil scrúdaitheoir daonna gach cárta ar bhonn samplach, agus marcáladh réimsí neamh-inléite “doiléir”.
Cás 2 - Fuarthas earráidí le seiceáil neamhréireachta. Rinne foireann tochailte an AI iniúchadh ar an mbunachar sonraí ag deireadh an tséasúir; Léirigh YZ go raibh an uimhir chomhthéacs chéanna ag trí cinn de na fionnachtana ach go raibh faisnéis sraitheanna contrártha acu. Léirigh an t-athbhreithniú earráid maidir le hiontráil sonraí; mura gceartófaí é bheadh saobhadh ar an léirmhíniú stratagrafach.
Cás 3 - Athrú ciúin gafa. Agus tomhais á gcaighdeánú, thug cúntóir faoi deara go raibh an AI ag léirmhíniú roinnt luachanna “0” mar “nialas” seachas “ar iarraidh”; chuir sé seo as a riocht na píosaí briste. Atógadh an próiseas chun na sonraí bunaidh a chaomhnú ach na hathruithe a choinneáil i gcolún ar leith.
Ceithre theimpléad inchóipeála
1) Caighdeánú (foclóir rialaithe):
Do ról: cúntóir wrangling sonraí. Déan na luachanna de [réimse:ábhar/tréimhse/cineál] a mhapáil sna taifid seo a leanas chuig an bhfoclóir rialaithe seo a leanas: [liosta foclóir]. ATHRÚ luachanna nach bhfuil coibhéis acu san fhoclóir; Marcáil é mar "gan mheaitseáil". Tuairiscigh gach athrú mar phéire bunaidh-nua; sonraí amh a scriosadh.
2) Seiceáil comhsheasmhachta:
Faigh neamhréireachtaí sna taifid tochailte seo a leanas: uimhreacha comhthéacs athchleachtach, réimsí éigeantacha in easnamh, caidrimh stratagrafacha contrártha, dátaí/tomhais aisteacha. Déan liosta de gach fadhb le cláruimhir agus fág faoi ME é chun í a réiteach; ná athraigh tú féin é.
3) Rialú loighic Harris Maitrís:
Anseo thíos tá gaolta stratagrafacha idir comhthéacsanna (A thuas/thíos B). An bhfuil contrárthacht loighciúil (lúb, caidreamh déthreo) ann? Taispeáin cé na comhthéacsanna, más ann dóibh. Ná trácht; ach seiceáil le haghaidh comhsheasmhacht loighciúil.
4) Ceist agus tábla achomair:
An sliocht seo a leanas as dumpáil an bhunachair shonraí thíos: [e.g. dáileadh cineál a fháil in aghaidh an chomhthéacs]. Tabhair an toradh mar thábla, ag sonrú cé na taifid as a dtagann gach ró. NÁ cuir luach ar bith leis nach bhfuil sna sonraí; Má tá sé folamh, scríobh "gan sonraí".
Leid lag / Pras láidir
Leid lag:
Ceartaigh na sonraí tochailte seo agus líon isteach na míreanna atá in easnamh.
Ligeann “Líon isteach na bearnaí” don AI sonraí a fheistiú; Is é an toradh ná bunachar sonraí neamhiontaofa ina meascann fíricí agus ficsean.
Leid chumhachtach:
Marcáil ACH neamhréireachtaí foirmiúla (litriú, formáid dáta, aitheantas dúblach) sna sonraí tochailte thíos. COMHLÁNAIGH luachanna in easnamh; Fág é mar "neamhiomlán". Liostaigh gach athrú molta in éineacht leis an mbunathrú; Tabharfaidh mé an ceadú. Sonraí amh a athrú.
Difríocht: éillíonn an t-iar sonraí go ciúin; Rialaíonn an dara ceann agus fágann sé an cinneadh don duine.
Múnla sonraí maith: réimsí, caidrimh agus meiteashonraí
Ní tábla treallach atá i mbunachar sonraí seandálaíochta, ach múnla sonraí mhachnamhach (treoirphlean de na táblaí, cad iad na réimsí, agus cad iad na caidrimh a eagrófar na sonraí). Is é an bunphrionsabal go mbraitheann gach rud ar chomhthéacs: aimsíonn sé comhthéacs, comhthéacsanna dá chéile (straitagrafaíocht) agus don réimse. Tá féiniúlacht uathúil (ID) ag gach taifead agus bunaítear caidrimh trí na féiniúlachtaí sin; Tagraíonn fionnachtain do chomhthéacs amháin, d’fhéadfadh go leor fionnachtana a bheith i gcomhthéacs.
Díreach chomh tábhachtach leis an taifeadadh tá na meiteashonraí (sonraí faoi na sonraí féin: cé a thaifead iad, cathain, cén modh, cén leagan). Ní féidir taifead nach eol cé hé, cathain agus cén muinín a cuireadh isteach a cheistiú amach anseo. Tá AI ina chuidiú chun líonadh comhsheasmhach réimsí meiteashonraí a sheiceáil agus meiteashonraí in easnamh a léiriú.
Prionsabal criticiúil eile is ea formáid oscailte agus inbhuanaithe. Seachas sonraí a ghlasáil isteach i mbogearraí dúnta dílsithe, cinntítear gur féidir sonraí a léamh fiche nó tríocha bliain ina dhiaidh sin á choinneáil gar do chaighdeáin oscailte (táblaí bunaithe ar théacs, scéimre doiciméadaithe). Ní tháirgtear sonraí seandálaíochta d’fhoilseachán amháin ach do na glúine atá le teacht; Sin an fáth a bhfuil prionsabail FAIR (Aimsiú, Inrochtana, Idir-inoibritheach agus Ath-inúsáidte sonraí) ag éirí níos caighdeánaí. Tá AI úsáideach chun do shonraí a lipéadú de réir na bprionsabal seo agus chun easnaimh a aimsiú; Ach fútsa atá sé cinneadh a dhéanamh cé na sonraí a fhanfaidh oscailte agus cé na cinn a fhanfaidh íogair (faoi rún).
Leid: Agus tú ag bunú do bhunachar sonraí, fiafraigh díot féin, "An féidir le duine nach bhfuil aithne aige é seo a oscailt agus é a thuiscint i gceann 10 mbliana?" fiafraigh. Mínigh do ghiorrúcháin i ngluais, líon isteach na réimsí meiteashonraí, agus cúltacaigh na sonraí amh i bhformáid oscailte.
Taifead/bunachar sonraí tasc tábla
Rompu
Ról AI
cinneadh daonna
riail cosanta
digitiú
aitheantas téacs
Deimhniú léitheoireachta doiléir
Stóráiltear scanadh amh
caighdeánú
Léarscáil go foclóir
Cinneadh luacha mímheaitseála
Tá an bunleagan caomhnaithe
Comhsheasmhacht
Marcáil contrártha
ceartúchán
Rianaítear athrú
stratagrafaíocht
Rialú loighic
Trácht
Faomhadh saineolaí maitrís
Ceist/achoimre
Táirgeadh tábla
Trácht, rogha
Dílseacht do shonraí
Botúin choitianta
- Sonraí atá in easnamh á gcomhlánú. Déanann AI suas; Caithfidh an méid atá ar iarraidh fanacht "neamhiomlán".
- Forscríobh na sonraí amha. Tá an bunaidh caomhnaithe i gcónaí; coinnítear athruithe ar leithligh.
- Gan athruithe ciúine a thabhairt faoi deara. Ba cheart gach tiontú uathoibríoch a thuairisciú agus a iniúchadh.
- Gan bacadh leis an gcaighdeán. Gan foclóir rialaithe agus múnla coitianta, ní féidir sonraí a roinnt.
- Tar éis AI léirmhíniú stratagrafach a dhéanamh. Faigheann AI contrárthacht loighciúil; Tá trácht don saineolaí.
Go hachomair
AI i dtaifead tochailte agus i mbunachar sonraí; Soláthraíonn sé luas mór maidir le digitiú, caighdeánú, seiceáil comhsheasmhachta agus oibreacha fiosrúcháin. Ach tá sláine sonraí naofa: ní fhágtar aon chodanna ar iarraidh slán, caomhnaítear sonraí amh, rianaítear gach athrú, agus is leis an saineolaí a bhaineann léirmhíniú stratagrafach. Is iad taifid mhaithe an oidhreacht is luachmhaire a fhágann tochailt amach anseo.
Tasc feidhmchláir
Ullmhaigh tábla sonraí tochailte samplach beag (10-20 taifead); d’aon ghnó a chur ar roinnt neamhréireachtaí ann (aitheantas dúblach, dáta misshapen, sraith salach ar a chéile). Iarr ar an AI iad seo a aimsiú le patrúin “seiceáil comhsheasmhachta” agus “seiceáil loighic Maitrís Harris”; ansin scríobh foclóir rialaithe agus mapáil an réimse ábhair chuig an teimpléad "Caighdeánú" agus déan cinnte na sonraí amh a chaomhnú.
seicliosta
- [ ] Stóráil mé na sonraí amh ar leithligh, gan mhodhnú.
- [ ] Ní dhearna mé an AI na codanna a bhí in easnamh a chomhlánú; D'fhág mé é mar "neamhiomlán".
- [ ] Sheiceáil mé gach athrú uathoibríoch leis an gceann bunaidh.
- [ ] Bhain mé úsáid as foclóir rialaithe agus caighdeán sonraí.
- [ ] Rinne mé an léirmhíniú stratagrafach bunaithe ar bhreithiúnas saineolaithe.