Girdeji:
- NER, gatnaşyklary çykarmak, wagt çyzgysy we tor derňewi ýaly usullary ulanyp, uly tekst toplumlaryndan nagyşlary çykarmak ukyby
- Nusgany subutnama däl-de, gipoteza hökmünde görüp bilmek, subýektleri çeşme bilen baglanyşdyrmak we adam razylygy bilen kadalaşdyrmak
- Dataitirilen maglumatlar we nusga alma görnüşleri sebäpli sanlaryň nädip ýalňyş bolup biljekdigine düşünmek we oýlanyşykly gatnaşyklardan we hronologiýalardan gaça durmak.
Taryhy gözlegler diňe bir resminamalary okamak bilen çäklenmeýär; köplenç uly resminamalar toplumynda nagyş gözleýär. Belli bir at ýyllaryň dowamynda haýsy kontekstde peýda bolýar? Haýsy adamlar şäherçe bilen baglanyşykly? Wagtyň geçmegi bilen mowzuk nähili üýtgeýär? Kim bilen habarlaşýar? Şeýle soraglar ýekeje resminama däl-de, ýüzlerçe resminama göz aýlamagy talap edýär. Bu köplenç sanly gumanitar ylymlar - hasaplama usullarynyň taryh we edebiýat ýaly ugurlara ulanylmagy diýilýär.
AI uly tekst toplumlaryndan gurluşly maglumatlary çykarmakda güýçlidir. Bu bölümde NER (guramanyň tanalmagy diýlip atlandyrylýar), nagyş we gatnaşyklary çykarmak, mowzugy modellemek logikasy we wagt çyzgysyny öwrenersiňiz; emma, bu usullaryň iň howply zyýanyny hem ara alyp maslahatlaşarys - AI özüni ýok bolan bir nagşy "tapdy".
Esasy usullar
- NER. Birnäçe minutda "Bu 500 resminamada görkezilen ähli ýer atlary" ýaly sanaw çykarýar.
- Gatnaşyk barada maglumat: subýektleriň arasyndaky baglanyşygy bellemek (“Y ýerde X adam”, “A B bilen gabat gelýär”).
- Mowzuk modelleri: Tekstiň uly toplumynda gaýtalanýan mowzuklaryň toparlaryny statistik taýdan tapmak. Haýsy döwürde haýsy mowzuklaryň jemlenendigini görkezýär.
- Wagt görkezijisi: Sene hadysalaryny resminamalarda hronologiki tertipde tertiplemek.
- Tor derňewi: Şahsy / institusional gatnaşyklary tor hökmünde görmek (merkez kim, baglanyşyk nokady).
Bularyň hemmesiniň umumy maksady, bir resminamada görünmeýän, ýöne tutuş kolleksiýada görünýän gurluşlary ýüze çykarmak. Bu usullar, diňe okamak arkaly hiç haçan görünmeýän görünýän nagyşlary döredýär. Emma olaryň her biri "subutnama" däl-de, "alamat"; Asyl resminamada nämäniň bardygyny barlamak zerurdyr.
Bu ugurda ýygy-ýygydan ulanylýan düşünje, ýakyn okamak (teksti çuňlukda okamak, setir boýunça okamak) bilen uzakdan okamagyň (statistiki taýdan ýüzlerçe / müňlerçe tekste seretmek) arasyndaky tapawutdyr. AI uzakdan okamaga mümkinçilik berýär: bir adamyň ömrüni dowam etdirip bilýän korpusda nagyşlary görýärsiňiz. Distanceöne uzakdan okamak bir nagşy görkezýän mahaly, ýakyn okamaga, ýagny asyl resminama dolanmaly we manyly bolmaly. Iki usul çalşylmaýar; Biri nagşy görkezýär, beýlekisi many berýär. Iň ygtybarly gözlegler ikisini bilelikde ulanýar.
Maslahat: Gipoteza generatory hökmünde nagyş derňewini ulanyň: "AI bu ýerde bir nagyş gördi, hakykatmy?" Soňra resminamalarda şol nagşy birin-birin barlaň. Nusga, netije däl-de, gözlegleriň başlangyç nokady.
Iş tertibi: ädimme-ädim
1. Soragy düşündiriň. "Bu ýygyndyda haýsy adamlar ýygy-ýygydan peýda bolýar?" Patternaly aýdyň nagyş soragy.
2. Maglumatlary taýýarlaň we bellik ediň. Teksti çeşme salgylanmalary bilen tertipläň, tapylan islendik emläk resminama bilen baglanyşyp biler.
3. Gurluş / nagyş peýda bolýar. AI bilen NER, gatnaşyk ýa-da wagt çyzgysyny dörediň.
4. Kadalaşdyrmak. Bir adamyň / ýeriň dürli harplaryny birleşdiriň (“Stambul / Stambul / Kostantiniýye” şol bir ýer?). Bu ädim möhüm; Eger goýulmasa, nagyş ýykylar.
5. Resminamada barlaň. Bellenen möhüm nagyşlar üçin hakyky resminamalary barlaň. AI-iň ýasalan baglanyşyk goşmaýandygyna göz ýetiriň.
6. Düşündiriş Nusganyň manysy taryhçynyň hökümidir; AI diňe nagşy belleýär.
San we statistika duzagy
Nusga derňewi köplenç sanlary döredýär: “X ady 47 gezek ýüze çykýar”, “bu tema resminamalaryň 30% -de bar”. Bu sanlar obýektiw ýaly görünýär, ýöne ýalňyş bolup biler:
- Ingitirilen maglumatlar: collectionygyndy eýýäm doly däl bolsa (resminamalar ýitirildi, bir topar hiç haçan ýazylmady), bu san hakykaty däl-de, aman galan resminamalary görkezýär.
- Kadalaşdyrmak ýalňyşlygy: Şol bir adam başgaça ýazylsa we aýratyn sanalsa, san nädogry bolar.
- Kontekstiň ýitmegi: "47 gezek ýüze çykýar" hiç zat diýmeýär; Nädip geçendigi (oňyn / otrisatel, mowzuk / obýekt) möhümdir.
nagyş çykyşy
aýdyň manysy
hakyky töwekgelçilik
"X 47 gezek ýüze çykýar"
möhüm adam
Doly däl ýygnamak, orfografiki üýtgeşiklik
"Mowzuk 30%"
esasy mowzuk
nusga alma
"A-B köplenç bilelikde"
ýakyn gatnaşyk
Tötänlik, kontekstiň ýoklugy
"wagt tertibi"
takyk hronologiýa
Berilmedik resminamalar, galp tertip
üç sany kiçi halat
1-nji waka - Tor derňewi gizlin araçy ýüze çykardy. Gözlegçi 800 harpdan ybarat hat alyşmalar toplumyny gözden geçirdi. AI bilen, kime kesgitlenendigini we tor döredilendigini. Tor, ilkinji seredişde ähmiýetsiz ýaly görünýän adamyň hakykatdanam iki toparyň esasy aragatnaşyk nokadydygyny görkezdi. Gözlegçi bu adamyň hatlaryna ünsi jemledi we täze tapyndy gazandy. Emma ilki bilen resminamalardaky ähli baglanyşyklary barlady.
2-nji hadysa - Kadalaşdyrmak ýalňyşlygy sana zeper ýetirdi. Bir okuwçy, resminamalarda ýeriň näçe gezek peýda bolandygyny sanamagy buýurdy. AI bir ýeriň üç dürli harpyny aýratyn hasaplaýandygy sebäpli, san hakyky sanyň üçden birine öwrüldi. Ellingazuwlar birleşdirilende, ýer hakykatdanam iň ýygy-ýygydan üçünji orunda durýar. Sapak: kadalaşdyrylmazdan sana ynanyp bolmaz.
3-nji waka - düzülen wagt tertibi. Gözlegçi görkezilmedik resminamalardan wagt çyzgysyny döretdi. AI näbelli wakalary "logiki" tertipde düzdi we takyk hronologiýany hödürledi. Şeýle-de bolsa, bu yzygiderlilik resminamalarda ýokdy, AI ony düzdi. Sapak: wagt tertibi diňe resminamada senesi bolan wakalardan gurulýar; galanlary "kesgitlenmedik" bolup galýar.
Göçürip boljak dört şablon
1) NER (guramanyň görkezmesi):
Aşakdaky resminamalarda görkezilen adamlar, ýerler, edaralar we seneler SEPARATE sanawlary hökmünde görkezilýär. Her guramanyň haýsy resminamada (salgylanmada) görkezilendigini görkeziň. Diňe tekstde aýdyň görkezilenleri alyň; çaklama bilen goş. Eger aýdylyşyna ynanmasaňyz [?] Belläň. Resminamalar: [şu ýerde]
2) Kärhananyň kadalaşmagy:
Aşakdaky guramalaryň sanawynda şol bir adam / ýer bolup biljek dürli harplary toparlaň (meselem: "Stambul / Kostantiniýýe"). Her topar üçin mümkin bolan umumy formaty teklip ediň, ýöne takyk kombinasiýany goýmaň; "Belki şol bir zat, adamlar barlasyn" belligini goşuň. Ynanmasaňyz ýeke goýuň. Sanaw: [şu ýerde]
3) Gatnaşyk / tor görnüşi:
Aşakdaky hat alyşmalar / resminamalar toplumyndan "kim bilen baglanyşykly" baglanyşyklaryny çykaryň. Her baglanyşyk üçin haýsy resminama (salgylanma) esaslanýandygyny görkeziň. Resminamada TERJIME EDIP BOLANOK. Düşnüksiz baglanyşyklary belläň. Resminamalar: [şu ýerde]
4) Bellenen möhlet:
Hronologiki tertipde diňe aşakdaky resminamalarda AÇYLAN görkezilen wakalary sanaň; Her wakany çeşmesine baglanyşdyryň. Wakalary näbelli seneler bilen "kesgitlenmedik" sözbaşy astynda aýratyn sanaň, olary tertibe salmaň. Takmynan senäni düzmäň. Resminamalar: [şu ýerde]
Gowşak haýyş / Güýçli haýyş
Gowşak:
Bu resminamalary derňäň we möhüm nagyşlary, gatnaşyklary we möhletleri çykaryň.
“Möhüm nagyşlary çykarmak” AI-ni ýok bolan baglanyşyklary we takyk hronologiýalary oýlap tapmaga iterýär, sanlary kadalaşdyrmazdan görkezýär.
Güýçli:
Adamy / ýeri / edara guramalaryny resminama resminamalaryna birikdirip, aşakdaky resminamalardan çykarýar. "Birleşdirilip bilner" bilen birmeňzeş bolup biljek, ýöne birleşmeýän dürli harplary belläň. Resminamada we kesgitlenmedik seneler bilen hadysalarda aýdyň görkezilmedik gatnaşyklar FAAL; YŞMASY; senesi bolmadyklary aýratyn saklaň. Resminamalar: [şu ýerde]
Tapawut: çeşmä degişlilik, adamlara kadalaşmagy goýmak, toslama baglanyşyklary / taryhy gadagan etmek we kesgitlenmedik wakalaryň bölünmegi bu nusgany goraýar.
Adaty ýalňyşlyklar
- Subutnamanyň nusgasyny ýalňyşdyrmak. Nusga gipoteza; resminamada tassyklanýar.
- Kadalaşdyrmakdan geçmek. Şol bir guramanyň dürli harplary san we tory ýoýýar.
- Sanlara kör ynam. Doly däl ýygnamak we nusga alma görnüşleri sanlary ýalňyş edýär.
- -Asalan wagt tertibi. Bellenmedik wakalar hronologiýa goşulmaýar.
- Kontekste ähmiýet bermezlik. "Näçe gezek geçendigi" däl-de, "nädip geçendigi" möhümdir.
Gysgaça
Mazmuny derňemek we nagyş tapmak, AI diňe okamak arkaly görünmeýän görünýän gurluşlary döredýän güýçli meýdan: subýektleri çykarmak, gatnaşyk torlary, mowzuk toparlary, möhletler. Everyöne her bir nagyş, subutnama däl-de, gipoteza. Aktiwleri çeşme bilen baglanyşdyryň, üns bilen kadalaşdyryň we adam tassyklamasy bilen, ýitirilen maglumatlar we talaplar üçin sorag belgileri, oýlanyşykly gatnaşyklardan we hronologiýalardan gaça duruň. AI nagşy belleýär; Munuň manysy we hakykatdygy taryhçynyň hökümidir.
Programma meselesi
Iň azyndan 15 bölek resminama ýygnaň (salgylanmalar bilen). Adamy we "NER" şablony bilen ýerleşdiriň. Soňra dürli harplary "guramanyň kadalaşmagy" bilen toparlaň we toparlary özüňiz barlaň. Ahyrynda, “senäniň tertibi” şablonyny işlediň we näçe wakanyň “kesgitlenmedik” bolandygyny görüň. AI-iň näçeräk baglanyşyk ýa-da hronologiýany pes isleg bilen öndürjekdigini deňeşdiriň.
gözegçilik sanawy
- [] Men nagyş soragymy anyk kesgitledim.
- [] Resminama salgylanmasy bilen baglanyşykly her bir guramam bar.
- [] Edara ýazmagy kadalaşdyrdym we ony adam razylygy bilen birleşdirdim.
- [] Maglumatlaryň ýoklugy we ikitaraplaýynlygy üçin sanlary soradym.
- [] Bellenmedik wakalary hronologiýa goýmadym, olary aýratyn sakladym.