Riba:
- Ƙarfin tsara ma'auni na corpus kamar mitar kalmomi, haɗin kai, wadatar ƙamus da kalmomi tare da basirar wucin gadi
- Sanin cewa basirar wucin gadi ba ta dogara da ainihin ƙidayar ba kuma samun damar tabbatar da kowane ƙididdiga tare da kayan aiki daban
- Iya fahimtar cewa lamba ba ta ce komai da kanta ba kuma fassarar harshe da ke tabbatar da ma'anar na mutane ne.
Karatun adabi da harshe ba “sharhanta” ba ne kawai; Har ila yau, yana da al'amari mai iya aunawa da ƙididdigewa. Kalmomi daban-daban nawa marubuci ya yi amfani da su, waɗanne kalmomi ne yake son amfani da su da waɗanne kalmomi, waɗanne kalmomi ne suka zama gama gari a cikin wani lokaci – waɗannan ana binciken su ta hanyar ilimin harshe (ilimin da ke nazarin sauti, tsari, ma’ana da amfani da harshe) musamman ma ilimin harshe. Ƙwaƙwalwa tarin matani ne, kamar cikakkun ayyukan marubuci, tarihin jarida na shekara-shekara, ko waqoqin zamani. Binciken Corpus yana neman tsarin lambobi a cikin wannan guntu.
A cikin wannan rukunin, za mu koyi yin amfani da AI azaman mataimaki na bincike na corpus: da sauri cire ma'auni kamar mitar kalma (yawan lokutan da kalma ke faruwa a cikin rubutu), haɗuwa (biyu kalmomi waɗanda ke faruwa akai-akai tare, misali "black" + "na arziki"), wadatar ƙamus, da bambancin yanayi. Amma gargadi daga farkon: AI na iya yin kuskure lokacin ƙidaya shi kaɗai; Ana buƙatar kayan aiki na musamman don manyan ƙididdiga masu girma, kuma ku ne masanin ilimin harshe wanda ya kafa ma'anar kowace lamba.
Ina AI mai ƙarfi kuma a ina yake rauni a cikin binciken corpus?
Ƙarfinsa shine: Gane alamu a cikin ƙanana da matsakaita rubutu, samar da hasashe game da ƙamus na rubutu, ba da shawarar ƴan takara don haɗawa, fassarar sakamako, kwatanta hanya. AI ta tambaya "waɗanne kalmomi ne suka yi fice a cikin wannan marubucin?" Yana ba da saurin farawa ga tambayar.
Rauni: Madaidaicin kirgawa. AI samfurin harshe ne, ba ƙididdiga ba; zai iya ba da amsa kusan kuma wani lokacin kuskure ga tambayar "sau nawa ya faru" a cikin dogon rubutu. Don madaidaicin mitar, ana amfani da ainihin ƙididdiga masu launi, ko babban aikin duban kalmomi, software na musamman (misali kayan aikin corpus kamar AntConc ko maƙunsar rubutu) ana amfani da su. AI yana da mahimmanci wajen fassara abubuwan da aka fitar da waɗannan kayan aikin; Amma kar a sa shi ya yi danyen kirga a makance.
Tukwici: Idan kuna buƙatar ainihin lamba, yi amfani da hanyoyi biyu: sami kayan aiki don kirgawa cikin ƙaramin rubutu kuma ku sami AI ta fassara shi; Ko sami ƙididdigar AI kuma tabbatar da ita ta wata hanya. Kar a taɓa amfani da jumlar "AI ta faɗi sau 47" ba tare da tabbatarwa ba.
Nazarin corpus mataki-mataki
- Sanya tambaya. "Yaya ake rarraba kalamai masu launi a cikin wannan mawaƙin?" Ƙidaya ba ta da ma'ana ba tare da tabbatacciyar tambaya kamar:
- Ƙayyade gawar. Wane rubutu? Wane bugu? Wani lokaci? Dole ne iyakar ta kasance a fili.
- Zaɓi ma'auni. Mitar, haɗawa, wadatar ƙamus?
- Auna kuma tabbatarwa. Yi ƙidayar, sannan tabbatar da hanya ta biyu.
- Sharhi. Lamba kadai ba ya cewa komai; Sharhin ku ne ya sa gano cewa "kalmomin kala-kala sun ninka sau biyu a lokaci na biyu" mai ma'ana.
Ma'aunin wadatar ƙamus da ake yawan amfani da shi shine rabon adadin kalmomi daban-daban zuwa jimillar adadin kalmomi (nau'in/rabin alama). Idan wannan rabo yana da girma, rubutun kalmomi ne iri-iri, kuma idan ya yi ƙasa, yana nufin yana maimaituwa. Amma tsawon rubutu yana shafar wannan rabo; Yi hankali yayin kwatanta gajerun rubutu da dogayen rubutu kai tsaye.
uku mini lokuta
Case 1 - Haɗin kai ya nuna salo. Wani mai bincike ya bincika siffa-noun pairings a cikin litattafai 3 na marubuci. AI ya ba da shawarar cewa kalmar "kodde" ta dace da 5 sunaye daban-daban; Mai binciken ya tabbatar da 4 na rubutun kuma ya kawar da 1 kamar yadda aka ƙirƙira. Tsarin da aka tabbatar ya zama bayanin taƙaitaccen bayani game da salon siffanta marubucin.
Case 2 - An kama kuskuren ƙirgawa. Wani dalibi ya tambayi AI sau nawa kalmar "dare" ta bayyana a cikin rubutun kalmomi 2,000; AI ya ce "23". Lokacin da ɗalibin ya jefa rubutun a cikin maƙunsar rubutu kuma ya ƙidaya shi, ainihin adadin shine 17. Ya bayyana a fili cewa ƙimar AI ba ta da tabbas.
Hali na 3 - Canjin lokaci-lokaci ya haifar da cece-kuce. Wata kungiya ta kwatanta adadin kalmomin da ba za a iya tantancewa ba a cikin waqoqin farko da marigayi waqoqin mawaqi. Daftarin farko na AI ya ba da shawarar yanayin; Lokacin da ƙungiyar ta koma ga rubutun kuma ta tabbatar da ƙidayar, yanayin ya zama na gaske, amma "dalibai" da AI suka ba da shawara ba su da tabbas kuma an kawar da su.
Samfura huɗu masu kwafi
1) Fitar mitar kalma (tare da tabbatarwa):
Jera kalmomin abun ciki guda 15 da suka fi faruwa akai-akai (ban da kalmomin aiki kamar haɗin kai da gabatarwa) a cikin rubutun da ke ƙasa, tare da kusan mitoci. GARGAƊI: Lura cewa ƙidayar ƙila ba za ta zama daidai ba kuma lura "don zama daidai, dole ne a tabbatar da su da kayan aikin ƙidayar daban." Rubutu: [manna rubutu a nan]
2) Masu neman takara:
Ba da shawara nau'i-nau'i na kalmomi (taro) waɗanda ke faruwa akai-akai tare a cikin rubutun da ke ƙasa. Ba da aƙalla zance ɗaya daga rubutun ga kowane nau'i biyu. Ƙirƙirar ƙirƙira sau biyu wanda ba shi da kwatankwacinsa a cikin rubutu; Idan ba ku da tabbas, yi masa alama a matsayin "yana buƙatar tabbatarwa".Text: [manna rubutu]
3) Kwatancen ƙamus:
Zan baka rubutu guda biyu. Ga kowane: kimanin jimlar kalmomi, abubuwan lura game da nau'ikan kalmomi daban-daban, da fitattun wuraren kalmomin (misali launi, yanayi, motsin rai). Bayyana cewa lambobin sun yi kusan. Bar fassarar kwatancen zuwa tabbatarwa. Rubutu A: [...] Rubutun B: [...]
4) Fassarar sakamako:
Na sami sakamako masu zuwa daga kayan aikin kirgawa: [manna sakamako].Samar da hasashe 2-3 game da abin da waɗannan lambobin za su iya nufi ta harshe. Alama kowane hasashe a matsayin "yana buƙatar shaida" kuma gaya mani yadda zan iya gwada ta. Guji wuce gona da iri.
Rauni mai ƙarfi / Ƙarfi mai ƙarfi
Rauni: "Wace kalma ce ta fi fitowa a cikin wannan rubutu?"
Ƙarfafa: "Jera kalmomin abun ciki akai-akai a cikin wannan rubutu tare da kusan mitar su; ware kalmomin aiki. A fayyace cewa lambobin ba daidai ba ne kuma suna buƙatar tantancewa da kayan aiki daban. Ba da misalin jumla ga kowace kalma."
Ƙarfin faɗakarwa yana sa AI ta karɓi iyakar ƙidayar kuma ta gaya muku a gaba cewa ana buƙatar tabbaci. A cikin rashin ƙarfi, AI yana ba da lamba ɗaya kuma ba ku san cewa zai iya zama kuskure ba.
Tebur na aunawa da aminci
aunawa
Me ya nuna
AI kadai
hanya madaidaiciya
mitar kalma
kalmomi akai-akai
Game da, m
Sharhin Counter + AI
launi
wadanda suka wuce tare
Yana samar da 'yan takara
Tabbatarwa daga rubutu
Nau'in / rabon alama
Bambancin magana
Zai iya zama mai ruɗi
Asusu tare da kayan aiki
canjin yanayi
Trend akan lokaci
yana haifar da hasashe
Auna kuma tabbatarwa
Sharhi na ƙarshe
Ma'ana
Mai ƙarfi amma ƙari
hukuncin mutum
Mahimman kalmomi da n-gram Concepts
Hanyoyi guda biyu suna sauƙaƙe aikin ku a cikin binciken corpus. Na farko shi ne keyword (keyword a Turanci - kalmar da ke faruwa a cikin rubutu ko mawallafi sau da yawa fiye da yadda ake tsammani idan aka kwatanta da harshen gama gari, yana ba wa wannan rubutun "halinsa"). Kalmomin mawallafi sun bayyana sha'awarsa da salonsa; Misali, idan “teku” da “rabewa” sun fi faruwa akai-akai fiye da yadda ake tsammani a cikin mawaƙi, wannan fitowar ƙididdiga ta zama mafarin fassara. Don gano kalmomi masu mahimmanci, wajibi ne a kwatanta mitar rubutu tare da mitoci na ma'auni na ma'auni (gaba ɗaya, babban rubutun da aka yi amfani da shi don kwatantawa); Wannan kwatancen aiki ne na ƙayyadaddun kayan aiki, ƙididdigewa ne wanda AI ba zai iya yin dogaro da kansa ba.
Na biyun shine n-gram (jerin n a jere kalmomi a cikin rubutu; ana kiran jerin kalmomi biyu "bigram", jerin kalmomi uku ana kiransa "trigram"). Binciken N-gram yana bayyana maganganun dabarar marubuci da kuma jimlolin da ake yawan amfani da su. Misali, idan marubuci ya yi amfani da jimloli kamar “irin” ko “duk da haka” akai-akai, wannan yana nuna halinsa na yin jimloli. AI na iya ba da shawarar waɗannan jimlolin a matsayin 'yan takara; amma don mita na gaskiya da mahimmancin ƙididdiga ya zama dole a koma zuwa kayan aikin ƙidayar.
Alamomi: Faɗa wa AI, "Jera manyan kalmomi (kalmomi biyu ko uku) a cikin wannan rubutun a matsayin ƴan takara, kuma ku ba da misali daga rubutun ga kowane." Ɗauki lissafin ɗan takara kuma auna ainihin mita tare da kayan aiki daban. Sanya AI a matsayin "mai lura," wakili a matsayin "counter," da kanka a matsayin "mai fassara."
Kuskuren gama gari
- Dogaro da danyen kirga na AI. AI ba lissafi ba ne; Tabbatar da ainihin lambar ta kayan aiki daban.
- Gabatar da lambar ba tare da sharhi ba. "Ya wuce sau 47" bai ce komai ba; Kuna ƙirƙirar ma'anar.
- Yin watsi da tsayin rubutu. Matsakaicin bambance-bambancen Lyric suna da tsayin daka.
- Yin karatun ba tare da tabbatar da haɗin gwiwar ba. Ma'auratan da ba AI ba na iya ba da shawara; Tabbatar daga rubutu.
- Tsananin tsokaci. Kar a yarda da "dalilai" da AI suka ba da shawara ba tare da shaida ba.
A takaice
Binciken Corpus yana buɗe fasalin wallafe-wallafen da za a iya ƙididdige shi: mita, haɗawa, ƙamus, canjin lokaci. AI yana da ƙarfi a cikin wannan yanki wajen gane alamu da fassarar sakamakon; amma ba abin dogaro bane a cikin cikakken kirgawa. Tabbatar da lambar tare da keɓan kayan aiki, tabbatar da haɗin kai daga rubutun, kuma kafa ma'anar kowace lamba da kanka. Lambar ba shaida ba ce, kofar shaida ce.
Aikin aikace-aikace
Zaɓi ɗan gajeren rubutu (kalmomi 500-1000). Gano kalmar abun ciki (misali "dare" ko "hanya"). Na farko, kirga kanku a cikin rubutu. Sa'an nan kuma sanya AI ƙidaya shi. Kwatanta sakamakon biyu; Idan akwai bambanci, bincika dalilin. Sa'an nan kuma rubuta sharhin sakin layi ɗaya kan aikin kalmar a cikin rubutun - juya lambar zuwa ma'ana.
jerin abubuwan dubawa
- [ ] Na yi tambaya bayyanannen harshe.
- [ ] Na ayyana iyakoki na corpus (rubutu, bugu, lokaci).
- [ ] Na tabbatar da ƙididdigar AI ta hanya ta biyu.
- [ ] Na tabbatar da haɗin kai daga rubutun.
- [ ] Ban bar lambar ba tare da sharhi ba; Na halicci ma'anar da kaina.