Uru:
- Ikike imepụta nha corpus dị ka ugboro ole okwu, mkpokọta, ịba ụba nke okwu na mkpụrụokwu nwere ọgụgụ isi.
- Ịmara na ọgụgụ isi artificial enweghị ntụkwasị obi na ngụkọ ọnụ yana inwe ike iji ngwá ọrụ dị iche nyochaa ọnụọgụ ọ bụla
- Ikike ịghọta na ọnụ ọgụgụ anaghị ekwu ihe ọ bụla n'onwe ya nakwa na nkọwa asụsụ nke na-eme ka ọ pụta ìhè bụ nke mmadụ.
Edemede na ọmụmụ asụsụ abụghị naanị "nkọwa"; Ọ nwekwara akụkụ a na-atụtu ọnụ na nke enwere ike ịgụta ọnụ. Okwu ole dị iche iche onye ode akwụkwọ na-eji, nke mkpụrụokwu ọ na-amasị iji nke okwu, okwu ndị a na-emekarị n'oge - a na-enyocha ihe ndị a site na mmụta asụsụ (sayensị na-amụ ụda, nhazi, ihe pụtara na iji asụsụ) na karịsịa ọmụmụ asụsụ corpus. Corpus bụ mkpokọta ederede, dị ka ọrụ onye ode akwụkwọ zuru oke, ebe nchekwa akwụkwọ akụkọ kwa afọ, ma ọ bụ abụ nke oge. Nyocha corpus na-achọ ụkpụrụ ọnụọgụ na mkpọ a.
Na nkeji a, anyị ga-amụta iji AI dị ka onye na-enyere aka nyocha corpus: ngwa ngwa wepụ metrics dị ka ugboro ugboro (ọnụọgụ oge okwu na-apụta na ederede), nchịkọta (okwu abụọ na-emekarị ọnụ, dịka "oji" + "akụ m"), ịba ụba nke okwu, na mgbanwe oge. Ma ịdọ aka ná ntị site na mmalite: AI nwere ike imehie ihe mgbe ị na-agụ naanị ya; Ngwa pụrụ iche dị mkpa maka ọnụ ọgụgụ buru ibu na nke ziri ezi, ma ị bụ onye ọkà mmụta asụsụ na-ewepụta ihe ọnụọgụ ọ bụla pụtara.
Ebee ka AI siri ike na ebe ọ na-adịghị ike na nyocha nke corpus?
Ike ya bụ: Ịmata ụkpụrụ n'ime obere ederede na nke ọkara, na-emepụta echiche gbasara okwu ederede, na-atụ aro ndị na-achọ ịchịkọta ọnụ, ịkọwa nsonaazụ, na-akọwa usoro. AI na-ajụ "Kedu akpaokwu pụtara na onye edemede a?" Ọ na-enye mmalite ngwa ngwa nke ajụjụ ahụ.
Adịghị ike: Ọnụ ọgụgụ ziri ezi. AI bụ ụdị asụsụ, ọ bụghị ihe mgbako; nwere ike inye azịza dị nso na mgbe ụfọdụ na-ezighi ezi maka ajụjụ a "ugboro ole ka ọ mere" n'ime ogologo ederede. Maka oge ziri ezi, a na-eji ọnụ ọgụgụ colocation kpọmkwem, ma ọ bụ nnukwu nyocha corpus nke puku kwuru puku okwu, sọftụwia pụrụ iche (dịka ngwaọrụ corpus dị ka AntConc ma ọ bụ spreadsheet). AI bara uru n'ịkọwa mmepụta nke ngwaọrụ ndị a; Ma emela ya ka ọ na-eme ọnụ ọgụgụ nke raw na kpuru ìsì.
NDỤMỌDỤ: Ọ bụrụ na ịchọrọ ọnụ ọgụgụ ziri ezi, jiri ụzọ abụọ: nwee ngwá ọrụ na-agụta ọnụ na obere ederede ma nwee AI sụgharịa ya; Ma ọ bụ nwee ọnụ ọgụgụ AI wee nyochaa ya n'ụzọ ọzọ. Ejila ahịrịokwu ahụ "AI kwuru na ọ na-eme ugboro 47" na-enweghị nkwenye.
Ọmụmụ ihe ọmụmụ corpus site na nzọụkwụ
- Tinye ajụjụ. "Kedu ka esi ekesa okwu agba na onye na-ede uri a?" Ịgụ ọnụ enweghị isi na-enweghị ajụjụ doro anya dị ka:
- Kọwaa corpus. Kedu ederede? Kedu mbipụta? Kedu oge? Ókè ga-enwerịrị nke ọma.
- Họrọ nha. Ugboro, mkpokọta, ịba ụba nke okwu?
- tụọ ma nyochaa. Mee ọnụ ọgụgụ ahụ, wee kwado ụzọ nke abụọ.
- Ikwu. Ọnụ ọgụgụ naanị ya anaghị ekwu ihe ọ bụla; Ọ bụ okwu gị na-eme ka nchoputa ahụ na "okwu agba okpukpu abụọ n'ime oge nke abụọ" bara uru.
Ntụle a na-ejikarị bara ụbara okwu bụ nhata nke ọnụọgụ okwu dị iche iche na ọnụọgụ mkpụrụokwu (ụdị/token ruru). Ọ bụrụ na oke a dị elu, ederede bụ okwu-ụdị dị iche iche, ma ọ bụrụ na ọ dị ala, ọ pụtara na ọ na-emegharị ugboro ugboro. Mana ogologo ederede na-emetụta oke a; Kpachara anya mgbe ị na-atụnyere obere ederede na ogologo ederede ozugbo.
Obere ikpe atọ
Ikpe 1 - mkpokọta gosipụtara ụdị. Otu onye nyocha nyochara njikọta ọnụ-aha n'akwụkwọ akụkọ 3 nke onye ode akwụkwọ. AI tụrụ aro na okwu ahụ bụ "pale" dakọtara 5 aha dị iche iche; Onye nyocha ahụ kwadoro 4 nke ederede wee kpochapụ 1 dị ka e chepụtara. Ụkpụrụ akwadoro ghọrọ nkwupụta tesis gbasara ụdị nkọwa nke onye odee.
Ikpe 2 - ejidere njehie agụta. Otu nwa akwụkwọ jụrụ AI ugboro ole okwu ahụ bụ "abalị" pụtara na ederede 2,000; AI kwuru "23". Mgbe nwa akwụkwọ ahụ tụbara ederede n'ime mpempe akwụkwọ wee gụọ ya, ọnụ ọgụgụ ahụ bụ 17. O doro anya na ọnụ ọgụgụ AI enweghị ntụkwasị obi.
Ikpe 3 - Mgbanwe oge ụfọdụ kpalitere esemokwu. Otu ìgwè tụnyere ọnụ ọgụgụ nke okwu nkịtị dị n'abụ onye mbụ na nke ikpeazụ. Ihe odide mbụ nke AI na-atụ aro usoro; Mgbe otu ahụ laghachiri na ederede wee nyochaa ọnụ ọgụgụ ahụ, omume ahụ mechara bụrụ nke dị adị, mana "ihe kpatara" ndị AI tụrụ aro bụ ịkọ nkọ na-enweghị ike ịkọwapụta ma kpochapụ ya.
Ndebiri anọ enwere ike iṅomi
1) Nhazi ugboro okwu (ya na nkwenye):
Depụta mkpụrụokwu ọdịnaya iri na ise na-emekarị (wepu okwu ọrụ dị ka njikọ na prepositions) n'ime ederede dị n'okpuru ebe a, yana oge ha ruru. ỊDỌ AKA NA NTỊ: Rụba ama na ọnụ ọgụgụ ahụ nwere ike ọ gaghị abụ nke ziri ezi wee rịba ama "ka ọ bụrụ nke ziri ezi, a ga-eji ngwa ngụta dị iche nyochaa ha." Ederede: [Tapawa ederede ebe a]
2) Ndị na-azọ ọkwa ọkwa:
Tụọ aro ụzọ abụọ (mkpokọta) na-emekọ ọnụ na ederede dị n'okpuru. Nye opekata mpe otu nhota ederede maka ụzọ abụọ ọ bụla. Mwepụta okpukpu abụọ nke na-enweghị ihe hakọrọ na ederede; Ọ bụrụ na ịmaghị n'aka, kaa ya akara ka "chọrọ nkwenye." Ederede: [mado ederede]
3) ntụnyere okwu:
Aga m enye gị ederede abụọ. Maka nke ọ bụla: okwu mkpokọta mkpokọta, nleba anya gbasara ụdị okwu dị iche iche, yana ngalaba okwu ama ama (dịka agba, ọdịdị, mmetụta). Kwupụta na ọnụọgụgụ ndị ahụ dị ihe. Hapụ nkọwa ntụnyere na nkwenye m. Ederede A: [...] Ederede B: [...]
4) Nkọwa nsonaazụ:
Enwetara m nsonaazụ ndị a site na ngwa ngụ: [mado nsonaazụ].Mepụta echiche 2-3 gbasara ihe ọnụọgụ ndị a nwere ike ịpụta n'asụsụ. Kanye akara n'echiche nke ọ bụla dị ka "chọrọ ihe akaebe" wee gwa m otu m ga-esi nwalee ya. Zere ikwubiga okwu ókè.
Ngwa ngwa adịghị ike / Ike siri ike
Adịghị ike: "Olee okwu na-apụtakarị na ederede a?"
siri ike: "Depụta mkpụrụokwu ọdịnaya kachasị na ederede a na ugboro ole ha dị; ewepu okwu ọrụ. Mee ka o doo anya na ọnụọgụgụ ndị ahụ ezughị oke ma ọ dị mkpa iji ngwaọrụ dị iche nyochaa ya. Nye ihe atụ nkebiokwu maka okwu ọ bụla."
Ngwa ngwa siri ike na-eme ka AI nabata oke ọnụọgụ wee gwa gị n'ihu na nkwenye achọrọ. Na ngwa ngwa adịghị ike, AI na-enye otu nọmba ma ị maghị na ọ nwere ike ịbụ ihe na-ezighị ezi.
Okpokoro nha na ntụkwasị obi
nha
Gịnị na-egosi
AI naanị
ụzọ ziri ezi
ugboro okwu
okwu ugboro ugboro
Banyere, dị ize ndụ
Nkọwa Counter + AI
agba
ndị gafere ọnụ
Na-emepụta ndị mmeri
Nkwenye site na ederede
Oke ụdị/token
Ọnụọgụ dị iche iche
Nwere ike iduhie
Akaụntụ nwere ngwá ọrụ
mgbanwe n'oge
Na-emekarị ka oge na-aga
na-ebute hypotheses
tụọ ma nyochaa
Okwu mmechi
Pụtara
Ike mana ikwubiga okwu ókè
ikpe mmadu
Okwu na n-gram echiche
Echiche abụọ na-eme ka ọrụ gị dịkwuo mfe na nyocha corpus. Nke mbụ bụ isiokwu (isi okwu na bekee - okwu na-apụta na ederede ma ọ bụ odee karịa ka a tụrụ anya ya ma e jiri ya tụnyere asụsụ izugbe, na-enye ederede ahụ "agwa ya"). Isi okwu onye edemede na-ekpughe mmasị na ụdị ya; Dịka ọmụmaatụ, ọ bụrụ na "oké osimiri" na "nkewa" na-eme ugboro ugboro karịa ka a tụrụ anya na onye na-ede uri, nrịanrịa ọnụ ọgụgụ a na-aghọ ebe mmalite maka nkọwa. Iji chọpụta isi okwu, ọ dị mkpa iji tụnyere ugboro ole ederede na ugboro ole nke ihe nrịbama (n'ozuzu, nnukwu akụkụ nke ederede eji atụnyere); Ntụle a bụ ọrụ akụrụngwa doro anya, ọ bụ ngụkọta nke AI enweghị ike ịdabere n'onwe ya.
Nke abụọ bụ n-gram (usoro n'usoro okwu n'usoro n'ederede; a na-akpọ usoro okwu abụọ "bigram", usoro nke okwu atọ ka a na-akpọ "trigram"). Nyocha N-gram na-ekpughe okwu usoro onye odee na nkebiokwu a na-ejikarị eme ihe. Dịka ọmụmaatụ, ọ bụrụ na onye odee na-eji nkebi ahịrịokwu dị ka "ụdị" ma ọ bụ "agbanyeghị" ugboro ugboro, nke a na-egosi àgwà ya nke ịme ahịrịokwu. AI nwere ike na-atụ aro nkebi ahịrịokwu ndị a dị ka ndị na-aga ime; ma maka ezi ugboro na ọnụ ọgụgụ ndekọ ọ dị mkpa ịlaghachi na ngwá ọrụ agụta.
Ndụmọdụ: Gwa AI, "Depụta nkebi ahịrịokwu ndị ama ama (okwu abụọ ma ọ bụ atọ) dị n'edemede a dị ka ndị na-eme ntuli aka, nyekwa ihe atụ sitere na ederede maka nke ọ bụla." Were ndepụta ndị ndoro-ndoro anya wee jiri ngwa dị iche tụọ ugboro ole. Debe AI dị ka “onye ngosi,” onye nnọchi anya dị ka “counter,” yana onwe gị dị ka “onye ntụgharị okwu.”
Mmejọ ndị nkịtị
- Na-adabere na ọnụ ọgụgụ raw AI. AI abụghị ihe mgbako; Nyochaa kpọmkwem nọmba site na ngwá ọrụ dị iche iche.
- Na-egosi nọmba na-enweghị ikwu. "Gafere oge 47" anaghị ekwu ihe ọ bụla; Ị na-emepụta ihe ọ pụtara.
- Na-eleghara ogologo ederede anya. Ọnụego ụdịdị egwu egwu dị ogologo.
- Na-eme tesis na-enweghị nkwenye na mkpokọta. Ndị di na nwunye na-abụghị AI nwere ike ịtụ aro; Kwado site na ederede.
- Nkọwa dị oke egwu. Anabatala "ihe kpatara" ndị AI tụrụ aro na-enweghị ihe akaebe.
Na nchịkọta
Nyocha corpus na-emepe akụkụ akwụkwọ a na-agụta ọnụ: ugboro ole, nchịkọta, okwu, mgbanwe oge. AI dị ike na mpaghara a na-amata ụkpụrụ na ịkọwa nsonaazụ; ma ọ bụ ihe a na-apụghị ịdabere na ya na ngụkọ zuru oke. Jiri ngwa dị iche nyochaa ọnụọgụgụ ahụ, kwado njikọ sitere na ederede, wee wepụta ihe ọnụọgụ ọ bụla pụtara n'onwe gị. Ọnụọgụ abụghị ihe akaebe, ọ bụ ọnụ ụzọ ihe akaebe.
Ọrụ ngwa
Họrọ obere ederede (okwu 500-1000). Chọpụta mkpụrụokwu ọdịnaya (dịka "abalị" ma ọ bụ "ụzọ"). Mbụ, gụọ onwe gị na ederede. Mgbe ahụ, mee ka AI gụọ ya. Tụlee nsonaazụ abụọ ahụ; Ọ bụrụ na enwere ọdịiche, nyochaa ihe kpatara ya. Wee dee nkọwa nke otu paragraf banyere ọrụ okwu ahụ dị na ederede — na-atụgharị nọmba ahụ ka ọ bụrụ ihe ọ pụtara.
ndetu
- M tinyere ajụjụ asụsụ doro anya.
- [] Akọwapụtara m ókèala nke corpus (ederede, mbipụta, oge).
- [ ] Achọpụtara m ọnụ ọgụgụ AI n'ụzọ nke abụọ.
- [ ] Ekwenyere m njikọ ndị ahụ site na ederede.
- [ ] Ahapụghị m nọmba ahụ n'ekwughị okwu; Mụ onwe m kere ihe ọ pụtara.