Awọn anfani:
- Agbara lati kọ awọn wiwọn corpus gẹgẹbi igbohunsafẹfẹ ọrọ, akojọpọ, ọrọ ọrọ ati awọn ọrọ-ọrọ pẹlu oye atọwọda
- Mọ pe itetisi atọwọda ko ni igbẹkẹle ni kika gangan ati ni anfani lati rii daju kika kọọkan pẹlu ọpa lọtọ
- Agbara lati ni oye pe nọmba kan ko sọ ohunkohun funrararẹ ati pe itumọ ede ti o fi idi itumọ naa mulẹ jẹ ti eniyan.
Awọn iwe-kikọ ati awọn ẹkọ ede kii ṣe "ọrọ asọye" nikan; O tun ni abala wiwọn ati kika. Oríṣiríṣi ọ̀rọ̀ mélòó ni òǹkọ̀wé máa ń lò, àwọn ọ̀rọ̀ wo ló fẹ́ràn láti lò, àwọn ọ̀rọ̀ wo ló máa ń wọ́pọ̀ ní àkókò kan – wọ́n máa ń ṣe àyẹ̀wò wọ̀nyí nípasẹ̀ ìmọ̀ ẹ̀kọ́ èdè (ìmọ̀ sáyẹ́ǹsì tó ń kẹ́kọ̀ọ́ ìró, ìtòlẹ́sẹẹsẹ, ìtumọ̀ àti lílo èdè) àti ní pàtàkì ẹ̀kọ́ èdè corpus. Kopọsi jẹ akojọpọ awọn ọrọ, gẹgẹbi awọn iṣẹ pipe ti onkọwe, ibi ipamọ ọdọọdun ti iwe iroyin, tabi awọn ewi ti akoko kan. Itupalẹ Corpus n wa awọn ilana nọmba ni chunk yii.
Ninu ẹyọkan yii, a yoo kọ ẹkọ lati lo AI gẹgẹbi oluranlọwọ itupalẹ corpus: ni iyara yiyọ awọn metiriki bii igbohunsafẹfẹ ọrọ (iye awọn akoko ti ọrọ kan waye ninu ọrọ), akojọpọ (awọn orisii ọrọ ti o waye nigbagbogbo papọ, fun apẹẹrẹ “dudu” + “Fortune mi”), ọrọ ọrọ ọrọ, ati iyatọ akoko. Ṣugbọn ikilọ kan lati ibẹrẹ: AI le ṣe awọn aṣiṣe nigba kika nikan; Awọn irinṣẹ pataki ni a nilo fun iye ti o tobi ati kongẹ, ati pe iwọ ni onimo-ede ti o ṣe agbekalẹ itumọ ti nọmba kọọkan.
Nibo ni AI lagbara ati nibo ni o jẹ alailagbara ninu itupalẹ corpus?
Awọn agbara rẹ jẹ: Ṣiṣayẹwo awọn ilana ni awọn ọrọ kekere ati alabọde, ṣiṣe awọn idawọle nipa awọn fokabulari ọrọ kan, didaba awọn oludije fun awọn akojọpọ, itumọ abajade kan, ti n ṣalaye ilana kan. AI beere “awọn gbolohun wo ni o ṣe pataki ninu onkọwe yii?” O yoo fun awọn ọna kan ibere si ibeere.
Ailagbara: kika deede. AI jẹ awoṣe ede, kii ṣe iṣiro; le funni ni isunmọ ati nigba miiran idahun ti ko tọ si ibeere naa “awọn akoko melo ni o ṣẹlẹ” ninu ọrọ gigun. Fun igbohunsafẹfẹ deede, awọn iṣiro iṣipopada gangan, tabi ṣiṣayẹwo koposi nla ti ẹgbẹẹgbẹrun awọn ọrọ, sọfitiwia amọja (fun apẹẹrẹ awọn irinṣẹ koposi bii AntConc tabi iwe kaunti) ni a lo. AI jẹ niyelori ni itumọ abajade ti awọn irinṣẹ wọnyi; Ṣugbọn maṣe jẹ ki o ṣe kika aise ni afọju.
Imọran: Ti o ba nilo nọmba gangan, lo awọn ọna meji: ni ọpa kan ṣe kika ni ọrọ kekere ki o ni itumọ AI; Tabi ni kika AI ki o jẹrisi ni ọna miiran. Maṣe lo gbolohun ọrọ “AI sọ pe o waye ni awọn akoko 47” laisi idaniloju.
Iwadi koposi ni igbese-nipasẹ-igbesẹ
- Fi ibeere kan. "Bawo ni awọn ọrọ awọ ṣe pin kaakiri ninu akewi yii?” Kika jẹ asan laisi ibeere ti o han bi:
- Setumo awọn koposi. Awọn ọrọ wo? Àtúnse wo? Akoko wo? Aala gbọdọ jẹ kedere.
- Yan wiwọn. Igbohunsafẹfẹ, akojọpọ, ọlọrọ ti awọn ọrọ?
- Ṣe iwọn ati rii daju. Ṣe kika, lẹhinna jẹrisi ọna keji.
- Ọrọìwòye. Nọmba nikan ko sọ ohunkohun; Ọrọ asọye rẹ ni o jẹ ki wiwa pe “awọn ọrọ awọ ni ilọpo meji ni akoko keji” ni itumọ.
Iwọn lilo nigbagbogbo ti ọrọ-ọrọ ọrọ jẹ ipin ti nọmba awọn ọrọ oriṣiriṣi si nọmba apapọ awọn ọrọ (ipin iru/ipin ami ami). Ti ipin yii ba ga, ọrọ naa jẹ ọrọ-orisirisi, ati pe ti o ba jẹ kekere, o tumọ si pe o jẹ atunwi. Ṣugbọn ipin yii ni ipa nipasẹ ipari ọrọ; Ṣọra nigbati o ba ṣe afiwe awọn ọrọ kukuru ati gigun taara.
mẹta mini igba
Ọran 1 - Collocation ṣe afihan ara kan. Oluwadi kan ṣe ayẹwo awọn isọdọmọ ajẹtífù-orukọ ni awọn aramada 3 ti aramada. AI daba pe ọrọ “pale” baamu awọn orukọ oriṣiriṣi 5; Oluwadi ṣe idaniloju 4 ti awọn ọrọ naa o si yọ 1 kuro bi ti a ṣe. Apẹrẹ ti a fọwọsi di alaye iwe afọwọkọ nipa ara ijuwe ti onkọwe.
Ọran 2 - Aṣiṣe kika ti mu. Ọmọ ile-iwe kan beere AI ni iye igba ti ọrọ “alẹ” han ninu ọrọ-ọrọ 2,000; AI sọ "23". Nigbati ọmọ ile-iwe ba sọ ọrọ naa sinu iwe kaunti kan ati pe o ni kika, nọmba gangan jẹ 17. O ti han gbangba pe iye aise ti AI ko ni igbẹkẹle.
Ọran 3 - Iyipada igbakọọkan fa ariyanjiyan. Ẹgbẹ kan ṣe afiwe ipin awọn ọrọ lainidi ninu awọn ewi kutukutu ati ti pẹ. Ibẹrẹ akọkọ ti AI daba aṣa kan; Nigbati ẹgbẹ naa pada si ọrọ naa ati rii daju kika naa, aṣa naa yipada lati jẹ gidi, ṣugbọn awọn “awọn idi” ti AI daba jẹ akiyesi airotẹlẹ ati pe a yọkuro.
Mẹrin daakọ awọn awoṣe
1) Ilana igbohunsafẹfẹ ọrọ (pẹlu ijẹrisi):
Ṣe atokọ awọn ọrọ akoonu 15 ti o nwaye loorekoore (iyasọtọ awọn ọrọ iṣẹ bii awọn asopọ ati awọn asọtẹlẹ) ninu ọrọ ni isalẹ, pẹlu awọn isunmọ isunmọ wọn. IKILO: Ṣe akiyesi pe awọn iṣiro le MA jẹ deede ati akiyesi “lati jẹ deede, wọn gbọdọ jẹri pẹlu ohun elo kika lọtọ.” Ọrọ: [kọ ọrọ si ibi]
2) Awọn oludije agbegbe:
Daba orisii awọn ọrọ (awọn akojọpọ) ti o waye loorekoore papọ ninu ọrọ ni isalẹ. Fun ni o kere kan agbasọ ọrọ fun bata kọọkan. Ṣiṣẹda ilọpo meji ti ko ni deede ninu ọrọ naa; Ti o ko ba ni idaniloju, samisi bi "nilo ijẹrisi".Text: [pa ọrọ mọ]
3) Afiwe ọrọ ọrọ:
Emi yoo fun ọ ni awọn ọrọ meji. Fun ọkọọkan: awọn ọrọ lapapọ isunmọ, awọn akiyesi nipa oriṣiriṣi awọn ọrọ ọrọ, ati awọn agbegbe ọrọ olokiki (fun apẹẹrẹ awọ, iseda, imolara). Sọ pe awọn nọmba jẹ isunmọ. Fi itumọ ti lafiwe silẹ si iṣeduro mi. Ọrọ A: [...] Ọrọ B: [...]
4) Itumọ abajade:
Mo ni awọn abajade wọnyi lati ọdọ ohun elo kika: [lẹẹmọ awọn abajade].Ṣiṣe awọn idawọle 2-3 nipa kini awọn nọmba wọnyi le tumọ si ni ede. Samisi idawọle kọọkan bi “nbeere ẹri” ki o sọ fun mi bi MO ṣe le ṣe idanwo rẹ. Yago fun nmu comments.
Ailagbara kiakia / Alagbara kiakia
Alailagbara: "Ọrọ wo ni o waye julọ ninu ọrọ yii?"
Alagbara: "Ṣakojọ awọn ọrọ akoonu loorekoore julọ ninu ọrọ yii pẹlu isunmọ isunmọ wọn; yọkuro awọn ọrọ iṣẹ. Jẹ ki o ye wa pe awọn nọmba ko ni deede ati pe o nilo lati rii daju pẹlu ohun elo lọtọ. Fun apẹẹrẹ apẹẹrẹ fun ọrọ kọọkan.”
Iyara ti o lagbara jẹ ki AI gba opin kika ati sọ fun ọ ni iwaju pe a nilo ijẹrisi. Ni kiakia ti ko lagbara, AI funni ni nọmba kan ati pe o ko mọ pe o le jẹ aṣiṣe.
Iwọn ati tabili igbẹkẹle
wiwọn
Ohun ti fihan
AI nikan
ọna ọtun
ọrọ igbohunsafẹfẹ
loorekoore ọrọ
Nipa, eewu
Counter + AI asọye
awọ awọ
awon ti o koja papo
Ṣe agbejade awọn oludije
Ìmúdájú lati ọrọ
Irisi / ami ipin
Isorosi oniruuru
Le jẹ sinilona
Account pẹlu ọpa
ti igba ayipada
Aṣa lori akoko
ipilẹṣẹ idawọle
Ṣe iwọn ati rii daju
Ọrọ asọye ipari
Itumo
Alagbara sugbon exggerates
idajọ eniyan
Koko ati n-gram agbekale
Awọn imọran meji jẹ ki iṣẹ rẹ rọrun ni itupalẹ corpus. Ni igba akọkọ ti Koko (Koko ni English - awọn ọrọ ti o waye ninu a ọrọ tabi onkowe Elo siwaju sii ju igba ti a ti ṣe yẹ akawe si awọn gbogboogbo ede, fun wipe ọrọ awọn oniwe-"ohun kikọ"). Awọn koko ọrọ onkọwe ṣe afihan awọn ifẹ ati ara rẹ; Fun apẹẹrẹ, ti “okun” ati “ipinya” ba waye loorekoore ju ti a reti lọ ninu akewi, itusilẹ iṣiro yii di aaye ibẹrẹ fun itumọ. Lati ṣe idanimọ awọn koko-ọrọ, o jẹ dandan lati ṣe afiwe awọn igbohunsafẹfẹ ti ọrọ kan pẹlu awọn igbohunsafẹfẹ ti koposi itọkasi (gbogboogbo, ara nla ti ọrọ ti a lo fun lafiwe); Ifiwewe yii jẹ iṣẹ irinṣẹ pataki, o jẹ iṣiro ti AI ko le ṣe igbẹkẹle lori ara rẹ.
Èkejì jẹ́ n-gram (ọ̀wọ̀n àwọn ọ̀rọ̀ n tẹ̀ léra nínú ọ̀rọ̀; ọ̀rọ̀ ọ̀sẹ̀ méjì ni a ń pè ní “bigram”, ọ̀rọ̀ ọ̀sẹ̀ mẹ́ta kan ni a ń pè ní “trigram”). Itupalẹ N-gram ṣe afihan awọn ikosile agbekalẹ ti onkọwe ati awọn gbolohun ọrọ ti a lo nigbagbogbo. Fun apẹẹrẹ, ti onkqwe ba lo awọn gbolohun ọrọ gẹgẹbi "iru" tabi "sibẹsibẹ" ni igbagbogbo, eyi tọka si iwa rẹ ti ṣiṣe awọn gbolohun ọrọ. AI le daba awọn gbolohun wọnyi bi awọn oludije; ṣugbọn fun igbohunsafẹfẹ otitọ ati pataki iṣiro o jẹ dandan lati pada si ohun elo kika.
Akiyesi: Sọ fun AI, "Ṣakojọ awọn gbolohun pataki (awọn ọrọ meji tabi mẹta) ninu ọrọ yii gẹgẹbi awọn oludije, ki o si fun apẹẹrẹ lati inu ọrọ fun ọkọọkan." Mu atokọ oludije ki o wọn iwọn igbohunsafẹfẹ gangan pẹlu ọpa lọtọ. Gbe AI si bi “olukiyesi,” aṣoju bi “counter,” ati funrararẹ bi “onitumọ.”
Awọn aṣiṣe ti o wọpọ
- Gbẹkẹle kika aise ti AI. AI kii ṣe iṣiro; Daju awọn gangan nọmba nipa lọtọ ọpa.
- Fifihan nọmba naa laisi asọye. "Ti kọja awọn akoko 47" ko sọ ohunkohun; O ṣẹda itumo.
- Fojusi ipari ọrọ. Awọn oṣuwọn oniruuru Lyric jẹ ifarabalẹ gigun.
- Ṣiṣe iwe afọwọkọ laisi ijẹrisi akojọpọ. Awọn tọkọtaya ti kii ṣe AI le daba; Jẹrisi lati ọrọ naa.
- Ọrọ asọye. Maṣe gba awọn “awọn idi” ti AI daba laisi ẹri.
Ni akojọpọ
Itupalẹ Corpus ṣii oju-iwe kika kika ti iwe: igbohunsafẹfẹ, akojọpọ, awọn ọrọ, iyipada igbakọọkan. AI jẹ alagbara ni agbegbe yii ni idanimọ awọn ilana ati awọn esi itumọ; sugbon o jẹ aigbagbọ ni idi kika. Daju nọmba naa pẹlu irinṣẹ lọtọ, jẹrisi awọn akojọpọ lati inu ọrọ naa, ki o fi idi itumọ nọmba kọọkan mulẹ funrararẹ. Nọmba kii ṣe ẹri, o jẹ ilẹkun si ẹri.
Ohun elo iṣẹ-ṣiṣe
Yan ọrọ kukuru kan (awọn ọrọ 500-1000). Ṣe idanimọ ọrọ akoonu kan (fun apẹẹrẹ "alẹ" tabi "opopona"). Ni akọkọ, ka ara rẹ sinu ọrọ naa. Lẹhinna jẹ ki AI ka rẹ. Ṣe afiwe awọn abajade meji; Ti iyatọ ba wa, ṣe iwadii idi naa. Lẹhinna kọ asọye-ipin kan kan lori iṣẹ ti ọrọ yẹn ninu ọrọ naa — yi nọmba naa pada si itumọ.
akojọ ayẹwo
- [] Mo fi ibeere ede ti o han gbangba.
- [] Mo ti ṣalaye awọn aala ti koposi (ọrọ, àtúnse, akoko).
- [] Mo jẹrisi kika AI ni ọna keji.
- [] Mo jẹrisi awọn akojọpọ lati inu ọrọ naa.
- [] Emi ko fi nọmba naa silẹ laisi asọye; Mo ṣẹda itumọ naa funrararẹ.