Mga nadagdag:
- Kakayahang mag-draft ng mga sukat ng corpus tulad ng dalas ng salita, collocation, kayamanan ng bokabularyo at mga keyword na may artificial intelligence
- Alam na ang artificial intelligence ay hindi mapagkakatiwalaan sa eksaktong pagbibilang at ma-verify ang bawat bilang gamit ang isang hiwalay na tool
- Kakayahang maunawaan na ang isang numero ay hindi nagsasabi ng anumang bagay sa sarili nitong at ang linguistic na interpretasyon na nagtatatag ng kahulugan ay pagmamay-ari ng mga tao.
Ang mga pag-aaral sa panitikan at wika ay hindi lamang "komentaryo"; Mayroon din itong masusukat at mabibilang na aspeto. Ilang iba't ibang salita ang ginagamit ng may-akda, aling mga salita ang gusto niyang gamitin kung aling mga salita, aling mga salita ang nagiging karaniwan sa isang panahon - ang mga ito ay sinisiyasat sa pamamagitan ng linggwistika (ang agham na nag-aaral sa tunog, istruktura, kahulugan at paggamit ng wika) at lalo na ang corpus linguistics. Ang corpus ay isang koleksyon ng mga teksto, tulad ng kumpletong mga gawa ng isang may-akda, taunang archive ng isang pahayagan, o mga tula ng isang panahon. Ang pagsusuri sa corpus ay naghahanap ng mga numerical pattern sa tipak na ito.
Sa unit na ito, matututunan nating gamitin ang AI bilang isang corpus analysis assistant: mabilis na pagkuha ng mga sukatan gaya ng dalas ng salita (ang dami ng beses na lumabas ang isang salita sa text), collocation (mga pares ng salita na madalas mangyari nang magkasama, hal. "black" + "my fortune"), bokabularyo kayamanan, at seasonal variation. Ngunit isang babala mula sa simula: Maaaring magkamali ang AI kapag nagbibilang nang mag-isa; Ang mga espesyal na tool ay kailangan para sa malaki at tumpak na mga bilang, at ikaw ang linguist na nagtatatag ng kahulugan ng bawat numero.
Saan ang AI malakas at saan ito mahina sa corpus analysis?
Ang mga kalakasan nito ay: Pagkilala ng mga pattern sa maliliit at katamtamang mga teksto, pagbuo ng mga hypotheses tungkol sa bokabularyo ng isang teksto, pagmumungkahi ng mga kandidato para sa mga kolokasyon, pagbibigay-kahulugan sa isang resulta, paglalarawan ng isang pamamaraan. Nagtatanong ang AI "anong mga parirala ang namumukod-tangi sa may-akda na ito?" Nagbibigay ito ng mabilis na pagsisimula sa tanong.
Kahinaan: Tumpak na pagbibilang. Ang AI ay isang modelo ng wika, hindi isang calculator; maaaring magbigay ng tinatayang at kung minsan ay hindi tamang sagot sa tanong na "ilang beses na nangyari" sa isang mahabang teksto. Para sa tumpak na dalas, eksaktong istatistika ng colocation, o malaking corpus scan ng libu-libong salita, ginagamit ang espesyal na software (hal. corpus tool gaya ng AntConc o isang spreadsheet). Ang AI ay mahalaga sa pagbibigay-kahulugan sa output ng mga tool na ito; Ngunit huwag gawin sa kanya ang hilaw na bilang nang walang taros.
Tip: Kung kailangan mo ng eksaktong numero, gumamit ng dalawang paraan: ipagawa sa isang tool ang pagbibilang sa maliit na teksto at ipakahulugan ito sa AI; O ipabilang ang AI at i-verify ito sa ibang paraan. Huwag kailanman gamitin ang pangungusap na "Sinabi ng AI na nangyari ito nang 47 beses" nang walang kumpirmasyon.
Isang hakbang-hakbang na pag-aaral ng corpus
- Maglagay ng tanong. "Paano ipinamamahagi ang mga salitang may kulay sa makata na ito?" Ang pagbibilang ay walang kabuluhan nang walang malinaw na tanong tulad ng:
- Tukuyin ang corpus. Aling mga text? Aling edisyon? Aling panahon? Ang hangganan ay dapat na malinaw.
- Piliin ang sukat. Dalas, collocation, kayamanan ng bokabularyo?
- Sukatin at i-verify. Magbilang, pagkatapos ay kumpirmahin ang pangalawang paraan.
- Magkomento. Ang numero lamang ay walang sinasabi; Ang iyong komento ang nagpapakahulugan sa paghahanap na "nadoble ang mga salitang may kulay sa ikalawang yugto."
Ang isang madalas na ginagamit na sukatan ng kayamanan ng bokabularyo ay ang ratio ng bilang ng iba't ibang salita sa kabuuang bilang ng mga salita (uri/token ratio). Kung ang ratio na ito ay mataas, ang teksto ay word-variety, at kung ito ay mababa, ito ay nangangahulugan na ito ay paulit-ulit. Ngunit ang ratio na ito ay apektado ng haba ng teksto; Mag-ingat sa direktang paghahambing ng maikli at mahabang teksto.
tatlong mini case
Case 1 — Nagpakita ng istilo ang Collocation. Sinuri ng isang mananaliksik ang mga pagpapares ng pang-uri-pangngalan sa 3 nobela ng isang nobelista. Iminungkahi ng AI na ang salitang "maputla" ay tumutugma sa 5 magkakaibang pangngalan; Napatunayan ng mananaliksik ang 4 sa mga teksto at inalis ang 1 bilang gawa-gawa. Ang nakumpirmang pattern ay naging isang thesis statement tungkol sa deskriptibong istilo ng may-akda.
Case 2 — Nahuli ang error sa pagbibilang. Isang estudyante ang nagtanong sa AI kung ilang beses lumabas ang salitang "gabi" sa isang 2,000-salitang teksto; Sinabi ng AI na "23". Nang itinapon ng mag-aaral ang text sa isang spreadsheet at binilang ito, ang aktwal na bilang ay 17. Naging malinaw na ang raw count ng AI ay hindi maaasahan.
Kaso 3 — Ang pana-panahong pagbabago ay nagdulot ng kontrobersiya. Inihambing ng isang grupo ang proporsyon ng mga abstract na salita sa mga maaga at huli na tula ng isang makata. Ang unang draft ng AI ay nagmungkahi ng isang trend; Nang bumalik ang grupo sa teksto at i-verify ang bilang, ang trend ay naging totoo, ngunit ang "mga sanhi" na iminungkahi ng AI ay hindi mapapatunayang haka-haka at inalis.
Apat na maaaring kopyahin na mga template
1) Outline ng dalas ng salita (na may pag-verify):
Ilista ang 15 pinaka-madalas na paglitaw ng mga salita ng nilalaman (ibukod ang mga salita ng function tulad ng mga pang-ugnay at pang-ukol) sa teksto sa ibaba, kasama ang kanilang mga tinatayang frequency. BABALA: Tandaan na MAAARING HINDI tumpak ang mga bilang at tandaan na "para maging tumpak, dapat na ma-verify ang mga ito gamit ang isang hiwalay na tool sa pagbibilang." Teksto: [idikit ang teksto dito]
2) Mga kandidato sa colocation:
Magmungkahi ng mga pares ng mga salita (collocations) na madalas na magkasama sa teksto sa ibaba. Magbigay ng kahit isang sipi mula sa teksto para sa bawat pares. Dobleng katha na walang katumbas sa teksto; Kung hindi ka sigurado, markahan ito bilang "nangangailangan ng pag-verify". Text: [paste text]
3) Paghahambing ng bokabularyo:
Bibigyan kita ng dalawang text. Para sa bawat isa: tinatayang kabuuang salita, mga obserbasyon tungkol sa iba't ibang uri ng salita, at mga kilalang domain ng salita (hal. kulay, kalikasan, damdamin). Sabihin na ang mga numero ay tinatayang. Iwanan ang interpretasyon ng paghahambing sa aking pagpapatunay. Teksto A: [...] Teksto B: [...]
4) Interpretasyon ng resulta:
Nakuha ko ang mga sumusunod na resulta mula sa isang tool sa pagbibilang: [i-paste ang mga resulta]. Bumuo ng 2-3 hypotheses tungkol sa kung ano ang maaaring ibig sabihin ng mga numerong ito ayon sa wika. Markahan ang bawat hypothesis bilang "nangangailangan ng ebidensya" at sabihin sa akin kung paano ko ito masusubok. Iwasan ang labis na komento.
Mahinang prompt / Malakas na prompt
Mahina: "Aling salita ang madalas na makikita sa tekstong ito?"
Strong: "Ilista ang pinakamadalas na mga salita sa nilalaman sa tekstong ito kasama ng kanilang tinatayang dalas; ibukod ang mga salita ng function. Gawing malinaw na ang mga numero ay hindi eksakto at kailangang ma-verify gamit ang isang hiwalay na tool. Magbigay ng halimbawang pangungusap para sa bawat salita."
Ang malakas na prompt ay ginagawang tanggapin ng AI ang limitasyon ng bilang at sasabihin sa iyo nang maaga na kailangan ang pag-verify. Sa mahinang prompt, ang AI ay nagbibigay ng isang numero at hindi mo alam na maaaring mali ito.
Talahanayan ng pagsukat at pagiging maaasahan
pagsukat
Ano ang nagpapakita
AI lang
tamang paraan
dalas ng salita
madalas na salita
Tungkol sa, mapanganib
Counter + AI commentary
colocation
ang mga dumaan na magkasama
Gumagawa ng mga kandidato
Pagkumpirma mula sa text
Uri/token ratio
Pagkakaiba-iba ng salita
Maaaring nakaliligaw
Account na may tool
pana-panahong pagbabago
Uso sa paglipas ng panahon
bumubuo ng mga hypotheses
Sukatin at i-verify
Pangwakas na komento
Ibig sabihin
Makapangyarihan ngunit nagpapalabis
paghatol ng tao
Mga konsepto ng keyword at n-gram
Pinapadali ng dalawang konsepto ang iyong trabaho sa pagsusuri ng corpus. Ang una ay ang keyword (keyword sa English - ang salitang nangyayari sa isang teksto o may-akda nang mas madalas kaysa sa inaasahan kumpara sa pangkalahatang wika, na nagbibigay sa tekstong iyon ng "character" nito). Ang mga keyword ng isang may-akda ay nagpapakita ng kanyang mga interes at istilo; Halimbawa, kung ang "dagat" at "paghihiwalay" ay nangyayari nang mas madalas kaysa sa inaasahan sa isang makata, ang istatistikal na protrusion na ito ay nagiging panimulang punto para sa isang interpretasyon. Upang matukoy ang mga keyword, kinakailangang ihambing ang mga frequency ng isang text sa mga frequency ng isang reference corpus (isang pangkalahatan, malaking katawan ng teksto na ginagamit para sa paghahambing); Ang paghahambing na ito ay isang tiyak na tool na trabaho, ito ay isang pagkalkula na hindi magagawa ng AI na mapagkakatiwalaan sa sarili nitong.
Ang pangalawa ay n-gram (isang pagkakasunud-sunod ng n magkakasunod na salita sa isang teksto; ang pagkakasunod-sunod ng dalawang salita ay tinatawag na "bigram", isang pagkakasunod-sunod ng tatlong salita ay tinatawag na "trigram"). Ang pagsusuri sa N-gram ay nagpapakita ng mga formulaic expression ng isang may-akda at madalas na ginagamit na mga parirala. Halimbawa, kung ang isang manunulat ay gumagamit ng mga parirala tulad ng "uri ng" o "gayunpaman" napakadalas, ito ay nagpapahiwatig ng kanyang ugali sa paggawa ng mga pangungusap. Ang AI ay maaaring magmungkahi ng mga pariralang ito bilang mga kandidato; ngunit para sa tunay na dalas at istatistikal na kahalagahan kinakailangan na bumalik sa tool sa pagbibilang.
Hint: Sabihin sa AI, "Ilista ang mga kapansin-pansing parirala (dalawa o tatlong salita) sa tekstong ito bilang mga kandidato, at magbigay ng halimbawa mula sa teksto para sa bawat isa." Kunin ang listahan ng kandidato at sukatin ang aktwal na dalas gamit ang isang hiwalay na tool. Iposisyon ang AI bilang "notice," ang ahente bilang "counter," at ang iyong sarili bilang "interpreter."
Mga karaniwang pagkakamali
- Umaasa sa raw count ng AI. Ang AI ay hindi isang calculator; I-verify ang eksaktong numero sa pamamagitan ng hiwalay na tool.
- Pagpapakita ng numero nang walang komento. "Pumasa ng 47 beses" ay walang sinasabi; Ikaw ang lumikha ng kahulugan.
- Hindi pinapansin ang haba ng text. Ang mga rate ng pagkakaiba-iba ng liriko ay sensitibo sa haba.
- Paggawa ng thesis nang hindi bini-verify ang collocation. Maaaring magmungkahi ang mga mag-asawang hindi AI; Kumpirmahin mula sa text.
- Matinding komento. Huwag tanggapin ang "mga dahilan" na iminungkahi ng AI nang walang ebidensya.
Sa buod
Binubuksan ng pagsusuri sa corpus ang mabibilang na aspeto ng panitikan: dalas, kolokasyon, bokabularyo, pana-panahong pagbabago. Makapangyarihan ang AI sa lugar na ito sa pagkilala ng mga pattern at pagbibigay-kahulugan sa mga resulta; ngunit ito ay hindi mapagkakatiwalaan sa ganap na pagbibilang. I-verify ang numero gamit ang hiwalay na tool, kumpirmahin ang mga collocation mula sa text, at itatag ang kahulugan ng bawat numero sa iyong sarili. Ang numero ay hindi katibayan, ito ang pintuan sa ebidensya.
Gawain ng aplikasyon
Pumili ng maikling teksto (500-1000 salita). Tukuyin ang isang nilalamang salita (hal. "gabi" o "kalsada"). Una, bilangin ang iyong sarili sa teksto. Pagkatapos ay bilangin ito ng AI. Ihambing ang dalawang resulta; Kung may pagkakaiba, siyasatin ang dahilan. Pagkatapos ay magsulat ng isang talata na komento sa paggana ng salitang iyon sa teksto — ginagawang kahulugan ang numero.
checklist
- [ ] Naglagay ako ng malinaw na tanong sa wika.
- [ ] Tinukoy ko ang mga hangganan ng corpus (teksto, edisyon, panahon).
- [ ] Na-verify ko ang bilang ng AI sa pangalawang paraan.
- [ ] Kinumpirma ko ang mga collocation mula sa text.
- [ ] Hindi ko iniwan ang numero nang walang komento; Ako mismo ang lumikha ng kahulugan.