Pelnas:
- Galimybė parengti korpuso matavimus, tokius kaip žodžių dažnis, kolokacija, žodyno turtingumas ir raktiniai žodžiai su dirbtiniu intelektu
- Žinodami, kad dirbtinis intelektas yra nepatikimas tiksliai skaičiuojant, ir gebėjimas kiekvieną skaičių patikrinti atskiru įrankiu
- Gebėjimas suprasti, kad skaičius pats savaime nieko nepasako ir kad reikšmę nustatantis kalbinis aiškinimas priklauso žmogui.
Literatūros ir kalbų studijos nėra tik „komentaras“; Jis taip pat turi išmatuojamą ir suskaičiuojamą aspektą. Kiek skirtingų žodžių autorius vartoja, kokius žodžius mėgsta vartoti, kokie žodžiai tam tikru laikotarpiu tampa bendri – tai tiriama pasitelkus kalbotyrą (kalbą, dėstymą, reikšmę ir vartoseną tiriantį mokslą) ir ypač korpuslingvistiką. Korpusas – tai tekstų rinkinys, pavyzdžiui, pilni autoriaus kūriniai, metinis laikraščio archyvas ar tam tikro laikotarpio eilėraščiai. Korpuso analizė šioje dalyje ieško skaitinių modelių.
Šiame skyriuje išmoksime naudoti dirbtinį intelektą kaip korpuso analizės asistentą: greitai išgauti tokias metrikas kaip žodžių dažnis (žodžio pasikartojimo skaičius tekste), kolokacija (žodžių poros, kurios dažnai pasitaiko kartu, pvz., „juoda“ + „mano turtas“), žodyno turtingumas ir sezoniniai pokyčiai. Tačiau įspėjimas nuo pat pradžių: AI gali padaryti klaidų, kai skaičiuoja vienas; Norint atlikti didelius ir tikslius skaičiavimus, reikia specialių įrankių, o jūs esate kalbininkas, kuris nustato kiekvieno skaičiaus reikšmę.
Kur AI stiprus ir kur silpnas korpuso analizėje?
Jo stipriosios pusės: atpažinti modelius mažuose ir vidutiniuose tekstuose, generuoti hipotezes apie teksto žodyną, siūlyti kolokacijas, interpretuoti rezultatą, aprašyti metodiką. AI klausia: „Kokios frazės išsiskiria šiame autoriuje? Tai suteikia greitą klausimo pradžią.
Silpnumas: tikslus skaičiavimas. AI yra kalbos modelis, o ne skaičiuotuvas; gali duoti apytikslį, o kartais ir neteisingą atsakymą į klausimą „kiek kartų tai įvyko“ ilgame tekste. Tiksliam dažniui, tiksliam kolokacijos statistikui arba dideliam tūkstančių žodžių korpuso nuskaitymui naudojama specializuota programinė įranga (pvz., korpuso įrankiai, tokie kaip AntConc arba skaičiuoklė). AI yra vertingas interpretuojant šių įrankių rezultatus; Tačiau neverskite jo aklai skaičiuoti.
Patarimas: jei jums reikia tikslaus skaičiaus, naudokite du būdus: įrankį skaičiuokite mažu tekstu ir DI jį interpretuotų; Arba turėkite AI skaičių ir patikrinkite jį kitu būdu. Niekada nenaudokite sakinio „AI sakė, kad tai pasitaiko 47 kartus“ be patvirtinimo.
Žingsnis po žingsnio korpuso tyrimas
- Užduokite klausimą. „Kaip šiame poete pasiskirsto spalvoti žodžiai? Skaičiavimas yra beprasmis be aiškaus klausimo, pavyzdžiui:
- Apibrėžkite korpusą. Kokie tekstai? Kuris leidimas? Kuris laikotarpis? Siena turi būti aiški.
- Pasirinkite matavimą. Dažnumas, kolokacija, žodyno turtingumas?
- Išmatuokite ir patikrinkite. Suskaičiuokite, tada patvirtinkite antrąjį būdą.
- komentuoti. Vien skaičius nieko nesako; Būtent jūsų komentaras įprasmina išvadą, kad „spalvoti žodžiai padvigubėjo antruoju laikotarpiu“.
Dažnai naudojamas žodyno turtingumo matas yra skirtingų žodžių skaičiaus ir bendro žodžių skaičiaus santykis (tipo/žetono santykis). Jei šis santykis yra didelis, tekstas yra žodžių įvairovės, o jei jis mažas, tai reiškia, kad jis kartojasi. Tačiau šį santykį įtakoja teksto ilgis; Būkite atsargūs tiesiogiai lygindami trumpus ir ilgus tekstus.
trys mini dėklai
1 atvejis. Kolokacija parodė stilių. Tyrėjas ištyrė būdvardžių ir daiktavardžių poras 3 romanų rašytojo romanuose. AI pasiūlė, kad žodis „blyškus“ atitiktų 5 skirtingus daiktavardžius; Tyrėjas patikrino 4 tekstus ir pašalino 1 kaip išgalvotus. Patvirtintas modelis tapo teiginiu apie autoriaus aprašomąjį stilių.
2 atvejis – užfiksuota skaičiavimo klaida. Studentas paklausė AI, kiek kartų žodis „naktis“ pasirodė 2000 žodžių tekste; AI pasakė „23“. Kai studentas įmetė tekstą į skaičiuoklę ir suskaičiavo, tikrasis skaičius buvo 17. Tapo aišku, kad dirbtinio intelekto neapdorotas skaičius yra nepatikimas.
3 atvejis. Periodiškas keitimas sukėlė ginčų. Viena grupė palygino abstrakčių žodžių santykį ankstyvuosiuose ir vėlyvuosiuose poeto eilėraščiuose. Pirmasis AI juodraštis pasiūlė tendenciją; Kai grupė grįžo prie teksto ir patikrino skaičių, tendencija pasirodė esanti reali, tačiau AI pasiūlytos „priežastys“ buvo nepatvirtintos spėlionės ir buvo pašalintos.
Keturi kopijuojami šablonai
1) Žodžių dažnio kontūras (su patikrinimu):
Toliau esančiame tekste išvardykite 15 dažniausiai pasitaikančių turinio žodžių (išskirkite funkcinius žodžius, pvz., jungtukus ir prielinksnius) ir apytikslį jų dažnį. ĮSPĖJIMAS: atminkite, kad skaičiavimai GALI NEBŪTI tikslūs, ir atkreipkite dėmesį, kad „kad būtų tikslūs, jie turi būti patikrinti naudojant atskirą skaičiavimo įrankį“. Tekstas: [įklijuokite tekstą čia]
2) Kandidatai į vietą:
Pasiūlykite žodžių poras (kolokacijas), kurios toliau pateiktame tekste dažnai pasitaiko kartu. Kiekvienai porai pateikite bent vieną citatą iš teksto. Dvigubas kūrinys, neturintis atitikmens tekste; Jei nesate tikri, pažymėkite kaip "reikia patvirtinimo". Tekstas: [įklijuoti tekstą]
3) Žodyno palyginimas:
Pateiksiu du tekstus. Kiekvienam: apytikslis bendras žodžių skaičius, pastebėjimai apie skirtingas žodžių atmainas ir svarbios žodžių sritys (pvz., spalva, gamta, emocijos). Nurodykite, kad skaičiai yra apytiksliai. Palyginimo aiškinimą palikite mano patikrinimui. A tekstas: [...] Tekstas B: [...]
4) Rezultato interpretacija:
Iš skaičiavimo įrankio gavau tokius rezultatus: [įklijuoti rezultatus]. Sukurkite 2–3 hipotezes apie tai, ką šie skaičiai gali reikšti kalbiniu požiūriu. Pažymėkite kiekvieną hipotezę kaip „reikia įrodymų“ ir pasakykite, kaip galiu ją patikrinti. Venkite perteklinių komentarų.
Silpnas raginimas / Stiprus raginimas
Silpnas: „Koks žodis šiame tekste pasitaiko dažniausiai?
Stiprus: "Išvardykite dažniausiai pasitaikančius šio teksto turinio žodžius su apytiksliu jų dažnumu; neįtraukite funkcinių žodžių. Paaiškinkite, kad skaičiai nėra tikslūs ir juos reikia patikrinti atskiru įrankiu. Pateikite kiekvieno žodžio sakinio pavyzdį."
Galingas raginimas verčia AI priimti skaičiavimo limitą ir iš anksto praneša, kad būtinas patvirtinimas. Silpnoje eilutėje AI pateikia vieną skaičių ir jūs nežinote, kad jis gali būti neteisingas.
Matavimų ir patikimumo lentelė
matavimas
Kas rodo
AI vienas
teisingu keliu
žodžių dažnis
dažni žodžiai
Apie, rizikinga
Skaitliukas + AI komentaras
kolokacija
tie, kurie praėjo kartu
Gamina kandidatus
Patvirtinimas iš teksto
Tipo/žetono santykis
Žodinė įvairovė
Gali klaidinti
Sąskaita su įrankiu
sezoninis pokytis
Tendencija laikui bėgant
generuoja hipotezes
Išmatuokite ir patikrinkite
Baigiamasis komentaras
Reikšmė
Galingas, bet perdeda
žmogaus sprendimas
Raktažodžių ir n-gramų sąvokos
Dvi koncepcijos palengvina jūsų darbą atliekant korpuso analizę. Pirmasis yra raktinis žodis (anglų kalba raktinis žodis – žodis, kuris tekste ar autoriuje pasitaiko daug dažniau nei tikimasi, palyginti su bendrine kalba, suteikiantis tam tekstui jo „charakterį“). Autoriaus raktažodžiai atskleidžia jo pomėgius ir stilių; Pavyzdžiui, jei poete „jūra“ ir „atsiskyrimas“ pasitaiko dažniau nei tikėtasi, šis statistinis išsikišimas tampa interpretacijos atskaitos tašku. Norint identifikuoti raktinius žodžius, būtina palyginti teksto dažnius su atskaitos korpuso (bendras, didelis palyginimui naudojamas teksto korpusas) dažniais; Šis palyginimas yra galutinis įrankio darbas, tai yra skaičiavimas, kurio AI negali patikimai atlikti pats.
Antroji – n-grama (n iš eilės einančių žodžių seka tekste; dviejų žodžių seka vadinama „bigrama“, trijų žodžių seka – „trigrama“). N-gramų analizė atskleidžia autoriaus formulines išraiškas ir dažnai vartojamas frazes. Pavyzdžiui, jei rašytojas ypač dažnai vartoja tokias frazes kaip „rūšis“ arba „tačiau“, tai rodo jo įprotį kurti sakinius. AI gali pasiūlyti šias frazes kaip kandidatus; tačiau norint sužinoti tikrąjį dažnį ir statistinį reikšmingumą, būtina grįžti prie skaičiavimo įrankio.
Užuomina: pasakykite AI: „Išvardykite svarbias frazes (du ar tris žodžius) šiame tekste kaip kandidatus ir pateikite kiekvieno teksto pavyzdį“. Paimkite kandidatų sąrašą ir atskiru įrankiu išmatuokite tikrąjį dažnį. Padėkite dirbtinį intelektą kaip „pastebėtoją“, agentą kaip „skaitiklį“, o save kaip „vertėją“.
Dažnos klaidos
- Remdamiesi neapdorotu AI skaičiumi. AI nėra skaičiuotuvas; Tikslų skaičių patikrinkite naudodami atskirą įrankį.
- Numerio pateikimas be komentarų. „Išlaikyta 47 kartus“ nieko nesako; Jūs kuriate prasmę.
- Nepaisoma teksto ilgio. Dainų įvairovės rodikliai yra jautrūs ilgiui.
- Baigiamojo darbo kūrimas nepatikrinus kolokacijos. Ne AI poros gali pasiūlyti; Patvirtinkite iš teksto.
- Ekstremalus komentaras. Nepriimkite AI siūlomų „priežasčių“ be įrodymų.
Apibendrinant
Korpuso analizė atveria suskaičiuojamą literatūros pusę: dažnumą, kolokaciją, žodyną, periodišką kaitą. Dirbtinis intelektas šioje srityje gali atpažinti modelius ir interpretuoti rezultatus; bet absoliučiai skaičiuojant jis nepatikimas. Patikrinkite skaičių naudodami atskirą įrankį, patvirtinkite kolokacijas iš teksto ir patys nustatykite kiekvieno skaičiaus reikšmę. Skaičius nėra įrodymas, tai durys į įrodymus.
Taikymo užduotis
Pasirinkite trumpą tekstą (500–1000 žodžių). Nurodykite turinio žodį (pvz., „naktis“ arba „kelias“). Pirma, suskaičiuokite save tekste. Tada leiskite dirbtiniam intelektui tai suskaičiuoti. Palyginkite du rezultatus; Jei yra skirtumas, ištirkite priežastį. Tada parašykite vienos pastraipos komentarą apie to žodžio funkciją tekste – skaičių paversdami reikšme.
kontrolinis sąrašas
- [ ] Uždaviau aiškų kalbinį klausimą.
- [ ] Apibrėžiau korpuso ribas (tekstas, leidimas, laikotarpis).
- [ ] Aš patikrinau AI skaičių antruoju būdu.
- [ ] Kolokacijas patvirtinau iš teksto.
- [ ] Nepalikau numerio be komentarų; Prasmę sukūriau pati.