Voitot:
- Kyky luonnostella korpusmittauksia, kuten sanan tiheys, kollokaatio, sanaston rikkaus ja avainsanoja tekoälyllä
- Tietäen, että tekoäly on epäluotettava tarkassa laskennassa, ja pystymme varmistamaan jokaisen laskun erillisellä työkalulla
- Kyky ymmärtää, että numero ei kerro mitään itsestään ja että merkityksen määrittävä kielellinen tulkinta kuuluu ihmisille.
Kirjallisuuden ja kielen opinnot eivät ole vain "kommentteja"; Sillä on myös mitattavissa oleva ja laskettava puoli. Kuinka montaa eri sanaa kirjailija käyttää, mitä sanoja hän käyttää mielellään millä sanoilla, mitkä sanat yleistyvät tietyllä aikakaudella - näitä tutkitaan lingvistiikassa (kielen ääntä, rakennetta, merkitystä ja käyttöä tutkiva tiede) ja erityisesti korpuslingvistiikassa. Korpus on kokoelma tekstejä, kuten kirjailijan kokonaisia teoksia, sanomalehden vuosiarkistoa tai aikakauden runoja. Korpusanalyysi etsii numeerisia kuvioita tästä osasta.
Tässä osiossa opimme käyttämään tekoälyä korpusanalyysin apulaisena: poimimaan nopeasti mittareita, kuten sanan esiintymistiheyden (entä monta kertaa sana esiintyy tekstissä), kollokaatiota (sanapareja, jotka esiintyvät usein yhdessä, esim. "musta" + "onni"), sanaston rikkautta ja vuodenaikojen vaihtelua. Mutta varoitus alusta alkaen: tekoäly voi tehdä virheitä laskettaessa yksin; Suuriin ja tarkkoihin laskelmiin tarvitaan erikoistyökaluja, ja sinä olet lingvisti, joka määrittää kunkin luvun merkityksen.
Missä tekoäly on vahva ja missä heikko korpusanalyysissä?
Sen vahvuudet ovat: Pienten ja keskikokoisten tekstien kuvioiden tunnistaminen, hypoteesien luominen tekstin sanavarastosta, ehdokkaiden ehdottaminen kollokaatioihin, tuloksen tulkitseminen, metodologian kuvaaminen. AI kysyy "mitkä lauseet erottuvat tästä kirjailijasta?" Se antaa nopean alun kysymykselle.
Heikkous: Tarkka laskenta. Tekoäly on kielimalli, ei laskin; voi antaa likimääräisen ja joskus virheellisen vastauksen kysymykseen "kuinka monta kertaa se on tapahtunut" pitkässä tekstissä. Tarkkaa taajuutta, tarkkaa sijaintitilastoja tai tuhansien sanojen laajaa korpusskannausta varten käytetään erikoisohjelmistoja (esim. korpustyökaluja, kuten AntConc tai laskentataulukko). Tekoäly on arvokas näiden työkalujen tulosten tulkinnassa; Mutta älä pakota häntä laskemaan sokeasti.
Vinkki: Jos tarvitset tarkan numeron, käytä kahta tapaa: pyydä työkalua tekemään laskenta pienessä tekstissä ja pyydä tekoälyä tulkitsemaan se; Tai pyydä tekoälylaskentaa ja tarkista se toisella tavalla. Älä koskaan käytä lausetta "AI sanoi, että se tapahtuu 47 kertaa" ilman vahvistusta.
Askel askeleelta korpustutkimus
- Laita kysymys. "Kuinka värisanat jakautuvat tässä runoilijassa?" Laskeminen on merkityksetöntä ilman selkeää kysymystä, kuten:
- Määrittele korpus. Mitkä tekstit? Mikä painos? Mikä aikakausi? Rajan tulee olla selkeä.
- Valitse mitta. Taajuus, kollokaatio, sanaston rikkaus?
- Mittaa ja tarkista. Tee laskenta ja vahvista toinen tapa.
- Kommentti. Pelkkä luku ei kerro mitään; Juuri sinun kommenttisi tekee havainnosta, että "värisanat kaksinkertaistuivat toisella jaksolla" merkityksellisen.
Usein käytetty sanaston rikkauden mitta on eri sanojen lukumäärän suhde sanojen kokonaismäärään (tyyppi/merkkisuhde). Jos tämä suhde on korkea, teksti on sanavaihtelua, ja jos se on pieni, se tarkoittaa, että se on toistoa. Mutta tähän suhteeseen vaikuttaa tekstin pituus; Ole varovainen, kun vertaat lyhyitä ja pitkiä tekstejä suoraan.
kolme minilaukkua
Tapaus 1 – Kolokaatio osoitti tyyliä. Tutkija tutki adjektiivi-substantiivi -pareja kirjailijan kolmessa romaanissa. AI ehdotti, että sana "kalpea" vastaa viittä erilaista substantiivia; Tutkija vahvisti 4 teksteistä ja eliminoi yhden tekaistuiksi. Vahvistetusta mallista tuli väitöskirja kirjoittajan kuvailevasta tyylistä.
Tapaus 2 — Laskuvirhe havaittu. Opiskelija kysyi tekoälyä, kuinka monta kertaa sana "yö" esiintyi 2000 sanan tekstissä; Tekoäly sanoi "23". Kun opiskelija heitti tekstin laskentataulukkoon ja laski sen, todellinen luku oli 17. On käynyt selväksi, että tekoälyn raakaluku on epäluotettava.
Tapaus 3 – Säännöllinen muutos herätti kiistaa. Yksi ryhmä vertasi abstraktien sanojen osuutta runoilijan varhaisissa ja myöhäisissä runoissa. Tekoälyn ensimmäinen luonnos ehdotti trendiä; Kun ryhmä palasi tekstiin ja vahvisti laskennan, trendi osoittautui todelliseksi, mutta tekoälyn ehdottamat "syyt" olivat todentamattomia spekulaatioita ja ne poistettiin.
Neljä kopioitavaa mallia
1) Sanataajuuden ääriviivat (vahvistettuna):
Listaa alla olevaan tekstiin 15 yleisimmin esiintyvää sisältösanaa (poissulje funktiosanat, kuten konjunktiot ja prepositiot) ja niiden likimääräiset esiintymistiheydet. VAROITUS: Huomaa, että laskut EIVÄT EHDÄ olla tarkkoja, ja huomauta, että "jotta ne olisivat tarkkoja, ne on tarkistettava erillisellä laskentatyökalulla." Teksti: [liitä teksti tähän]
2) Paikkaehdokkaat:
Ehdota sanapareja (kollokaatioita), jotka esiintyvät usein yhdessä alla olevassa tekstissä. Anna jokaiselle parille vähintään yksi lainaus tekstistä. Kaksinkertainen valmistus, jolla ei ole vastaavaa tekstissä; Jos et ole varma, merkitse se "vahvistuksen tarpeessa".Teksti: [liitä teksti]
3) Sanaston vertailu:
Annan sinulle kaksi tekstiä. Jokaiselle: likimääräinen sanojen kokonaismäärä, havainnot eri sanamuodoista ja näkyvät sanaalueet (esim. väri, luonto, tunne). Ilmoita, että luvut ovat likimääräisiä. Jätä vertailun tulkinta minun tarkistettavaksi. Teksti A: [...] Teksti B: [...]
4) Tuloksen tulkinta:
Sain seuraavat tulokset laskentatyökalusta: [liitä tulokset]. Luo 2-3 hypoteesia siitä, mitä nämä luvut voivat tarkoittaa kielellisesti. Merkitse jokainen hypoteesi "vaatii todisteita" ja kerro minulle, kuinka voin testata sen. Vältä liiallisia kommentteja.
Heikko kehote / Vahva kehote
Heikko: "Mikä sana esiintyy eniten tässä tekstissä?"
Vahva: "Luettelo tämän tekstin yleisimmät sisältösanat niiden likimääräisellä esiintymistiheydellä; jätä pois funktiosanat. Tee selväksi, että luvut eivät ole tarkkoja ja ne on tarkistettava erillisellä työkalulla. Anna jokaiselle sanalle esimerkkilause."
Tehokas kehote saa tekoälyn hyväksymään laskentarajan ja kertoo sinulle etukäteen, että vahvistus vaaditaan. Heikossa kehotteessa tekoäly antaa yhden numeron, etkä tiedä, että se voi olla väärässä.
Mittaus- ja luotettavuustaulukko
mittaus
Mitä näyttää
AI yksin
oikea tapa
sanan taajuus
usein sanoja
Noin, riskialtista
Counter + AI kommentit
sijoittaminen
ne, jotka kulkivat yhdessä
Tuottaa ehdokkaita
Vahvistus tekstistä
Tyyppi/tunnus -suhde
Sanallinen monimuotoisuus
Voi olla harhaanjohtavaa
Tili työkalulla
kausivaihtelu
Trendi ajan myötä
luo hypoteeseja
Mittaa ja tarkista
Loppukommentti
Merkitys
Tehokas mutta liioitteleva
ihmisen tuomio
Avainsanat ja n-grammikäsitteet
Kaksi konseptia helpottavat työtäsi korpusanalyysissä. Ensimmäinen on avainsana (avainsana englanniksi - sana, joka esiintyy tekstissä tai kirjoittajassa paljon odotettua useammin verrattuna yleiseen kieleen, mikä antaa tälle tekstille sen "luonteen"). Kirjoittajan avainsanat paljastavat hänen kiinnostuksensa ja tyylinsä; Jos esimerkiksi "meri" ja "erottelu" esiintyvät runoilijassa odotettua useammin, tästä tilastollisesta ulkonemasta tulee tulkinnan lähtökohta. Avainsanojen tunnistamiseksi on tarpeen verrata tekstin taajuuksia referenssikorpuksen (yleinen, laaja teksti, jota käytetään vertailuun) taajuuksiin; Tämä vertailu on lopullinen työkalutyö, se on laskelma, jota tekoäly ei voi tehdä luotettavasti yksinään.
Toinen on n-grammi (n peräkkäisen sanan sarja tekstissä; kahden sanan sekvenssiä kutsutaan "bigrammiksi", kolmen sanan sekvenssiä kutsutaan "trigramiksi"). N-grammianalyysi paljastaa tekijän kaavalausekkeet ja usein käytetyt lausekkeet. Esimerkiksi, jos kirjoittaja käyttää ilmauksia, kuten "tyyppi" tai "kuitenkin", erittäin usein, tämä osoittaa hänen tapansa tehdä lauseita. Tekoäly voi ehdottaa näitä lauseita ehdokkaiksi; mutta todellisen frekvenssin ja tilastollisen merkitsevyyden saamiseksi on tarpeen palata laskentatyökaluun.
Vihje: Kerro tekoälylle: "Luettelo tämän tekstin merkittävät lauseet (kaksi tai kolme sanaa) ehdokkaiksi ja anna kullekin tekstistä esimerkki." Ota ehdokaslista ja mittaa todellinen taajuus erillisellä työkalulla. Aseta tekoäly "huomaajaksi", agentti "vastaajaksi" ja itsesi "tulkijaksi".
Yleisiä virheitä
- Luotetaan tekoälyn raakamäärään. AI ei ole laskin; Tarkista tarkka luku erillisellä työkalulla.
- Numeron esittäminen ilman kommentteja. "47 kertaa läpäissyt" ei kerro mitään; Sinä luot merkityksen.
- Tekstin pituuden huomioiminen. Sanoitusten monimuotoisuusnopeudet ovat pituudeltaan herkkiä.
- Opinnäytetyön tekeminen ilman kollokaatiota. Ei-AI-parit voivat ehdottaa; Vahvista tekstistä.
- Äärimmäinen kommentti. Älä hyväksy tekoälyn ehdottamia "syitä" ilman todisteita.
Yhteenvetona
Korpusanalyysi avaa kirjallisuuden lukemattomia puolia: frekvenssiä, kollokaatioita, sanastoa, jaksoittaista muutosta. Tekoäly on tällä alueella voimakas kuvioiden tunnistamisessa ja tulosten tulkinnassa; mutta se on epäluotettava absoluuttisessa laskennassa. Tarkista numero erillisellä työkalulla, vahvista kollokaatiot tekstistä ja selvitä kunkin numeron merkitys itse. Luku ei ole todiste, se on ovi todisteisiin.
Sovellustehtävä
Valitse lyhyt teksti (500-1000 sanaa). Tunnista sisältösana (esim. "yö" tai "tie"). Laske ensin itsesi tekstiin. Anna sitten tekoälyn laskea se. Vertaa kahta tulosta; Jos on eroa, selvitä syy. Kirjoita sitten yhden kappaleen kommentti kyseisen sanan tehtävästä tekstissä - muuttamalla numero merkitykseksi.
tarkistuslista
- [ ] Esitin selkeän kielellisen kysymyksen.
- [ ] Määritin korpusen rajat (teksti, painos, jakso).
- [ ] Tarkistin tekoälyn laskennan toisella tavalla.
- [ ] Vahvistin kollokaatiot tekstistä.
- [ ] En jättänyt numeroa kommentoimatta; Olen luonut merkityksen itse.