Dobici:
- Sposobnost izrade mjerenja korpusa kao što su učestalost riječi, kolokacija, bogatstvo vokabulara i ključnih riječi s umjetnom inteligencijom
- Znajući da je umjetna inteligencija nepouzdana u preciznom brojanju i biti u mogućnosti provjeriti svako brojanje posebnim alatom
- Sposobnost razumijevanja da broj ne govori ništa sam po sebi i da lingvističko tumačenje koje utvrđuje značenje pripada ljudima.
Studije književnosti i jezika nisu samo "komentari"; Takođe ima mjerljiv i izbrojiv aspekt. Koliko različitih riječi autor koristi, koje riječi voli koristiti uz koje riječi, koje riječi postaju uobičajene u nekom periodu - to se istražuje kroz lingvistiku (nauku koja proučava zvuk, strukturu, značenje i upotrebu jezika) i posebno korpusnu lingvistiku. Korpus je zbirka tekstova, kao što su kompletna djela nekog autora, godišnja arhiva novina ili pjesme nekog perioda. Analiza korpusa traži numeričke obrasce u ovom dijelu.
U ovoj cjelini naučit ćemo koristiti AI kao pomoćnika za analizu korpusa: brzo izdvajanje metrike kao što je učestalost riječi (koliko puta se riječ pojavljuje u tekstu), kolokacija (parovi riječi koji se često pojavljuju zajedno, npr. "crno" + "moje bogatstvo"), bogatstvo vokabulara i sezonske varijacije. Ali upozorenje od početka: AI može pogriješiti kada sam broji; Za velika i precizna brojanja potrebni su posebni alati, a vi ste lingvista koji utvrđuje značenje svakog broja.
Gdje je AI jak, a gdje slab u korpusnoj analizi?
Njegove prednosti su: Prepoznavanje obrazaca u malim i srednjim tekstovima, generisanje hipoteza o vokabularu teksta, sugerisanje kandidata za kolokacije, tumačenje rezultata, opisivanje metodologije. AI pita "koje fraze se ističu kod ovog autora?" To daje brz početak pitanja.
Slabost: Precizno brojanje. AI je jezički model, a ne kalkulator; može dati približan i ponekad netačan odgovor na pitanje "koliko se puta to dogodilo" u dugačkom tekstu. Za preciznu učestalost, tačnu statistiku kolokacije ili skeniranje velikog korpusa hiljada riječi, koristi se specijalizirani softver (npr. korpusni alati kao što je AntConc ili tabela). AI je vrijedan u tumačenju rezultata ovih alata; Ali nemojte ga tjerati da slijepo broji.
Savjet: Ako vam je potreban tačan broj, koristite dva načina: neka alatka broji malim tekstom i neka ga AI protumači; Ili neka AI prebroji i provjeri to na drugi način. Nikada nemojte koristiti rečenicu "AI je rekao da se to događa 47 puta" bez potvrde.
Korpusna studija korak po korak
- Postavi pitanje. „Kako su reči u boji raspoređene u ovom pesniku?“ Brojanje je besmisleno bez jasnog pitanja kao što je:
- Definišite korpus. Koji tekstovi? Koje izdanje? Koji period? Granica mora biti čista.
- Odaberite mjerenje. Učestalost, kolokacija, bogatstvo vokabulara?
- Izmjerite i provjerite. Izbrojite, a zatim potvrdite na drugi način.
- Komentar. Sam broj ne govori ništa; Vaš komentar čini nalaz da su se "riječi u boji udvostručile u drugom periodu" smislenim.
Često korištena mjera bogatstva vokabulara je omjer broja različitih riječi i ukupnog broja riječi (omjer vrsta/token). Ako je ovaj omjer visok, tekst je varijanta riječi, a ako je nizak, znači da se ponavlja. Ali na ovaj odnos utiče dužina teksta; Budite oprezni kada direktno poredite kratke i dugačke tekstove.
tri mini kofera
Slučaj 1 — Kolokacija je pokazala stil. Istraživač je ispitao parove pridjeva i imenice u 3 romana romanopisca. AI je predložio da riječ “blijed” odgovara 5 različitih imenica; Istraživač je verificirao 4 teksta i eliminirao 1 kao izmišljen. Potvrđeni obrazac postao je teza o autorovom opisnom stilu.
Slučaj 2 — Uhvaćena greška u brojanju. Student je pitao AI koliko puta se reč „noć“ pojavila u tekstu od 2.000 reči; AI je rekao "23". Kada je učenik bacio tekst u tabelu i dao ga prebrojati, stvarni broj je bio 17. Postalo je jasno da je neobrađeno brojanje AI nepouzdan.
Slučaj 3 — Periodične promjene izazvale su kontroverzu. Jedna grupa je uporedila udeo apstraktnih reči u pesnikovim ranim i kasnim pesmama. Prvi nacrt AI sugerisao je trend; Kada se grupa vratila na tekst i potvrdila broj, trend se pokazao stvarnim, ali "uzroci" koje je predložila AI bili su neprovjerljiva spekulacija i eliminirani su.
Četiri šablona za kopiranje
1) Pregled frekvencije riječi (sa verifikacijom):
Navedite 15 najčešćih riječi sadržaja (isključujući funkcionalne riječi kao što su veznici i prijedlozi) u tekstu ispod, s njihovom približnom učestalošću. UPOZORENJE: Imajte na umu da brojanja MOŽDA NISU tačna i imajte na umu "da bi bili tačni, moraju se provjeriti posebnim alatom za brojanje." Tekst: [zalijepi tekst ovdje]
2) Kandidati za kolokaciju:
Predložite parove riječi (kolokacije) koje se često pojavljuju zajedno u tekstu ispod. Za svaki par navedite barem jedan citat iz teksta. Dvostruka izmišljotina kojoj nema ekvivalenta u tekstu; Ako niste sigurni, označite kao "potrebna je verifikacija". Tekst: [zalijepi tekst]
3) Poređenje vokabulara:
Daću vam dva teksta. Za svaku: približan ukupan broj riječi, zapažanja o različitim varijantama riječi i istaknute domene riječi (npr. boja, priroda, emocija). Navedite da su brojevi približni. Tumačenje poređenja prepustite mojoj provjeri. Tekst A: [...] Tekst B: [...]
4) Tumačenje rezultata:
Dobio sam sljedeće rezultate od alata za brojanje: [zalijepi rezultate]. Generirajte 2-3 hipoteze o tome šta ovi brojevi mogu značiti lingvistički. Označite svaku hipotezu kao "zahteva dokaze" i recite mi kako je mogu testirati. Izbjegavajte pretjerane komentare.
Slaba prompt / Jaka prompt
Slabo: "Koja se riječ najčešće pojavljuje u ovom tekstu?"
Jaka: "Navedite najčešće sadržajne riječi u ovom tekstu s njihovom približnom učestalošću; izuzmite funkcijske riječi. Objasnite da brojevi nisu tačni i da ih je potrebno provjeriti posebnim alatom. Dajte primjer rečenice za svaku riječ."
Snažan prompt čini da AI prihvati ograničenje brojanja i unaprijed vam govori da je potrebna verifikacija. U slabom promptu, AI daje jedan broj i ne znate da bi mogao biti pogrešan.
Tabela mjerenja i pouzdanosti
mjerenje
Šta pokazuje
AI sama
pravi put
frekvencija riječi
česte reči
O, rizično
Brojač + AI komentar
kolokacija
oni koji su prošli zajedno
Proizvodi kandidate
Potvrda iz teksta
Omjer vrste/žetona
Verbalna raznolikost
Može biti varljivo
Račun sa alatom
sezonska promjena
Trend tokom vremena
stvara hipoteze
Izmjerite i provjerite
Završni komentar
Značenje
Snažan, ali preteruje
ljudski sud
Ključne riječi i n-gram koncepti
Dva koncepta vam olakšavaju rad u analizi korpusa. Prva je ključna riječ (ključna riječ na engleskom - riječ koja se pojavljuje u tekstu ili autoru mnogo češće nego što se očekivalo u odnosu na opći jezik, dajući tom tekstu njegov "karakter"). Ključne riječi autora otkrivaju njegova interesovanja i stil; Na primjer, ako se "more" i "razdvojenost" javljaju češće nego što se očekivalo kod pjesnika, ova statistička izbočina postaje polazna tačka za interpretaciju. Da bi se identifikovale ključne reči, potrebno je uporediti frekvencije teksta sa frekvencijama referentnog korpusa (opšteg, velikog korpusa teksta koji se koristi za poređenje); Ovo poređenje je definitivan posao alata, to je proračun koji AI ne može pouzdano napraviti sam.
Drugi je n-gram (niz od n uzastopnih riječi u tekstu; niz od dvije riječi se naziva "bigram", niz od tri riječi se naziva "trigram"). Analiza N-grama otkriva autorove formulaične izraze i često korištene fraze. Na primjer, ako pisac izuzetno često koristi fraze poput "nekako" ili "ipak", to ukazuje na njegovu naviku da pravi rečenice. AI može predložiti ove fraze kao kandidate; ali za pravu učestalost i statističku značajnost potrebno je vratiti se na alat za brojanje.
Savjet: Recite AI: "Navedite značajne fraze (dvije ili tri riječi) u ovom tekstu kao kandidate i navedite primjer iz teksta za svaku." Uzmite listu kandidata i izmjerite stvarnu frekvenciju posebnim alatom. Pozicionirajte AI kao „obavještavača“, agenta kao „kontra, a sebe kao „tumača“.
Uobičajene greške
- Oslanjajući se na sirovi broj AI. AI nije kalkulator; Provjerite tačan broj posebnim alatom.
- Predstavljamo broj bez komentara. "Prošao 47 puta" ne govori ništa; Vi kreirate značenje.
- Zanemarivanje dužine teksta. Stope raznolikosti teksta su osjetljive na dužinu.
- Izrada teze bez provjere kolokacije. Parovi koji nisu AI mogu predložiti; Potvrdite iz teksta.
- Ekstremni komentar. Ne prihvatajte "razloge" koje je predložila AI bez dokaza.
Ukratko
Analiza korpusa otvara brojne aspekte literature: učestalost, kolokaciju, vokabular, periodične promjene. AI je moćna u ovoj oblasti u prepoznavanju obrazaca i tumačenju rezultata; ali je nepouzdan u apsolutnom brojanju. Provjerite broj pomoću posebnog alata, potvrdite kolokacije iz teksta i sami utvrdite značenje svakog broja. Broj nije dokaz, to su vrata do dokaza.
Zadatak aplikacije
Odaberite kratak tekst (500-1000 riječi). Identifikujte riječ sadržaja (npr. "noć" ili "put"). Prvo, računajte sebe u tekstu. Onda neka AI to prebroji. Uporedite dva rezultata; Ako postoji razlika, istražite razlog. Zatim napišite komentar od jednog pasusa o funkciji te riječi u tekstu – pretvarajući broj u značenje.
kontrolna lista
- [ ] Postavio sam jasno lingvističko pitanje.
- [ ] Definisao sam granice korpusa (tekst, izdanje, period).
- [ ] Provjerio sam broj AI na drugi način.
- [ ] Potvrdio sam kolokacije iz teksta.
- [ ] Nisam ostavio broj bez komentara; Sam sam stvorio značenje.