Fitimet:
- Aftësia për të hartuar matjet e korpusit si frekuenca e fjalëve, bashkëlodhja, pasuria e fjalorit dhe fjalë kyçe me inteligjencë artificiale
- Duke ditur që inteligjenca artificiale nuk është e besueshme në numërimin e saktë dhe të jesh në gjendje të verifikosh çdo numërim me një mjet të veçantë
- Aftësia për të kuptuar se një numër nuk thotë asgjë më vete dhe se interpretimi gjuhësor që përcakton kuptimin i përket njerëzve.
Studimet e letërsisë dhe gjuhës nuk janë thjesht “komentim”; Ai gjithashtu ka një aspekt të matshëm dhe të numërueshëm. Sa fjalë të ndryshme përdor një autor, cilat fjalë i pëlqen të përdorë me cilat fjalë, cilat fjalë bëhen të zakonshme në një periudhë - këto hulumtohen përmes gjuhësisë (shkencës që studion tingullin, strukturën, kuptimin dhe përdorimin e gjuhës) dhe veçanërisht linguistikën e korpusit. Një korpus është një përmbledhje tekstesh, të tilla si veprat e plota të një autori, arkivi vjetor i një gazete ose poezitë e një periudhe. Analiza e korpusit kërkon modele numerike në këtë pjesë.
Në këtë njësi, ne do të mësojmë të përdorim AI si një asistent për analizën e korpusit: nxjerrja e shpejtë e metrikave të tilla si frekuenca e fjalëve (numri i herëve që një fjalë shfaqet në tekst), bashkëngjitja (çiftet e fjalëve që ndodhin shpesh së bashku, p.sh. "e zezë" + "fati im"), pasuria e fjalorit dhe ndryshimi sezonal. Por një paralajmërim që në fillim: AI mund të bëjë gabime kur numëron vetëm; Nevojiten mjete speciale për numërime të mëdha dhe të sakta, dhe ju jeni gjuhëtari që përcakton kuptimin e secilit numër.
Ku është AI i fortë dhe ku është i dobët në analizën e korpusit?
Pikat e forta të tij janë: Njohja e modeleve në tekste të vogla dhe të mesme, krijimi i hipotezave për fjalorin e një teksti, sugjerimi i kandidatëve për bashkëvendosje, interpretimi i një rezultati, përshkrimi i një metodologjie. AI pyet "çfarë frazash dallohen te ky autor?" I jep një fillim të shpejtë pyetjes.
Dobësia: Numërimi i saktë. AI është një model gjuhësor, jo një kalkulator; mund t'i japë një përgjigje të përafërt dhe ndonjëherë të pasaktë pyetjes "sa herë ka ndodhur" në një tekst të gjatë. Për frekuencë të saktë, statistika të sakta të bashkëlokacionit ose skanim të madh të korpusit të mijëra fjalëve, përdoret softuer i specializuar (p.sh. mjete korpusi si AntConc ose një fletëllogaritëse). AI është e vlefshme në interpretimin e rezultateve të këtyre mjeteve; Por mos e detyroni atë të bëjë numërimin e papërpunuar verbërisht.
Këshillë: Nëse keni nevojë për një numër të saktë, përdorni dy mënyra: vini një mjet të bëjë numërimin në tekst të vogël dhe lëreni AI-në ta interpretojë atë; Ose merrni numërimin e AI dhe verifikojeni atë në një mënyrë tjetër. Asnjëherë mos përdorni fjalinë "AI tha se ndodh 47 herë" pa konfirmim.
Një studim hap pas hapi i korpusit
- Bëj një pyetje. "Si shpërndahen fjalët me ngjyra në këtë poet?" Numërimi është i pakuptimtë pa një pyetje të qartë si:
- Përcaktoni korpusin. Cilat tekste? Cilin botim? Cila periudhë? Kufiri duhet të jetë i qartë.
- Zgjidhni matjen. Frekuenca, bashkëlodhja, pasuria e fjalorit?
- Matni dhe verifikoni. Bëni numërimin, më pas konfirmoni një mënyrë të dytë.
- Koment. Vetëm numri nuk thotë asgjë; Është komenti juaj që e bën kuptimplotë konstatimin se “fjalët me ngjyra u dyfishuan në periudhën e dytë”.
Një masë e përdorur shpesh e pasurisë së fjalorit është raporti i numrit të fjalëve të ndryshme me numrin e përgjithshëm të fjalëve (raporti lloj/token). Nëse ky raport është i lartë, teksti është fjalë-larmi, dhe nëse është i ulët, do të thotë se është i përsëritur. Por ky raport ndikohet nga gjatësia e tekstit; Kini kujdes kur krahasoni drejtpërdrejt tekste të shkurtra dhe të gjata.
tre mini kuti
Rasti 1 - Kolokimi demonstroi një stil. Një studiues ekzaminoi çiftet mbiemër-emër në 3 romane të një romancieri. AI sugjeroi që fjala "zbehtë" përputhet me 5 emra të ndryshëm; Studiuesi verifikoi 4 nga tekstet dhe eliminoi 1 si të sajuar. Modeli i konfirmuar u bë një deklaratë teze për stilin përshkrues të autorit.
Rasti 2 - Gabim numërimi u kap. Një student e pyeti AI se sa herë është shfaqur fjala “natë” në një tekst prej 2000 fjalësh; UA tha "23". Kur studenti e hodhi tekstin në një fletëllogaritëse dhe e numëroi, numri aktual ishte 17. Është bërë e qartë se numërimi i papërpunuar i AI-së nuk është i besueshëm.
Rasti 3 - Ndryshimi periodik ndezi polemika. Një grup krahasoi raportin e fjalëve abstrakte në poezitë e hershme dhe të vonshme të një poeti. Drafti i parë i AI sugjeroi një prirje; Kur grupi iu kthye tekstit dhe verifikoi numërimin, tendenca doli të ishte reale, por "shkaqet" e sugjeruara nga AI ishin spekulime të paverifikueshme dhe u eliminuan.
Katër shabllone të kopjueshëm
1) Skica e frekuencës së fjalës (me verifikim):
Rendisni 15 fjalët me përmbajtje më të shpeshta (përjashtoni fjalët funksionale si lidhëzat dhe parafjalët) në tekstin më poshtë, me frekuencat e tyre të përafërta. PARALAJMËRIM: Kini parasysh se numërimet NUK MUND të jenë të sakta dhe vini re "për të qenë të sakta, ato duhet të verifikohen me një mjet të veçantë numërimi". Teksti: [ngjit tekstin këtu]
2) Kandidatët për kolokacion:
Sugjeroni çifte fjalësh (bashkëvendosje) që ndodhin shpesh së bashku në tekstin e mëposhtëm. Jepni të paktën një citim nga teksti për çdo çift. Fabrikim i dyfishtë që nuk ka të barazvlefshëm në tekst; Nëse nuk jeni të sigurt, shënojeni si "ka nevojë për verifikim". Teksti: [ngjit tekstin]
3) Krahasimi i fjalorit:
Unë do t'ju jap dy tekste. Për secilën: fjalët e përafërta totale, vëzhgime rreth varieteteve të ndryshme të fjalëve dhe fusha të spikatura të fjalëve (p.sh. ngjyra, natyra, emocioni). Tregoni se numrat janë të përafërt. Lëreni interpretimin e krahasimit në verifikimin tim. Teksti A: [...] Teksti B: [...]
4) Interpretimi i rezultatit:
Mora rezultatet e mëposhtme nga një mjet numërimi: [ngjit rezultatet]. Gjeneroni 2-3 hipoteza se çfarë mund të nënkuptojnë këta numra nga ana gjuhësore. Shënoni çdo hipotezë si "kërkon prova" dhe më tregoni se si mund ta testoj atë. Shmangni komentet e tepërta.
Prompt i dobët / Prompt i fortë
E dobët: "Cila fjalë shfaqet më shumë në këtë tekst?"
Strong: "Rendisni fjalët me përmbajtje më të shpeshta në këtë tekst me frekuencën e tyre të përafërt; përjashtoni fjalët funksionale. Bëni të qartë se numrat nuk janë të saktë dhe duhet të verifikohen me një mjet të veçantë. Jep një fjali shembull për secilën fjalë."
Prompti i fuqishëm e bën AI-në të pranojë kufirin e numërimit dhe ju tregon paraprakisht se kërkohet verifikimi. Në kërkesën e dobët, AI jep një numër të vetëm dhe nuk e dini se mund të jetë i gabuar.
Tabela e matjes dhe besueshmërisë
matje
Çfarë tregon
Vetëm AI
rrugën e drejtë
frekuenca e fjalëve
fjalë të shpeshta
Rreth, e rrezikshme
Counter + koment i AI
kolokacioni
ata që kaluan bashkë
Prodhon kandidatë
Konfirmim nga teksti
Raporti lloj/token
Diversiteti verbal
Mund të jetë mashtruese
Llogaria me mjet
ndryshim sezonal
Trendi me kalimin e kohës
gjeneron hipoteza
Matni dhe verifikoni
Komenti përmbyllës
Kuptimi
E fuqishme por e ekzagjeron
gjykimi njerëzor
Fjalë kyçe dhe koncepte n-gram
Dy koncepte e bëjnë më të lehtë punën tuaj në analizën e korpusit. E para është fjala kyçe (fjala kyçe në anglisht - fjala që shfaqet në një tekst ose autor shumë më shpesh sesa pritej në krahasim me gjuhën e përgjithshme, duke i dhënë atij teksti "karakterin" e tij). Fjalët kyçe të një autori zbulojnë interesat dhe stilin e tij; Për shembull, nëse "det" dhe "ndarje" ndodhin më shpesh se sa pritej te një poet, kjo zgjatje statistikore bëhet pikënisja për një interpretim. Për të identifikuar fjalët kyçe, është e nevojshme të krahasohen frekuencat e një teksti me frekuencat e një korpusi referencë (një trup i përgjithshëm, i madh teksti që përdoret për krahasim); Ky krahasim është një punë përfundimtare e mjetit, është një llogaritje që AI nuk mund ta bëjë vetë me besueshmëri.
E dyta është n-gram (një sekuencë prej n fjalësh të njëpasnjëshme në një tekst; një sekuencë prej dy fjalësh quhet "bigram", një sekuencë prej tre fjalësh quhet "trigram"). Analiza N-gram zbulon shprehjet formulore të një autori dhe frazat e përdorura shpesh. Për shembull, nëse një shkrimtar përdor jashtëzakonisht shpesh fraza të tilla si "lloj" ose "megjithatë", kjo tregon zakonin e tij për të bërë fjali. AI mund t'i sugjerojë këto fraza si kandidatë; por për frekuencën e vërtetë dhe rëndësinë statistikore është e nevojshme të kthehemi te mjeti i numërimit.
Këshillë: Tregojini AI: "Rendisni frazat e dukshme (dy ose tre fjalë) në këtë tekst si kandidatë dhe jepni një shembull nga teksti për secilën." Merrni listën e kandidatëve dhe matni frekuencën aktuale me një mjet të veçantë. Poziciononi AI-në si "vërejtësi", agjentin si "counter" dhe veten si "interpretues".
Gabimet e zakonshme
- Duke u mbështetur në numërimin e papërpunuar të AI. AI nuk është një kalkulator; Verifikoni numrin e saktë me mjet të veçantë.
- Prezantimi i numrit pa koment. “Kaluar 47 herë” nuk thotë gjë; Ju krijoni kuptimin.
- Injorimi i gjatësisë së tekstit. Shkalla e diversitetit lirik është e ndjeshme ndaj gjatësisë.
- Bërja e tezës pa verifikuar kolokacionin. Çiftet jo-AI mund të sugjerojnë; Konfirmo nga teksti.
- Koment ekstrem. Mos i pranoni "arsyet" e sugjeruara nga AI pa prova.
Në përmbledhje
Analiza e korpusit hap aspektin e numërueshëm të letërsisë: frekuenca, bashkëvendosja, fjalori, ndryshimi periodik. AI është i fuqishëm në këtë fushë në njohjen e modeleve dhe interpretimin e rezultateve; por nuk është i besueshëm në numërimin absolut. Verifikoni numrin me mjetin e veçantë, konfirmoni bashkëvendosjet nga teksti dhe përcaktoni vetë kuptimin e secilit numër. Numri nuk është provë, është dera e provës.
Detyra e aplikimit
Zgjidhni një tekst të shkurtër (500-1000 fjalë). Identifikoni një fjalë me përmbajtje (p.sh. "natë" ose "rrugë"). Së pari, numëroni veten në tekst. Pastaj lëreni AI-në ta numërojë atë. Krahasoni dy rezultatet; Nëse ka një ndryshim, hetoni arsyen. Më pas shkruani një koment me një paragraf për funksionin e asaj fjale në tekst - duke e kthyer numrin në kuptim.
listë kontrolli
- [ ] Unë shtrova një pyetje të qartë gjuhësore.
- [ ] Përcaktova kufijtë e korpusit (teksti, botimi, pika).
- [ ] E verifikova numërimin e AI në një mënyrë të dytë.
- [ ] Konfirmova bashkëngjitjet nga teksti.
- [ ] Nuk e lashë numrin pa koment; Unë e kam krijuar vetë kuptimin.