zisky:
- Schopnosť navrhnúť korpusové merania, ako je frekvencia slov, kolokácia, bohatosť slovnej zásoby a kľúčové slová s umelou inteligenciou
- Vedieť, že umelá inteligencia je nespoľahlivá v presnom počítaní a vedieť si každý počet overiť samostatným nástrojom
- Schopnosť pochopiť, že číslo samo o sebe nič nehovorí a že jazykový výklad, ktorý určuje význam, patrí ľuďom.
Literatúra a štúdium jazykov nie sú len „komentárom“; Má tiež merateľný a počítateľný aspekt. Koľko rôznych slov autor používa, ktoré slová s akými slovami rád používa, ktoré slová sa v určitom období stávajú bežnými – to skúma lingvistika (veda, ktorá študuje zvuk, štruktúru, význam a používanie jazyka) a najmä korpusová lingvistika. Korpus je zbierka textov, ako sú kompletné diela autora, výročný archív novín alebo básne určitého obdobia. Korpusová analýza hľadá číselné vzory v tomto bloku.
V tejto lekcii sa naučíme používať AI ako asistenta korpusovej analýzy: rýchle extrahovanie metrík, ako je frekvencia slov (koľkokrát sa slovo vyskytuje v texte), kolokácia (dvojice slov, ktoré sa často vyskytujú spolu, napr. „čierna“ + „moje šťastie“), bohatosť slovnej zásoby a sezónne variácie. Ale varovanie hneď na začiatku: AI môže robiť chyby pri samotnom počítaní; Na veľké a presné počty sú potrebné špeciálne nástroje a vy ste lingvista, ktorý určuje význam každého čísla.
Kde je AI silná a kde slabá v korpusovej analýze?
Jeho silné stránky sú: rozpoznávanie vzorov v malých a stredných textoch, vytváranie hypotéz o slovnej zásobe textu, navrhovanie kandidátov na slová, interpretácia výsledku, popis metodológie. AI sa pýta: „Aké frázy vynikajú v tomto autorovi?“ Poskytuje rýchly začiatok otázky.
Slabé stránky: Presné počítanie. AI je jazykový model, nie kalkulačka; vie dať približnú a niekedy nesprávnu odpoveď na otázku „koľkokrát sa to stalo“ v dlhom texte. Na presnú frekvenciu, presné štatistiky kolokácie alebo skenovanie veľkých korpusov s tisíckami slov sa používa špecializovaný softvér (napr. korpusové nástroje ako AntConc alebo tabuľkový procesor). AI je cenná pri interpretácii výstupov týchto nástrojov; Ale nenúťte ho robiť surové počítanie naslepo.
Tip: Ak potrebujete presné číslo, použite dva spôsoby: nechajte nástroj spočítať v malom texte a nechajte ho interpretovať AI; Alebo si nechajte počítať AI a overte si to iným spôsobom. Nikdy nepoužívajte vetu „AI povedala, že sa to deje 47-krát“ bez potvrdenia.
Štúdia korpusu krok za krokom
- Položte otázku. "Ako sú v tomto básnikovi rozdelené farebné slová?" Počítanie nemá zmysel bez jasnej otázky ako:
- Definujte korpus. Ktoré texty? Ktoré vydanie? Ktoré obdobie? Hranica musí byť jasná.
- Vyberte meranie. Frekvencia, kolokácia, bohatosť slovnej zásoby?
- Merať a overovať. Spočítajte a potom potvrďte druhý spôsob.
- Komentujte. Samotné číslo nič nehovorí; Práve váš komentár robí zistenie, že „farebné slová sa v druhom období zdvojnásobili“, zmysluplné.
Často používaným meradlom bohatosti slovnej zásoby je pomer počtu rôznych slov k celkovému počtu slov (pomer typ/token). Ak je tento pomer vysoký, text je rôznorodý, a ak je nízky, znamená to, že sa opakuje. Tento pomer je však ovplyvnený dĺžkou textu; Pri priamom porovnávaní krátkych a dlhých textov buďte opatrní.
tri mini prípady
Prípad 1 – Kolokácia demonštrovala štýl. Výskumník skúmal páry prídavných mien a mien v 3 románoch spisovateľa. AI navrhla, že slovo „bledý“ zodpovedá 5 rôznym podstatným menám; Výskumník overil 4 z textov a 1 vylúčil ako vymyslený. Potvrdený vzor sa stal tézovou výpoveďou o autorovom popisnom štýle.
Prípad 2 – Zachytená chyba počítania. Študent sa spýtal AI, koľkokrát sa slovo „noc“ objavilo v texte s 2 000 slovami; AI povedala „23“. Keď študent hodil text do tabuľky a nechal ho spočítať, skutočný počet bol 17. Ukázalo sa, že hrubý počet AI je nespoľahlivý.
Prípad 3 – Pravidelná zmena vyvolala kontroverziu. Jedna skupina porovnávala podiel abstraktných slov v raných a neskorých básňach básnika. Prvý návrh AI navrhol trend; Keď sa skupina vrátila k textu a overila počet, trend sa ukázal ako skutočný, ale „príčiny“ navrhnuté AI boli neoveriteľné špekulácie a boli odstránené.
Štyri kopírovateľné šablóny
1) Náčrt frekvencie slov (s overením):
Uveďte 15 najčastejšie sa vyskytujúcich obsahových slov (vylúčte funkčné slová, ako sú spojky a predložky) v texte nižšie spolu s ich približnou frekvenciou. UPOZORNENIE: Upozorňujeme, že počty NEMUSIA byť presné a všimnite si, že „aby boli presné, musia byť overené pomocou samostatného nástroja na počítanie“. Text: [sem vložte text]
2) Kandidáti na kolokáciu:
Navrhnite dvojice slov (kolokácie), ktoré sa v texte nižšie často vyskytujú. Ku každej dvojici uveďte aspoň jeden citát z textu. Dvojitá výroba, ktorá nemá v texte ekvivalent; Ak si nie ste istý, označte ho ako „potrebuje overenie“. Text: [prilepiť text]
3) Porovnanie slovnej zásoby:
Dám vám dva texty. Pre každý: približný celkový počet slov, pozorovania rôznych druhov slov a významných domén slov (napr. farba, povaha, emócie). Uveďte, že čísla sú približné. Interpretáciu porovnania nechajte na moje overenie. Text A: [...] Text B: [...]
4) Interpretácia výsledkov:
Z nástroja na počítanie som získal nasledujúce výsledky: [prilepiť výsledky]. Vytvorte 2-3 hypotézy o tom, čo by tieto čísla mohli znamenať lingvisticky. Označte každú hypotézu ako „vyžaduje dôkazy“ a povedzte mi, ako ju môžem otestovať. Vyhnite sa prehnaným komentárom.
Slabá výzva / Silná výzva
Slabé: "Ktoré slovo sa v tomto texte vyskytuje najviac?"
Strong: "Uveďte najčastejšie slová obsahu v tomto texte s ich približnou frekvenciou; vylúčte funkčné slová. Ujasnite si, že čísla nie sú presné a je potrebné ich overiť pomocou samostatného nástroja. Ku každému slovu uveďte príklad vety."
Výkonná výzva umožňuje AI prijať limit počtu a vopred vám oznámi, že je potrebné overenie. V slabej výzve AI dá jediné číslo a vy neviete, že by to mohlo byť nesprávne.
Tabuľka merania a spoľahlivosti
meranie
Čo ukazuje
AI sama
správnym spôsobom
frekvencia slov
časté slová
O, riskantné
Počítadlo + AI komentár
kolokácia
tí, ktorí prešli spolu
Produkuje kandidátov
Potvrdenie z textu
Pomer typ/token
Verbálna rozmanitosť
Môže byť zavádzajúce
Účet s nástrojom
sezónna zmena
Trend v čase
vytvára hypotézy
Merať a overovať
Záverečný komentár
Význam
Silný, ale preháňa
ľudský úsudok
Koncepty kľúčových slov a n-gramov
Prácu v korpusovej analýze vám uľahčia dva koncepty. Prvým je kľúčové slovo (kľúčové slovo v angličtine – slovo, ktoré sa v texte alebo autorovi vyskytuje oveľa častejšie, ako sa očakávalo v porovnaní so všeobecným jazykom, čo dáva tomuto textu „charakter“). Kľúčové slová autora odhaľujú jeho záujmy a štýl; Napríklad, ak sa „more“ a „separácia“ vyskytujú častejšie, než by sa u básnika očakávalo, tento štatistický výčnelok sa stáva východiskom pre interpretáciu. Na identifikáciu kľúčových slov je potrebné porovnať frekvencie textu s frekvenciami referenčného korpusu (všeobecný, veľký text používaný na porovnanie); Toto porovnanie je definitívnou úlohou nástroja, je to výpočet, ktorý AI nedokáže sama spoľahlivo vykonať.
Druhým je n-gram (sekvencia n po sebe nasledujúcich slov v texte; postupnosť dvoch slov sa nazýva „bigram“, postupnosť troch slov sa nazýva „trigram“). N-gramová analýza odhaľuje autorove formulačné výrazy a často používané frázy. Napríklad, ak autor používa frázy ako „druh“ alebo „avšak“ extrémne často, naznačuje to jeho zvyk tvoriť vety. AI môže navrhnúť tieto frázy ako kandidátov; ale pre skutočnú frekvenciu a štatistickú významnosť je potrebné vrátiť sa k nástroju počítania.
Pomôcka: Povedzte AI: „Uveďte pozoruhodné frázy (dve alebo tri slová) v tomto texte ako kandidátov a ku každej uveďte príklad z textu.“ Vezmite zoznam kandidátov a zmerajte skutočnú frekvenciu pomocou samostatného nástroja. Umiestnite AI ako „pozorovateľa“, agenta ako „počítača“ a seba ako „tlmočníka“.
Časté chyby
- Spoliehanie sa na hrubý počet AI. AI nie je kalkulačka; Overte presný počet samostatným nástrojom.
- Uvedenie čísla bez komentára. "Prešiel 47-krát" nič nehovorí; Vy tvoríte zmysel.
- Ignorovanie dĺžky textu. Miery lyrickej diverzity sú citlivé na dĺžku.
- Vypracovanie diplomovej práce bez overenia kolokácie. Páry bez AI môžu navrhnúť; Potvrďte z textu.
- Extrémny komentár. Neprijímajte „dôvody“ navrhované AI bez dôkazov.
V súhrne
Korpusová analýza otvára početný aspekt literatúry: frekvencia, kolokácia, slovná zásoba, periodické zmeny. AI je v tejto oblasti mocná pri rozpoznávaní vzorov a interpretácii výsledkov; ale v absolútnom počte je nespoľahlivá. Overte číslo pomocou samostatného nástroja, potvrďte kolokácie z textu a sami stanovte význam každého čísla. Číslo nie je dôkaz, je to brána k dôkazu.
Aplikačná úloha
Vyberte krátky text (500-1000 slov). Identifikujte obsahové slovo (napr. „noc“ alebo „cesta“). Najprv počítajte v texte so sebou. Potom to AI spočíta. Porovnajte dva výsledky; Ak existuje rozdiel, zistite dôvod. Potom napíšte jednoodstavcový komentár o funkcii tohto slova v texte – premeňte číslo na význam.
kontrolný zoznam
- [ ] Položil som jasnú lingvistickú otázku.
- [ ] Vymedzil som hranice korpusu (text, vydanie, obdobie).
- [ ] Overil som počet AI druhým spôsobom.
- [ ] Potvrdil som kolokácie z textu.
- [ ] Číslo som nenechal bez komentára; Význam som si vytvoril sám.