Nyereség:
- Képes korpusz mérések, például szógyakoriság, kollokáció, szókincs gazdagság és kulcsszavak mesterséges intelligenciával történő elkészítésére
- Tudva, hogy a mesterséges intelligencia megbízhatatlan a pontos számlálásban, és minden számlálást külön eszközzel ellenőrizni
- Képes annak megértésére, hogy egy szám önmagában nem mond semmit, és a jelentést megalapozó nyelvi értelmezés az emberé.
Az irodalom- és nyelvtudomány nem csak "kommentár"; Ennek is van mérhető és megszámlálható aspektusa. Hány különböző szót használ egy szerző, mely szavakat milyen szavakkal szereti használni, mely szavak válnak általánossá egy korszakban – ezeket a nyelvészet (a nyelv hangzását, szerkezetét, jelentését és használatát vizsgáló tudomány) és különösen a korpusznyelvészet vizsgálja. A korpusz szövegek gyűjteménye, például egy szerző teljes művei, egy újság éves archívuma vagy egy korszak versei. A korpuszelemzés numerikus mintákat keres ebben a darabban.
Ebben az egységben megtanuljuk a mesterséges intelligencia korpuszelemzési asszisztensként való használatát: olyan mérőszámok gyors kinyerését, mint a szógyakoriság (egy szó előfordulásának száma a szövegben), kollokáció (gyakran együtt előforduló szópárok, pl. „fekete” + „szerencsém”), szókincs gazdagság és szezonális változás. De egy figyelmeztetés a kezdetektől: az AI hibázhat, ha egyedül számol; A nagy és pontos számláláshoz speciális eszközökre van szükség, és Ön a nyelvész, aki meghatározza az egyes számok jelentését.
Hol erős és hol gyenge a mesterséges intelligencia a korpuszelemzésben?
Erősségei: Minták felismerése kis és közepes szövegekben, hipotézisek generálása a szöveg szókincséről, jelöltek javaslata kollokációra, eredmény értelmezése, módszertan leírása. Az AI megkérdezi: „Milyen kifejezések tűnnek ki ebben a szerzőben?” Gyorsan elindítja a kérdést.
Gyengeség: Pontos számolás. Az AI egy nyelvi modell, nem egy számológép; hosszú szövegben hozzávetőleges és néha helytelen választ adhat a "hányszor fordult elő" kérdésre. A pontos gyakorisághoz, a pontos helymeghatározási statisztikákhoz vagy a több ezer szót tartalmazó nagy korpusz szkenneléséhez speciális szoftvereket (például korpuszeszközöket, például AntConc-ot vagy táblázatot) használnak. Az AI értékes ezen eszközök kimenetének értelmezésében; De ne kényszerítsd rá, hogy vakon végezze el a nyers számolást.
Tipp: Ha pontos számra van szüksége, használjon két módszert: egy eszközzel végezze el a számlálást kis szövegben, és az AI értelmezze azt; Vagy kérje meg az AI-számlálást, és ellenőrizze más módon. Soha ne használja az "AI azt mondta, hogy ez 47-szer fordul elő" mondatot megerősítés nélkül.
Lépésről lépésre korpusz vizsgálat
- Tegyél fel egy kérdést. – Hogyan oszlanak meg a színszavak ennél a költőnél? A számolás értelmetlen olyan egyértelmű kérdés nélkül, mint:
- Határozza meg a korpuszt. Milyen szövegeket? Melyik kiadás? Melyik időszak? A határnak egyértelműnek kell lennie.
- Válassza ki a mérést. Gyakoriság, kollokáció, szókincs gazdagsága?
- Mérje meg és ellenőrizze. Végezze el a számolást, majd erősítse meg a második módszert.
- Megjegyzés. A szám önmagában nem mond semmit; Az Ön megjegyzése teszi értelmessé azt a megállapítást, hogy "a színes szavak megduplázódtak a második periódusban".
A szókincs gazdagságának gyakran használt mérőszáma a különböző szavak számának az összes szóhoz viszonyított aránya (típus/jel arány). Ha ez az arány magas, akkor a szöveg szóváltozatos, ha pedig alacsony, akkor ismétlődő. De ezt az arányt befolyásolja a szöveg hossza; Legyen óvatos, amikor rövid és hosszú szövegeket közvetlenül összehasonlít.
három mini tok
1. eset – Az elhelyezés stílust mutatott. Egy kutató egy regényíró 3 regényében vizsgálta a melléknév-főnév párosítást. Az AI azt javasolta, hogy a „sápadt” szó 5 különböző főnévre egyezik; A kutató a szövegek közül 4-et igazolt, 1-et pedig kitalált. A megerősített minta a szerző leíró stílusának tézisállításává vált.
2. eset – Számlálási hiba észlelve. Egy diák megkérdezte a mesterséges intelligenciát, hogy az „éjszaka” szó hányszor fordult elő egy 2000 szavas szövegben; Az AI azt mondta, hogy "23". Amikor a diák bedobta a szöveget egy táblázatba, és megszámolta, a tényleges szám 17 volt. Világossá vált, hogy az AI nyers számlálása megbízhatatlan.
3. eset – Az időszakos változás vitákat váltott ki. Az egyik csoport összehasonlította az absztrakt szavak arányát egy költő korai és késői verseiben. Az AI első vázlata trendet sugallt; Amikor a csoport visszatért a szöveghez és ellenőrizte a számlálást, a tendencia valósnak bizonyult, de az AI által javasolt "okok" ellenőrizhetetlen spekulációnak minősültek, és kiküszöbölték őket.
Négy másolható sablon
1) Szógyakoriság vázlat (ellenőrzéssel):
Sorolja fel az alábbi szövegben a 15 leggyakrabban előforduló tartalomszót (kivéve a funkciószavakat, például a kötőszókat és az elöljárószavakat), hozzávetőleges gyakoriságukkal együtt. FIGYELMEZTETÉS: A számlálások NEM pontosak, és vegye figyelembe: "A pontosság érdekében külön számlálóeszközzel kell ellenőrizni." Szöveg: [szöveg beillesztése ide]
2) Helyszínjelöltek:
Javasoljon olyan szópárokat (kollokációkat), amelyek gyakran előfordulnak együtt az alábbi szövegben. Minden párhoz adj legalább egy idézetet a szövegből! Kettős gyártás, amelynek nincs megfelelője a szövegben; Ha nem biztos benne, jelölje be, hogy "ellenőrzésre van szüksége". Szöveg: [szöveg beillesztése]
3) Szókincs összehasonlítása:
Két szöveget adok neked. Mindegyikhez: hozzávetőleges összes szó, megfigyelések a különböző szófajtákról és kiemelkedő szótartományok (pl. szín, természet, érzelem). Mondja el, hogy a számok hozzávetőlegesek! Az összehasonlítás értelmezését bízza az én ellenőrzésemre. A szöveg: [...] B szöveg: [...]
4) Az eredmény értelmezése:
A következő eredményeket kaptam egy számláló eszközzel: [eredmények beillesztése]. Generáljon 2-3 hipotézist arról, hogy ezek a számok mit jelenthetnek nyelvileg. Jelölje meg az egyes hipotéziseket "bizonyítékot igénylő"-ként, és mondja el, hogyan tesztelhetem. Kerülje a túlzott megjegyzéseket.
Gyenge felszólítás / Erős felszólítás
Gyenge: "Melyik szó fordul elő leginkább ebben a szövegben?"
Erős: "Felsorolja a szövegben a leggyakoribb tartalomszavakat hozzávetőleges gyakoriságukkal; zárja ki a funkciószavakat. Tegye egyértelművé, hogy a számok nem pontosak, és külön eszközzel kell ellenőrizni. Minden szóhoz adjon példamondatot."
A hatékony felszólítás arra készteti a mesterséges intelligenciát, hogy elfogadja a számkorlátot, és előre közli, hogy ellenőrzésre van szükség. A gyenge promptban az AI egyetlen számot ad, és nem tudhatod, hogy ez rossz lehet.
Mérési és megbízhatósági táblázat
mérés
Mit mutat
AI egyedül
helyes utat
szógyakoriság
gyakori szavak
Kb. kockázatos
Számláló + AI kommentár
kolokáció
akik együtt mentek át
Jelölteket állít elő
Megerősítés a szövegből
Típus/token arány
Verbális sokszínűség
Félrevezető lehet
Számla eszközzel
szezonális változás
Trend idővel
hipotéziseket generál
Mérje meg és ellenőrizze
Záró megjegyzés
Jelentése
Erőteljes, de túlzás
emberi ítélőképesség
Kulcsszó és n-gram fogalmak
Két fogalom könnyíti meg munkáját a korpuszelemzésben. Az első a kulcsszó (angolul kulcsszó – az a szó, amely a vártnál sokkal gyakrabban fordul elő a szövegben vagy a szerzőben az általános nyelvhez képest, és ez adja a szöveg "karakterét"). A szerző kulcsszavai felfedik érdeklődését és stílusát; Például, ha a "tenger" és az "elválasztás" a vártnál gyakrabban fordul elő egy költőnél, ez a statisztikai kiemelkedés válik az értelmezés kiindulópontjává. A kulcsszavak azonosításához össze kell hasonlítani egy szöveg gyakoriságát egy referenciakorpusz (összehasonlításra használt általános, nagy szövegrész) gyakoriságaival; Ez az összehasonlítás egy határozott eszközmunka, olyan számítás, amelyet az AI önmagában nem tud megbízhatóan elvégezni.
A második az n-gram (n egymást követő szóból álló sorozat a szövegben; két szóból álló sorozatot "bigramnak", három szóból álló sorozatot "trigramnak" neveznek). Az N-gram elemzés feltárja a szerző képlet kifejezéseit és gyakran használt kifejezéseit. Például, ha egy író rendkívül gyakran használ olyan kifejezéseket, mint a „fajta” vagy a „bármilyen”, ez a mondatalkotási szokására utal. Az AI ezeket a kifejezéseket javasolhatja jelöltként; de a valódi gyakorisághoz és a statisztikai szignifikanciához vissza kell térni a számláló eszközhöz.
Tipp: Mondja meg az MI-nek: "Jelölje meg a szövegben található figyelemre méltó kifejezéseket (két vagy három szót), és mindegyikre adjon példát a szövegből." Vegye ki a jelöltlistát, és mérje meg a tényleges gyakoriságot egy külön eszközzel. Pozícionálja az AI-t „észrevevőnek”, az ügynököt „ellenzőnek”, magát pedig „tolmácsnak”.
Gyakori hibák
- Az AI nyers számlálójára támaszkodva. Az AI nem számológép; Ellenőrizze a pontos számot külön eszközzel.
- A szám bemutatása megjegyzés nélkül. A „47-szer megfelelt” nem mond semmit; Te teremted meg a jelentést.
- A szöveg hosszának figyelmen kívül hagyása. A dalszöveg diverzitási aránya érzékeny a hosszúságra.
- Szakdolgozat készítése a kollokáció ellenőrzése nélkül. A nem mesterséges intelligencia párok javasolhatják; Erősítse meg a szövegből.
- Extrém megjegyzés. Ne fogadja el az AI által javasolt "okokat" bizonyítékok nélkül.
Összefoglalva
A korpuszelemzés az irodalom megszámlálható oldalát nyitja meg: gyakoriság, kollokáció, szókincs, periodikus változás. Az AI ezen a területen erős a minták felismerésében és az eredmények értelmezésében; de abszolút számolásban megbízhatatlan. Ellenőrizd a számot a külön eszközzel, erősítsd meg a kollokációkat a szövegből, és magad határozd meg az egyes számok jelentését. A szám nem bizonyíték, hanem a bizonyítékokhoz vezető ajtó.
Pályázati feladat
Válasszon egy rövid szöveget (500-1000 szó). Határozzon meg egy tartalmi szót (pl. „éjszaka” vagy „út”). Először is számold be magad a szövegben. Akkor számolja meg az AI. Hasonlítsa össze a két eredményt; Ha eltérés van, vizsgálja meg az okát. Ezután írjon egy egybekezdésből álló megjegyzést a szó szerepére a szövegben – fordítsa jelentésre a számot.
ellenőrző lista
- [ ] Egyértelmű nyelvi kérdést tettem fel.
- [ ] Meghatároztam a korpusz határait (szöveg, kiadás, időszak).
- [ ] Másodszor is ellenőriztem az AI számlálását.
- [ ] A szövegből megerősítettem a kollokációkat.
- [ ] Nem hagytam megjegyzés nélkül a számot; A jelentést magam teremtettem meg.