Daromadlar:
- Sun'iy intellekt yordamida so'zlarning chastotasi, birikmasi, so'z boyligi va kalit so'zlar kabi korpus o'lchovlarini ishlab chiqish qobiliyati
- Sun'iy intellekt aniq hisoblashda ishonchsiz ekanligini bilish va har bir hisobni alohida asbob bilan tekshirish imkoniyatiga ega bo'lish
- Raqam o'z-o'zidan hech narsa aytmasligini va ma'noni o'rnatuvchi lingvistik talqin insonga tegishli ekanligini tushunish qobiliyati.
Adabiyot va tilshunoslik shunchaki “sharh” emas; Shuningdek, u o'lchanadigan va hisoblanuvchi jihatga ega. Muallif necha xil so‘zlardan foydalanadi, qaysi so‘zlarni qaysi so‘zlar bilan qo‘llashni yaxshi ko‘radi, qaysi so‘zlar bir davrda keng tarqalgan bo‘lib qoladi – bular tilshunoslik (tilning tovushi, tuzilishi, ma’nosi va qo‘llanilishini o‘rganuvchi fan) va ayniqsa korpus lingvistikasi orqali o‘rganiladi. Korpus - muallifning to'liq asarlari, gazetaning yillik arxivi yoki bir davr she'rlari kabi matnlar to'plami. Korpus tahlili ushbu bo'lakdagi raqamli naqshlarni qidiradi.
Ushbu bo'limda biz AIdan korpus tahlili yordamchisi sifatida foydalanishni o'rganamiz: so'z chastotasi (matnda bir so'zning necha marta uchraydi), birikma (tez-tez birga uchraydigan so'z juftlari, masalan, "qora" + "mening boyligim"), so'z boyligi va mavsumiy o'zgarishlar kabi ko'rsatkichlarni tezda ajratib olish. Ammo boshidan ogohlantirish: AI yolg'iz hisoblashda xato qilishi mumkin; Katta va aniq hisoblash uchun maxsus asboblar kerak bo'ladi va siz har bir raqamning ma'nosini o'rnatadigan tilshunossiz.
AI qayerda kuchli va korpus tahlilida u qayerda zaif?
Uning kuchli tomonlari quyidagilardir: Kichik va oʻrta matnlardagi naqshlarni tan olish, matnning lugʻat boyligi haqida farazlar yaratish, birikmalar uchun nomzodlarni taklif qilish, natijani sharhlash, metodologiyani tavsiflash. AI "bu muallifda qanday iboralar ajralib turadi?" deb so'raydi. Bu savolni tezda boshlash imkonini beradi.
Kamchilik: aniq hisoblash. AI - bu kalkulyator emas, balki til modeli; uzun matnda "bu necha marta sodir bo'lgan" degan savolga taxminiy va ba'zan noto'g'ri javob berishi mumkin. Aniq chastota, aniq joylashuv statistikasi yoki minglab so'zlarning katta korpusini skanerlash uchun maxsus dasturiy ta'minot (masalan, AntConc yoki elektron jadval kabi korpus vositalari) ishlatiladi. AI ushbu vositalarning chiqishini izohlashda qimmatlidir; Lekin uni xom hisobni ko'r-ko'rona qilishga majburlamang.
Maslahat: Agar sizga aniq raqam kerak bo'lsa, ikkita usuldan foydalaning: asbob kichik matnda hisoblashni amalga oshiradi va AI uni sharhlaydi; Yoki AI hisobini oling va uni boshqa yo'l bilan tekshiring. Hech qachon "AI 47 marta sodir bo'ladi" degan jumlani tasdiqlamasdan ishlatmang.
Korpusni bosqichma-bosqich o'rganish
- Savol bering. "Bu shoirda rangli so'zlar qanday taqsimlangan?" Quyidagi kabi aniq savolsiz hisoblash ma'nosizdir:
- Korpusni aniqlang. Qaysi matnlar? Qaysi nashr? Qaysi davr? Chegara aniq bo'lishi kerak.
- O'lchovni tanlang. Chastotasi, birikmasi, lug'at boyligi?
- O'lchang va tekshiring. Hisobni bajaring, keyin ikkinchi usulni tasdiqlang.
- Izoh. Raqamning o'zi hech narsa demaydi; Aynan sizning sharhingiz “rangli so‘zlar ikkinchi davrda ikki baravar ko‘paydi” degan xulosani mazmunli qiladi.
So'z boyligining tez-tez qo'llaniladigan o'lchovi turli so'zlar sonining so'zlarning umumiy soniga nisbati (tur/token nisbati). Agar bu nisbat yuqori bo'lsa, matn so'z xilma-xilligi, past bo'lsa, takroriyligini bildiradi. Ammo bu nisbatga matn uzunligi ta'sir qiladi; Qisqa va uzun matnlarni to'g'ridan-to'g'ri taqqoslashda ehtiyot bo'ling.
uchta mini holat
1-holat - Kollokatsiya uslubni ko'rsatdi. Tadqiqotchi yozuvchining 3 ta romanidagi sifat-ism juftligini tekshirdi. AI "pale" so'zi 5 xil otga mos kelishini taklif qildi; Tadqiqotchi 4 ta matnni tekshirib chiqdi va 1 tasini uydirma sifatida chiqarib tashladi. Tasdiqlangan namuna muallifning tavsif uslubi haqidagi tezis bayonotiga aylandi.
2-holat - Hisoblash xatosi aniqlandi. Talaba AIdan 2000 so'zli matnda "tun" so'zi necha marta paydo bo'lganini so'radi; AI "23" dedi. Talaba matnni elektron jadvalga tashlab, hisoblaganda, haqiqiy raqam 17 edi. AIning xom hisobi ishonchsiz ekanligi ayon bo'ldi.
3-holati - Vaqti-vaqti bilan o'zgarishi munozaralarga sabab bo'ldi. Bir guruh shoirning ilk va keyingi she’rlaridagi mavhum so‘zlarning nisbatini solishtirdilar. AIning birinchi loyihasi tendentsiyani taklif qildi; Guruh matnga qaytib, hisobni tekshirganda, tendentsiya haqiqiy bo'lib chiqdi, ammo AI tomonidan taklif qilingan "sabablar" tekshirib bo'lmaydigan taxminlar edi va yo'q qilindi.
To'rt nusxa ko'chirish shablonlari
1) So'z chastotasi sxemasi (tasdiqlangan holda):
Quyidagi matnda eng koʻp uchraydigan 15 ta mazmunli soʻzni (bogʻlovchi va old qoʻshimchalar kabi vazifaviy soʻzlardan tashqari) ularning taxminiy chastotalari bilan sanab bering. OGOHLANTIRISH: Hisoblashlar toʻgʻri boʻlmasligi mumkinligiga eʼtibor bering va “toʻgʻri boʻlishi uchun ular alohida hisoblash vositasi bilan tekshirilishi kerak” deb yozib qoʻying. Matn: [matnni bu yerga qo'ying]
2) joylashuvga nomzodlar:
Quyidagi matnda birga tez-tez uchraydigan juft so‘zlarni (qo‘shma gaplarni) taklif qiling. Har bir juftlik uchun matndan kamida bitta iqtibos keltiring. Matnda ekvivalenti bo'lmagan qo'shaloq uydirma; Ishonchingiz komil bo'lmasa, uni "tekshirish kerak" deb belgilang.Matn: [matnni joylashtirish]
3) Lug'atni taqqoslash:
Men sizga ikkita matn beraman. Har biri uchun: taxminiy jami so'zlar, turli xil so'z turlari haqida kuzatishlar va taniqli so'z sohalari (masalan, rang, tabiat, his-tuyg'ular). Raqamlar taxminiy ekanligini ayting. Taqqoslash talqinini mening tekshirishimga qoldiring. A matni: [...] B matni: [...]
4) Natijani talqin qilish:
Hisoblash vositasidan quyidagi natijalarni oldim: [natijalarni joylashtirish]. Bu raqamlar lingvistik jihatdan nimani anglatishi mumkinligi haqida 2-3 ta faraz yarating. Har bir gipotezani "dalil talab qiladi" deb belgilang va uni qanday tekshirishim mumkinligini ayting. Ortiqcha sharhlardan saqlaning.
Zaif taklif / Kuchli taklif
Zaif: "Ushbu matnda qaysi so'z ko'proq uchraydi?"
Kuchli: "Ushbu matndagi eng tez-tez uchraydigan tarkib so'zlarini ularning taxminiy chastotasi bilan sanab o'ting; funktsiyali so'zlarni istisno qiling. Raqamlar aniq emasligini va alohida vosita bilan tekshirilishi kerakligini aniqlang. Har bir so'z uchun misol jumlasini keltiring."
Kuchli so'rov AIni hisoblash chegarasini qabul qilishga majbur qiladi va tekshirish zarurligini oldindan aytadi. Zaif so'rovda AI bitta raqamni beradi va siz bu noto'g'ri bo'lishi mumkinligini bilmaysiz.
O'lchov va ishonchlilik jadvali
o'lchov
Nima ko'rsatadi
yolg'iz AI
to'g'ri yo'l
so'z chastotasi
tez-tez so'zlar
Taxminan, xavfli
Hisoblagich + AI sharhi
joylashuv
birga o'tganlar
Nomzodlarni tayyorlaydi
Matndan tasdiqlash
Tur/token nisbati
Og'zaki xilma-xillik
Aldash mumkin
Asbob bilan hisob
mavsumiy o'zgarish
Vaqt o'tishi bilan tendentsiya
gipotezalarni hosil qiladi
O'lchang va tekshiring
Yakuniy sharh
Ma'nosi
Kuchli, lekin bo'rttirib yuboradi
insoniy hukm
Kalit so'z va n-gramma tushunchalari
Ikki tushuncha korpus tahlilida ishingizni osonlashtiradi. Birinchisi, kalit so'z (ingliz tilidagi kalit so'z - matnda yoki muallifda umumiy tilga nisbatan kutilganidan ancha tez-tez uchraydigan so'z, bu matnga o'zining "xarakterini" beradi). Muallifning kalit so'zlari uning qiziqishlari va uslubini ochib beradi; Masalan, shoirda “dengiz” va “ajralish” kutilganidan ham tez-tez uchrasa, bu statistik chiqish talqin uchun boshlang‘ich nuqtaga aylanadi. Kalit so'zlarni aniqlash uchun matnning chastotalarini mos yozuvlar korpusining (taqqoslash uchun ishlatiladigan umumiy, katta hajmdagi matn) chastotalari bilan solishtirish kerak; Bu taqqoslash aniq vosita ishidir, bu AI o'z-o'zidan ishonchli tarzda amalga oshira olmaydigan hisob.
Ikkinchisi n-gramm (matndagi ketma-ket n ta soʻzdan iborat ketma-ketlik; ikki soʻzdan iborat ketma-ketlik “bigram”, uch soʻzdan iborat ketma-ketlik “trigram” deb ataladi). N-gramm tahlili muallifning formulali ifodalarini va tez-tez ishlatiladigan iboralarni ochib beradi. Misol uchun, agar yozuvchi "turi" yoki "lekin" kabi iboralarni juda tez-tez ishlatsa, bu uning jumlalar qilish odatidan dalolat beradi. AI ushbu iboralarni nomzod sifatida taklif qilishi mumkin; lekin haqiqiy chastota va statistik ahamiyatga ega bo'lishi uchun hisoblash vositasiga qaytish kerak.
Maslahat: AIga ayting: "Ushbu matndagi muhim iboralarni (ikki yoki uchta so'z) nomzodlar sifatida ko'rsating va har biriga matndan misol keltiring." Nomzodlar ro'yxatini oling va haqiqiy chastotani alohida asbob bilan o'lchang. AIni "xabar beruvchi", agentni "hisoblagich" va o'zingizni "tarjimon" sifatida joylashtiring.
Umumiy xatolar
- AIning xom hisobiga tayangan holda. AI kalkulyator emas; Alohida asbob yordamida aniq raqamni tekshiring.
- Raqamni izohsiz taqdim etish. "47 marta o'tdi" hech narsa demaydi; Siz ma'noni yaratasiz.
- Matn uzunligiga e'tibor bermaslik. Lirik xilma-xillik stavkalari uzunlikka sezgir.
- Joylashuvni tekshirmasdan tezis qilish. AI bo'lmagan juftliklar taklif qilishlari mumkin; Matndan tasdiqlang.
- Ekstremal izoh. AI tomonidan taklif qilingan "sabablarni" dalilsiz qabul qilmang.
Xulosa
Korpus tahlili adabiyotning sanab o'tiladigan tomonini ochadi: chastota, birikma, lug'at, davriy o'zgarishlar. AI bu sohada naqshlarni tan olish va natijalarni sharhlashda kuchli; lekin mutlaq hisoblashda ishonchsizdir. Raqamni alohida asbob yordamida tasdiqlang, matndagi birikmalarni tasdiqlang va har bir raqamning ma'nosini o'zingiz belgilang. Raqam dalil emas, bu dalil eshigi.
Ilova vazifasi
Qisqa matnni tanlang (500-1000 so'z). Tarkibdagi soʻzni aniqlang (masalan, “tun” yoki “yoʻl”). Birinchidan, matnda o'zingizni hisoblang. Keyin uni AI hisoblang. Ikki natijani solishtiring; Agar farq bo'lsa, sababini o'rganing. Keyin matndagi ushbu so'zning vazifasi haqida bir xatboshi sharh yozing - raqamni ma'noga aylantiring.
nazorat ro'yxati
- [ ] Men aniq lingvistik savol qo'ydim.
- [ ] Men korpus chegaralarini (matn, nashr, davr) aniqladim.
- [ ] Men sun'iy intellektning hisobini ikkinchi yo'l bilan tasdiqladim.
- [ ] Matndagi birikmalarni tasdiqladim.
- [ ] Men raqamni izohsiz qoldirmadim; Men o'zimning ma'nosini yaratdim.