Qazanclar:
- Süni intellektlə söz tezliyi, sıra yerləşdirmə, lüğət zənginliyi və açar sözlər kimi korpus ölçülərini tərtib etmək bacarığı
- Süni intellektin dəqiq hesablamada etibarsız olduğunu bilmək və hər bir hesablamanı ayrıca alətlə yoxlaya bilmək
- Rəqəmin öz-özünə heç nə demədiyini və mənasını təyin edən linqvistik şərhin insanlara aid olduğunu başa düşmək bacarığı.
Ədəbiyyat və dilşünaslıq təkcə “şərh” deyil; Həm də ölçülə bilən və sayıla bilən cəhəti var. Müəllifin nə qədər müxtəlif sözlərdən istifadə etməsi, hansı sözləri hansı sözlərlə işlətməyi xoşlaması, hansı sözlərin bir dövrdə adi hala çevrilməsi - bunlar dilçilik (dilin səsini, quruluşunu, mənasını və istifadəsini öyrənən elm) və xüsusən də korpus linqvistikası vasitəsilə araşdırılır. Korpus bir müəllifin tam əsərləri, qəzetin illik arxivi və ya bir dövrün şeirləri kimi mətnlər toplusudur. Korpus təhlili bu hissədə ədədi nümunələri axtarır.
Bu bölmədə biz süni intellektdən korpus təhlili köməkçisi kimi istifadə etməyi öyrənəcəyik: söz tezliyi (bir sözün mətndə baş vermə sayı), kollokasiya (tez-tez bir yerdə baş verən söz cütləri, məsələn, "qara" + "mənim bəxtim"), lüğət zənginliyi və mövsümi dəyişkənlik kimi göstəriciləri tez çıxarırıq. Ancaq əvvəldən xəbərdarlıq: AI tək hesab edərkən səhv edə bilər; Böyük və dəqiq saylar üçün xüsusi alətlər lazımdır və siz hər bir rəqəmin mənasını təyin edən dilçisiniz.
AI harada güclüdür və korpus analizində zəifdir?
Onun güclü tərəfləri bunlardır: Kiçik və orta ölçülü mətnlərdə nümunələri tanımaq, mətnin lüğəti haqqında fərziyyələr yaratmaq, birləşmələr üçün namizədlər təklif etmək, nəticəni şərh etmək, metodologiyanı təsvir etmək. Süni intellekt “bu müəllifdə hansı ifadələr seçilir?” deyə soruşur. Suala tez bir başlanğıc verir.
Zəiflik: Dəqiq hesablama. AI bir dil modelidir, kalkulyator deyil; uzun mətndə “neçə dəfə baş verib” sualına təxmini və bəzən də yanlış cavab verə bilir. Dəqiq tezlik, dəqiq yerləşdirmə statistikası və ya minlərlə sözün böyük korpus skan edilməsi üçün xüsusi proqram təminatı (məsələn, AntConc və ya elektron cədvəl kimi korpus alətləri) istifadə olunur. Süni intellekt bu vasitələrin çıxışını şərh etməkdə dəyərlidir; Amma onu kor-koranə xam hesablamağa məcbur etməyin.
İpucu: Dəqiq rəqəmə ehtiyacınız varsa, iki yoldan istifadə edin: kiçik mətndə hesablama aparan alətə sahib olun və süni intellekt onu şərh etsin; Və ya AI hesablayın və başqa bir şəkildə yoxlayın. Heç vaxt təsdiq etmədən "AI 47 dəfə baş verdiyini söylədi" cümləsini istifadə etməyin.
Addım-addım korpus araşdırması
- Sual verin. “Bu şairdə rəngli sözlər necə paylanıb?” Aydın sual olmadan saymaq mənasızdır:
- Korpusu müəyyənləşdirin. Hansı mətnlər? Hansı nəşr? Hansı dövr? Sərhəd aydın olmalıdır.
- Ölçməni seçin. Tezlik, yerləşmə, lüğət zənginliyi?
- Ölçmək və yoxlamaq. Hesabı aparın, sonra ikinci yolu təsdiqləyin.
- Şərh. Təkcə rəqəm heç nə demir; Məhz sizin şərhinizdir ki, “rəngli sözlər ikinci dövrdə ikiqat artıb” tapıntısını mənalı edir.
Lüğət zənginliyinin tez-tez istifadə olunan ölçüsü müxtəlif sözlərin sayının sözlərin ümumi sayına nisbətidir (növ/işarə nisbəti). Bu nisbət yüksəkdirsə, mətn söz müxtəlifliyi, aşağıdırsa, təkrarçılıq deməkdir. Lakin bu nisbət mətn uzunluğundan təsirlənir; Qısa və uzun mətnləri birbaşa müqayisə edərkən diqqətli olun.
üç mini qutu
1-ci hal - Yerləşdirmə üslubu nümayiş etdirdi. Tədqiqatçı bir romançının 3 romanında sifət-isim cütləşmələrini araşdırıb. AI “solğun” sözünün 5 fərqli ismə uyğun gəldiyini təklif etdi; Tədqiqatçı mətnlərdən 4-nü yoxlayıb, 1-ni isə uydurma kimi çıxarıb. Təsdiqlənmiş nümunə müəllifin təsviri üslubu haqqında tezisin ifadəsinə çevrildi.
2-ci hal - Sayma xətası tutuldu. Bir tələbə AI-dən 2000 sözlük mətndə “gecə” sözünün neçə dəfə göründüyünü soruşdu; AI "23" dedi. Tələbə mətni cədvələ atıb onu hesablayanda faktiki rəqəm 17 idi. Süni intellektin xam hesabının etibarsız olduğu aydın oldu.
Case 3 - Dövri dəyişiklik mübahisələrə səbəb oldu. Bir qrup şairin erkən və gec şeirlərindəki mücərrəd sözlərin nisbətini müqayisə etdi. AI-nin ilk layihəsi bir tendensiya təklif etdi; Qrup mətnə qayıtdıqda və hesablamaları təsdiqlədikdə, tendensiya real oldu, lakin AI tərəfindən təklif olunan "səbəblər" yoxlanılmaz fərziyyə idi və aradan qaldırıldı.
Dörd kopyalana bilən şablon
1) Söz tezliyi konturları (yoxlama ilə):
Aşağıdakı mətndə ən çox rast gəlinən 15 məzmun sözünü (bağlayıcılar və ön sözlər kimi funksiya sözləri istisna olmaqla) təxmini tezlikləri ilə qeyd edin. XƏBƏRDARLIQ: Nəzərə alın ki, saylar dəqiq olmaya bilər və qeyd edin ki, “dəqiq olmaq üçün onlar ayrıca sayma aləti ilə yoxlanılmalıdır”. Mətn: [mətni bura yerləşdirin]
2) Yerləşdirmə namizədləri:
Aşağıdakı mətndə tez-tez bir araya gələn söz cütlərini (birlikdə birləşmələr) təklif edin. Hər bir cüt üçün mətndən ən azı bir sitat gətirin. Mətndə ekvivalenti olmayan ikiqat uydurma; Əmin deyilsinizsə, onu "yoxlama lazımdır" kimi qeyd edin. Mətn: [mətni yapışdırın]
3) Söz ehtiyatının müqayisəsi:
Mən sizə iki mətn verəcəyəm. Hər biri üçün: təxmini ümumi sözlər, müxtəlif söz növləri haqqında müşahidələr və görkəmli söz sahələri (məsələn, rəng, təbiət, emosiya). Rəqəmlərin təxmini olduğunu bildirin. Müqayisə şərhini mənim yoxlamama buraxın. Mətn A: [...] Mətn B: [...]
4) Nəticənin təfsiri:
Mən sayma alətindən aşağıdakı nəticələri əldə etdim: [nəticələri yapışdırın]. Bu rəqəmlərin linqvistik mənada nə demək olduğu haqqında 2-3 fərziyyə yaradın. Hər bir fərziyyəni "sübut tələb edir" kimi qeyd edin və onu necə sınaqdan keçirə biləcəyimi söyləyin. Həddindən artıq şərhlərdən çəkinin.
Zəif məlumat / Güclü göstəriş
Zəif: "Bu mətndə ən çox hansı sözə rast gəlinir?"
Güclü: "Bu mətndə ən çox yayılmış məzmun sözlərini təxmini tezliyi ilə sadalayın; funksiya sözlərini xaric edin. Rəqəmlərin dəqiq olmadığını və ayrıca alətlə yoxlanılmalı olduğunu aydınlaşdırın. Hər söz üçün nümunə cümlə verin."
Güclü xəbərdarlıq süni intellektin hesablama limitini qəbul etməsinə səbəb olur və əvvəlcədən yoxlamanın tələb olunduğunu bildirir. Zəif sorğuda AI tək bir nömrə verir və bunun səhv ola biləcəyini bilmirsiniz.
Ölçmə və etibarlılıq cədvəli
ölçü
Nə göstərir
Tək AI
düzgün yol
söz tezliyi
tez-tez sözlər
Haqqında, riskli
Sayğac + AI şərhi
yerləşmə
birlikdə keçənlər
Namizədlər hazırlayır
Mətndən təsdiq
Növ/token nisbəti
Şifahi müxtəliflik
Aldadıcı ola bilər
Alət ilə hesab
mövsümi dəyişiklik
Zamanla trend
hipotezlər yaradır
Ölçmək və yoxlamaq
Yekun şərh
Mənası
Güclü, lakin şişirdir
insan mühakiməsi
Açar söz və n-qram anlayışları
İki anlayış korpus analizində işinizi asanlaşdırır. Birincisi açar sözdür (ingilis dilində açar söz - mətndə və ya müəllifdə ümumi dillə müqayisədə gözlənildiyindən qat-qat tez baş verən və həmin mətnə öz "xarakterini" verən söz). Müəllifin açar sözləri onun maraqlarını və üslubunu ortaya qoyur; Məsələn, şairdə “dəniz” və “ayrılıq” gözlənildiyindən daha tez-tez baş verirsə, bu statistik çıxıntı təfsir üçün başlanğıc nöqtəsi olur. Açar sözləri müəyyən etmək üçün mətnin tezliklərini istinad korpusunun tezlikləri ilə müqayisə etmək lazımdır (müqayisə üçün istifadə olunan ümumi, böyük mətn korpusu); Bu müqayisə qəti bir alət işidir, AI-nin tək başına etibarlı şəkildə edə bilməyəcəyi bir hesablamadır.
İkincisi n-qramdır (mətndə ardıcıl n sözdən ibarət ardıcıllıq; iki sözdən ibarət ardıcıllığa “biqram”, üç sözdən ibarət ardıcıllığa “triqram” deyilir). N-qram analizi müəllifin formul ifadələrini və tez-tez istifadə olunan ifadələri aşkar edir. Məsələn, yazıçı “növü” və ya “ancaq” kimi ifadələri son dərəcə tez-tez işlədirsə, bu onun cümlə qurma vərdişindən xəbər verir. AI bu ifadələri namizəd kimi təklif edə bilər; lakin həqiqi tezlik və statistik əhəmiyyət üçün sayma alətinə qayıtmaq lazımdır.
İpucu: Süni intellektə deyin: "Bu mətndəki diqqətəlayiq ifadələri (iki və ya üç söz) namizədlər kimi sadalayın və hər biri üçün mətndən bir nümunə verin." Namizəd siyahısını götürün və faktiki tezliyi ayrıca alətlə ölçün. Süni intellektini “xəbərdar”, agenti “əks” və özünüzü “tərcüməçi” kimi yerləşdirin.
Ümumi səhvlər
- Süni intellektin xammal sayına güvənərək. AI kalkulyator deyil; Ayrı bir vasitə ilə dəqiq nömrəni yoxlayın.
- Nömrəni şərhsiz təqdim edirik. “47 dəfə keçdi” heç nə demir; Mənanı siz yaradırsınız.
- Mətn uzunluğuna məhəl qoyulmur. Lirik müxtəliflik dərəcələri uzunluğa həssasdır.
- Kolleksiyanı yoxlamadan tezis hazırlamaq. Qeyri-AI cütlər təklif edə bilər; Mətndən təsdiq edin.
- Ekstremal şərh. Süni intellektin təklif etdiyi "səbəbləri" sübut olmadan qəbul etməyin.
Xülasə
Korpus təhlili ədəbiyyatın sayıla bilən tərəfini açır: tezlik, yerləşmə, lüğət, dövri dəyişiklik. Süni intellekt bu sahədə nümunələri tanımaqda və nəticələri şərh etməkdə güclüdür; lakin mütləq hesablamada etibarsızdır. Nömrəni ayrıca alətlə yoxlayın, mətndəki birləşmələri təsdiqləyin və hər nömrənin mənasını özünüz təyin edin. Nömrə dəlil deyil, sübutun qapısıdır.
Tətbiq tapşırığı
Qısa bir mətn seçin (500-1000 söz). Məzmun sözünü müəyyən edin (məsələn, "gecə" və ya "yol"). Əvvəlcə mətndə özünüzü hesablayın. Sonra süni intellekt onu hesablasın. İki nəticəni müqayisə edin; Əgər fərq varsa, səbəbini araşdırın. Sonra həmin sözün mətndəki funksiyası haqqında bir paraqrafdan ibarət şərh yazın - rəqəmi mənaya çevirin.
yoxlama siyahısı
- [ ] Mən aydın linqvistik sual verdim.
- [ ] Korpusun sərhədlərini (mətn, nəşr, dövr) müəyyən etdim.
- [ ] Mən süni intellektlərin sayını ikinci yolla təsdiqlədim.
- [ ] Mətndəki birləşmələri təsdiqlədim.
- [ ] Mən nömrəni şərhsiz qoymadım; Mənanı özüm yaratdım.