Печалби:
- Възможност за изготвяне на корпусни измервания като честота на думата, колокация, богатство на речник и ключови думи с изкуствен интелект
- Знаейки, че изкуственият интелект е ненадежден при точното броене и можете да проверите всяко броене с отделен инструмент
- Способност да се разбере, че числото не казва нищо само по себе си и че езиковата интерпретация, която установява значението, принадлежи на хората.
Изучаването на литература и език не е просто „коментар“; Освен това има измерим и изброим аспект. Колко различни думи използва авторът, кои думи обича да използва с кои думи, кои думи стават често срещани в даден период - те се изследват чрез лингвистиката (науката, която изучава звука, структурата, значението и употребата на езика) и особено корпусната лингвистика. Корпусът е колекция от текстове, като пълните произведения на даден автор, годишният архив на вестник или стихотворенията от даден период. Анализът на корпуса търси числени модели в тази част.
В този урок ще се научим да използваме AI като помощник за анализ на корпуса: бързо извличане на показатели като честота на думата (брой пъти, в които дадена дума се среща в текста), колокация (двойки думи, които се срещат често заедно, напр. „черен“ + „моето богатство“), богатство на речника и сезонни вариации. Но едно предупреждение от самото начало: AI може да прави грешки, когато брои сам; Необходими са специални инструменти за големи и точни преброявания, а вие сте лингвистът, който установява значението на всяко число.
Къде AI е силен и къде слаб в анализа на корпуса?
Неговите силни страни са: Разпознаване на модели в малки и средни текстове, генериране на хипотези за речника на даден текст, предлагане на кандидати за колокации, тълкуване на резултат, описание на методология. AI пита „какви фрази се открояват в този автор?“ Дава бърз старт на въпроса.
Слабост: Точно броене. AI е езиков модел, а не калкулатор; може да даде приблизителен и понякога неправилен отговор на въпроса "колко пъти се е случило" в дълъг текст. За прецизна честота, точна статистика за колокация или сканиране на голям корпус от хиляди думи се използва специализиран софтуер (напр. инструменти за корпус като AntConc или електронна таблица). AI е ценен при тълкуването на резултатите от тези инструменти; Но не го карайте да прави суровото броене на сляпо.
Съвет: Ако имате нужда от точно число, използвайте два начина: накарайте инструмент да направи броенето в малък текст и накарайте AI да го интерпретира; Или вземете броя на AI и го проверете по друг начин. Никога не използвайте изречението „AI каза, че се среща 47 пъти“ без потвърждение.
Корпусно изследване стъпка по стъпка
- Задайте въпрос. „Как са разпределени цветните думи в този поет?“ Броенето е безсмислено без ясен въпрос като:
- Дефинирайте корпуса. Кои текстове? Кое издание? Кой период? Границата трябва да е ясна.
- Изберете измерването. Честота, колокация, богатство на речника?
- Измерете и проверете. Направете преброяване, след което потвърдете по втори начин.
- Коментирайте. Числото само по себе си не казва нищо; Това е вашият коментар, който прави констатацията, че "цветните думи са удвоени във втория период" смислени.
Често използвана мярка за богатството на речника е съотношението на броя на различните думи към общия брой думи (съотношение тип/лексема). Ако това съотношение е високо, текстът е многословен, а ако е ниско, това означава, че се повтаря. Но това съотношение се влияе от дължината на текста; Бъдете внимателни, когато сравнявате директно кратки и дълги текстове.
три мини калъфа
Случай 1 — Колокацията демонстрира стил. Изследовател изследва двойките прилагателно-съществително в 3 романа на писател. AI предположи, че думата „бледо“ съвпада с 5 различни съществителни; Изследователят провери 4 от текстовете и елиминира 1 като измислен. Потвърденият модел се превърна в теза за описателния стил на автора.
Случай 2 — Уловена грешка при преброяването. Студент попита AI колко пъти думата „нощ“ се появява в текст от 2000 думи; AI каза "23". Когато студентът хвърли текста в електронна таблица и го преброи, действителният брой беше 17. Стана ясно, че необработеното преброяване на AI е ненадеждно.
Случай 3 — Периодичната промяна предизвика противоречия. Една група сравнява съотношението на абстрактните думи в ранните и късните стихотворения на поета. Първият проект на AI предложи тенденция; Когато групата се върна към текста и провери преброяването, тенденцията се оказа реална, но „причините“, предложени от AI, бяха непроверими спекулации и бяха елиминирани.
Четири копируеми шаблона
1) Очертание на честотата на думите (с проверка):
Избройте 15-те най-често срещани думи със съдържание (изключете функционални думи като съюзи и предлози) в текста по-долу, с техните приблизителни честоти. ПРЕДУПРЕЖДЕНИЕ: Обърнете внимание, че преброяването МОЖЕ ДА НЕ е точно и имайте предвид, че „за да бъдат точни, те трябва да бъдат проверени с отделен инструмент за преброяване“. Текст: [поставете текст тук]
2) Кандидати за колокация:
Предложете двойки думи (колокации), които се срещат често заедно в текста по-долу. Дайте поне един цитат от текста за всяка двойка. Двойна измислица, която няма еквивалент в текста; Ако не сте сигурни, маркирайте го като „нуждае се от проверка“. Текст: [поставете текст]
3) Сравнение на речника:
Ще ви дам два текста. За всяка: приблизителен общ брой думи, наблюдения за различни разновидности на думи и видни домейни на думи (напр. цвят, природа, емоция). Посочете, че числата са приблизителни. Оставете тълкуването на сравнението на моята проверка. Текст А: [...] Текст Б: [...]
4) Тълкуване на резултата:
Получих следните резултати от инструмент за преброяване: [поставяне на резултатите]. Генерирайте 2-3 хипотези за това какво може да означават тези числа от езикова гледна точка. Маркирайте всяка хипотеза като „изисква доказателства“ и ми кажете как мога да я тествам. Избягвайте излишните коментари.
Слаба подкана / Силна подкана
Слаб: "Коя дума се среща най-често в този текст?"
Силно: „Избройте най-често срещаните думи за съдържание в този текст с тяхната приблизителна честота; изключете функционалните думи. Изяснете, че числата не са точни и трябва да бъдат проверени с отделен инструмент. Дайте примерно изречение за всяка дума.“
Мощната подкана кара изкуствения интелект да приеме ограничението за преброяване и ви казва предварително, че е необходима проверка. В слабата подкана AI дава едно число и вие не знаете, че може да е грешно.
Таблица за измерване и надеждност
измерване
Какво показва
AI сам
прав път
честота на думата
чести думи
Относно, рисковано
Брояч + AI коментар
колокация
тези, които преминаха заедно
Произвежда кандидати
Потвърждение от текста
Съотношение тип/токен
Вербално разнообразие
Може да бъде подвеждащо
Акаунт с инструмент
сезонна промяна
Тенденция във времето
генерира хипотези
Измерете и проверете
Заключителен коментар
Значение
Мощен, но преувеличава
човешка преценка
Концепции за ключова дума и n-грам
Две концепции улесняват работата ви в корпусния анализ. Първата е ключовата дума (ключова дума на английски - думата, която се среща в текст или автор много по-често от очакваното в сравнение с общия език, придавайки на този текст неговия "характер"). Ключовите думи на автора разкриват неговите интереси и стил; Например, ако „море“ и „раздяла“ се срещат по-често от очакваното в един поет, тази статистическа издатина става отправна точка за интерпретация. За да се идентифицират ключови думи, е необходимо да се сравнят честотите на даден текст с честотите на референтен корпус (обща, голяма част от текста, използвана за сравнение); Това сравнение е окончателна инструментална работа, това е изчисление, което AI не може да направи надеждно сам.
Втората е n-грама (поредица от n последователни думи в текст; поредица от две думи се нарича "биграма", поредица от три думи се нарича "триграма"). Анализът на N-грами разкрива формулирани изрази на автора и често използвани фрази. Например, ако писател използва фрази като „вид“ или „обаче“ изключително често, това показва неговия навик да прави изречения. AI може да предложи тези фрази като кандидати; но за истинска честота и статистическа значимост е необходимо да се върнем към инструмента за броене.
Съвет: Кажете на ИИ: „Избройте забележителните фрази (две или три думи) в този текст като кандидати и дайте пример от текста за всяка.“ Вземете списъка с кандидати и измерете действителната честота с отделен инструмент. Позиционирайте AI като „забележител“, агента като „брояч“, а себе си като „преводач“.
Често срещани грешки
- Разчитайки на суровия брой на AI. AI не е калкулатор; Проверете точния брой с отделен инструмент.
- Представяне на номера без коментар. „Преминал 47 пъти“ не казва нищо; Вие създавате смисъла.
- Игнориране на дължината на текста. Степента на разнообразие на текстове зависи от дължината.
- Изготвяне на дипломна работа без проверка на колокацията. Двойките без ИИ могат да предложат; Потвърдете от текста.
- Изключителен коментар. Не приемайте „причините“, предложени от AI без доказателства.
В обобщение
Анализът на корпуса отваря изброимите аспекти на литературата: честота, колокация, речник, периодична промяна. AI е мощен в тази област при разпознаване на модели и интерпретиране на резултати; но е ненадежден при абсолютно броене. Проверете числото с отделния инструмент, потвърдете колокациите от текста и сами установете значението на всяко число. Числото не е доказателство, то е врата към доказателство.
Задача за приложение
Изберете кратък текст (500-1000 думи). Идентифицирайте съдържателна дума (напр. „нощ“ или „път“). Първо, пребройте се в текста. След това накарайте AI да го преброи. Сравнете двата резултата; Ако има разлика, проучете причината. След това напишете коментар от един абзац за функцията на тази дума в текста - превръщане на числото в значение.
контролен списък
- [ ] Поставих ясен лингвистичен въпрос.
- [ ] Определих границите на корпуса (текст, издание, период).
- [ ] Проверих броя на AI по втори начин.
- [ ] Потвърдих колокациите от текста.
- [ ] Не съм оставил номера без коментар; Сам създадох смисъла.