Добици:
- Способност израде мерења корпуса као што су учесталост речи, колокација, богатство речника и кључне речи помоћу вештачке интелигенције
- Знајући да је вештачка интелигенција непоуздана у тачном бројању и бити у могућности да проверите сваки број помоћу посебног алата
- Способност разумевања да број не говори ништа сам по себи и да лингвистичко тумачење које утврђује значење припада људима.
Студије књижевности и језика нису само „коментар“; Такође има мерљив и избројив аспект. Колико различитих речи аутор користи, које речи воли да користи са којим речима, које речи постају уобичајене у неком периоду - то се истражује кроз лингвистику (науку која проучава звук, структуру, значење и употребу језика) и посебно корпусну лингвистику. Корпус је збирка текстова, као што су комплетна дела неког аутора, годишња архива новина или песме неког периода. Анализа корпуса тражи нумеричке обрасце у овом делу.
У овој јединици научићемо да користимо вештачку интелигенцију као помоћника за анализу корпуса: брзо издвајање метрика као што су учесталост речи (број пута када се реч појављује у тексту), колокација (парови речи који се често јављају заједно, нпр. „црно“ + „моје богатство“), богатство речника и сезонске варијације. Али упозорење од почетка: АИ може да погреши када сам броји; Посебни алати су потребни за велика и прецизна бројања, а ви сте лингвиста који утврђује значење сваког броја.
Где је вештачка интелигенција јака, а где слаба у корпусној анализи?
Његове предности су: Препознавање образаца у малим и средњим текстовима, генерисање хипотеза о речнику текста, предлагање кандидата за колокације, тумачење резултата, описивање методологије. АИ пита „које фразе се истичу у овом аутору?“ То даје брз почетак питања.
Слабост: Прецизно бројање. АИ је језички модел, а не калкулатор; може дати приближан, а понекад и нетачан одговор на питање „колико пута се то десило“ у дугачком тексту. За прецизну фреквенцију, тачну статистику колокације или скенирање великог корпуса хиљада речи, користи се специјализовани софтвер (нпр. корпусни алати као што је АнтЦонц или табела). АИ је драгоцен у тумачењу резултата ових алата; Али немојте га терати да слепо броји.
Савет: Ако вам је потребан тачан број, користите два начина: нека алатка броји малим текстом и нека га АИ протумачи; Или нека АИ преброји и провери то на други начин. Никада не користите реченицу „АИ је рекао да се то дешава 47 пута“ без потврде.
Корпусна студија корак по корак
- Поставите питање. „Како су речи у боји распоређене у овом песнику?“ Бројање је бесмислено без јасног питања као што је:
- Дефинишите корпус. Који текстови? Које издање? Који период? Граница мора бити јасна.
- Изаберите мерење. Учесталост, колокација, богатство речника?
- Измерите и проверите. Избројите, а затим потврдите други начин.
- Коментар. Сам број не говори ништа; Ваш коментар даје смисао налазу да су се „речи у боји удвостручиле у другом периоду“.
Често коришћена мера богатства речника је однос броја различитих речи и укупног броја речи (однос типа/токена). Ако је овај однос висок, текст је варијанта речи, а ако је низак, значи да се понавља. Али на овај однос утиче дужина текста; Будите пажљиви када директно упоредите кратке и дугачке текстове.
три мини кофера
Случај 1 — Колокација је показала стил. Истраживач је испитивао парове придев-именица у 3 романа романописца. АИ је предложио да реч „бледо” одговара 5 различитих именица; Истраживач је верификовао 4 текста и елиминисао 1 као измишљен. Потврђени образац постао је теза о описном стилу аутора.
Случај 2 — Ухваћена је грешка у бројању. Студент је питао АИ колико пута се реч „ноћ“ појавила у тексту од 2000 речи; АИ је рекао "23". Када је ученик бацио текст у табелу и дао га пребројати, стварни број је био 17. Постало је јасно да је необрађено бројање АИ непоуздано.
Случај 3 — Периодичне промене изазвале су контроверзу. Једна група је упоредила удео апстрактних речи у песниковим раним и касним песмама. Први нацрт АИ сугерисао је тренд; Када се група вратила на текст и потврдила број, испоставило се да је тренд био стваран, али „узроци“ које је предложила АИ били су непроверљива спекулација и елиминисани су.
Четири шаблона за копирање
1) Преглед учесталости речи (са верификацијом):
Наведите 15 речи садржаја које се најчешће појављују (изузмите функционалне речи као што су везници и предлози) у тексту испод, са њиховом приближном учесталошћу. УПОЗОРЕЊЕ: Имајте на уму да бројања МОЖДА НИСУ тачна и имајте на уму „да би били тачни, морају бити верификовани посебним алатом за бројање“. Текст: [налепите текст овде]
2) Кандидати за колокацију:
Предложите парове речи (колокације) које се често јављају заједно у тексту испод. За сваки пар наведите најмање један цитат из текста. Двострука измишљотина којој нема еквивалента у тексту; Ако нисте сигурни, означите га као „потребна је верификација“. Текст: [налепите текст]
3) Поређење речника:
Даћу вам два текста. За сваку: приближан укупан број речи, запажања о различитим варијантама речи и истакнути домен речи (нпр. боја, природа, емоција). Наведите да су бројеви приближни. Тумачење поређења препустите мојој провери. Текст А: [...] Текст Б: [...]
4) Тумачење резултата:
Добио сам следеће резултате од алатке за бројање: [налепи резултате]. Генериши 2-3 хипотезе о томе шта ови бројеви могу значити лингвистички. Означите сваку хипотезу као „захтева доказе“ и реците ми како да је тестирам. Избегавајте претеране коментаре.
Слаби промпт / Јаки промпт
Слабо: "Која се реч најчешће појављује у овом тексту?"
Јака: „Наведите најчешће речи са садржајем у овом тексту са њиховом приближном учесталошћу; изузмите функционалне речи. Објасните да бројеви нису тачни и да их треба проверити посебним алатом. Наведите пример реченице за сваку реч.“
Снажан одзив чини да АИ прихвати ограничење бројања и унапред вам говори да је верификација потребна. У слабом одзивнику, АИ даје један број и не знате да би то могло бити погрешно.
Табела мерења и поузданости
мерење
Шта показује
АИ сама
прави пут
учесталост речи
честе речи
О, ризично
Цоунтер + АИ коментар
колокација
они који су заједно прошли
Производи кандидате
Потврда из текста
Однос типа/жетона
Вербална разноликост
Може бити варљиво
Рачун са алатом
сезонска промена
Тренд током времена
генерише хипотезе
Измерите и проверите
Завршни коментар
Значење
Моћан, али претерује
људски суд
Појмови кључних речи и н-грама
Два концепта вам олакшавају рад у анализи корпуса. Прва је кључна реч (кључна реч на енглеском – реч која се појављује у тексту или аутору много чешће него што се очекивало у поређењу са општим језиком, дајући том тексту његов „карактер“). Кључне речи аутора откривају његова интересовања и стил; На пример, ако се „море“ и „раздвојеност“ јављају чешће него што се очекивало код песника, ова статистичка избочина постаје полазна тачка за тумачење. Да би се идентификовале кључне речи, потребно је упоредити фреквенције текста са фреквенцијама референтног корпуса (општег, великог корпуса текста који се користи за поређење); Ово поређење је дефинитиван посао алата, то је прорачун који АИ не може поуздано да направи сам.
Други је н-грам (низ од н узастопних речи у тексту; низ од две речи се назива „биграм“, низ од три речи се назива „триграм“). Анализа Н-грама открива ауторове формулаичне изразе и често коришћене фразе. На пример, ако писац изузетно често користи фразе као што су „некако” или „међутим”, то указује на његову навику да прави реченице. АИ може предложити ове фразе као кандидате; али за праву учесталост и статистичку значајност потребно је вратити се на алат за бројање.
Савет: Реците АИ: „Наведите истакнуте фразе (две или три речи) у овом тексту као кандидате и дајте пример из текста за сваку.“ Узмите листу кандидата и измерите стварну фреквенцију посебним алатом. Поставите вештачку интелигенцију као „обавештења“, агента као „контра, а себе као „преводиоца“.
Уобичајене грешке
- Ослањајући се на сирови број вештачке интелигенције. АИ није калкулатор; Проверите тачан број посебним алатом.
- Представљамо број без коментара. „Прошао 47 пута“ ништа не говори; Ви стварате значење.
- Игнорисање дужине текста. Стопе разноврсности текста су осетљиве на дужину.
- Израда тезе без провере колокације. Парови који нису АИ могу предложити; Потврдите из текста.
- Екстремни коментар. Не прихватајте „разлоге“ које је предложила АИ без доказа.
Укратко
Анализа корпуса отвара бројне аспекте литературе: учесталост, колокацију, речник, периодичне промене. АИ је моћна у овој области у препознавању образаца и тумачењу резултата; али је непоуздан у апсолутном бројању. Проверите број помоћу посебног алата, потврдите колокације из текста и сами утврдите значење сваког броја. Број није доказ, то су врата до доказа.
Задатак апликације
Изаберите кратак текст (500-1000 речи). Идентификујте реч садржаја (нпр. „ноћ“ или „пут“). Прво, рачунајте себе у тексту. Онда нека АИ то преброји. Упоредите два резултата; Ако постоји разлика, истражите разлог. Затим напишите коментар од једног пасуса о функцији те речи у тексту — претварајући број у значење.
контролна листа
- [ ] Поставио сам јасно лингвистичко питање.
- [ ] Дефинисао сам границе корпуса (текст, издање, тачка).
- [ ] Проверио сам број АИ на други начин.
- [ ] Потврдио сам колокације из текста.
- [ ] Нисам оставио број без коментара; Сам сам створио значење.