भाषाशास्त्र आणि कॉर्पस विश्लेषण: संख्यांसह शब्दसंग्रह वाचन

नफा:

• शब्द वारंवारता, कोलोकेशन, शब्दसंग्रह समृद्धता आणि कृत्रिम बुद्धिमत्तेसह कीवर्ड यासारख्या कॉर्पस मोजमापांचा मसुदा तयार करण्याची क्षमता
• कृत्रिम बुद्धिमत्ता अचूक मोजणीमध्ये अविश्वसनीय आहे हे जाणून घेणे आणि प्रत्येक मोजणी वेगळ्या साधनाने सत्यापित करण्यास सक्षम असणे
• संख्या स्वतःहून काहीही बोलत नाही आणि अर्थ प्रस्थापित करणारी भाषिक व्याख्या माणसांची आहे हे समजून घेण्याची क्षमता.

साहित्य आणि भाषा अभ्यास हे केवळ ‘भाष्य’ नसतात; त्याला मोजता येण्याजोगा आणि मोजता येण्याजोगा पैलू देखील आहे. लेखक किती भिन्न शब्द वापरतो, त्याला कोणत्या शब्दांसह कोणते शब्द वापरायला आवडतात, कोणते शब्द एका कालखंडात सामान्य होतात - हे भाषाशास्त्र (भाषेचा आवाज, रचना, अर्थ आणि वापराचा अभ्यास करणारे शास्त्र) आणि विशेषतः कॉर्पस भाषाशास्त्राद्वारे तपासले जाते. कॉर्पस हा ग्रंथांचा संग्रह आहे, जसे की लेखकाची संपूर्ण कामे, वृत्तपत्राचे वार्षिक संग्रह किंवा कालखंडातील कविता. कॉर्पस विश्लेषण या भागामध्ये संख्यात्मक नमुने शोधते.

या युनिटमध्ये, आम्ही कॉर्पस विश्लेषण सहाय्यक म्हणून AI वापरण्यास शिकू: शब्द वारंवारता (मजकूरात शब्द किती वेळा येतो याची संख्या), कोलोकेशन (शब्द जोड्या ज्या वारंवार एकत्र येतात, उदा. "ब्लॅक" + "माय फॉर्च्युन"), शब्दसंग्रह समृद्धता आणि हंगामी भिन्नता यासारखे मेट्रिक्स पटकन काढणे. पण सुरुवातीपासून एक चेतावणी: एकट्याने मोजताना एआय चुका करू शकते; मोठ्या आणि तंतोतंत मोजणीसाठी विशेष साधने आवश्यक आहेत आणि तुम्ही भाषाशास्त्रज्ञ आहात जे प्रत्येक संख्येचा अर्थ स्थापित करतात.

कॉर्पस विश्लेषणामध्ये एआय कुठे मजबूत आहे आणि कुठे कमकुवत आहे?

त्याची सामर्थ्ये आहेत: लहान आणि मध्यम मजकूरातील नमुने ओळखणे, मजकूराच्या शब्दसंग्रहाबद्दल गृहीतके निर्माण करणे, कोलोकेशनसाठी उमेदवार सुचवणे, निकालाचा अर्थ लावणे, कार्यपद्धतीचे वर्णन करणे. AI विचारते "या लेखकात कोणती वाक्ये वेगळी आहेत?" हे प्रश्नाला द्रुत सुरुवात देते.

कमजोरी: अचूक मोजणी. AI एक भाषा मॉडेल आहे, कॅल्क्युलेटर नाही; लांब मजकुरात "किती वेळा घडले" या प्रश्नाचे अंदाजे आणि कधीकधी चुकीचे उत्तर देऊ शकते. तंतोतंत वारंवारता, अचूक कोलोकेशन आकडेवारी किंवा हजारो शब्दांच्या मोठ्या कॉर्पस स्कॅनिंगसाठी, विशेष सॉफ्टवेअर (उदा. कॉर्पस टूल्स जसे की AntConc किंवा स्प्रेडशीट) वापरले जाते. या साधनांच्या आउटपुटचा अर्थ लावण्यासाठी AI मौल्यवान आहे; पण त्याला आंधळेपणाने कच्ची मोजणी करायला लावू नका.

टीप: जर तुम्हाला अचूक संख्या हवी असेल, तर दोन मार्ग वापरा: छोट्या मजकुरात मोजणी करण्यासाठी टूल घ्या आणि एआयला त्याचा अर्थ लावा; किंवा एआय मोजा आणि दुसर्या मार्गाने सत्यापित करा. पुष्टीशिवाय "एआय म्हणाले की ते 47 वेळा येते" हे वाक्य कधीही वापरू नका.

एक चरण-दर-चरण कॉर्पस अभ्यास

1. एक प्रश्न टाका. "या कवीमध्ये रंगीत शब्द कसे वितरित केले जातात?" यासारख्या स्पष्ट प्रश्नाशिवाय मोजणी अर्थहीन आहे:
2. कॉर्पसची व्याख्या करा. कोणते ग्रंथ? कोणती आवृत्ती? कोणता कालावधी? सीमा स्पष्ट असणे आवश्यक आहे.
3. मोजमाप निवडा. वारंवारता, संभाषण, शब्दसंग्रहाची समृद्धता?
4. मोजा आणि सत्यापित करा. मोजणी करा, नंतर दुसऱ्या मार्गाची पुष्टी करा.
5. टिप्पणी द्या. एकटा नंबर काही सांगत नाही; ही तुमची टिप्पणी आहे ज्यामुळे "दुसऱ्या कालावधीत रंगीत शब्द दुप्पट झाले" हा निष्कर्ष अर्थपूर्ण होतो.

शब्दसंग्रह समृद्धीचे वारंवार वापरले जाणारे मोजमाप म्हणजे विविध शब्दांच्या संख्येचे एकूण शब्दांचे गुणोत्तर (प्रकार/टोकन प्रमाण). जर हे प्रमाण जास्त असेल, तर मजकूर हा शब्द-विविध आहे, आणि जर ते कमी असेल, तर त्याचा अर्थ पुनरावृत्ती आहे. परंतु हे प्रमाण मजकूराच्या लांबीमुळे प्रभावित होते; लहान आणि लांब मजकुराची थेट तुलना करताना काळजी घ्या.

तीन लहान प्रकरणे

केस 1 - संचलनाने एक शैली दर्शविली. एका संशोधकाने कादंबरीकाराच्या 3 कादंबऱ्यांमधील विशेषण-संज्ञाच्या जोडीचे परीक्षण केले. AI ने सुचवले की "फिकट" हा शब्द 5 वेगवेगळ्या संज्ञांशी जुळतो; संशोधकाने 4 मजकूर सत्यापित केले आणि 1 बनावट म्हणून काढून टाकला. पुष्टी केलेला नमुना लेखकाच्या वर्णनात्मक शैलीबद्दल प्रबंध विधान बनला.

प्रकरण 2 - मोजणी त्रुटी पकडली. एका विद्यार्थ्याने एआयला विचारले की 2,000 शब्दांच्या मजकुरात "रात्र" हा शब्द किती वेळा आला; एआयने "23" म्हटले. जेव्हा विद्यार्थ्याने मजकूर स्प्रेडशीटमध्ये टाकला आणि तो मोजला तेव्हा वास्तविक संख्या 17 होती. हे स्पष्ट झाले आहे की AI ची कच्ची संख्या अविश्वसनीय आहे.

प्रकरण 3 - नियतकालिक बदलामुळे वाद निर्माण झाला. एका गटाने कवीच्या सुरुवातीच्या आणि शेवटच्या कवितांमधील अमूर्त शब्दांच्या प्रमाणाची तुलना केली. एआयच्या पहिल्या मसुद्याने एक कल सुचवला; जेव्हा गटाने मजकूरावर परत जाऊन मोजणीची पडताळणी केली तेव्हा ट्रेंड वास्तविक असल्याचे दिसून आले, परंतु एआयने सुचवलेली "कारणे" अप्रमाणित सट्टा होती आणि काढून टाकली गेली.

चार कॉपी करण्यायोग्य टेम्पलेट्स

1) शब्द वारंवारता बाह्यरेखा (सत्यापनासह):

खालील मजकुरात 15 सर्वाधिक वारंवार येणारे आशय शब्द (संयोजन आणि पूर्वसर्ग यांसारखे कार्य शब्द वगळून) त्यांच्या अंदाजे फ्रिक्वेन्सीसह सूचीबद्ध करा. चेतावणी: लक्षात ठेवा की संख्या अचूक असू शकत नाही आणि लक्षात ठेवा "अचूक असण्यासाठी, ते वेगळ्या मोजणी साधनाने सत्यापित करणे आवश्यक आहे." मजकूर: [येथे मजकूर पेस्ट करा]

२) लोकेशन उमेदवार:

खालील मजकुरात वारंवार एकत्र येणाऱ्या शब्दांच्या जोड्या (कोलॉकेशन्स) सुचवा. प्रत्येक जोडीसाठी मजकूरातून किमान एक कोट द्या. मजकुरात समतुल्य नसलेली दुहेरी बनावट; तुम्हाला खात्री नसल्यास, "सत्यापनाची आवश्यकता आहे" म्हणून चिन्हांकित करा. मजकूर: [मजकूर पेस्ट करा]

3) शब्दसंग्रह तुलना:

मी तुम्हाला दोन ग्रंथ देईन. प्रत्येकासाठी: अंदाजे एकूण शब्द, वेगवेगळ्या शब्द प्रकारांबद्दल निरीक्षणे आणि प्रमुख शब्द डोमेन (उदा. रंग, निसर्ग, भावना). संख्या अंदाजे असल्याचे सांगा. माझ्या पडताळणीच्या तुलनेची व्याख्या सोडा. मजकूर अ: [...] मजकूर ब: [...]

4) निकालाचा अर्थ:

मला मोजणी साधनातून खालील परिणाम मिळाले: [पेस्ट परिणाम]. या संख्यांचा भाषिक अर्थ काय असू शकतो याबद्दल 2-3 गृहीतके तयार करा. प्रत्येक गृहीतकाला "पुरावा आवश्यक आहे" म्हणून चिन्हांकित करा आणि मी त्याची चाचणी कशी करू शकतो ते मला सांगा. अवाजवी कमेंट टाळा.

कमकुवत प्रॉम्प्ट / मजबूत प्रॉम्प्ट

कमकुवत: "या मजकुरात कोणता शब्द सर्वात जास्त आढळतो?"

सशक्त: "या मजकूरातील सर्वात वारंवार येणारे आशय शब्द त्यांच्या अंदाजे वारंवारतेसह सूचीबद्ध करा; फंक्शन शब्द वगळा. हे स्पष्ट करा की संख्या अचूक नाहीत आणि वेगळ्या साधनाने सत्यापित करणे आवश्यक आहे. प्रत्येक शब्दासाठी एक उदाहरण वाक्य द्या."

पॉवरफुल प्रॉम्प्ट AI ला मोजणी मर्यादा स्वीकारण्यास प्रवृत्त करते आणि तुम्हाला अगोदर सांगते की पडताळणी आवश्यक आहे. कमकुवत प्रॉम्प्टमध्ये, AI एकच नंबर देते आणि तुम्हाला माहीत नाही की ते चुकीचे असू शकते.

मापन आणि विश्वसनीयता सारणी

मोजमाप

काय दाखवते

एकटा AI

योग्य मार्ग

शब्द वारंवारता

वारंवार शब्द

बद्दल, धोकादायक

काउंटर + एआय भाष्य

colocation

जे एकत्र पास झाले

उमेदवार निर्माण करतो

मजकूरातून पुष्टीकरण

प्रकार/टोकन प्रमाण

शाब्दिक विविधता

दिशाभूल होऊ शकते

साधनासह खाते

हंगामी बदल

कालांतराने कल

गृहीतके निर्माण करते

मोजा आणि सत्यापित करा

समारोप टिप्पणी

अर्थ

शक्तिशाली पण अतिशयोक्ती

मानवी निर्णय

कीवर्ड आणि एन-ग्राम संकल्पना

कॉर्पस विश्लेषणामध्ये दोन संकल्पना तुमचे काम सोपे करतात. पहिला कीवर्ड आहे (इंग्रजीतील कीवर्ड - सामान्य भाषेच्या तुलनेत मजकूर किंवा लेखकामध्ये अपेक्षेपेक्षा जास्त वेळा आढळणारा शब्द, त्या मजकुराला त्याचे "वर्ण" देते). लेखकाचे कीवर्ड त्याच्या आवडी आणि शैली प्रकट करतात; उदाहरणार्थ, जर कवीमध्ये "समुद्र" आणि "पृथक्करण" अपेक्षेपेक्षा जास्त वारंवार घडत असेल, तर हे सांख्यिकीय प्रक्षेपण अर्थ लावण्यासाठी प्रारंभिक बिंदू बनते. कीवर्ड ओळखण्यासाठी, संदर्भ कॉर्पसच्या फ्रिक्वेन्सीशी मजकूराच्या फ्रिक्वेन्सीची तुलना करणे आवश्यक आहे (तुलनेसाठी वापरलेला मजकूराचा एक सामान्य, मोठा भाग); ही तुलना एक निश्चित साधन कार्य आहे, ही एक गणना आहे जी AI स्वतःहून विश्वासार्हपणे करू शकत नाही.

दुसरा n-ग्राम आहे (मजकूरातील n सलग शब्दांचा क्रम; दोन शब्दांच्या क्रमाला "बिग्राम" म्हणतात, तीन शब्दांच्या अनुक्रमाला "ट्रिग्राम" म्हणतात). एन-ग्राम विश्लेषण लेखकाच्या सूत्रात्मक अभिव्यक्ती आणि वारंवार वापरलेली वाक्ये प्रकट करते. उदाहरणार्थ, जर एखादा लेखक "प्रकारचा" किंवा "तथापि" सारखी वाक्ये वारंवार वापरत असेल, तर हे वाक्य बनवण्याची त्याची सवय दर्शवते. एआय हे वाक्ये उमेदवार म्हणून सुचवू शकते; परंतु वास्तविक वारंवारता आणि सांख्यिकीय महत्त्वासाठी मोजणी साधनाकडे परत जाणे आवश्यक आहे.

सूचना: AI ला सांगा, "या मजकूरातील उल्लेखनीय वाक्ये (दोन किंवा तीन शब्द) उमेदवार म्हणून सूचीबद्ध करा आणि प्रत्येकासाठी मजकुरातून उदाहरण द्या." उमेदवारांची यादी घ्या आणि वेगळ्या साधनाने वास्तविक वारंवारता मोजा. AI ला “नोटिसर”, एजंटला “काउंटर” आणि स्वतःला “दुभाषी” म्हणून ठेवा.

सामान्य चुका

• AI च्या कच्च्या संख्येवर अवलंबून आहे. एआय हे कॅल्क्युलेटर नाही; वेगळ्या साधनाद्वारे अचूक संख्या सत्यापित करा.
• टिप्पणी न करता क्रमांक सादर करत आहे. "47 वेळा उत्तीर्ण" काहीही बोलत नाही; तुम्ही अर्थ निर्माण करा.
• मजकूराच्या लांबीकडे दुर्लक्ष करत आहे. गीतात्मक विविधता दर लांबी संवेदनशील आहेत.
• कोलोकेशनची पडताळणी न करता प्रबंध तयार करणे. नॉन-एआय जोडपे सुचवू शकतात; मजकूरावरून पुष्टी करा.
• अत्यंत टिप्पणी. AI ने सुचवलेली "कारणे" पुराव्याशिवाय स्वीकारू नका.

सारांशात

कॉर्पस विश्लेषण साहित्याचे मोजण्यायोग्य पैलू उघडते: वारंवारता, कोलोकेशन, शब्दसंग्रह, नियतकालिक बदल. AI या क्षेत्रात नमुने ओळखण्यात आणि परिणामांचा अर्थ लावण्यासाठी शक्तिशाली आहे; परंतु संपूर्ण मोजणीमध्ये ते अविश्वसनीय आहे. स्वतंत्र साधनासह नंबर सत्यापित करा, मजकूरातील कोलोकेशन्सची पुष्टी करा आणि प्रत्येक संख्येचा अर्थ स्वतः स्थापित करा. संख्या म्हणजे पुरावा नसून तो पुराव्याचा दरवाजा आहे.

अर्ज कार्य

एक लहान मजकूर निवडा (500-1000 शब्द). सामग्री शब्द ओळखा (उदा. "रात्र" किंवा "रस्ता"). प्रथम, मजकूरात स्वतःची गणना करा. मग AI ला ते मोजा. दोन परिणामांची तुलना करा; फरक असल्यास, कारण तपासा. नंतर मजकूरातील त्या शब्दाच्या कार्यावर एक-परिच्छेद टिप्पणी लिहा - संख्या अर्थात बदलणे.

चेकलिस्ट

• [ ] मी स्पष्ट भाषिक प्रश्न मांडला आहे.
• [ ] मी कॉर्पसच्या सीमा (मजकूर, संस्करण, कालावधी) परिभाषित केल्या आहेत.
• [ ] मी AI ची मोजणी दुसऱ्या मार्गाने सत्यापित केली.
• [ ] मी मजकूरातील कोलोकेशन्सची पुष्टी केली.
• मी टिप्पणी न करता नंबर सोडला नाही; मी स्वतः अर्थ तयार केला.