भाषाविज्ञान और कॉर्पस विश्लेषण: संख्याओं के साथ शब्दावली पढ़ना

लाभ:

• कृत्रिम बुद्धि के साथ शब्द आवृत्ति, संयोजन, शब्दावली समृद्धि और कीवर्ड जैसे कॉर्पस माप का मसौदा तैयार करने की क्षमता
• यह जानते हुए कि कृत्रिम बुद्धिमत्ता सटीक गिनती में अविश्वसनीय है और प्रत्येक गिनती को एक अलग उपकरण से सत्यापित करने में सक्षम है
• यह समझने की क्षमता कि कोई संख्या अपने आप कुछ नहीं कहती है और अर्थ स्थापित करने वाली भाषाई व्याख्या मनुष्यों की है।

साहित्य और भाषा अध्ययन केवल "टिप्पणी" नहीं हैं; इसका एक मापने योग्य और गणनीय पहलू भी है। एक लेखक कितने अलग-अलग शब्दों का उपयोग करता है, वह किन शब्दों के साथ किन शब्दों का उपयोग करना पसंद करता है, कौन से शब्द एक अवधि में आम हो जाते हैं - इनकी जांच भाषाविज्ञान (वह विज्ञान जो भाषा की ध्वनि, संरचना, अर्थ और उपयोग का अध्ययन करता है) और विशेष रूप से कॉर्पस भाषाविज्ञान के माध्यम से की जाती है। कॉर्पस ग्रंथों का एक संग्रह है, जैसे किसी लेखक की संपूर्ण रचनाएँ, किसी समाचार पत्र का वार्षिक संग्रह, या किसी अवधि की कविताएँ। कॉर्पस विश्लेषण इस खंड में संख्यात्मक पैटर्न की तलाश करता है।

इस इकाई में, हम कॉर्पस विश्लेषण सहायक के रूप में एआई का उपयोग करना सीखेंगे: शब्द आवृत्ति (पाठ में एक शब्द कितनी बार आता है), संयोजन (शब्द जोड़े जो अक्सर एक साथ होते हैं, उदाहरण के लिए "काला" + "मेरा भाग्य"), शब्दावली समृद्धि, और मौसमी भिन्नता जैसे मैट्रिक्स को जल्दी से निकालना। लेकिन शुरू से ही एक चेतावनी: अकेले गिनती करते समय एआई गलतियाँ कर सकता है; बड़ी और सटीक गणनाओं के लिए विशेष उपकरणों की आवश्यकता होती है, और आप भाषाविद् हैं जो प्रत्येक संख्या का अर्थ स्थापित करते हैं।

कॉर्पस विश्लेषण में एआई कहां मजबूत है और कहां कमजोर है?

इसकी ताकतें हैं: छोटे और मध्यम पाठों में पैटर्न को पहचानना, किसी पाठ की शब्दावली के बारे में परिकल्पना उत्पन्न करना, संयोजन के लिए उम्मीदवारों का सुझाव देना, परिणाम की व्याख्या करना, एक पद्धति का वर्णन करना। एआई पूछता है "इस लेखक में कौन से वाक्यांश प्रमुख हैं?" यह प्रश्न को त्वरित शुरुआत देता है.

कमज़ोरी: सटीक गिनती. एआई एक भाषा मॉडल है, कैलकुलेटर नहीं; एक लंबे पाठ में "यह कितनी बार हुआ है" प्रश्न का अनुमानित और कभी-कभी गलत उत्तर दे सकता है। सटीक आवृत्ति, सटीक सह-स्थान आँकड़े, या हजारों शब्दों के बड़े कॉर्पस स्कैनिंग के लिए, विशेष सॉफ़्टवेयर (उदाहरण के लिए एंटकॉन्क या स्प्रेडशीट जैसे कॉर्पस टूल) का उपयोग किया जाता है। एआई इन उपकरणों के आउटपुट की व्याख्या करने में मूल्यवान है; लेकिन उससे आँख मूँद कर गलत गिनती न करवाएँ।

युक्ति: यदि आपको एक सटीक संख्या की आवश्यकता है, तो दो तरीकों का उपयोग करें: छोटे पाठ में गिनती करने के लिए एक उपकरण रखें और एआई से इसकी व्याख्या करवाएं; या फिर एआई से गिनती करवाएं और इसे दूसरे तरीके से सत्यापित करें। बिना पुष्टि के कभी भी "एआई ने कहा कि ऐसा 47 बार होता है" वाक्य का प्रयोग न करें।

चरण-दर-चरण कॉर्पस अध्ययन

1. एक प्रश्न रखो. "इस कवि में रंगीन शब्द कैसे वितरित हैं?" स्पष्ट प्रश्न के बिना गिनती निरर्थक है जैसे:
2. कोष को परिभाषित करें. कौन से पाठ? कौन सा संस्करण? कौन सा काल? सीमा स्पष्ट होनी चाहिए.
3. माप का चयन करें. आवृत्ति, संयोजन, शब्दावली की समृद्धि?
4. मापें और सत्यापित करें. गिनती करें, फिर दूसरे तरीके से पुष्टि करें।
5. टिप्पणी। अकेले संख्या कुछ नहीं कहती; यह आपकी टिप्पणी ही है जो इस निष्कर्ष को सार्थक बनाती है कि "रंगीन शब्द दूसरी अवधि में दोगुने हो गए"।

शब्दावली समृद्धि का अक्सर इस्तेमाल किया जाने वाला माप विभिन्न शब्दों की संख्या और कुल शब्दों की संख्या (प्रकार/टोकन अनुपात) का अनुपात है। यदि यह अनुपात अधिक है, तो पाठ शब्द-विविधता है, और यदि यह कम है, तो इसका मतलब है कि यह दोहराव वाला है। लेकिन यह अनुपात पाठ की लंबाई से प्रभावित होता है; छोटे और लंबे पाठों की सीधे तुलना करते समय सावधान रहें।

तीन मिनी मामले

केस 1 - सहसंयोजन ने एक शैली का प्रदर्शन किया। एक शोधकर्ता ने एक उपन्यासकार के तीन उपन्यासों में विशेषण-संज्ञा युग्मों की जांच की। एआई ने सुझाव दिया कि "पीला" शब्द 5 अलग-अलग संज्ञाओं से मेल खाता है; शोधकर्ता ने 4 पाठों का सत्यापन किया और 1 को मनगढ़ंत मानकर हटा दिया। पुष्टि किया गया पैटर्न लेखक की वर्णनात्मक शैली के बारे में थीसिस कथन बन गया।

केस 2 - गिनती में गड़बड़ी पकड़ी गई। एक छात्र ने एआई से पूछा कि 2,000 शब्दों के पाठ में "रात" शब्द कितनी बार आया है; एआई ने कहा "23"। जब छात्र ने पाठ को एक स्प्रेडशीट में डाला और उसकी गिनती की, तो वास्तविक संख्या 17 थी। यह स्पष्ट हो गया है कि एआई की कच्ची गिनती अविश्वसनीय है।

केस 3 - समय-समय पर परिवर्तन ने विवाद को जन्म दिया। एक समूह ने एक कवि की प्रारंभिक और बाद की कविताओं में अमूर्त शब्दों के अनुपात की तुलना की। एआई के पहले मसौदे ने एक प्रवृत्ति का सुझाव दिया; जब समूह पाठ पर वापस गया और गिनती को सत्यापित किया, तो प्रवृत्ति वास्तविक निकली, लेकिन एआई द्वारा सुझाए गए "कारण" अप्राप्य अटकलें थीं और उन्हें समाप्त कर दिया गया।

चार प्रतिलिपि योग्य टेम्पलेट

1) शब्द आवृत्ति रूपरेखा (सत्यापन के साथ):

नीचे दिए गए पाठ में 15 सबसे अधिक बार आने वाले सामग्री शब्दों (कार्यात्मक शब्दों जैसे संयोजन और पूर्वसर्गों को छोड़कर) को उनकी अनुमानित आवृत्तियों के साथ सूचीबद्ध करें। चेतावनी: ध्यान दें कि गिनती सटीक नहीं हो सकती है और ध्यान दें "सटीक होने के लिए, उन्हें एक अलग गिनती उपकरण से सत्यापित किया जाना चाहिए।" पाठ: [यहाँ पाठ चिपकाएँ]

2) कोलोकेशन उम्मीदवार:

नीचे दिए गए पाठ में बार-बार एक साथ आने वाले शब्दों के जोड़े (कोलोकेशन) सुझाएं। प्रत्येक जोड़ी के लिए पाठ से कम से कम एक उद्धरण दें। दोहरा निर्माण जिसका पाठ में कोई समकक्ष नहीं है; यदि आप निश्चित नहीं हैं, तो इसे "सत्यापन की आवश्यकता" के रूप में चिह्नित करें। पाठ: [पाठ चिपकाएँ]

3) शब्दावली तुलना:

मैं तुम्हें दो पाठ दूंगा. प्रत्येक के लिए: अनुमानित कुल शब्द, विभिन्न शब्द किस्मों के बारे में अवलोकन, और प्रमुख शब्द डोमेन (जैसे रंग, प्रकृति, भावना)। बता दें कि संख्याएँ अनुमानित हैं। तुलना की व्याख्या मेरे सत्यापन पर छोड़ दें। पाठ ए: [...] पाठ बी: [...]

4) परिणाम व्याख्या:

मुझे एक गिनती उपकरण से निम्नलिखित परिणाम मिले: [परिणाम चिपकाएँ]। इन संख्याओं का भाषाई रूप से क्या अर्थ हो सकता है, इसके बारे में 2-3 परिकल्पनाएँ बनाएँ। प्रत्येक परिकल्पना को "साक्ष्य की आवश्यकता है" के रूप में चिह्नित करें और मुझे बताएं कि मैं इसका परीक्षण कैसे कर सकता हूं। अत्यधिक टिप्पणियों से बचें.

कमजोर संकेत/मजबूत संकेत

कमज़ोर: "इस पाठ में कौन सा शब्द सबसे अधिक आता है?"

सशक्त: "इस पाठ में सबसे अधिक बार आने वाले सामग्री शब्दों को उनकी अनुमानित आवृत्ति के साथ सूचीबद्ध करें; फ़ंक्शन शब्दों को बाहर करें। यह स्पष्ट करें कि संख्याएं सटीक नहीं हैं और एक अलग टूल से सत्यापित करने की आवश्यकता है। प्रत्येक शब्द के लिए एक उदाहरण वाक्य दें।"

शक्तिशाली संकेत एआई को गिनती सीमा स्वीकार करने पर मजबूर करता है और आपको पहले ही बता देता है कि सत्यापन की आवश्यकता है। कमजोर प्रॉम्प्ट में AI एक नंबर देता है और आपको पता नहीं चलता कि यह गलत हो सकता है।

माप और विश्वसनीयता तालिका

माप

क्या दिखाता है

अकेले ऐ

सही तरीका

शब्द आवृत्ति

बारंबार शब्द

के बारे में, जोखिम भरा

काउंटर + एआई कमेंट्री

सहस्थान

जो एक साथ गुजरे

उम्मीदवार तैयार करता है

पाठ से पुष्टि

प्रकार/टोकन अनुपात

मौखिक विविधता

गुमराह किया जा सकता है

उपकरण के साथ खाता

मौसमी बदलाव

समय के साथ रुझान

परिकल्पनाएँ उत्पन्न करता है

मापें और सत्यापित करें

समापन टिप्पणी

मतलब

शक्तिशाली लेकिन अतिशयोक्तिपूर्ण

मानवीय निर्णय

कीवर्ड और एन-ग्राम अवधारणाएँ

कॉर्पस विश्लेषण में दो अवधारणाएँ आपके काम को आसान बनाती हैं। पहला है कीवर्ड (अंग्रेजी में कीवर्ड - वह शब्द जो किसी पाठ या लेखक में सामान्य भाषा की तुलना में अपेक्षा से अधिक बार आता है, जो उस पाठ को उसका "वर्ण" देता है)। किसी लेखक के कीवर्ड उसकी रुचियों और शैली को प्रकट करते हैं; उदाहरण के लिए, यदि किसी कवि में "समुद्र" और "पृथक्करण" अपेक्षा से अधिक बार होते हैं, तो यह सांख्यिकीय फलाव व्याख्या के लिए प्रारंभिक बिंदु बन जाता है। कीवर्ड की पहचान करने के लिए, किसी पाठ की आवृत्तियों की तुलना संदर्भ कॉर्पस (तुलना के लिए उपयोग किए जाने वाले पाठ का एक सामान्य, बड़ा निकाय) की आवृत्तियों के साथ करना आवश्यक है; यह तुलना एक निश्चित उपकरण कार्य है, यह एक ऐसी गणना है जिसे AI अपने आप विश्वसनीय रूप से नहीं कर सकता है।

दूसरा एन-ग्राम है (किसी पाठ में लगातार n शब्दों का अनुक्रम; दो शब्दों के अनुक्रम को "बिग्राम" कहा जाता है, तीन शब्दों के अनुक्रम को "ट्रिग्राम" कहा जाता है)। एन-ग्राम विश्लेषण से लेखक की सूत्रबद्ध अभिव्यक्ति और अक्सर उपयोग किए जाने वाले वाक्यांशों का पता चलता है। उदाहरण के लिए, यदि कोई लेखक "तरह" या "हालांकि" जैसे वाक्यांशों का बहुत बार उपयोग करता है, तो यह उसकी वाक्य बनाने की आदत को इंगित करता है। एआई इन वाक्यांशों को उम्मीदवारों के रूप में सुझा सकता है; लेकिन सही आवृत्ति और सांख्यिकीय महत्व के लिए गिनती उपकरण पर वापस लौटना आवश्यक है।

संकेत: एआई से कहें, "इस पाठ में उल्लेखनीय वाक्यांशों (दो या तीन शब्द) को उम्मीदवार के रूप में सूचीबद्ध करें, और प्रत्येक के लिए पाठ से एक उदाहरण दें।" उम्मीदवारों की सूची लें और एक अलग उपकरण से वास्तविक आवृत्ति को मापें। एआई को "नोटिसर" के रूप में, एजेंट को "काउंटर" के रूप में और स्वयं को "दुभाषिया" के रूप में रखें।

सामान्य गलतियाँ

• एआई की कच्ची गिनती पर भरोसा करना। एआई कोई कैलकुलेटर नहीं है; अलग टूल द्वारा सटीक संख्या सत्यापित करें।
• बिना किसी टिप्पणी के संख्या प्रस्तुत कर रहा हूँ। "47 बार उत्तीर्ण" कुछ नहीं कहता; आप अर्थ पैदा करें.
• पाठ की लंबाई को अनदेखा करना. गीत विविधता दरें लंबाई के प्रति संवेदनशील हैं।
• मिलान की पुष्टि किए बिना थीसिस बनाना। गैर-एआई जोड़े सुझाव दे सकते हैं; पाठ से पुष्टि करें.
• अतिशय टिप्पणी. बिना सबूत के एआई द्वारा सुझाए गए "कारणों" को स्वीकार न करें।

संक्षेप में

कॉर्पस विश्लेषण साहित्य के गणनीय पहलू को खोलता है: आवृत्ति, संयोजन, शब्दावली, आवधिक परिवर्तन। पैटर्न को पहचानने और परिणामों की व्याख्या करने में एआई इस क्षेत्र में शक्तिशाली है; लेकिन पूर्ण गणना में यह अविश्वसनीय है। अलग-अलग टूल से संख्या को सत्यापित करें, पाठ से संयोजन की पुष्टि करें, और प्रत्येक संख्या का अर्थ स्वयं स्थापित करें। संख्या प्रमाण नहीं, प्रमाण का द्वार है।

आवेदन कार्य

एक संक्षिप्त पाठ (500-1000 शब्द) चुनें। एक सामग्री शब्द को पहचानें (उदाहरण के लिए "रात" या "सड़क")। सबसे पहले, अपने आप को पाठ में गिनें। फिर एआई से इसकी गिनती कराएं। दो परिणामों की तुलना करें; यदि कोई अंतर है तो कारण की जांच करें। फिर पाठ में उस शब्द के कार्य पर एक-पैराग्राफ टिप्पणी लिखें - संख्या को अर्थ में बदलना।

चेकलिस्ट

• [ ] मैंने एक स्पष्ट भाषाई प्रश्न पूछा।
• [ ] मैंने कोष (पाठ, संस्करण, अवधि) की सीमाओं को परिभाषित किया।
• [ ] मैंने एआई की गिनती को दूसरे तरीके से सत्यापित किया।
• [ ] मैंने पाठ से सहसंयोजन की पुष्टि की।
• [ ] मैंने टिप्पणी के बिना संख्या नहीं छोड़ी; मैंने स्वयं अर्थ बनाया।