மொழியியல் மற்றும் கார்பஸ் பகுப்பாய்வு: எண்களுடன் சொற்களஞ்சியத்தைப் படித்தல்

ஆதாயங்கள்:

• செயற்கை நுண்ணறிவுடன் வார்த்தை அதிர்வெண், கூட்டல், சொல்லகராதி செழுமை மற்றும் முக்கிய வார்த்தைகள் போன்ற கார்பஸ் அளவீடுகளை வரைவதற்கான திறன்
• செயற்கை நுண்ணறிவு துல்லியமான எண்ணிக்கையில் நம்பகத்தன்மையற்றது என்பதை அறிந்து ஒவ்வொரு கணக்கையும் தனித்தனி கருவி மூலம் சரிபார்க்க முடியும்
• ஒரு எண் தானே எதையும் சொல்லவில்லை என்பதையும், அந்த அர்த்தத்தை நிறுவும் மொழியியல் விளக்கம் மனிதர்களுடையது என்பதையும் புரிந்து கொள்ளும் திறன்.

இலக்கியம் மற்றும் மொழி ஆய்வுகள் வெறும் "வர்ணனை" அல்ல; இது அளவிடக்கூடிய மற்றும் கணக்கிடக்கூடிய அம்சத்தையும் கொண்டுள்ளது. ஒரு ஆசிரியர் எத்தனை வித்தியாசமான வார்த்தைகளைப் பயன்படுத்துகிறார், எந்த வார்த்தைகளுடன் அவர் பயன்படுத்த விரும்புகிறார், எந்தெந்த வார்த்தைகள் ஒரு காலத்தில் பொதுவானதாகின்றன - இவை மொழியியல் (மொழியின் ஒலி, அமைப்பு, பொருள் மற்றும் பயன்பாடு ஆகியவற்றைப் படிக்கும் அறிவியல்) மற்றும் குறிப்பாக கார்பஸ் மொழியியல் மூலம் ஆராயப்படுகின்றன. கார்பஸ் என்பது ஒரு ஆசிரியரின் முழுமையான படைப்புகள், ஒரு செய்தித்தாளின் வருடாந்திர காப்பகம் அல்லது ஒரு காலகட்டத்தின் கவிதைகள் போன்ற நூல்களின் தொகுப்பாகும். கார்பஸ் பகுப்பாய்வு இந்த துண்டில் உள்ள எண் வடிவங்களைத் தேடுகிறது.

இந்த யூனிட்டில், கார்பஸ் பகுப்பாய்வு உதவியாளராக AI ஐப் பயன்படுத்தக் கற்றுக்கொள்வோம்: வார்த்தை அதிர்வெண் (உரையில் ஒரு வார்த்தை எத்தனை முறை வருகிறது), கூட்டல் (அடிக்கடி ஒன்றாக நிகழும் வார்த்தை ஜோடிகள், எ.கா. "கருப்பு" + "எனது அதிர்ஷ்டம்"), சொல்லகராதி செழுமை மற்றும் பருவகால மாறுபாடு போன்ற அளவீடுகளை விரைவாகப் பிரித்தெடுத்தல். ஆனால் ஆரம்பத்தில் இருந்து ஒரு எச்சரிக்கை: AI தனியாக எண்ணும் போது தவறு செய்யலாம்; பெரிய மற்றும் துல்லியமான எண்ணிக்கைகளுக்கு சிறப்பு கருவிகள் தேவை, மேலும் நீங்கள் ஒவ்வொரு எண்ணின் அர்த்தத்தையும் நிறுவும் மொழியியலாளர்.

கார்பஸ் பகுப்பாய்வில் AI எங்கே வலுவாக உள்ளது மற்றும் எங்கே பலவீனமாக உள்ளது?

அதன் பலம்: சிறிய மற்றும் நடுத்தர நூல்களில் வடிவங்களை அங்கீகரித்தல், ஒரு உரையின் சொற்களஞ்சியம் பற்றிய கருதுகோள்களை உருவாக்குதல், கூட்டல்களுக்கான வேட்பாளர்களை பரிந்துரைத்தல், முடிவை விளக்குதல், ஒரு முறையை விவரித்தல். AI கேட்கிறது "இந்த ஆசிரியரில் என்ன சொற்றொடர்கள் தனித்து நிற்கின்றன?" இது கேள்விக்கு விரைவான தொடக்கத்தை அளிக்கிறது.

பலவீனம்: துல்லியமான எண்ணுதல். AI என்பது ஒரு மொழி மாதிரி, ஒரு கால்குலேட்டர் அல்ல; ஒரு நீண்ட உரையில் "எத்தனை முறை இது நிகழ்ந்தது" என்ற கேள்விக்கு தோராயமான மற்றும் சில நேரங்களில் தவறான பதிலை கொடுக்க முடியும். துல்லியமான அதிர்வெண், சரியான இடப் புள்ளிவிவரங்கள் அல்லது ஆயிரக்கணக்கான வார்த்தைகளின் பெரிய கார்பஸ் ஸ்கேனிங்கிற்கு, சிறப்பு மென்பொருள் (எ.கா. AntConc அல்லது விரிதாள் போன்ற கார்பஸ் கருவிகள்) பயன்படுத்தப்படுகிறது. இந்த கருவிகளின் வெளியீட்டை விளக்குவதில் AI மதிப்புமிக்கது; ஆனால் அவரை கண்மூடித்தனமாக ரா எண்ணிக்கை செய்ய வைக்காதீர்கள்.

உதவிக்குறிப்பு: உங்களுக்கு சரியான எண் தேவைப்பட்டால், இரண்டு வழிகளைப் பயன்படுத்தவும்: ஒரு கருவியை சிறிய உரையில் எண்ணி அதை AI விளக்க வேண்டும்; அல்லது AI எண்ணிக்கையை வைத்து அதை வேறு வழியில் சரிபார்க்கவும். உறுதிப்படுத்தல் இல்லாமல் "AI கூறியது 47 முறை" என்ற வாக்கியத்தை ஒருபோதும் பயன்படுத்த வேண்டாம்.

ஒரு படிப்படியான கார்பஸ் படிப்பு

1. ஒரு கேள்வியை இடுங்கள். "இந்த கவிஞரில் வண்ண வார்த்தைகள் எவ்வாறு விநியோகிக்கப்படுகின்றன?" போன்ற தெளிவான கேள்வி இல்லாமல் எண்ணுவது அர்த்தமற்றது:
2. கார்பஸை வரையறுக்கவும். எந்த நூல்கள்? எந்தப் பதிப்பு? எந்த காலம்? எல்லை தெளிவாக இருக்க வேண்டும்.
3. அளவீட்டைத் தேர்ந்தெடுக்கவும். அதிர்வெண், கூட்டல், சொற்களஞ்சியத்தின் செழுமை?
4. அளவிடவும் மற்றும் சரிபார்க்கவும். எண்ணிக்கையை உருவாக்கவும், பின்னர் இரண்டாவது வழியை உறுதிப்படுத்தவும்.
5. கருத்து. எண் மட்டும் எதுவும் சொல்லவில்லை; "இரண்டாம் காலக்கட்டத்தில் வண்ணச் சொற்கள் இரட்டிப்பாயின" என்ற கண்டுபிடிப்பை அர்த்தமுள்ளதாக்கியது உங்கள் கருத்து.

சொல்லகராதி செழுமையின் அடிக்கடி பயன்படுத்தப்படும் அளவீடு என்பது வெவ்வேறு சொற்களின் எண்ணிக்கையின் மொத்த சொற்களின் எண்ணிக்கைக்கு (வகை/டோக்கன் விகிதம்) விகிதமாகும். இந்த விகிதம் அதிகமாக இருந்தால், உரை வார்த்தை-பல்வேறு, அது குறைவாக இருந்தால், அது மீண்டும் மீண்டும் வருகிறது. ஆனால் இந்த விகிதம் உரை நீளத்தால் பாதிக்கப்படுகிறது; குறுகிய மற்றும் நீண்ட உரைகளை நேரடியாக ஒப்பிடும்போது கவனமாக இருங்கள்.

மூன்று சிறிய வழக்குகள்

வழக்கு 1 - சேகரிப்பு ஒரு பாணியை வெளிப்படுத்தியது. ஒரு ஆய்வாளர் ஒரு நாவலாசிரியரின் 3 நாவல்களில் பெயரடை-பெயர்ச்சொல் ஜோடிகளை ஆய்வு செய்தார். "வெளிர்" என்ற வார்த்தை 5 வெவ்வேறு பெயர்ச்சொற்களுடன் பொருந்துகிறது என்று AI பரிந்துரைத்தது; ஆராய்ச்சியாளர் 4 நூல்களை சரிபார்த்து, 1 புனையப்பட்டது என நீக்கினார். உறுதிப்படுத்தப்பட்ட வடிவமானது ஆசிரியரின் விளக்கப் பாணியைப் பற்றிய ஆய்வறிக்கையாக மாறியது.

வழக்கு 2 - எண்ணும் பிழை பிடிபட்டது. 2,000 வார்த்தைகள் கொண்ட உரையில் "இரவு" என்ற வார்த்தை எத்தனை முறை வருகிறது என்று ஒரு மாணவர் AIயிடம் கேட்டார்; AI "23" என்று கூறியது. மாணவர் உரையை விரிதாளில் எறிந்து அதை எண்ணியபோது, ​​உண்மையான எண் 17. AI இன் மூல எண்ணிக்கை நம்பகத்தன்மையற்றது என்பது தெளிவாகியுள்ளது.

வழக்கு 3 - அவ்வப்போது மாற்றம் சர்ச்சையைத் தூண்டியது. ஒரு குழு கவிஞரின் ஆரம்ப மற்றும் தாமதமான கவிதைகளில் உள்ள சுருக்க சொற்களின் விகிதத்தை ஒப்பிட்டுப் பார்த்தது. AI இன் முதல் வரைவு ஒரு போக்கை பரிந்துரைத்தது; குழு மீண்டும் உரைக்குச் சென்று எண்ணிக்கையை சரிபார்த்தபோது, ​​​​போக்கு உண்மையானதாக மாறியது, ஆனால் AI ஆல் பரிந்துரைக்கப்பட்ட "காரணங்கள்" சரிபார்க்க முடியாத ஊகங்கள் மற்றும் அகற்றப்பட்டன.

நகலெடுக்கக்கூடிய நான்கு வார்ப்புருக்கள்

1) வார்த்தை அதிர்வெண் அவுட்லைன் (சரிபார்ப்புடன்):

கீழே உள்ள உரையில், அவற்றின் தோராயமான அதிர்வெண்களுடன், அடிக்கடி நிகழும் 15 உள்ளடக்கச் சொற்களை (இணைப்புகள் மற்றும் முன்மொழிவுகள் போன்ற செயல்பாட்டுச் சொற்களைத் தவிர்த்து) பட்டியலிடுங்கள். எச்சரிக்கை: கணக்கீடுகள் துல்லியமாக இருக்காது மற்றும் "துல்லியமாக இருக்க, அவை தனி எண்ணும் கருவி மூலம் சரிபார்க்கப்பட வேண்டும்" என்பதைக் கவனத்தில் கொள்ளவும். உரை: [உரையை இங்கே ஒட்டவும்]

2) இருப்பிட வேட்பாளர்கள்:

கீழே உள்ள உரையில் அடிக்கடி ஒன்றாக நிகழும் ஜோடி சொற்களை (கூட்டுகள்) பரிந்துரைக்கவும். ஒவ்வொரு ஜோடிக்கும் உரையிலிருந்து ஒரு மேற்கோளையாவது கொடுங்கள். உரையில் சமமானதாக இல்லாத இரட்டை புனைகதை; உங்களுக்குத் தெரியாவிட்டால், "சரிபார்ப்பு தேவை" எனக் குறிக்கவும். உரை: [உரையை ஒட்டவும்]

3) சொல்லகராதி ஒப்பீடு:

நான் உங்களுக்கு இரண்டு உரைகளை தருகிறேன். ஒவ்வொன்றிற்கும்: தோராயமான மொத்த வார்த்தைகள், வெவ்வேறு வார்த்தை வகைகள் பற்றிய அவதானிப்புகள் மற்றும் முக்கிய வார்த்தை களங்கள் (எ.கா. நிறம், இயல்பு, உணர்ச்சி). எண்கள் தோராயமானவை என்று குறிப்பிடவும். ஒப்பீட்டின் விளக்கத்தை எனது சரிபார்ப்புடன் விடுங்கள். உரை A: [...] உரை B: [...]

4) முடிவு விளக்கம்:

எண்ணும் கருவியில் இருந்து பின்வரும் முடிவுகளைப் பெற்றேன்: [ஒட்டு முடிவுகள்]. இந்த எண்கள் மொழியியல் ரீதியாக எதைக் குறிக்கலாம் என்பதைப் பற்றி 2-3 கருதுகோள்களை உருவாக்கவும். ஒவ்வொரு கருதுகோளையும் "ஆதாரம் தேவை" எனக் குறிக்கவும், அதை நான் எப்படிச் சோதிக்க முடியும் என்று சொல்லவும். அதிகப்படியான கருத்துகளைத் தவிர்க்கவும்.

பலவீனமான வரியில் / வலுவான வரியில்

பலவீனம்: "இந்த உரையில் எந்த வார்த்தை அதிகமாக வருகிறது?"

வலிமையானது: "இந்த உரையில் அடிக்கடி வரும் உள்ளடக்கச் சொற்களை அவற்றின் தோராயமான அதிர்வெண்ணுடன் பட்டியலிடுங்கள்; செயல்பாட்டுச் சொற்களைத் தவிர்த்து விடுங்கள். எண்கள் துல்லியமானவை அல்ல என்பதையும் அவை தனித்தனி கருவி மூலம் சரிபார்க்கப்பட வேண்டும் என்பதையும் தெளிவுபடுத்தவும். ஒவ்வொரு வார்த்தைக்கும் ஒரு எடுத்துக்காட்டு வாக்கியத்தைக் கொடுங்கள்."

சக்திவாய்ந்த ப்ராம்ட் AI ஐ எண்ணும் வரம்பை ஏற்க வைக்கிறது மற்றும் சரிபார்ப்பு தேவை என்பதை முன்கூட்டியே உங்களுக்கு தெரிவிக்கிறது. பலவீனமான வரியில், AI ஒற்றை எண்ணைக் கொடுக்கிறது, அது தவறாக இருக்கலாம் என்று உங்களுக்குத் தெரியாது.

அளவீடு மற்றும் நம்பகத்தன்மை அட்டவணை

அளவீடு

என்ன காட்டுகிறது

AI மட்டும்

சரியான வழி

வார்த்தை அதிர்வெண்

அடிக்கடி வார்த்தைகள்

பற்றி, ஆபத்தானது

கவுண்டர் + AI வர்ணனை

colocation

ஒன்றாக கடந்து சென்றவர்கள்

வேட்பாளர்களை உருவாக்குகிறது

உரையிலிருந்து உறுதிப்படுத்தல்

வகை/டோக்கன் விகிதம்

வாய்மொழி பன்முகத்தன்மை

தவறாக வழிநடத்தலாம்

கருவியுடன் கணக்கு

பருவகால மாற்றம்

காலப்போக்கில் போக்கு

கருதுகோள்களை உருவாக்குகிறது

அளவிடவும் மற்றும் சரிபார்க்கவும்

முடிவான கருத்து

பொருள்

சக்தி வாய்ந்தது ஆனால் மிகைப்படுத்துகிறது

மனித தீர்ப்பு

முக்கிய வார்த்தை மற்றும் n-கிராம் கருத்துக்கள்

கார்பஸ் பகுப்பாய்வில் இரண்டு கருத்துக்கள் உங்கள் வேலையை எளிதாக்குகின்றன. முதலாவது முக்கிய சொல் (ஆங்கிலத்தில் உள்ள முக்கிய வார்த்தை - பொது மொழியுடன் ஒப்பிடும்போது எதிர்பார்த்ததை விட ஒரு உரை அல்லது ஆசிரியரில் அடிக்கடி ஏற்படும் வார்த்தை, அந்த உரைக்கு அதன் "தன்மையை" அளிக்கிறது). ஒரு ஆசிரியரின் முக்கிய வார்த்தைகள் அவரது ஆர்வங்களையும் பாணியையும் வெளிப்படுத்துகின்றன; எடுத்துக்காட்டாக, "கடல்" மற்றும் "பிரித்தல்" ஆகியவை ஒரு கவிஞரிடம் எதிர்பார்த்ததை விட அடிக்கடி நிகழ்ந்தால், இந்த புள்ளியியல் புரோட்ரஷன் ஒரு விளக்கத்திற்கான தொடக்க புள்ளியாகிறது. முக்கிய வார்த்தைகளை அடையாளம் காண, ஒரு உரையின் அதிர்வெண்களை ஒரு குறிப்பு கார்பஸின் அதிர்வெண்களுடன் ஒப்பிடுவது அவசியம் (ஒப்பிடுவதற்குப் பயன்படுத்தப்படும் பொதுவான, பெரிய உரை); இந்த ஒப்பீடு ஒரு உறுதியான கருவி வேலை, இது AI தன்னால் நம்பகத்தன்மையுடன் செய்ய முடியாத ஒரு கணக்கீடு ஆகும்.

இரண்டாவது n-gram (ஒரு உரையில் n தொடர்ச்சியான சொற்களின் வரிசை; இரண்டு சொற்களின் வரிசை "பிக்ராம்" என்று அழைக்கப்படுகிறது, மூன்று வார்த்தைகளின் வரிசை "ட்ரைகிராம்" என்று அழைக்கப்படுகிறது). N-gram பகுப்பாய்வு ஆசிரியரின் சூத்திர வெளிப்பாடுகள் மற்றும் அடிக்கடி பயன்படுத்தப்படும் சொற்றொடர்களை வெளிப்படுத்துகிறது. எடுத்துக்காட்டாக, ஒரு எழுத்தாளர் "வகை" அல்லது "இருப்பினும்" போன்ற சொற்றொடர்களை அடிக்கடி பயன்படுத்தினால், இது அவரது வாக்கியங்களை உருவாக்கும் பழக்கத்தைக் குறிக்கிறது. AI இந்த சொற்றொடர்களை வேட்பாளர்களாக பரிந்துரைக்கலாம்; ஆனால் உண்மையான அதிர்வெண் மற்றும் புள்ளிவிவர முக்கியத்துவத்திற்கு எண்ணும் கருவிக்குத் திரும்புவது அவசியம்.

குறிப்பு: AIயிடம், "இந்த உரையில் உள்ள குறிப்பிடத்தக்க சொற்றொடர்களை (இரண்டு அல்லது மூன்று வார்த்தைகள்) வேட்பாளர்களாகப் பட்டியலிட்டு, ஒவ்வொன்றிற்கும் உரையிலிருந்து ஒரு உதாரணத்தைக் கொடுங்கள்." வேட்பாளர் பட்டியலை எடுத்து, ஒரு தனி கருவி மூலம் உண்மையான அதிர்வெண்ணை அளவிடவும். AI ஐ "அறிவிப்பாளராகவும், முகவரை "எதிர்ப்பாளராகவும்" மற்றும் உங்களை "மொழிபெயர்ப்பாளராக" நிலைநிறுத்தவும்.

பொதுவான தவறுகள்

• AI இன் மூல எண்ணிக்கையை நம்பியிருக்கிறது. AI ஒரு கால்குலேட்டர் அல்ல; தனி கருவி மூலம் சரியான எண்ணைச் சரிபார்க்கவும்.
• கருத்து இல்லாமல் எண்ணை வழங்குதல். "47 முறை தேர்ச்சி" எதுவும் சொல்லவில்லை; நீங்கள் அர்த்தத்தை உருவாக்குகிறீர்கள்.
• உரை நீளத்தை புறக்கணிக்கிறது. பாடல் பன்முகத்தன்மை விகிதங்கள் நீளம் உணர்திறன்.
• கூட்டலைச் சரிபார்க்காமல் ஆய்வறிக்கையை உருவாக்குதல். AI அல்லாத தம்பதிகள் பரிந்துரைக்கலாம்; உரையிலிருந்து உறுதிப்படுத்தவும்.
• அதீத கருத்து. ஆதாரம் இல்லாமல் AI பரிந்துரைத்த "காரணங்களை" ஏற்க வேண்டாம்.

சுருக்கமாக

கார்பஸ் பகுப்பாய்வு இலக்கியத்தின் எண்ணக்கூடிய அம்சத்தைத் திறக்கிறது: அதிர்வெண், கூட்டல், சொல்லகராதி, கால மாற்றம். AI இந்த பகுதியில் வடிவங்களை அங்கீகரிப்பதிலும் முடிவுகளை விளக்குவதிலும் சக்தி வாய்ந்தது; ஆனால் அது முழுமையான எண்ணிக்கையில் நம்பகத்தன்மையற்றது. தனிக் கருவி மூலம் எண்ணைச் சரிபார்த்து, உரையிலிருந்து கூட்டல்களை உறுதிசெய்து, ஒவ்வொரு எண்ணின் அர்த்தத்தையும் நீங்களே நிறுவுங்கள். எண் ஆதாரம் அல்ல, அது ஆதாரத்திற்கான கதவு.

விண்ணப்ப பணி

ஒரு சிறிய உரையைத் தேர்ந்தெடுக்கவும் (500-1000 வார்த்தைகள்). உள்ளடக்க வார்த்தையைக் கண்டறியவும் (எ.கா. "இரவு" அல்லது "சாலை"). முதலில், உரையில் உங்களை எண்ணுங்கள். பின்னர் AI அதை எண்ண வேண்டும். இரண்டு முடிவுகளையும் ஒப்பிடுக; வித்தியாசம் இருந்தால், காரணத்தை ஆராயுங்கள். உரையில் அந்த வார்த்தையின் செயல்பாட்டைப் பற்றி ஒரு பத்தி கருத்தை எழுதுங்கள் - எண்ணை அர்த்தமாக மாற்றவும்.

சரிபார்ப்பு பட்டியல்

• [ ] நான் ஒரு தெளிவான மொழியியல் கேள்வியை வைத்தேன்.
• [ ] நான் கார்பஸின் எல்லைகளை வரையறுத்தேன் (உரை, பதிப்பு, காலம்).
• AI இன் எண்ணிக்கையை நான் இரண்டாவது வழியில் சரிபார்த்தேன்.
• [ ] நான் உரையிலிருந்து கூட்டல்களை உறுதிப்படுத்தினேன்.
• [ ] நான் கருத்து இல்லாமல் எண்ணை விடவில்லை; அர்த்தத்தை நானே உருவாக்கினேன்.