የቋንቋ እና ኮርፐስ ትንተና፡ መዝገበ ቃላትን ከቁጥሮች ጋር ማንበብ

ትርፍ፡

• እንደ የቃላት ድግግሞሽ፣ ንግግር፣ የቃላት ብልጽግና እና ቁልፍ ቃላትን በሰው ሰራሽ የማሰብ ችሎታ ያሉ የኮርፐስ መለኪያዎችን የማዘጋጀት ችሎታ
• ሰው ሰራሽ የማሰብ ችሎታ በትክክለኛ ቆጠራ ላይ የማይታመን መሆኑን ማወቅ እና እያንዳንዱን ቆጠራ በተለየ መሳሪያ ማረጋገጥ መቻል
• ቁጥሩ በራሱ ምንም እንደማይናገር እና ትርጉሙን የሚያቆመው የቋንቋ ትርጓሜ የሰዎች እንደሆነ የመረዳት ችሎታ.

የሥነ ጽሑፍ እና የቋንቋ ጥናቶች "አስተያየት" ብቻ አይደሉም; እንዲሁም ሊለካ የሚችል እና ሊቆጠር የሚችል ገጽታ አለው. አንድ ደራሲ ምን ያህል የተለያዩ ቃላትን ይጠቀማል፣ የትኞቹን ቃላት በየትኛው ቃላት መጠቀም እንደሚወድ፣ የትኞቹ ቃላት በአንድ ጊዜ ውስጥ የተለመዱ ይሆናሉ - እነዚህ የሚመረመሩት በቋንቋ ጥናት (የቋንቋውን ድምጽ፣ አወቃቀሩ፣ ትርጉም እና አጠቃቀሙን የሚያጠና ሳይንስ ነው) እና በተለይም ኮርፐስ ሊንጉስቲክስ። ኮርፐስ የጽሑፎች ስብስብ ነው፣ እንደ የደራሲው ሙሉ ሥራዎች፣ የጋዜጣ አመታዊ መዛግብት ወይም የአንድ ጊዜ ግጥሞች። የኮርፐስ ትንተና በዚህ ክፍል ውስጥ የቁጥር ንድፎችን ይፈልጋል.

በዚህ ክፍል ውስጥ AIን እንደ ኮርፐስ ትንተና ረዳት መጠቀምን እንማራለን-እንደ የቃላት ድግግሞሽ (አንድ ቃል በጽሁፉ ውስጥ የተከሰተበት ጊዜ ብዛት) መለኪያዎችን በፍጥነት ማውጣት (አንድ ቃል በጽሁፉ ውስጥ የተከሰተበት ጊዜ ብዛት) ፣ መሰባበር (በአንድ ላይ ብዙ ጊዜ የሚከሰቱ የቃላት ጥንዶች ፣ ለምሳሌ “ጥቁር” + “የእኔ ሀብት”) ፣ የቃላት ብልጽግና እና ወቅታዊ ልዩነት። ግን ከመጀመሪያው ማስጠንቀቂያ: AI ብቻውን ሲቆጠር ስህተት ሊሠራ ይችላል; ለትልቅ እና ትክክለኛ ቆጠራዎች ልዩ መሳሪያዎች ያስፈልጋሉ, እና እርስዎ የእያንዳንዱን ቁጥር ትርጉም የሚያዘጋጁት እርስዎ የቋንቋ ሊቅ ነዎት.

AI ጠንካራ የት ነው እና በኮርፐስ ትንታኔ ውስጥ ደካማ የሆነው የት ነው?

ጥንካሬዎቹ፡- በትንንሽ እና መካከለኛ ፅሁፎች ውስጥ ያሉ ንድፎችን እውቅና መስጠት፣ ስለ ፅሁፍ ቃላቶች መላምቶችን ማመንጨት፣ ለትብብር እጩዎችን መጠቆም፣ ውጤትን መተርጎም፣ ዘዴን መግለጽ። AI “በዚህ ደራሲ ውስጥ የትኞቹ ሀረጎች ተለይተው ይታወቃሉ?” ሲል ይጠይቃል። ለጥያቄው ፈጣን ጅምር ይሰጣል።

ድክመት: ትክክለኛ ቆጠራ. AI የቋንቋ ሞዴል እንጂ ካልኩሌተር አይደለም; ረጅም ጽሑፍ ውስጥ "ስንት ጊዜ ተከስቷል" ለሚለው ጥያቄ ግምታዊ እና አንዳንድ ጊዜ የተሳሳተ መልስ ሊሰጥ ይችላል። ለትክክለኛ ድግግሞሽ፣ ትክክለኛ የኮሎኬሽን ስታቲስቲክስ፣ ወይም ትልቅ የኮርፐስ ቅኝት በሺዎች የሚቆጠሩ ቃላት፣ ልዩ ሶፍትዌር (ለምሳሌ ኮርፐስ መሳሪያዎች እንደ AntConc ወይም የተመን ሉህ) ጥቅም ላይ ይውላሉ። AI የእነዚህን መሳሪያዎች ውጤት ለመተርጎም ጠቃሚ ነው; ነገር ግን ጥሬውን በጭፍን እንዲሰራ አታድርጉት።

ጠቃሚ ምክር: ትክክለኛ ቁጥር ከፈለጉ, ሁለት መንገዶችን ይጠቀሙ: መሳሪያ ይኑርዎት በትንሽ ጽሁፍ መቁጠር እና AI መተርጎም; ወይም AI ቆጠራ ይኑርዎት እና በሌላ መንገድ ያረጋግጡ። ያለ ማረጋገጫ "AI said it 47 ጊዜ" የሚለውን አረፍተ ነገር በጭራሽ አይጠቀሙ።

የደረጃ በደረጃ ኮርፐስ ጥናት

1. ጥያቄ አቅርቡ። "በዚህ ባለቅኔ ውስጥ የቀለም ቃላት እንዴት ይሰራጫሉ?" እንደ፡ ያለ ግልጽ ጥያቄ መቁጠር ትርጉም የለሽ ነው።
2. ኮርፐስን ይግለጹ. የትኞቹ ጽሑፎች? የትኛው እትም? የትኛው ክፍለ ጊዜ? ድንበሩ ግልጽ መሆን አለበት.
3. መለኪያውን ይምረጡ. ድግግሞሽ፣ ውህደት፣ የቃላት ብልጽግና?
4. ይለኩ እና ያረጋግጡ. ቆጠራውን ያድርጉ እና ከዚያ ሁለተኛውን መንገድ ያረጋግጡ።
5. አስተያየት። ቁጥሩ ብቻ ምንም አይልም; "በሁለተኛው ክፍለ ጊዜ ውስጥ ባለ ቀለም ቃላቶች በእጥፍ ጨምረዋል" የሚለውን ግኝት ትርጉም ያለው እንዲሆን ያደረገው የእርስዎ አስተያየት ነው።

በተደጋጋሚ ጥቅም ላይ የሚውለው የቃላት ብልጽግና መለኪያ የተለያዩ ቃላት ብዛት ከጠቅላላው የቃላት ብዛት (አይነት/ቶከን ጥምርታ) ጋር ያለው ጥምርታ ነው። ይህ ሬሾ ከፍ ያለ ከሆነ, ጽሑፉ የቃላት ልዩነት ነው, እና ዝቅተኛ ከሆነ, ተደጋጋሚ ነው ማለት ነው. ነገር ግን ይህ ሬሾ በጽሑፍ ርዝመት ተጽዕኖ አለው; አጭር እና ረጅም ጽሑፎችን በቀጥታ ሲያወዳድሩ ይጠንቀቁ።

ሶስት ጥቃቅን ጉዳዮች

ጉዳይ 1 - ስብስብ አንድ ዘይቤ አሳይቷል። አንድ ተመራማሪ በ 3 የልቦለድ ልቦለዶች ውስጥ ቅጽል-ስም ማጣመርን መርምሯል። AI "ገረጣ" የሚለው ቃል ከ 5 የተለያዩ ስሞች ጋር እንዲዛመድ ሐሳብ አቀረበ; ተመራማሪው ከጽሑፎቹ ውስጥ 4ቱን አረጋግጠው 1 ቱን እንደተፈበረኩ አስወገደ። የተረጋገጠው ንድፍ የጸሐፊውን ገላጭ ዘይቤ የሚመለከት የመመረቂያ መግለጫ ሆነ።

ጉዳይ 2 - የመቁጠር ስህተት ተይዟል. አንድ ተማሪ በ 2,000 ቃላት ጽሑፍ ውስጥ "ሌሊት" የሚለው ቃል ስንት ጊዜ እንደታየ AI ጠየቀ; AI "23" አለ. ተማሪው ፅሁፉን ወደ ተመን ሉህ ሲወረውር እና ሲቆጠር ትክክለኛው ቁጥሩ 17 ነበር። የ AI ጥሬ ቆጠራ አስተማማኝ እንዳልሆነ ግልጽ ሆኗል።

ጉዳይ 3 - ወቅታዊ ለውጥ ውዝግብ አስነስቷል. አንድ ቡድን በአንድ ገጣሚ የመጀመሪያ እና ዘግይተው ግጥሞች ውስጥ ያሉትን ረቂቅ ቃላት መጠን አነጻጽሮታል። AI የመጀመሪያው ረቂቅ አንድ አዝማሚያ ጠቁሟል; ቡድኑ ወደ ፅሁፉ ሲመለስ እና ቆጠራውን ሲያረጋግጥ ፣አዝማሚያው እውን ሆነ ፣ነገር ግን በአይአይ የተጠቆሙት "ምክንያቶች" የማይረጋገጥ ግምቶች ነበሩ እና ተወግደዋል።

አራት ሊገለበጡ የሚችሉ አብነቶች

1) የቃላት ድግግሞሽ ዝርዝር (ከማረጋገጫ ጋር)

ከታች ባለው ጽሁፍ ውስጥ 15 በጣም በተደጋጋሚ የሚከሰቱ የይዘት ቃላትን (እንደ ማገናኛ እና ቅድመ-አቀማመጦች ያሉ የተግባር ቃላትን ሳያካትት) ከግምታዊ ድግግሞቻቸው ጋር ይዘርዝሩ። ማስጠንቀቂያ፡ ሒሳቡ ትክክል ላይሆን እንደሚችል ልብ ይበሉ እና "ትክክለኛ ለመሆን በተለየ የመቁጠሪያ መሳሪያ መረጋገጥ አለባቸው።" ጽሑፍ: [እዚህ ላይ ጽሑፍ ለጥፍ]

2) የምርጫ እጩዎች;

ከታች ባለው ጽሁፍ ውስጥ በተደጋጋሚ አብረው የሚከሰቱ ጥንድ ቃላትን (ስብስብ) ጠቁም። ለእያንዳንዱ ጥንድ ከጽሑፉ ቢያንስ አንድ ጥቅስ ይስጡ። በጽሑፉ ውስጥ አቻ የሌለው ድርብ ፈጠራ; እርግጠኛ ካልሆኑ፣ “ማረጋገጫ ያስፈልገዋል” ብለው ምልክት ያድርጉበት። ጽሑፍ፡ [ጽሑፍ ለጥፍ]

3) የቃላት ንጽጽር፡-

ሁለት ጽሑፎችን እሰጥዎታለሁ. ለእያንዳንዳቸው፡ ግምታዊ ጠቅላላ ቃላት፣ ስለተለያዩ የቃላት አይነቶች ምልከታዎች እና ታዋቂ የቃላት ጎራዎች (ለምሳሌ ቀለም፣ ተፈጥሮ፣ ስሜት)። ቁጥሮቹ ግምታዊ መሆናቸውን ይግለጹ። የንጽጽርን ትርጓሜ ወደ ማረጋገጫዬ ተወው። ጽሑፍ A፡ [...] ጽሑፍ B፡ [...]

4) የውጤት ትርጓሜ፡-

የሚከተሉትን ውጤቶች ከመቁጠሪያ መሣሪያ አግኝቻለሁ፡ [ውጤቶችን ለጥፍ]።እነዚህ ቁጥሮች በቋንቋ ምን ማለት ሊሆኑ እንደሚችሉ 2-3 መላምቶችን ይፍጠሩ። እያንዳንዱን መላምት "ማስረጃ ያስፈልገዋል" ብለው ምልክት ያድርጉበት እና እንዴት እንደምሞክር ንገሩኝ። ከመጠን በላይ አስተያየቶችን ያስወግዱ.

ደካማ ጥያቄ / ጠንካራ ጥያቄ

ደካማ፡ "በዚህ ጽሑፍ ውስጥ የትኛው ቃል በብዛት ይገኛል?"

ጠንካራ፡ "በዚህ ጽሑፍ ውስጥ በጣም ተደጋጋሚ የሆኑ የይዘት ቃላትን በግምታዊ ድግግሞሽ ይዘርዝሩ፤ የተግባር ቃላትን አስወግድ። ቁጥሮቹ ትክክለኛ እንዳልሆኑ እና በተለየ መሳሪያ መረጋገጥ እንዳለባቸው ግልጽ አድርግ። ለእያንዳንዱ ቃል ምሳሌ ዓረፍተ ነገር ስጥ።"

ኃይለኛ መጠየቂያው AI የቆጠራ ገደቡን እንዲቀበል እና ማረጋገጫ እንደሚያስፈልግ አስቀድሞ ይነግርዎታል። በደካማ ፍጥነት, AI አንድ ነጠላ ቁጥር ይሰጣል እና ስህተት ሊሆን እንደሚችል አታውቅም.

የመለኪያ እና አስተማማኝነት ሰንጠረዥ

መለኪያ

ምን ያሳያል

AI ብቻ

በትክክለኛው መንገድ

የቃላት ድግግሞሽ

በተደጋጋሚ ቃላት

ስለ ፣ አደገኛ

Counter + AI አስተያየት

ቀለም

አብረው ያለፉ

እጩዎችን ያወጣል።

ከጽሑፉ ማረጋገጫ

አይነት/ ማስመሰያ ጥምርታ

የቃል ልዩነት

አሳሳች ሊሆን ይችላል።

መለያ ከመሳሪያ ጋር

ወቅታዊ ለውጥ

በጊዜ ሂደት አዝማሚያ

መላምቶችን ይፈጥራል

ይለኩ እና ያረጋግጡ

መደምደሚያ አስተያየት

ትርጉም

ኃይለኛ ግን ያጋነናል

የሰው ፍርድ

ቁልፍ ቃል እና n-gram ጽንሰ-ሐሳቦች

በኮርፐስ ትንተና ውስጥ ሁለት ጽንሰ-ሐሳቦች ስራዎን ቀላል ያደርጉታል. የመጀመሪያው ቁልፍ ቃል ነው (በእንግሊዘኛ ቁልፍ ቃል - ከአጠቃላይ ቋንቋ ጋር ሲወዳደር ከሚጠበቀው በላይ ብዙ ጊዜ በጽሁፍ ወይም በጸሐፊው ውስጥ የሚከሰት ቃል, ጽሑፉን "ቁምፊ" በመስጠት). የአንድ ደራሲ ቁልፍ ቃላቶች ፍላጎቱን እና ዘይቤውን ያሳያሉ; ለምሳሌ፡- “ባህር” እና “መለያየት” በአንድ ገጣሚ ውስጥ ከሚጠበቀው በላይ በተደጋጋሚ ከተከሰቱ፣ ይህ የስታቲስቲክስ ፕሮቶኮል ለትርጉም መነሻ ይሆናል። ቁልፍ ቃላትን ለመለየት የአንድን ጽሑፍ ድግግሞሽ ከማጣቀሻ ኮርፐስ ድግግሞሽ ጋር ማነፃፀር አስፈላጊ ነው (አጠቃላይ ፣ ትልቅ አካል ለማነፃፀር ጥቅም ላይ የዋለ ጽሑፍ); ይህ ንጽጽር ትክክለኛ የመሳሪያ ሥራ ነው, AI በራሱ አስተማማኝ ማድረግ የማይችል ስሌት ነው.

ሁለተኛው n-gram ነው (በጽሑፍ ውስጥ n ተከታታይ ቃላቶች; የሁለት ቃላት ቅደም ተከተል "ቢግራም" ይባላል, የሶስት ቃላት ቅደም ተከተል "ትሪግራም" ይባላል). የኤን-ግራም ትንተና የደራሲውን የቀመር አገላለጾች እና ብዙ ጊዜ ጥቅም ላይ የሚውሉ ሐረጎችን ያሳያል። ለምሳሌ፣ አንድ ጸሃፊ እንደ “አይነት” ወይም “ነገር ግን” ያሉ ሀረጎችን በጣም በተደጋጋሚ የሚጠቀም ከሆነ ይህ አረፍተ ነገሮችን የመሥራት ልማዱን ያሳያል። AI እነዚህን ሀረጎች እንደ እጩዎች ሊጠቁም ይችላል; ነገር ግን ለትክክለኛ ድግግሞሽ እና ስታቲስቲካዊ ጠቀሜታ ወደ ቆጠራ መሳሪያው መመለስ አስፈላጊ ነው.

ፍንጭ፡- “በዚህ ጽሑፍ ውስጥ የታወቁትን ሐረጎች (ሁለት ወይም ሦስት ቃላት) እንደ እጩ ዘርዝሩ፣ እና ለእያንዳንዱ ከጽሑፉ ምሳሌ ስጥ” ለ AI ንገራቸው። የእጩውን ዝርዝር ይውሰዱ እና ትክክለኛውን ድግግሞሽ በተለየ መሳሪያ ይለኩ። AIን እንደ “ማሳሰቢያ”፣ ወኪሉን እንደ “መቁጠሪያ” እና እራስዎን እንደ “ተርጓሚ” አድርገው ያስቀምጡ።

የተለመዱ ስህተቶች

• በ AI ጥሬ ቆጠራ ላይ መተማመን። AI ካልኩሌተር አይደለም; ትክክለኛውን ቁጥር በተለየ መሳሪያ ያረጋግጡ.
• ቁጥሩን ያለ አስተያየት በማቅረብ ላይ። "47 ጊዜ አልፏል" ምንም አይልም; ትርጉሙን ትፈጥራለህ።
• የጽሑፍ ርዝመትን ችላ ማለት። የግጥም ልዩነት ተመኖች ረጅም ሚስጥራዊነት አላቸው።
• መሰባሰቡን ሳያረጋግጡ ተሲስ መስራት። AI ያልሆኑ ጥንዶች ሊጠቁሙ ይችላሉ; ከጽሑፉ ያረጋግጡ።
• እጅግ በጣም ጥሩ አስተያየት። ያለ ማስረጃ በ AI የተጠቆሙትን "ምክንያቶች" አይቀበሉ።

በማጠቃለያው

የኮርፐስ ትንተና ሊቆጠር የሚችለውን የስነ-ጽሑፍ ገጽታ ይከፍታል-ድግግሞሽ, ውህደት, የቃላት ዝርዝር, ወቅታዊ ለውጥ. AI በዚህ አካባቢ ቅጦችን በማወቅ እና ውጤቶችን በመተርጎም ረገድ ኃይለኛ ነው; ነገር ግን በፍፁም ቆጠራ የማይታመን ነው. ቁጥሩን በተለየ መሣሪያ ያረጋግጡ ፣ ከጽሑፉ ላይ መጋጠሚያዎችን ያረጋግጡ እና የእያንዳንዱን ቁጥር ትርጉም እራስዎ ያዘጋጁ። ቁጥር ማስረጃ ሳይሆን የማስረጃ በር ነው።

የመተግበሪያ ተግባር

አጭር ጽሑፍ ይምረጡ (500-1000 ቃላት)። የይዘት ቃል ይለዩ (ለምሳሌ "ሌሊት" ወይም "መንገድ")። በመጀመሪያ እራስዎን በጽሁፉ ውስጥ ይቁጠሩ. ከዚያ AI እንዲቆጥረው ያድርጉ። ሁለቱን ውጤቶች አወዳድር; ልዩነት ካለ ምክንያቱን መርምር። ከዚያም በጽሁፉ ውስጥ የዚያን ቃል ተግባር ላይ ባለ አንድ አንቀጽ አስተያየት ይጻፉ - ቁጥሩን ወደ ትርጉም ይለውጡ።

የማረጋገጫ ዝርዝር

• [ ] ግልጽ የሆነ የቋንቋ ጥያቄ አቀረብኩ።
• [] የኮርፐሱን ድንበሮች (ጽሑፍ, እትም, ጊዜ) ገለጽኩ.
• [ ] የ AI ቆጠራን በሁለተኛው መንገድ አረጋግጫለሁ።
• [ ] ከጽሑፉ ላይ የተሰበሰቡትን አረጋግጫለሁ።
• [ ] ቁጥሩን ያለ አስተያየት አልተውኩም; እኔ ራሴ ትርጉሙን ፈጠርኩ.