وحدة 3 / 11

اللغويات وتحليل المجموعة: قراءة المفردات بالأرقام

المكاسب:

  • القدرة على صياغة قياسات المجموعة مثل تكرار الكلمات والتجميع وثراء المفردات والكلمات الرئيسية باستخدام الذكاء الاصطناعي
  • مع العلم أن الذكاء الاصطناعي لا يمكن الاعتماد عليه في العد الدقيق والقدرة على التحقق من كل عدد بأداة منفصلة
  • القدرة على فهم أن العدد لا يقول شيئاً من تلقاء نفسه، وأن التفسير اللغوي الذي يثبت المعنى يعود إلى الإنسان.

دراسات الأدب واللغة ليست مجرد "تعليق"؛ كما أن لديها جانبًا قابلاً للقياس والإحصاء. كم عدد الكلمات المختلفة التي يستخدمها المؤلف، وما هي الكلمات التي يحب استخدامها مع أي كلمات، وما هي الكلمات التي أصبحت شائعة في فترة ما - يتم التحقيق في هذه من خلال علم اللغة (العلم الذي يدرس الصوت والبنية والمعنى واستخدام اللغة) وخاصة علم اللغة. المجموعة هي مجموعة من النصوص، مثل الأعمال الكاملة للمؤلف، أو الأرشيف السنوي للصحيفة، أو قصائد فترة ما. يبحث تحليل المجموعة عن الأنماط العددية في هذه القطعة.

في هذه الوحدة، سوف نتعلم استخدام الذكاء الاصطناعي كمساعد لتحليل المجموعة: استخلاص المقاييس بسرعة مثل تكرار الكلمات (عدد مرات ظهور الكلمة في النص)، والتجميع (أزواج الكلمات التي تحدث بشكل متكرر معًا، على سبيل المثال "أسود" + "ثروتي")، وثراء المفردات، والتنوع الموسمي. ولكن تحذير من البداية: يمكن للذكاء الاصطناعي أن يرتكب أخطاء عند العد بمفرده؛ هناك حاجة إلى أدوات خاصة لإجراء عمليات العد الكبيرة والدقيقة، وأنت اللغوي الذي يحدد معنى كل رقم.

أين يكون الذكاء الاصطناعي قويًا وأين يكون ضعيفًا في تحليل النصوص؟

وتتمثل نقاط قوتها في: التعرف على الأنماط في النصوص الصغيرة والمتوسطة، وتوليد فرضيات حول مفردات النص، واقتراح المرشحين للتجميع، وتفسير النتيجة، ووصف المنهجية. يسأل الذكاء الاصطناعي "ما العبارات التي تبرز في هذا المؤلف؟" إنه يعطي بداية سريعة للسؤال.

الضعف: العد الدقيق. الذكاء الاصطناعي هو نموذج لغة، وليس آلة حاسبة؛ يمكن أن يعطي إجابة تقريبية وأحيانًا غير صحيحة لسؤال "كم مرة حدث ذلك" في نص طويل. للحصول على تردد دقيق، أو إحصائيات تحديد الموقع الدقيق، أو مسح مجموعة كبيرة من آلاف الكلمات، يتم استخدام برامج متخصصة (مثل أدوات المجموعة مثل AntConc أو جدول البيانات). ويعتبر الذكاء الاصطناعي ذا قيمة في تفسير مخرجات هذه الأدوات؛ لكن لا تجعله يقوم بالعد الخام بشكل أعمى.

نصيحة: إذا كنت بحاجة إلى رقم محدد، فاستخدم طريقتين: استخدام أداة تقوم بالعد بنص صغير واطلب من الذكاء الاصطناعي تفسيره؛ أو احصل على حساب الذكاء الاصطناعي وتحقق منه بطريقة أخرى. لا تستخدم مطلقًا جملة "قال الذكاء الاصطناعي إنه حدث 47 مرة" دون تأكيد.

دراسة جماعية خطوة بخطوة

  1. ضع سؤالا. "كيف يتم توزيع الكلمات الملونة في هذا الشاعر؟" فالعد لا معنى له بدون سؤال واضح مثل:
  2. تحديد الجسم. أي النصوص؟ أي طبعة؟ أي فترة؟ يجب أن تكون الحدود واضحة.
  3. حدد القياس. التردد، التجميع، ثراء المفردات؟
  4. القياس والتحقق. قم بالعد، ثم قم بتأكيد الطريقة الثانية.
  5. تعليق. الرقم وحده لا يقول أي شيء. إن تعليقك هو الذي يجعل النتيجة التي مفادها أن "الكلمات الملونة تضاعفت في الفترة الثانية" ذات معنى.

المقياس المستخدم بشكل متكرر لثراء المفردات هو نسبة عدد الكلمات المختلفة إلى إجمالي عدد الكلمات (نسبة النوع / الرمز المميز). فإذا كانت هذه النسبة عالية، يكون النص منوعاً بالكلمات، وإذا كانت منخفضة، فهذا يعني أنه متكرر. لكن هذه النسبة تتأثر بطول النص؛ كن حذرًا عند مقارنة النصوص القصيرة والطويلة مباشرةً.

ثلاث حالات صغيرة

الحالة 1 - أظهر التجميع أسلوبًا. قام أحد الباحثين بفحص أزواج الصفات والأسماء في ثلاث روايات لروائي. اقترح الذكاء الاصطناعي أن كلمة "شاحب" تتطابق مع 5 أسماء مختلفة؛ وتحققت الباحثة من أربعة نصوص وألغت واحداً منها بأنه ملفق. أصبح النمط المؤكد بمثابة بيان أطروحة حول أسلوب المؤلف الوصفي.

الحالة 2 - تم اكتشاف خطأ في العد. سأل أحد الطلاب الذكاء الاصطناعي عن عدد المرات التي ظهرت فيها كلمة "ليل" في نص مكون من 2000 كلمة؛ وقال الذكاء الاصطناعي "23". عندما ألقى الطالب النص في جدول بيانات وقام بعده، كان العدد الفعلي هو 17. أصبح من الواضح أن العدد الأولي للذكاء الاصطناعي غير موثوق.

الحالة 3 - أثار التغيير الدوري الجدل. قارنت إحدى المجموعات نسبة الكلمات المجردة في قصائد الشاعر المبكرة والمتأخرة. اقترحت المسودة الأولى للذكاء الاصطناعي وجود اتجاه؛ وعندما عادت المجموعة إلى النص وتحققت من العدد، تبين أن الاتجاه حقيقي، لكن "الأسباب" التي اقترحها الذكاء الاصطناعي كانت مجرد تكهنات لا يمكن التحقق منها وتم القضاء عليها.

أربعة قوالب قابلة للنسخ

1) مخطط تكرار الكلمات (مع التحقق):

قم بإدراج الكلمات الـ 15 الأكثر تكرارًا في المحتوى (باستثناء الكلمات الوظيفية مثل أدوات العطف وحروف الجر) في النص أدناه، مع تكرارها التقريبي. تحذير: لاحظ أن عمليات العد قد لا تكون دقيقة ولاحظ "لكي تكون دقيقة، يجب التحقق منها باستخدام أداة عد منفصلة." النص: [الصق النص هنا]

2) مرشحو الاستضافة:

اقترح أزواجًا من الكلمات (المتضافرات) التي تتكرر معًا بشكل متكرر في النص أدناه. أعط اقتباسًا واحدًا على الأقل من النص لكل زوج. تلفيق مزدوج لا مثيل له في النص؛ إذا لم تكن متأكدًا، ضع علامة "يحتاج إلى التحقق". النص: [لصق النص]

3) مقارنة المفردات:

سأعطيك نصين. لكل منها: إجمالي الكلمات التقريبية، والملاحظات حول أنواع الكلمات المختلفة، ومجالات الكلمات البارزة (مثل اللون، والطبيعة، والعاطفة). اذكر أن الأرقام تقريبية. اترك تفسير المقارنة لتحققي. النص أ: [...] النص ب: [...]

4) تفسير النتيجة:

حصلت على النتائج التالية من أداة العد: [لصق النتائج]. قم بإنشاء 2-3 فرضيات حول ما قد تعنيه هذه الأرقام لغويًا. ضع علامة على كل فرضية على أنها "تتطلب دليلاً" وأخبرني كيف يمكنني اختبارها. تجنب التعليقات المفرطة.

موجه ضعيف / موجه قوي

ضعيف: "ما هي الكلمة الأكثر تكرارًا في هذا النص؟"

Strong: "أدرج كلمات المحتوى الأكثر تكرارًا في هذا النص مع تكرارها التقريبي؛ استبعد الكلمات الوظيفية. وضح أن الأرقام ليست دقيقة وتحتاج إلى التحقق منها باستخدام أداة منفصلة. أعط جملة مثال لكل كلمة."

المطالبة القوية تجعل الذكاء الاصطناعي يقبل حد العدد ويخبرك مقدمًا بأن التحقق مطلوب. في المطالبة الضعيفة، يعطي الذكاء الاصطناعي رقمًا واحدًا ولا تعلم أنه قد يكون خاطئًا.

جدول القياس والموثوقية

قياس

ما يظهر

الذكاء الاصطناعي وحده

الطريق الصحيح

تردد الكلمة

كلمات متكررة

حول، محفوفة بالمخاطر

عداد + تعليق AI

موقع مشترك

أولئك الذين مروا معا

ينتج المرشحين

التأكيد من النص

نسبة النوع/الرمز المميز

التنوع اللفظي

يمكن أن تكون مضللة

الحساب مع الأداة

التغيير الموسمي

الاتجاه مع مرور الوقت

يولد الفرضيات

القياس والتحقق

التعليق الختامي

معنى

قوية ولكنها تبالغ

الحكم البشري

مفاهيم الكلمات الرئيسية وn-gram

مفهومان يجعلان عملك أسهل في تحليل المجموعة. الأول هو الكلمة الأساسية (الكلمة الرئيسية باللغة الإنجليزية - الكلمة التي تظهر في النص أو المؤلف في كثير من الأحيان أكثر مما هو متوقع مقارنة باللغة العامة، مما يعطي هذا النص "طابعه"). تكشف الكلمات الرئيسية للمؤلف عن اهتماماته وأسلوبه؛ على سبيل المثال، إذا حدث "البحر" و"الانفصال" بشكل متكرر أكثر من المتوقع في الشاعر، فإن هذا النتوء الإحصائي يصبح نقطة البداية للتفسير. لتحديد الكلمات الرئيسية، من الضروري مقارنة ترددات النص مع ترددات المجموعة المرجعية (نص عام كبير يستخدم للمقارنة)؛ هذه المقارنة هي بمثابة أداة نهائية، وهي عملية حسابية لا يستطيع الذكاء الاصطناعي إجراؤها بشكل موثوق بمفرده.

والثاني هو n-gram (سلسلة من n كلمات متتالية في النص؛ سلسلة من كلمتين تسمى "bigram"، سلسلة من ثلاث كلمات تسمى "trigram"). يكشف تحليل N-gram عن تعبيرات المؤلف النموذجية والعبارات المستخدمة بشكل متكرر. على سبيل المثال، إذا كان الكاتب يستخدم عبارات مثل "نوع من" أو "ومع ذلك" بشكل متكرر للغاية، فهذا يشير إلى عادته في تكوين الجمل. يمكن للذكاء الاصطناعي أن يقترح هذه العبارات كمرشحات؛ ولكن بالنسبة للتكرار الحقيقي والأهمية الإحصائية فمن الضروري العودة إلى أداة العد.

تلميح: أخبر الذكاء الاصطناعي، "أدرج العبارات البارزة (كلمتين أو ثلاث كلمات) في هذا النص كمرشحين، وقدم مثالاً من النص لكل منها." خذ قائمة المرشحين وقم بقياس التردد الفعلي باستخدام أداة منفصلة. ضع الذكاء الاصطناعي في دور "الملاحظ"، والوكيل في دور "العداد"، ونفسك في دور "المترجم الفوري".

الأخطاء الشائعة

  • الاعتماد على العدد الأولي للذكاء الاصطناعي. الذكاء الاصطناعي ليس آلة حاسبة؛ تحقق من الرقم الدقيق باستخدام أداة منفصلة.
  • عرض الرقم بدون تعليق. "مررت 47 مرة" لا تقول شيئًا؛ أنت تخلق المعنى.
  • تجاهل طول النص. معدلات التنوع الغنائي حساسة للطول.
  • جعل أطروحة دون التحقق من التجميع. قد يقترح الأزواج غير المعتمدين على الذكاء الاصطناعي؛ التأكيد من النص.
  • تعليق شديد. لا تقبل "الأسباب" التي يقترحها الذكاء الاصطناعي دون دليل.

باختصار

يفتح تحليل المجموعة الجوانب المعدودة من الأدب: التكرار، التجميع، المفردات، التغيير الدوري. الذكاء الاصطناعي قوي في هذا المجال في التعرف على الأنماط وتفسير النتائج؛ ولكن لا يمكن الاعتماد عليها في العد المطلق. تحقق من الرقم باستخدام الأداة المنفصلة، ​​وتأكد من التجميعات من النص، وحدد معنى كل رقم بنفسك. العدد ليس دليلاً، بل هو باب الدليل.

مهمة التطبيق

اختر نصًا قصيرًا (500-1000 كلمة). حدد كلمة محتوى (على سبيل المثال، "ليلة" أو "طريق"). أولا، عد نفسك في النص. ثم اطلب من الذكاء الاصطناعي أن يحسبها. قارن بين النتيجتين؛ إذا كان هناك فرق، تحقق من السبب. ثم اكتب تعليقًا من فقرة واحدة حول وظيفة تلك الكلمة في النص، أي تحويل الرقم إلى معنى.

قائمة مرجعية

  • [ ] أطرح سؤالاً لغوياً واضحاً.
  • [ ] قمت بتحديد حدود المجموعة (النص، الطبعة، الفترة).
  • [ ] لقد تحققت من عدد الذكاء الاصطناعي بطريقة ثانية.
  • [ ] لقد أكدت التجميعات من النص.
  • [ ] لم أترك الرقم دون تعليق؛ لقد خلقت المعنى بنفسي.