الرمز المميز ونافذة السياق والوسائط المتعددة: كيف يعمل عقل النموذج

المكاسب:

• القدرة على شرح مفاهيم الرمز المميز ونافذة السياق والوسائط المتعددة في اللغة اليومية
• تشخيص ما إذا كانت المهمة تتطلب سياقًا واسعًا أو تعدد الوسائط
• القدرة على مراعاة كيفية تأثير هذه المفاهيم على التكلفة واختيار النموذج

حتى الآن نحن على دراية بمقدمي الخدمات وأنواع النماذج. ومع ذلك، لاختيار النموذج الصحيح، من الضروري أيضًا فهم كيفية عمل النماذج "في الداخل"؛ لأن قرارات السعر والقدرة والتوفر تعتمد جميعها على ثلاثة مفاهيم أساسية: الرمز المميز ونافذة السياق والوسائط المتعددة. الشخص الذي لا يعرف هذه المفاهيم لا يمكنه قراءة ورقة الأسعار ويتساءل "هل تناسب هذه الوثيقة النموذج؟" لا يستطيع الإجابة على السؤال ولا يستطيع معرفة متى تكون المعالجة البصرية ضرورية. بحلول نهاية هذه الوحدة، ستكون قادرًا على شرح هذه المفاهيم الثلاثة باللغة اليومية، وتشخيص ما إذا كانت الوظيفة تتطلب سياقًا واسعًا أو تعدد الوسائط، ومراعاة تأثيرها على التكلفة.

الرمز المميز: الوحدة المستخدمة بواسطة النموذج بدلاً من Word

تقوم نماذج الذكاء الاصطناعي بمعالجة النص ليس كلمة بكلمة، ولكن في أجزاء صغيرة تسمى الرموز. عربون؛ يمكن أن تكون كلمة، أو جزءًا من كلمة، أو علامة ترقيم، أو مسافة. لإجراء حساب تقريبي: في اللغة الإنجليزية، يبلغ متوسط ​​الرمز المميز حوالي أربعة أحرف، و100 كلمة حوالي 130-150 رمزًا. في اللغة التركية، قد يكون هذا المعدل أعلى قليلاً بسبب الكلمات اللاحقة والطويلة؛ وبعبارة أخرى، فإن النص التركي الذي يحمل نفس المعنى يستهلك رموزًا أكثر قليلاً من اللغة الإنجليزية.

لماذا من المهم أن نعرف؟ لأن كل شيء يتم شحنه وقياسه بالرموز. يتم احتساب النص (الإدخال) الذي ترسله إلى النموذج والاستجابة (الإخراج) التي ينتجها النموذج كرموز منفصلة. كل من فاتورتك وسعة النموذج موجودة في الرموز المميزة.

نصيحة: للحصول على تقدير تقريبي لعدد الرموز المميزة التي يحتوي عليها النص، قم بتقسيم عدد الأحرف على أربعة. البريد الإلكتروني المكون من 4000 حرف يعادل 1000 رمزًا تقريبًا. في اللغة التركية، افترض مستوى أعلى قليلاً لتبقى على الجانب الآمن.

نافذة السياق: "الذاكرة قصيرة المدى" للنموذج

نافذة السياق هي إجمالي عدد الرموز المميزة التي يمكن للنموذج أن يأخذها في الاعتبار في المرة الواحدة. يجب أن يتناسب الإدخال والإخراج معًا في هذه النافذة. فكر في الأمر مثل كمية الورق التي يمكنك فردها على الطاولة مرة واحدة: الورقة التي لا تتناسب مع الطاولة تكون خارج مجال رؤيتك في تلك اللحظة.

إذا كانت نافذة سياق النموذج تحتوي على 200000 رمز، فهذا يعادل حوالي 150000 كلمة، أو عدة كتب متوسطة الحجم. يمكن لمليون رمز مميز معالجة مستندات أكبر بكثير ككل. تقدم بعض النماذج القوية اليوم (مثل Claude Opus 4.8 وSonnet 5) مليون سياق رمزي، بينما تأتي النماذج خفيفة الوزن غالبًا بنوافذ أصغر (على سبيل المثال، 200000 رمز مميز لـ Haiku 4.5).

لماذا هو مهم؟ لأنه إذا لم يتم احتواء المستند في نافذة السياق، فلن يتمكن النموذج من رؤيته معًا. لا يمكنك منح عقد مكون من 500 صفحة بالكامل لنموذج رمزي بقيمة 200000؛ يمكنك إما تقسيم المستند إلى أجزاء (مما قد يفقد العلاقة بين الأجزاء) أو اختيار نموذج بسياق أوسع.

تحذير: ليس من الحكمة ملء كل مستند لأن نافذة السياق كبيرة. كلما زاد عدد الرموز المميزة التي تضعها في النافذة، كلما دفعت أكثر، وفي بعض الأحيان يمكن أن يفوت النموذج التفاصيل الوسطى في النصوص الطويلة جدًا. غالبًا ما يكون إرسال الجزء الذي يعمل فقط أرخص وأكثر دقة.

نافذة السياق هي معايير القرار

كويست

السياق المطلوب التقريبي

المستوى المناسب

استجابة قصيرة عبر البريد الإلكتروني

عدة مئات من الرموز

خفيفة الوزن

ملخص صفحة واحدة

عدة آلاف من الرموز

خفيف/متوازن

تحليل التقرير من 40 صفحة

~ 30.000 رمز

متوازن/قوي

مراجعة العقد 300 صفحة

~ 250.000 رمز

قوية مع سياق واسع

معالجة مئات المستندات في وقت واحد

500000+ الرموز

السياق الأوسع

يجيب هذا الجدول على السؤال "أي نموذج؟" يوضح أن جزءًا من السؤال يتم الإجابة عليه مباشرةً حسب حجم المستند. إنه مضيعة لشراء نموذج باهظ الثمن مع سياق كبير للوظائف القصيرة؛ النموذج ذو النافذة الصغيرة غير مناسب للمستندات الكبيرة.

تعدد الوسائط: تجاوز النص

تعددية الوسائط هي قدرة النموذج على التعامل مع أنواع متعددة من البيانات (الصورة والصوت وأحيانًا الفيديو)، وليس النص فقط. "مشروط" هنا يعني "نوع البيانات"؛ الوسائط المتعددة تعني "أنواع كثيرة".

• نموذج النص فقط: يقرأ ويكتب النص المكتوب فقط.
• نموذج متعدد الوسائط: يمكنه قراءة صورة فاتورة، وتفسير الاتجاه على الرسم البياني، وفك تشفير ملاحظة مكتوبة بخط اليد، وفي بعض الأحيان نسخ تسجيل صوتي.

لماذا هو مهم؟ لأن طبيعة عملك قد تتطلب تعدد الوسائط. لا يمكن لفريق المحاسبة الذي يستخرج المبالغ من صور الفواتير، أو فريق التجارة الإلكترونية الذي يصنف صور المنتجات، أو فريق التأمين الذي يقوم بتقييم صور الأضرار، القيام بهذه المهمة بنموذج يقرأ النص فقط. المعالجة البصرية ضرورية لهذه المهام.

ثلاث حالات واقعية

الحالة 1 - مفاجأة تكلفة الرمز المميز. يرسل فريق المحتوى أيضًا إلى النموذج وثيقة "دليل العلامة التجارية" المكونة من 20 صفحة أثناء قيامهم بإنتاج كل مشاركة مدونة. يحتوي هذا الدليل على حوالي 15000 رمزًا. إنهم ينتجون 2000 مقالة شهريًا. لذا فإن مجرد إرسال الدليل مرارًا وتكرارًا يعني 30 مليون رمزًا مميزًا للمدخلات. ومن خلال تقصير الدليل وإرسال القسم ذي الصلة فقط (حوالي 2000 رمز)، فإنهم يقللون المدخلات إلى السُبع ويقللون الفاتورة بشكل كبير.

الحالة 2 - نافذة السياق ليست كافية. تريد شركة محاماة مراجعة اتفاقية اندماج مكونة من 280 صفحة. كان النموذج الأول الذي جربوه يحتوي على 200000 رمز مميز ولم يكن المستند مناسبًا؛ عندما يتم تمزيق الوثيقة، لا يمكن للنموذج ملاحظة أن مقالة في القسم الأول تتعارض مع مقالة في القسم الأخير. وعندما يتحول إلى نموذج يحتوي على مليون رمز مميز، فإنه يقرأ المستند ككل ويلاحظ التناقض. هنا تحدد نافذة السياق الدقة مباشرة.

الحالة 3 - تعدد الوسائط أمر لا بد منه. تريد إحدى شركات التأمين إجراء تقييم أولي من خلال صور الأضرار التي لحقت بالمركبة. وهذا مستحيل مع نموذج يقرأ النص فقط؛ مطلوب نموذج متعدد الوسائط "يرى" الصورة. وعندما يتحولون إلى نموذج متعدد الوسائط، فإنهم ينشئون نظام فحص مسبق يصنف بشكل تقريبي موقع وشدة الضرر في الصورة ويوجه الخبير. لكنهم لاحظوا أن خبيرًا بشريًا هو الذي يتخذ القرار النهائي؛ لأن النموذج هو أداة فحص أولية، وليس الكلمة النهائية.

موجه ضعيف / موجه قوي

حث ضعيف:

تلخيص هذه الوثيقة. [تم لصق مستند طويل جدًا]

مطالبة قوية:

قم بتلخيص التقرير المكون من 40 صفحة أدناه. قم أولاً بتقدير العدد التقريبي للرموز المميزة في التقرير وأخبرنا ما إذا كانت تتناسب مع نافذة السياق لنموذج متوازن نموذجي. ثم قدم الملخص بهذا التنسيق: ملخص تنفيذي مكون من 5 عناصر + 3 نتائج محفوفة بالمخاطر. استخدم فقط المعلومات الموجودة في التقرير؛ ضع علامة على الجزء الذي لست متأكدًا منه على أنه "غير واضح في التقرير". [تقرير]

الموجه القوي يدرك الرمز المميز/السياق ويتحكم في تنسيق المخرجات وإمكانية التحقق منها.

قوالب قابلة للنسخ

1. التنبؤ بالرمز المميز:

قم بتقدير العدد التقريبي للرموز المميزة للنص التالي وفسر ذلك من حيث تكلفة الإدخال: "[TEXT]". قومي بتقريبها قليلاً مع مراعاة أنها تركية.

2. التحقق من توفر السياق:

تتمثل مهمتي في معالجة المستندات التالية: متوسط [صفحات] من [الكمية] من المستندات شهريًا. ما هي نافذة السياق التي يتطلبها هذا الحجم؟ أي من المستويات الخفيفة/المتوازنة/القوية ستكون كافية؟ ما هي المخاطر التي تنشأ إذا كان من الضروري تفكيكها؟

3. التشخيص المتعدد الوسائط:

سير العمل الخاص بي: [الوصف]. هل هناك معالجة مرئية أو صوتية أو فيديو في هذا الدفق؟ إذا كان الأمر كذلك، فهل يلزم وجود نموذج متعدد الوسائط، أم يمكن تحويله إلى نص (التعرف الضوئي على الحروف/النسخ) وحله باستخدام نموذج النص؟ قارن بين إيجابيات وسلبيات المسارين.

4. تحسين السياق:

أقوم بإرسال مستند إلى النموذج مع كل طلب، ولكن معظمه غير ضروري. كيف يمكنني استخراج الأجزاء المطلوبة فعليًا لـ [TASK] من هذا المستند؟ اقترح 3 طرق ملموسة لتقليل المدخلات والإشارة إلى المدخرات الرمزية المقدرة.

الأخطاء الشائعة

• رمز خاطئ لكلمة: الرمز يختلف عن الكلمة؛ تكون الفاتورة والسعة دائمًا بالرموز، والحساب بالكلمات أمر مضلل.
• التفكير في أن نافذة السياق لا نهائية: كل نموذج له حدود؛ إذا لم يكن المستند مناسبًا، فلن يتمكن النموذج من رؤية كامله.
• استخدام سياق كبير غير ضروري: شراء نموذج باهظ الثمن بسياق كبير لمهمة قصيرة؛ أو قم بملء مستندات ضخمة لكل طلب والدفع دون جدوى.
• بافتراض تعدد الأساليب: لا يستطيع كل نموذج معالجة العناصر المرئية؛ بالنسبة للعمل المرئي، ابدأ دون التأكد من أن النموذج متعدد الوسائط.
• نسيان العبء الرمزي للغة التركية: تستهلك النصوص التركية بشكل عام عددًا أكبر قليلًا من الرموز لنفس المعنى؛ تجاهل هذا في تقدير التكلفة.

باختصار

• الرمز المميز هو الوحدة الصغيرة التي يعالج فيها النموذج النص؛ يتم قياس المدخلات والمخرجات وإصدار فواتير لها بشكل منفصل كرموز مميزة.
• نافذة السياق هي إجمالي الرموز المميزة التي يمكن للنموذج أن يأخذها في الاعتبار في كل مرة؛ يؤثر حجم المستند بشكل مباشر على اختيار النموذج.
• تعددية الوسائط هي قدرة النموذج على معالجة البيانات غير النصية مثل البيانات المرئية/الصوتية؛ إنه ضروري للأعمال المرئية.
• هذه المفاهيم الثلاثة ذات صلة بالسؤال "أي نموذج؟" وكذلك "كم التكلفة؟" وهو يشكل أساس الأسئلة.

مهمة التطبيق

اختر مهمة الذكاء الاصطناعي المتكررة في عملك. اطلب من القالب الأول (التنبؤ بالرمز المميز) حساب عدد الرموز المميزة التي يتم إدخالها نموذجيًا في هذه المهمة. ثم حدد المستوى الكافي باستخدام القالب 2 (التحقق من توفر السياق). إذا كان لديك وظيفة مرئية، وضح ما إذا كان النموذج متعدد الوسائط مطلوبًا باستخدام القالب الثالث (تشخيص متعدد الوسائط). سوف نستخدم تقدير الرمز المميز الناتج في حساب تكلفة الوحدة التالية.

قائمة مرجعية

• [ ] أعرف مفهوم الرمز المميز وكيفية تقدير عدد الرموز المميزة الموجودة في النص بشكل تقريبي.
• [ ] يمكنني شرح نافذة السياق باستخدام تشبيه "الجدول/الذاكرة".
• [ ] يمكنني تقييم ما إذا كان المستند سيتناسب مع النموذج.
• [ ] يمكنني التشخيص عندما يكون تعدد الوسائط ضروريًا.
• [ ] آخذ في الاعتبار النفقات العامة للغة التركية وتكلفة السياق غير الضروري.