المكاسب:
- القدرة على التمييز بين ما إذا كانت المشكلة عبارة عن معلومات أم سلوك، وتقييم الضبط الدقيق للمشكلات السلوكية فقط بعد استنفاد الحلول السريعة والقليلة و RAG.
- فهم طرق الضبط الدقيق (SFT وLoRA/PEFT وRLHF) وسمات البيانات التي تحدد الجودة (الاتساق والتنوع والسرية)
- القدرة على قياس القيمة الحقيقية للضبط الدقيق من خلال التقييم قبل وبعد، والتعلم الزائد، واختبارات النسيان الكارثية
يعد الضبط الدقيق (تخصيص سلوكه من خلال تدريب نموذج مُدرب مسبقًا بشكل أكبر باستخدام بياناتك الخاصة) أداة قوية ولكنها باهظة الثمن في ترسانة المهندس الذي يعمل مع LLMs. عند استخدامها في المكان الخطأ فهي مضيعة للمال والوقت، ولكن عند استخدامها في المكان المناسب فإنها توفر جودة لا يمكن تحقيقها بطريقة أخرى. في هذه الوحدة، نغطي عندما يكون الضبط الدقيق ضروريًا، وأساليبه الأساسية ومخاطره. الهدف هو أن تجعلك تتخذ القرار.
أولاً السؤال الصحيح: هل الضبط الدقيق ضروري؟
أغلى خطأ يرتكبه المبتدئين هو الاندفاع فورًا إلى ضبط المشكلة التي يمكن حلها. قم بإعداد الطلب مثل هذا:
- الهندسة السريعة: إن المطالبة الجيدة التي تشرح المهمة بشكل واضح تحل معظم المشكلات. تستهلك هنا أولا.
- تعلم لقطات قليلة: يؤدي وضع بعض الأمثلة في الموجه إلى إظهار النموذج بالتنسيق والسلوك المطلوبين.
- RAG: إذا كانت المشكلة هي "نقص المعلومات" (الحاجة إلى بيانات لا يعرفها النموذج)، فإن الحل هو RAG (الوحدة 4)، وليس الضبط الدقيق.
- الضبط الدقيق: يتم تفعيله إذا لم يكن ما سبق كافيًا وكانت المشكلة هي "السلوك/التنسيق/الأسلوب".
الفرق الرئيسي: الضبط الدقيق ضعيف ومحفوف بالمخاطر عند تدريس معلومات النموذج الجديدة؛ ولكنه قوي في تعليم كيفية التصرف (صيغة معينة، لهجة، مصطلحات ميدانية، بنية متسقة). "النموذج الخاص بي لا يعرف معلومات شركتنا" → RAG. "دع النموذج الخاص بي يقدم دائمًا المخرجات بالتنسيق الدقيق الذي نريده" → مرشح الضبط الدقيق.
نصيحة: قبل اتخاذ قرار بشأن الضبط الدقيق، اسأل: "هل هذه مشكلة معرفية أم مشكلة سلوكية؟" يتم حل مشكلات المعلومات بشكل أفضل باستخدام RAG، ويتم حل المشكلات السلوكية بشكل أفضل من خلال الضبط الدقيق.
طرق الضبط الدقيق
الضبط الدقيق الكامل: إعادة تدريب جميع معلمات النموذج. الأقوى ولكن الأغلى؛ يتطلب أجهزة كبيرة (GPU) وبيانات دقيقة. إنه غير ضروري لمعظم الفرق.
الضبط الدقيق ذو كفاءة المعلمة (PEFT): الأساليب التي تعمل على تجميد الغالبية العظمى من النموذج، وتدريب مجموعة صغيرة فقط من المعلمات الإضافية. الأكثر شيوعًا هو LoRA (التكيف منخفض الرتبة: تدريب طبقات "المحول" الصغيرة المضافة إلى النموذج). يوفر LoRA نتائج قريبة من الضبط الدقيق الكامل، مع ذاكرة وتكلفة أقل بكثير؛ ولهذا السبب فهو الخيار الأول في الممارسة العملية.
الضبط الدقيق الخاضع للإشراف (SFT): تعليم النموذج "الاستجابة لهذا الإدخال مثل هذا" مع البيانات التي تتكون من أزواج المدخلات والمخرجات المثالية. هذا هو السيناريو الأكثر شيوعا.
تعزيز التعلم من ردود الفعل البشرية (RLHF): مواءمة سلوك النموذج مع الاستجابات المفضلة للأشخاص. إنها معقدة ومكلفة. يتم تلبية احتياجات معظم فرق التطبيقات باستخدام SFT. يكفي أن نعرف RLHF كمفهوم.
البيانات: قلب الضبط الدقيق
تعتمد جودة الضبط كليًا على جودة بيانات التدريب. بضع مئات من العينات عالية الجودة والمتسقة أفضل من آلاف العينات غير المتقنة. عند تحضير البيانات:
- الاتساق: تظهر كافة الأمثلة بشكل متسق التنسيق والنغمة التي تريدها. الأمثلة المتناقضة تترك النموذج مشوشا.
- التنوع: تغطي الأمثلة التنوع في الاستخدام الفعلي، ولكنها ليست موحدة.
- التنظيف: يتم تمرير المثيلات التي تحتوي على بيانات غير صحيحة أو متحيزة أو مخفية إلى النموذج بشكل دائم. ينبغي قراءة بيانات الضبط الدقيق بعناية مثل العقد.
تنبيه: يتم حفر كل انحياز وخطأ ومعلومات مخفية تدخل بيانات الضبط الدقيق في النموذج ثم تظهر مرة أخرى في مخرجاته. قم بمراجعة بيانات التدريب الخاصة بك بدقة كما لو كنت تقوم بنشرها؛ لا تنشر البيانات الشخصية.
مراجعة: هل نجح الضبط الدقيق؟
قبل الضبط الدقيق، احتفظ بمجموعة تقييم محتجزة وقم بقياس درجة النموذج دون الضبط الدقيق (النموذج الأساسي). بعد الضبط، قم بالقياس مرة أخرى في نفس البنك. لا يمكنك أن تقول "لقد تحسنت" دون المقارنة. هناك أيضًا فخان يجب الانتباه إليهما:
- التعلم الزائد: يؤدي التدريب الزائد على البيانات الصغيرة إلى فقدان النموذج لقدرته على حفظ أمثلة التدريب وتعميمها.
- النسيان الكارثي: الإفراط في التدريب على مهمة ضيقة يمكن أن يضعف القدرات الشاملة للنموذج. اختبار ما إذا كان سيتم الاحتفاظ بالمهارات القديمة أثناء اكتساب السلوك الجديد.
نهج ضعيف / نهج قوي
ضعيف: "لدي 3000 سجل دردشة، فلنقم بضبطها جميعًا حتى يتمكن النموذج من التحدث مثلنا."
غوتشلو: "قمت أولاً بتقييم النموذج الأساسي بـ 100 مهمة حقيقية، ولاحظت النتيجة. وقمت بقياس مدى تحسنه باستخدام المطالبات واللقطات القليلة - لم يكن ذلك كافيًا. ثم من بين 3000 سجل، قمت باختيار وتنظيف 400 عينة فقط بجودة عالية وتنسيق متسق وبدون بيانات مخفية. لقد قمت بالضبط الدقيق باستخدام LoRA، وقمت بالقياس مرة أخرى بنفس المهام الـ 100 وأكدت باختبار منفصل أن القدرات العامة كانت سليمة."
الفرق: النهج القوي يستنفد البدائل أولا، وينتقي البيانات، ويقيس ما قبل وبعد، ويختبر الآثار الجانبية.
واقع التكلفة والصيانة
الضبط الدقيق ليس مهمة لمرة واحدة؛ إنه واجب الرعاية. قد يكون من الضروري إعادة التدريب عند تحديث النموذج الأساسي أو الحاجة إلى التغيير أو فقدان البيانات. بالإضافة إلى ذلك، فإن استضافة نموذج مضبوط يؤدي إلى تكاليف وعمليات إضافية. قارن هذه التكلفة الإجمالية للملكية مع الزيادة في الجودة التي توفرها. في معظم الأحيان، يكون الموجه الجيد + RAG أرخص وأكثر مرونة من الضبط الدقيق.
ثلاث حالات صغيرة
الحالة 1 - الضبط غير الضروري. شرع فريق في مشروع ضبط دقيق باهظ الثمن لأن "نموذجنا لا يعرف منتجاتنا". تم إنفاق الأشهر والميزانية، وكانت النتيجة هشة - أصبح النموذج قديمًا في كل مرة يتغير فيها كتالوج المنتج. وأخيرًا، تحولوا إلى RAG: حيث قاموا بجلب بيانات المنتج من قاعدة المستندات، وكان التحديث فوريًا وانخفضت التكلفة. الدرس المستفاد: لا يتم حل مشكلة المعلومات عن طريق الضبط الدقيق.
الحالة 2 - الضبط الدقيق. أرادت إحدى شركات التأمين أن يقوم النموذج دائمًا بإنتاج ملخصات السياسات بنفس البنية الصارمة (بندًا تلو الآخر، مع عناوين محددة). الاتساق مع المطالبة عالق عند 70%. بعد ضبط LoRA باستخدام 300 عينة جيدة، زاد اتساق التنسيق إلى 98%. كانت هذه مشكلة سلوكية وكان الضبط الدقيق هو الأداة الصحيحة.
الحالة 3 - الهروب من الخصوصية إلى البيانات. قام أحد الفرق بإخضاع سجلات الدردشة للضبط الدقيق دون تنظيفها. تحتوي السجلات على أسماء العملاء الحقيقية وأرقام التعريف. بدأ النموذج المضبوط بدقة في "تسريب" هذه الأسماء كمخرجات في أسئلة غير ذات صلة. تم سحب النموذج وإخفاء البيانات وإعادة تدريبها. الدرس: يتم نقل المعلومات المخفية في بيانات الضبط الدقيق إلى النموذج بشكل دائم.
قوالب قابلة للنسخ
ساعدني في تحديد ما إذا كان الضبط الدقيق ضروريًا لمشكلتي هذه. المشكلة: [وصف] هل هذه مشكلة معلومات (النموذج لا يعرف شيئًا ما) أم مشكلة سلوكية (النموذج لا ينتج التنسيق/النغمة/البنية التي أريدها)؟ هل يمكن حلها بسرعة وبضع طلقات وRAG أولاً؟ لماذا تحاول/لا تجرب كل واحدة منها؟ فقط تحت أي حالة ستوصي بضبطها؟
تحقق من مجموعة بيانات الضبط الدقيق هذه: 1) هل الأمثلة متسقة من حيث التنسيق والأسلوب؟ 2) هل تغطي التباين في الاستخدام الفعلي؟ 3) هل تحتوي على بيانات سرية/شخصية (يجب إخفاؤها)؟ 4) هل هناك أمثلة متضاربة؟ مجموعة فرعية من الأمثلة: [أمثلة] قم بإدراج كل مشكلة والإصلاح الذي وجدته.
إعداد خطة تقييم قبل وبعد الضبط. المهمة: [شرح]- كيف يجب اختيار مجموعة التقييم المعلقة؟- كيف يتم قياس درجة النموذج الأساسي؟- بأي مقياس تتم مقارنته بعد الضبط الدقيق؟- كيف أختبر عدم ضعف القدرات العامة (النسيان الكارثي)؟
اقتراح معلمات فائقة أولية للضبط الدقيق باستخدام LoRA. حجم البيانات: [عدد العينات] الغرض: [تدريس التنسيق/النغمة] اقتراح العصر ومعدل التعلم والتوقف المبكر لتجنب التعلم الزائد.
جدول القرار: أي أداة ومتى
حاجة
حاول أولا
ضبط دقيق؟
النموذج لا يعرف أي معلومات
خرقة
لا
البيانات الحالية المطلوبة
خرقة
لا
تنسيق جامد محدد
طلقات قليلة
إذا لم يكن كافيا نعم
نغمة/أسلوب متسق
موجه + عدد قليل من الطلقات
إذا لم يكن كافيا نعم
المصطلحات الميدانية/الأسلوب
موجه
إذا كان هذا لا يكفي، لورا
تحسين المهام البسيطة
الهندسة السريعة
عموما لا
الأخطاء الشائعة
- محاولة حل مشكلة المعلومات مع الضبط الدقيق. RAG هي الأداة الصحيحة.
- الدخول في الضبط الدقيق دون استهلاك السرعة/الطلقات القليلة/RAG. باهظة الثمن وغير ضرورية.
- التدريب باستخدام بيانات منخفضة الجودة/متضاربة. البيانات الأقل ولكن الواضحة هي الأفضل.
- وضع البيانات السرية في التعليم. يتسلل إلى النموذج بشكل دائم.
- عدم القياس قبل وبعد. لا يمكنك إثبات الاسترداد.
- عدم اختبار النسيان الكارثي. المهارة الجديدة قد تعطل المهارة القديمة.
باختصار
يعد الضبط الدقيق أداة قوية ولكنها باهظة الثمن ويجب أخذها في الاعتبار فقط فيما يتعلق بمشكلات السلوك/التنسيق بعد استهلاك برنامج Prompt-few-shot-RAG؛ مشاكل المعلومات تنتمي إلى RAG. تعتبر الأساليب ذات الكفاءة المعلمية مثل LoRA هي الخيار العملي الأول. تعتمد الجودة بشكل كامل على جودة البيانات؛ استخدم بيانات صغيرة ولكنها نظيفة ومتسقة وسرية. القياس قبل وبعد، واختبار التعلم الزائد وفقدان القدرة. الضبط الدقيق هو واجب الرعاية؛ قارن تكلفتها الإجمالية بالجودة التي تقدمها.
مهمة التطبيق
اختر مشكلة وقرر ما إذا كان الضبط الدقيق ضروريًا من خلال التمييز بين "المعرفة أو السلوك" واكتب مبررك. إذا كانت المشكلة سلوكية، فقم بإعداد 20-30 عينة متسقة، وتحقق من البيانات المخفية، وقم بتوثيق خطة التقييم قبل وبعد (المجموعة المحتفظ بها، والنتيجة الأساسية، ومقياس المقارنة، واختبار النسيان). إذا كان من الممكن حل المشكلة باستخدام RAG/few-shot بدلاً من الضبط الدقيق، فقم بتدوين ذلك أيضًا.
قائمة مرجعية
- [ ] حددت ما إذا كانت المشكلة هي المعرفة أم السلوك.
- [ ] قمت أولاً بتقييم البدائل السريعة والقليلة اللقطات وRAG.
- [ ] لقد قمت بمراجعة بيانات الضبط الدقيق من أجل الاتساق والتنوع والسرية.
- [ ] لقد قمت بتخصيص مجموعة تقييم معلقة وقمت بقياس النتيجة الأساسية.
- [ ] لقد خططت لإجراء اختبار المقارنة والنسيان قبل وبعد.
- [ ] لقد قارنت التكلفة الإجمالية بالجودة التي تقدمها.