درس باحثون سبب معاناة نماذج اللغة الكبيرة المتقدمة من مهمة بسيطة في المدارس الابتدائية: ضرب عددين مكوَّنين من أربعة أرقام. ركزت الدراسة على تأثير طرق التدريب في قدرة النموذج على حفظ النتائج الوسيطة وإعادة استخدامها لإكمال حسابات طويلة.
قاد البحث شياويان باي وتشينهوا تان من جامعة شيكاغو بالتعاون مع باحثين من MIT وهارفارد وجامعة واترلو وGoogle DeepMind. قارن الفريق الضبط الدقيق القياسي مع طريقة السلسلة الضمنية للتفكير (ICoT). وجدوا أن النماذج ذات الطبقتين إلى 12 طبقة تحت الضبط القياسي حققت دقة ضئيلة، بينما نموذج ICoT بلغ دقة كاملة.
فحص الباحثون الحالات الداخلية للنماذج فوجدوا أن ICoT تُشفّر القيم الوسيطة وتُنظّم آليات الانتباه عبر الزمن. كما أثبت تعديل تدريبي بسيط تعلّم نموذج صغير تتبع المجاميع الجارية ورفع دقته بشكل كبير. الخلاصة أن توجيه بنيوي في التدريب يمكن أن يمكّن النماذج من تعلم التفكير متعدد الخطوات.
كلمات صعبة
- الضبط الدقيق القياسي — تعديل إضافي للنموذج بعد التدريب العام
- السلسلة الضمنية للتفكير — طريقة تدريب تعلم النموذج خطوات التفكير المتسلسلة
- القيم الوسيطة — النتائج الرقمية الصغيرة بين خطوات الحساب
- آليات الانتباه — طرق داخل النموذج تركز على معلومات محددة
- المجاميع الجارية — مجاميع تُحفظ وتُحدّث أثناء إجراء العمليات الحسابية
- توجيه بنيوي — تغيير في طريقة التدريب يؤثر على طريقة التعلم
تلميح: مرّر المؤشر أو ركّز أو اضغط على الكلمات المظلَّلة داخل القصة لرؤية تعريفات سريعة أثناء القراءة أو الاستماع.
أسئلة للمناقشة
- ما رأيك في استخدام طرق تدريب مثل السلسلة الضمنية للتفكير لحل مشكلات حسابية بسيطة؟ اذكر سببين.
- هل تفضّل تعديل تدريبي بسيط لنموذج صغير أم استخدام ضبط دقيق لنموذج كبير؟ ولماذا؟
- كيف قد يؤثر تعلم تتبع المجاميع الجارية على أداء النماذج في مهام أخرى؟
