بحث جديد يشرح لماذا تفشل بعض نماذج اللغة الكبيرة في أداء مهمة تبدو بسيطة: ضرب عددين مكوَّنين من أربعة أرقام. فحصت الدراسة كيف تؤثر طرق التدريب على قدرة النموذج على حفظ وإعادة استخدام النتائج الوسيطة، وهي قدرة حاسمة للحسابات متعددة الخطوات.
قاد البحث شياويان باي وتشينهوا تان في جامعة شيكاغو بالتعاون مع باحثين من معهد ماساتشوستس للتكنولوجيا (MIT) وجامعة هارفارد وجامعة واترلو وGoogle DeepMind. قارن الفريق بين الضبط الدقيق القياسي وطريقة السلسلة الضمنية للتفكير (ICoT). تحت الضبط القياسي، النماذج ذات الطبقتين إلى 12 طبقة حققت دقة تقل عن 1% في ضرب الأعداد ذات الأربع خانات، بينما نموذج مدرَّب بطريقة ICoT وصل إلى دقة 100%.
فكَّك الباحثون الحالات الداخلية ووجدوا أن ICoT تشفّر القيم الوسيطة ويمكنهم فك تشفير المجاميع الجارية من الحالات المخفية. رصدوا أيضاً تنظيم آلية الانتباه بحيث تقوم الطبقات المبكرة بحساب وتخزين نواتج أزواج الأرقام في مواقع محددة، ثم تسترجعها الطبقات اللاحقة لتشكيل كل رقم من الإجابة. ولاحظ الفريق تمثيلاً للأرقام بقواعد شبيهة بتحويل فورييه وظهور عملية هندسية تشبه مجموع مينكوفسكي أثناء التدريب.
لاختبار تعديل بسيط، أضاف الباحثون هدفًا تدريبيًا يعلّم النموذج تتبع المجاميع الجارية عند كل خطوة. أدى ذلك إلى رفع دقة نموذج ذو طبقتين إلى 99% دون إشراف صريح لسلسلة التفكير، مع تطور آليات انتباه واستراتيجيات جديدة لتتبع أزواج أرقام متعددة. تستنتج الدراسة أن توجيه بنيوي وأهداف تدريبية مستهدفة يمكن أن تمكّن النماذج من تعلم التفكير متعدد الخطوات بدلاً من الاعتماد فقط على زيادة الحجم أو البيانات.
قال تشينهوا تان: "مع ازدياد دمج الذكاء الاصطناعي في اتخاذ القرارات الحساسة، من الضروري فهم طرق تعلمه وتفكيره الفريدة." المصدر: جامعة شيكاغو.
كلمات صعبة
- النتائج الوسيطة — القيم أو النتائج المؤقتة خلال عملية حسابية متعددة الخطوات
- الضبط الدقيق — تعديل نموذج مدرّب مسبقًا لتحسين مهمة محددة
- السلسلة الضمنية للتفكير — أسلوب تدريب يعلّم النموذج خطوات التفكير الداخلية
- الحالات المخفية — تمثيلات داخلية غير مرئية تستخدمها الشبكة
- آلية الانتباه — طريقة داخل النموذج لتركيز المعالجة على معلومات مهمة
- المجاميع الجارية — القيم المجمعة تدريجيًا أثناء تنفيذ حساب متسلسل
- تمثيل — طريقة تحويل معلومات إلى شكل يفهمه النموذجتمثيلاً
تلميح: مرّر المؤشر أو ركّز أو اضغط على الكلمات المظلَّلة داخل القصة لرؤية تعريفات سريعة أثناء القراءة أو الاستماع.
أسئلة للمناقشة
- كيف يمكن أن تساعد الأهداف التدريبية المستهدفة في تمكين النماذج من حل مهام متعددة الخطوات بدلاً من زيادة الحجم فقط؟ اذكر سببين منطقيين.
- ما المخاطر أو الفوائد المترتبة على استخدام نماذج تعتمد على تمثيلات داخلية مثل الحالات المخفية في اتخاذ قرارات حساسة؟
- هل تعتقد أن طريقة السلسلة الضمنية للتفكير (ICoT) قابلة للتطبيق على مسائل متعددة الخطوات أخرى، مثل حل المشكلات العلمية أو التخطيط؟ لماذا أو لماذا لا؟
