Büyük dil modelleri neden dört basamaklı çarpımı zor yapıyor? ^{CEFR B1}

Yeni çalışma, güncel büyük dil modellerinin iki dört basamaklı çarpma gibi basit görünen ama çok adımlı hesaplama gerektiren görevlerde neden başarısız olduğunu açıklıyor. Chicago Üniversitesi'nden Xiaoyan Bai ve Chenhao Tan liderliğindeki ekip, MIT, Harvard University, University of Waterloo ve Google DeepMind iş birlikçileriyle birlikte standard fine-tuning ile Implicit Chain of Thought (ICoT) yöntemini karşılaştırdı.

Standart ince ayar altında, iki ila 12 katmanlı modeller dört basamaklı çarpmalarda neredeyse hiç doğru yapamadı çünkü eğitim verilerindeki yüzeysel kalıplara takılıyorlardı ve ara değerleri saklama stratejisi öğrenemiyorlardı. Buna karşılık ICoT ile eğitilen model ara değerleri gizli durumda kodladı ve doğru sonuç üretti.

Araştırma ayrıca, ICoT modellerinin erken katmanlarda rakam çiftlerinin çarpımlarını hesaplayıp depoladığını, sonraki katmanların ise bu değerlerden basamakları oluşturduğunu gösterdi. Modellemede rakamların Fourier benzeri tabanlarla temsil edildiği ve Minkowski toplamına benzer bir işlemin ortaya çıktığı gözlendi. Basit bir eğitim hedefi eklemek iki katmanlı modelin doğruluğunu ICoT'ye yakın seviyelere çıkardı.