Mengapa model sulit mengalikan empat digit ^{CEFR B2}

Studi yang dipimpin dari University of Chicago dan kolaborator di MIT, Harvard University, University of Waterloo, dan Google DeepMind menjelaskan mengapa model bahasa besar mutakhir kesulitan menyelesaikan tugas perkalian empat digit. Tim membandingkan fine-tuning standar dengan metode pelatihan baru, Implicit Chain of Thought (ICoT), dan menaruh perhatian khusus pada ketergantungan jangka panjang: kemampuan memegang produk parsial dan jumlah berjalan yang diperlukan untuk perhitungan panjang.

Pada fine-tuning standar, model dengan dua sampai dua belas lapis mencapai kurang dari 1% akurasi karena terperangkap dalam optimum lokal dan hanya mempelajari pola permukaan. Sebaliknya, model yang dilatih dengan ICoT mencapai 100% akurasi. Analisis internal mengungkap bahwa ICoT mengkodekan nilai-nilai antara dalam hidden states: peneliti berhasil mendekode jumlah berjalan dari keadaan itu. Mereka juga mengamati organisasi mekanisme perhatian melintasi waktu, di mana lapisan awal menghitung dan menyimpan produk pasangan digit pada lokasi spesifik, lalu lapisan akhir mengambil kembali nilai tersebut untuk membentuk setiap digit hasil akhir.

Sebagian representasi digit menyerupai basis Fourier, dan operasi geometris mirip Minkowski sum muncul secara alami selama pelatihan. Untuk menguji perbaikan sederhana pada model standar, peneliti menambahkan tujuan pelatihan yang mengajarkan pelacakan jumlah berjalan. Menambahkan tujuan ini pada model dua lapis meningkatkan akurasi menjadi 99% tanpa supervisi chain-of-thought eksplisit; model itu mengembangkan mekanisme perhatian serupa ICoT dan strategi baru untuk melacak beberapa pasangan digit.

Temuan ini menyoroti poin lebih luas bahwa keterbatasan tertentu tidak otomatis hilang hanya dengan menambah data atau parameter. Panduan arsitektural dan tujuan pelatihan yang ditargetkan dapat memungkinkan model mempelajari penalaran bertahap. "Saat AI semakin terintegrasi ke pengambilan keputusan penting, penting untuk memahami cara uniknya belajar dan berpikir," kata salah satu peneliti.

• Perbandingan: fine-tuning standar vs ICoT.
• Hasil: ICoT 100% akurat; standar sangat rendah.
• Temuan teknis: penyimpanan nilai antara dan jalur perhatian.