Studi yang dipimpin dari University of Chicago dan kolaborator di MIT, Harvard University, University of Waterloo, dan Google DeepMind menjelaskan mengapa model bahasa besar mutakhir kesulitan menyelesaikan tugas perkalian empat digit. Tim membandingkan fine-tuning standar dengan metode pelatihan baru, Implicit Chain of Thought (ICoT), dan menaruh perhatian khusus pada ketergantungan jangka panjang: kemampuan memegang produk parsial dan jumlah berjalan yang diperlukan untuk perhitungan panjang.
Pada fine-tuning standar, model dengan dua sampai dua belas lapis mencapai kurang dari 1% akurasi karena terperangkap dalam optimum lokal dan hanya mempelajari pola permukaan. Sebaliknya, model yang dilatih dengan ICoT mencapai 100% akurasi. Analisis internal mengungkap bahwa ICoT mengkodekan nilai-nilai antara dalam hidden states: peneliti berhasil mendekode jumlah berjalan dari keadaan itu. Mereka juga mengamati organisasi mekanisme perhatian melintasi waktu, di mana lapisan awal menghitung dan menyimpan produk pasangan digit pada lokasi spesifik, lalu lapisan akhir mengambil kembali nilai tersebut untuk membentuk setiap digit hasil akhir.
Sebagian representasi digit menyerupai basis Fourier, dan operasi geometris mirip Minkowski sum muncul secara alami selama pelatihan. Untuk menguji perbaikan sederhana pada model standar, peneliti menambahkan tujuan pelatihan yang mengajarkan pelacakan jumlah berjalan. Menambahkan tujuan ini pada model dua lapis meningkatkan akurasi menjadi 99% tanpa supervisi chain-of-thought eksplisit; model itu mengembangkan mekanisme perhatian serupa ICoT dan strategi baru untuk melacak beberapa pasangan digit.
Temuan ini menyoroti poin lebih luas bahwa keterbatasan tertentu tidak otomatis hilang hanya dengan menambah data atau parameter. Panduan arsitektural dan tujuan pelatihan yang ditargetkan dapat memungkinkan model mempelajari penalaran bertahap. "Saat AI semakin terintegrasi ke pengambilan keputusan penting, penting untuk memahami cara uniknya belajar dan berpikir," kata salah satu peneliti.
- Perbandingan: fine-tuning standar vs ICoT.
- Hasil: ICoT 100% akurat; standar sangat rendah.
- Temuan teknis: penyimpanan nilai antara dan jalur perhatian.
Kata-kata sulit
- ketergantungan — kebutuhan model mempertahankan informasi selama waktuketergantungan jangka panjang
- produk parsial — bagian hasil perkalian sebelum menghitung keseluruhan
- jumlah berjalan — nilai yang diperbarui langkah demi langkah selama operasi
- optimum lokal — solusi terbaik di sekitar posisi tetapi bukan global
- mekanisme perhatian — cara model memilih informasi penting dari input
- tujuan pelatihan — objek yang ingin dicapai saat melatih model
- penalaran bertahap — proses menyelesaikan masalah lewat langkah-langkah berurutan
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Bagaimana panduan arsitektural dan tujuan pelatihan yang ditargetkan dapat membantu model belajar penalaran bertahap?
- Apa implikasi temuan bahwa menambah data atau parameter saja tidak otomatis mengatasi keterbatasan tertentu pada model?
- Berdasarkan teks, apakah Anda setuju model perlu mekanisme penyimpanan nilai antara agar dapat menyelesaikan tugas panjang? Jelaskan alasan Anda.
Artikel terkait
Layar Sentuh Besar Mengganggu Perhatian Saat Mengemudi
Penelitian dengan simulator menunjukkan layar sentuh besar membuat mengemudi dan penggunaan kontrol menjadi lebih buruk saat orang melakukan multitugas. Para peneliti mengukur pandangan, gerakan jari, dan tanda stres lalu menyarankan sensor untuk memantau perhatian pengemudi.
Africa Wiki Women: Menambah Keterlihatan Perempuan Afrika
Africa Wiki Women mendorong perempuan Afrika membuat dan memperbaiki konten di platform Wikimedia. Didirikan oleh tiga perempuan, kelompok ini melatih ratusan wanita dan menjalankan pelatihan, kampanye, serta program pendampingan untuk meningkatkan partisipasi.
Melihat Ketidakpastian sebagai Peluang
Penelitian ETH Zurich menguji apakah memandang ketidakpastian sebagai peluang mengubah sikap politik. Setelah presentasi singkat, peserta lebih positif terhadap keberagaman, lebih mendukung perubahan sosial, dan lebih kecil kemungkinan memilih AfD.
Laporan: Uganda Perlu Reformasi Riset dan Inovasi
Laporan nasional yang diluncurkan pada 21 Juni menyimpulkan Uganda perlu mereformasi sistem ilmu pengetahuan, teknologi dan inovasi untuk mempercepat peralihan menuju status berpendapatan menengah. Laporan menyoroti kesenjangan gender dan kelemahan pendanaan.
AI melawan pemasaran tembakau yang menargetkan anak muda
Di konferensi tentang pengendalian tembakau para ahli mengatakan AI bisa membantu menghentikan perusahaan tembakau yang menargetkan anak muda secara daring. Media sosial dan produk baru dianggap menarik generasi muda, dan negara miskin menanggung beban terbesar.