Penelitian ini menguji bagaimana metode pelatihan memengaruhi kemampuan model untuk menyimpan dan menggunakan kembali hasil perhitungan antara. Tim membandingkan fine-tuning standar dan Implicit Chain of Thought (ICoT), serta mengamati masalah ketergantungan jangka panjang yang muncul pada perkalian empat digit.
Pada fine-tuning standar, model dengan dua sampai dua belas lapis mencapai akurasi yang sangat rendah karena terjebak pada pola permukaan dalam data. Sebaliknya, model ICoT mencapai 100% akurasi. Analisis keadaan internal menunjukkan bahwa ICoT mengkode dan menyimpan nilai antara; peneliti bahkan berhasil mendekode jumlah berjalan dari hidden states tersebut.
Lebih jauh, ICoT mengatur mekanisme perhatian melintasi waktu: lapisan awal menghitung dan menyimpan produk pasangan digit di lokasi tertentu, sedangkan lapisan akhir mengambil kembali nilai itu untuk membentuk digit jawaban akhir. Menambahkan tujuan pelatihan untuk melacak jumlah berjalan pada model sederhana meningkatkan akurasi secara dramatis tanpa supervisi chain-of-thought eksplisit.
Kata-kata sulit
- akurasi — tingkat benar dalam hasil atau prediksi
- ketergantungan jangka panjang — ketergantungan selama periode waktu lama
- jumlah berjalan — total sementara yang terus diperbarui
- keadaan internal — informasi tersembunyi di dalam model
- mengkode — mengubah informasi menjadi bentuk tersimpan
- mendekode — mengubah kembali informasi tersimpan menjadi data
- mekanisme perhatian — cara model fokus pada bagian informasi penting
- lapisan — bagian bertumpuk atau tingkat dalam modellapisan awal, lapisan akhir
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Bagaimana menurut Anda menyimpan nilai antara di keadaan internal bisa membantu model menyelesaikan perkalian panjang? Jelaskan dengan satu atau dua alasan.
- Apakah menambahkan tujuan pelatihan untuk melacak jumlah berjalan bisa berguna untuk tugas lain selain perkalian? Beri contoh singkat.
- Mengapa fine-tuning standar mungkin membuat model 'terjebak pada pola permukaan' menurut teks? Apa konsekuensinya bagi akurasi?
Artikel terkait
Remaja di Hong Kong Menggunakan Chatbot sebagai Teman Emosional
Laporan 12 Oktober 2025 menunjukkan remaja di Hong Kong memakai chatbot seperti Xingye dan Character.AI untuk dukungan emosional. Para ahli peringatkan risiko, dan beberapa pengembang mencoba membuat alat yang lebih aman.
Alat AI OSIA untuk Bimbingan Sekolah Menengah di Kamerun
OSIA adalah platform kecerdasan buatan yang dibuat oleh Frédéric Ngaba untuk membantu siswa sekolah menengah di Kamerun memilih jalur akademik dan karier. Platform ini menawarkan tutor virtual dalam 20 bahasa dan bank lebih dari 400 tes.
AI Baru Mempercepat Kekerasan Daring terhadap Perempuan di Nigeria
Kekerasan berbasis gender daring di Nigeria meningkat setelah munculnya alat AI generatif di media sosial. Laporan dan peneliti menemukan pelecehan lebih mudah dibuat, dibagikan, dan menargetkan perempuan kulit hitam Nigeria secara khusus.
Pusat Data, AI, dan Tekanan Terhadap Pasokan Air di Batam
Pertumbuhan AI mendorong pembangunan pusat data di Indonesia dan kebutuhan infrastruktur. Di Batam, banyak fasilitas baru memicu kekhawatiran tentang pasokan air dan protes warga; pembuat kebijakan mendapat tekanan untuk menyeimbangkan pertumbuhan dan keberlanjutan.
Pengganti Daging Nabati Ubah Lemak dalam ASI dalam Enam Hari
Uji klinis kecil menemukan bahwa mengganti daging sapi dengan pengganti daging nabati mengubah jenis lemak dalam ASI hanya dalam enam hari. Peneliti mengatakan perubahan itu mungkin berpengaruh pada perkembangan otak dan kekebalan bayi.