Penelitian ini menguji bagaimana metode pelatihan memengaruhi kemampuan model untuk menyimpan dan menggunakan kembali hasil perhitungan antara. Tim membandingkan fine-tuning standar dan Implicit Chain of Thought (ICoT), serta mengamati masalah ketergantungan jangka panjang yang muncul pada perkalian empat digit.
Pada fine-tuning standar, model dengan dua sampai dua belas lapis mencapai akurasi yang sangat rendah karena terjebak pada pola permukaan dalam data. Sebaliknya, model ICoT mencapai 100% akurasi. Analisis keadaan internal menunjukkan bahwa ICoT mengkode dan menyimpan nilai antara; peneliti bahkan berhasil mendekode jumlah berjalan dari hidden states tersebut.
Lebih jauh, ICoT mengatur mekanisme perhatian melintasi waktu: lapisan awal menghitung dan menyimpan produk pasangan digit di lokasi tertentu, sedangkan lapisan akhir mengambil kembali nilai itu untuk membentuk digit jawaban akhir. Menambahkan tujuan pelatihan untuk melacak jumlah berjalan pada model sederhana meningkatkan akurasi secara dramatis tanpa supervisi chain-of-thought eksplisit.
Kata-kata sulit
- akurasi — tingkat benar dalam hasil atau prediksi
- ketergantungan jangka panjang — ketergantungan selama periode waktu lama
- jumlah berjalan — total sementara yang terus diperbarui
- keadaan internal — informasi tersembunyi di dalam model
- mengkode — mengubah informasi menjadi bentuk tersimpan
- mendekode — mengubah kembali informasi tersimpan menjadi data
- mekanisme perhatian — cara model fokus pada bagian informasi penting
- lapisan — bagian bertumpuk atau tingkat dalam modellapisan awal, lapisan akhir
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Bagaimana menurut Anda menyimpan nilai antara di keadaan internal bisa membantu model menyelesaikan perkalian panjang? Jelaskan dengan satu atau dua alasan.
- Apakah menambahkan tujuan pelatihan untuk melacak jumlah berjalan bisa berguna untuk tugas lain selain perkalian? Beri contoh singkat.
- Mengapa fine-tuning standar mungkin membuat model 'terjebak pada pola permukaan' menurut teks? Apa konsekuensinya bagi akurasi?
Artikel terkait
Protein TPPP3 dan resistensi kemoterapi pada kanker ovarium
Peneliti menemukan bahwa protein TPPP3 membantu beberapa sel kanker ovarium menjadi kebal terhadap kemoterapi. Menghilangkan TPPP3 di laboratorium mengembalikan efektivitas obat dan membuka jalan untuk obat baru dan biomarker.
Chatbot Sportellino Bantu Migran di Italia
Sportellino adalah chatbot multibahasa yang diluncurkan pada Juli 2025 untuk membantu migran di Italia dengan panduan langkah demi langkah. Layanan ini gratis, anonim, tersedia lewat WhatsApp dan Telegram, serta mematuhi aturan privasi GDPR.
Olahraga Lebih Efektif daripada Bubuk Protein untuk Kekuatan Lansia
Studi menemukan suplemen protein saja tidak meningkatkan kekuatan otot pada orang berusia 65 tahun ke atas setelah 24 minggu. Peneliti menyarankan latihan resistensi dan merencanakan penelitian tentang kombinasi olahraga dan protein.
Pengobatan Cryptococcal Meningitis dan upaya menyederhanakan terapi
Cryptococcal meningitis menyerang orang dengan HIV dan menyebabkan banyak kematian di Afrika Sub-Sahara. Uji klinis di Malawi mencoba menyederhanakan pengobatan, sementara pedoman WHO diperbarui pada 2022 untuk rejimen yang lebih singkat.
Tambalan Mikronada untuk Memulihkan Jantung Setelah Serangan Jantung
Para peneliti mengembangkan tambalan biodegradable dengan mikronada yang melepaskan interleukin-4 (IL-4) langsung ke permukaan jantung. Pendekatan ini mengubah makrofag menjadi penyembuh, mengurangi jaringan parut, dan menjaga pengobatan tetap lokal.