Tim peneliti dari beberapa universitas membandingkan pelatihan standar dengan metode Implicit Chain of Thought (ICoT). Mereka fokus pada ketergantungan jangka panjang, yaitu kebutuhan model untuk menyimpan produk parsial dan jumlah berjalan selama perhitungan panjang.
Hasilnya, model yang dilatih secara standar dengan dua sampai dua belas lapis memiliki akurasi sangat rendah, sementara model ICoT mencapai 100% akurasi. Peneliti menemukan bahwa ICoT mengkodekan nilai antara dalam hidden states dan mengatur jalur perhatian untuk menyimpan lalu mengambil kembali informasi itu. Menambahkan tujuan pelatihan untuk melacak jumlah berjalan meningkatkan akurasi model dua lapis menjadi sangat tinggi tanpa supervisi chain-of-thought eksplisit.
Kata-kata sulit
- ketergantungan — kebutuhan model menyimpan informasi dalam waktu lamaketergantungan jangka panjang
- produk — hasil bagian dari perhitungan atau operasiproduk parsial
- jumlah berjalan — jumlah yang terus diperbarui selama perhitungan
- jalur perhatian — cara model memilih dan fokus pada informasi
- pelatihan — proses mengajar model agar bisa bekerjapelatihan standar, tujuan pelatihan
- akurasi — tingkat benar hasil atau prediksi model
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Mengapa menurutmu melacak jumlah berjalan bisa meningkatkan akurasi model?
- Apakah kamu pikir metode seperti ICoT berguna untuk tugas perhitungan panjang? Mengapa?
Artikel terkait
Laporan: Uganda Perlu Reformasi Riset dan Inovasi
Laporan nasional yang diluncurkan pada 21 Juni menyimpulkan Uganda perlu mereformasi sistem ilmu pengetahuan, teknologi dan inovasi untuk mempercepat peralihan menuju status berpendapatan menengah. Laporan menyoroti kesenjangan gender dan kelemahan pendanaan.
Vaksin Shingles Terkait Risiko Demensia Lebih Rendah
Studi menemukan orang dewasa lanjut usia yang menerima vaksin shingles (RZV/Shingrix) memiliki kemungkinan lebih rendah didiagnosis demensia dalam empat tahun. Peneliti menganalisis data Medicare dan catatan kesehatan elektronik dari 2017 sampai 2022.
Tisu Uji Cepat untuk Deteksi Timbal di Rumah dan Mobil
Sebuah studi memvalidasi tisu kolorimetrik yang berubah warna untuk mendeteksi timbal di rumah dan kendaraan pekerja konstruksi. Metode ini lebih cepat dan jauh lebih murah dibanding tes laboratorium dan bisa dipakai langsung oleh keluarga.