- Penelitian menemukan model bahasa besar sulit mengalikan empat digit angka.
- Masalah utama adalah bagaimana menyimpan hasil sementara selama perhitungan.
- Pelatihan standar membuat model hanya belajar pola permukaan data.
- Metode baru bernama ICoT mengajarkan model memegang nilai antara.
- Model ICoT dapat mengkodekan dan menyimpan nilai antara penting.
- Mekanisme perhatian membantu model mengambil kembali nilai-nilai itu kemudian.
- Menambah tujuan pelatihan membuat model dua lapis belajar melacak jumlah.
- Studi menekankan arsitektur dan tujuan pelatihan penting untuk penalaran.
Kata-kata sulit
- mengalikan — melakukan operasi matematika untuk menghasilkan produk
- menyimpan — menaruh atau menjaga data untuk digunakan nanti
- sementara — bersifat tidak tetap dan hanya untuk waktu singkat
- pelatihan — proses mengajar model dengan data
- mekanisme perhatian — cara model fokus pada informasi penting
- nilai — angka atau informasi yang digunakan dalam perhitungannilai antara, nilai-nilai
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Pernahkah kamu kesulitan mengalikan angka besar?
- Saat menghitung, apakah kamu menulis nilai sementara?
Artikel terkait
Ilmuwan Afrika Selatan Kembangkan Biosensor untuk Deteksi Dini
Di Pertemuan Nobel Laureate Lindau, ilmuwan Jaymi Leigh January memaparkan biosensor generasi berikutnya yang memakai nanoteknologi untuk mendeteksi biomarker penyakit seperti TB, kanker, dan virus. Ia ingin alat ini menjadi portabel dan terjangkau untuk klinik lokal.
Otak Prediksi Frasa, Bukan Hanya Kata Berikutnya
Penelitian menunjukkan otak manusia memprediksi kata dengan mengelompokkan kata secara gramatikal menjadi frasa, berbeda dari model bahasa besar (LLM) yang dilatih untuk menebak kata berikutnya. Temuan ini didukung oleh eksperimen dan rekaman aktivitas otak.
Melihat Ketidakpastian sebagai Peluang
Penelitian ETH Zurich menguji apakah memandang ketidakpastian sebagai peluang mengubah sikap politik. Setelah presentasi singkat, peserta lebih positif terhadap keberagaman, lebih mendukung perubahan sosial, dan lebih kecil kemungkinan memilih AfD.
Peneliti Pakai Pola Kelompok Burung untuk Kurangi Halusinasi AI
Peneliti mengembangkan langkah pra-proses yang menata kalimat seperti kelompok burung sebelum AI membuat ringkasan. Cara ini mengurangi kesalahan fakta pada ringkasan, tetapi tidak sepenuhnya menghilangkan risiko halusinasi.
