Para peneliti menguji apakah model bahasa yang dilatih pada teks internet dapat membedakan peristiwa yang umum, tidak mungkin, mustahil, atau tidak masuk akal. Teks pelatihan berisi campuran fakta, kesalahan, dan omong kosong, sehingga kemampuan model untuk memahami dunia nyata tidak otomatis jelas.
Penelitian dilakukan oleh tim dari Brown University dan dipresentasikan pada Konferensi Internasional tentang Representasi Pembelajaran (ICLR) di Rio de Janeiro. Michael Lepori, kandidat PhD yang memimpin studi, mengatakan ada bukti bahwa model telah menyandi sesuatu seperti kendala kausal dunia nyata. Untuk menyelidiki hal itu, peneliti menggunakan interpretabilitas mekanistik untuk memeriksa keadaan matematis internal model, yang mereka bandingkan dengan penilaian manusia.
Eksperimen berjalan pada beberapa model open-source, termasuk GPT-2, Llama 3.2, dan Gemma 2. Studi menemukan vektor internal yang berbeda untuk kategori plausibilitas dan vektor ini mencerminkan ketidakpastian manusia. Vektor mulai muncul pada model yang lebih besar, dan hasilnya dapat membantu pengembangan model yang lebih cerdas dan dapat dipercaya.
Kata-kata sulit
- membedakan — mengenali perbedaan antara dua atau lebih hal
- omong kosong — ucapan atau teks tanpa kebenaran atau logika
- menyandi — mengubah informasi menjadi bentuk lain yang tersimpan
- mempresentasikan — menyampaikan hasil penelitian kepada publik atau forumdipresentasikan
- interpretabilitas mekanistik — cara menjelaskan bagian dalam model secara matematis
- vektor — representasi numerik yang mewakili informasi
- plausibilitas — tingkat kemungkinan atau kelayakan suatu peristiwa
- ketidakpastian — keadaan tidak yakin tentang hasil atau fakta
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Apakah menurut Anda penting model bisa membedakan peristiwa yang mustahil dari yang hanya tidak mungkin? Mengapa?
- Bagaimana hasil penelitian tentang vektor dan ketidakpastian bisa memengaruhi kepercayaan masyarakat pada model bahasa?
- Jika model dilatih pada teks yang berisi banyak omong kosong, apa langkah yang sebaiknya dilakukan pengembang untuk meningkatkan keandalan model?
Artikel terkait
Rambut sebagai catatan paparan bahan kimia
Penelitian dari University of Texas at Austin menunjukkan rambut dapat merekam paparan bahan kimia selama hari, minggu, dan bulan. Metode pemanasan helai rambut dan spektrometer massa membantu merekonstruksi garis waktu paparan yang darah atau urin tidak tangkap.
Pendidik Minta Evolusi Dikembalikan ke Buku Teks di India
Pendidik sains di India meminta pemerintah mengembalikan materi evolusi yang dihapus dari buku pelajaran. Penghapusan dilakukan oleh NCERT untuk meringankan beban belajar setelah pandemi, dan ratusan ilmuwan menolak keputusan itu.
Penyakit Baru Mengancam Terumbu Karang Karibia
Institute of Marine Affairs memperingatkan tentang penyakit Stony Coral Tissue Loss Disease yang menyebar di Karibia dan mengancam banyak spesies karang. IMA melakukan latihan, pengobatan dan pendidikan untuk mempersiapkan kedatangan penyakit ini.
Citra Langsung Dua Nova Menunjukkan Aliran Gas dan Pengeluaran Tertunda
Astronom mengambil citra langsung dua nova beberapa hari setelah letusan dengan detail tinggi. Pengamatan menunjukkan aliran gas kompleks, kasus pengeluaran tertunda, dan hubungan antara tumbukan aliran dengan sinar gamma.