Para peneliti menguji apakah model bahasa yang dilatih pada teks internet dapat membedakan peristiwa yang umum, tidak mungkin, mustahil, atau tidak masuk akal. Teks pelatihan berisi campuran fakta, kesalahan, dan omong kosong, sehingga kemampuan model untuk memahami dunia nyata tidak otomatis jelas.
Penelitian dilakukan oleh tim dari Brown University dan dipresentasikan pada Konferensi Internasional tentang Representasi Pembelajaran (ICLR) di Rio de Janeiro. Michael Lepori, kandidat PhD yang memimpin studi, mengatakan ada bukti bahwa model telah menyandi sesuatu seperti kendala kausal dunia nyata. Untuk menyelidiki hal itu, peneliti menggunakan interpretabilitas mekanistik untuk memeriksa keadaan matematis internal model, yang mereka bandingkan dengan penilaian manusia.
Eksperimen berjalan pada beberapa model open-source, termasuk GPT-2, Llama 3.2, dan Gemma 2. Studi menemukan vektor internal yang berbeda untuk kategori plausibilitas dan vektor ini mencerminkan ketidakpastian manusia. Vektor mulai muncul pada model yang lebih besar, dan hasilnya dapat membantu pengembangan model yang lebih cerdas dan dapat dipercaya.
Kata-kata sulit
- membedakan — mengenali perbedaan antara dua atau lebih hal
- omong kosong — ucapan atau teks tanpa kebenaran atau logika
- menyandi — mengubah informasi menjadi bentuk lain yang tersimpan
- mempresentasikan — menyampaikan hasil penelitian kepada publik atau forumdipresentasikan
- interpretabilitas mekanistik — cara menjelaskan bagian dalam model secara matematis
- vektor — representasi numerik yang mewakili informasi
- plausibilitas — tingkat kemungkinan atau kelayakan suatu peristiwa
- ketidakpastian — keadaan tidak yakin tentang hasil atau fakta
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Apakah menurut Anda penting model bisa membedakan peristiwa yang mustahil dari yang hanya tidak mungkin? Mengapa?
- Bagaimana hasil penelitian tentang vektor dan ketidakpastian bisa memengaruhi kepercayaan masyarakat pada model bahasa?
- Jika model dilatih pada teks yang berisi banyak omong kosong, apa langkah yang sebaiknya dilakukan pengembang untuk meningkatkan keandalan model?
Artikel terkait
Peneliti Pakai Pola Kelompok Burung untuk Kurangi Halusinasi AI
Peneliti mengembangkan langkah pra-proses yang menata kalimat seperti kelompok burung sebelum AI membuat ringkasan. Cara ini mengurangi kesalahan fakta pada ringkasan, tetapi tidak sepenuhnya menghilangkan risiko halusinasi.
Pendidik Minta Evolusi Dikembalikan ke Buku Teks di India
Pendidik sains di India meminta pemerintah mengembalikan materi evolusi yang dihapus dari buku pelajaran. Penghapusan dilakukan oleh NCERT untuk meringankan beban belajar setelah pandemi, dan ratusan ilmuwan menolak keputusan itu.