Para peneliti menguji apakah model bahasa yang dilatih pada teks internet dapat membedakan peristiwa yang umum, tidak mungkin, mustahil, atau tidak masuk akal. Teks pelatihan berisi campuran fakta, kesalahan, dan omong kosong, sehingga kemampuan model untuk memahami dunia nyata tidak otomatis jelas.
Penelitian dilakukan oleh tim dari Brown University dan dipresentasikan pada Konferensi Internasional tentang Representasi Pembelajaran (ICLR) di Rio de Janeiro. Michael Lepori, kandidat PhD yang memimpin studi, mengatakan ada bukti bahwa model telah menyandi sesuatu seperti kendala kausal dunia nyata. Untuk menyelidiki hal itu, peneliti menggunakan interpretabilitas mekanistik untuk memeriksa keadaan matematis internal model, yang mereka bandingkan dengan penilaian manusia.
Eksperimen berjalan pada beberapa model open-source, termasuk GPT-2, Llama 3.2, dan Gemma 2. Studi menemukan vektor internal yang berbeda untuk kategori plausibilitas dan vektor ini mencerminkan ketidakpastian manusia. Vektor mulai muncul pada model yang lebih besar, dan hasilnya dapat membantu pengembangan model yang lebih cerdas dan dapat dipercaya.
Kata-kata sulit
- membedakan — mengenali perbedaan antara dua atau lebih hal
- omong kosong — ucapan atau teks tanpa kebenaran atau logika
- menyandi — mengubah informasi menjadi bentuk lain yang tersimpan
- mempresentasikan — menyampaikan hasil penelitian kepada publik atau forumdipresentasikan
- interpretabilitas mekanistik — cara menjelaskan bagian dalam model secara matematis
- vektor — representasi numerik yang mewakili informasi
- plausibilitas — tingkat kemungkinan atau kelayakan suatu peristiwa
- ketidakpastian — keadaan tidak yakin tentang hasil atau fakta
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Apakah menurut Anda penting model bisa membedakan peristiwa yang mustahil dari yang hanya tidak mungkin? Mengapa?
- Bagaimana hasil penelitian tentang vektor dan ketidakpastian bisa memengaruhi kepercayaan masyarakat pada model bahasa?
- Jika model dilatih pada teks yang berisi banyak omong kosong, apa langkah yang sebaiknya dilakukan pengembang untuk meningkatkan keandalan model?
Artikel terkait
Alat Komputasi Baru Ungkap Sel Pengatur Jam Tubuh
Para peneliti mengembangkan metode komputasi bernama MITE untuk memetakan komunikasi antar sel di nukleus suprachiasmatik (SCN), pusat ritme sirkadian. Temuan menunjukkan sel hub kecil sangat penting untuk sinkroni jaringan dan mungkin membantu menyelaraskan jam biologis.
Bonobo Dapat Berpura-pura dan Membayangkan Benda
Peneliti melaporkan kera besar bisa berimajinasi dan berpura-pura. Temuan dari tiga percobaan terkontrol dengan bonobo Kanzi, dipublikasikan di Science, menunjukkan kemampuan ini mungkin berasal dari leluhur bersama 6–9 juta tahun lalu.
Hubungan Saat Ini Mempengaruhi Ingatan Masa Kecil
Penelitian mengikuti hampir 1.000 orang dewasa yang diwawancarai tiga kali selama dua bulan tentang pengalaman buruk sebelum usia 18. Hasil menunjukkan kualitas hubungan sekarang, terutama dengan orang tua, memengaruhi pelaporan ingatan masa kecil.
Sarung Tangan Sekali Pakai Bisa Menyebabkan Perkiraan Mikroplastik Berlebih
Peneliti University of Michigan menemukan lapisan pada sarung tangan sekali pakai yang melepaskan partikel mirip mikroplastik. Partikel ini dapat mencemari peralatan pengukuran dan membuat jumlah mikroplastik terlihat lebih tinggi.