Riset baru yang diterbitkan di Nature Neuroscience mengeksplorasi apakah prediksi bahasa di otak menyerupai cara kerja model bahasa besar (LLM). Penulis, termasuk David Poeppel, melaporkan bahwa otak tampaknya memprediksi kata dengan memperhatikan potongan tata bahasa yang lebih luas — konstituen atau frasa — alih-alih sekadar probabilitas kata berikutnya yang dipakai LLM.
Penelitian ini melibatkan eksperimen pada penutur bahasa Mandarin dan rekaman magnetoensefalografi (MEG). Tim juga menggunakan tes Cloze, di mana kata dihilangkan dari teks agar peserta mengisi bagian kosong, serta menganalisis data otak tambahan dari pasien yang terekspos bahasa Inggris untuk melihat apakah pola ini berlaku lintas bahasa.
Untuk membandingkan prediksi, para peneliti memakai LLM dan menghitung dua ukuran: entropi, yang menunjukkan berapa banyak kemungkinan kata berikutnya, dan surprisal, yang menunjukkan seberapa tak terduganya sebuah kata dalam konteks. Contoh yang digunakan menjelaskan perbedaan konteks dan keterdugaan kata.
- Jika otak bekerja seperti LLM, korelasi otak-model akan seragam tinggi.
- Sebenarnya, respons otak berbeda menurut posisi kata dalam struktur gramatikal.
- Temuan menunjukkan otak peka terhadap konstituen saat membuat prediksi.
Kesimpulannya, model komputasional tidak sepenuhnya mencerminkan kepekaan struktur konstituen di otak, sehingga hasil ini membuka pertanyaan baru tentang hubungan antara proses otak dan model bahasa.
Kata-kata sulit
- konstituen — bagian frasa yang membentuk struktur tata bahasa
- magnetoensefalografi — cara merekam aktivitas otak dengan medan magnet
- tes Cloze — uji di mana kata dihilangkan dari teks
- entropi — ukuran jumlah kemungkinan hasil atau kata
- surprisal — ukuran seberapa tak terduga sebuah kata
- korelasi — hubungan statistik antara dua ukuran atau sinyal
- kepekaan — kemampuan merespon atau mendeteksi rangsangan tertentu
Tips: arahkan kursor, fokus, atau ketuk kata yang disorot di dalam teks untuk melihat definisi singkat sambil membaca atau mendengarkan.
Pertanyaan diskusi
- Bagaimana temuan bahwa otak peka terhadap konstituen dapat mempengaruhi pengembangan model bahasa di masa depan?
- Apakah analisis pada penutur Mandarin dan data pasien terpapar bahasa Inggris sudah cukup untuk menyimpulkan pola lintas bahasa? Jelaskan alasanmu.
- Metode seperti MEG dan tes Cloze memberikan jenis bukti apa tentang prediksi bahasa di otak? Berikan contoh kelebihan atau keterbatasannya.
Artikel terkait
Peneliti Temukan Kerentanan di Pengelola Kata Sandi Cloud
Peneliti ETH Zurich menguji tiga pengelola kata sandi berbasis cloud dan menemukan beberapa serangan yang dapat mengakses atau mengubah kata sandi pengguna. Mereka memberi penyedia waktu untuk memperbaiki dan memberi rekomendasi keamanan.
Pusat Data, AI, dan Tekanan Terhadap Pasokan Air di Batam
Pertumbuhan AI mendorong pembangunan pusat data di Indonesia dan kebutuhan infrastruktur. Di Batam, banyak fasilitas baru memicu kekhawatiran tentang pasokan air dan protes warga; pembuat kebijakan mendapat tekanan untuk menyeimbangkan pertumbuhan dan keberlanjutan.