Não dự đoán từ theo nhóm ngữ pháp ^{CEFR B2}

Nghiên cứu mới trên Nature Neuroscience so sánh cách não người dự đoán từ với cách hoạt động của các mô hình ngôn ngữ lớn. Các tác giả báo cáo rằng, thay vì dự đoán theo từng từ tiếp theo, não sử dụng các đơn vị ngôn ngữ lớn hơn — các khối được tổ chức theo ngữ pháp — khi hình thành kỳ vọng về từ sắp tới. David Poeppel, đồng tác giả, giải thích não nhóm các từ thành cụm ngữ pháp để dự đoán.

Nhóm nghiên cứu thực hiện một loạt thí nghiệm với người nói tiếng Quan Thoại và ghi hoạt động não bằng magnetoencephalography (MEG). Họ còn áp dụng bài kiểm tra Cloze, trong đó các từ trong đoạn văn được bỏ để người tham gia điền vào. Để kiểm chứng tính phổ quát giữa ngôn ngữ, đội cũng phân tích dữ liệu bổ sung từ bệnh nhân tiếp xúc tiếng Anh.

Để đánh giá khả năng dự đoán của mô hình, các nhà nghiên cứu dùng mô hình ngôn ngữ lớn và tính hai đại lượng: entropi, cho biết ngữ cảnh cho phép bao nhiêu lựa chọn tiếp theo, và độ bất ngờ (surprisal), cho biết một từ cụ thể có bất ngờ hay không trong ngữ cảnh. Nếu não vận hành giống mô hình, thì dữ liệu não và dự đoán mô hình sẽ có tương quan cao. Thay vào đó, phản ứng não thay đổi tùy theo vị trí của từ trong cấu trúc cú pháp, cho thấy độ nhạy với thành phần ngữ pháp mà các mô hình dự đoán từ tiếp theo không phản ánh đầy đủ. Kết quả đặt ra câu hỏi mới về mối quan hệ giữa quá trình ngôn ngữ trong não và các mô hình tính toán.