Un estudio publicado en Nature Neuroscience investiga si los procesos de predicción del lenguaje en el cerebro se asemejan a los de los grandes modelos de lenguaje (LLMs). Los autores encuentran que la predicción humana está modulada por fragmentos organizados gramaticalmente: el cerebro anticipa grupos o constituyentes, no únicamente la siguiente palabra. El coautor David Poeppel resume que, mientras los LLMs se optimizan para la siguiente palabra, el cerebro hace predicciones agrupando palabras en frases.
La investigación combinó varios métodos. Se realizaron experimentos con hablantes de mandarín y se registró la actividad cerebral con magnetoencefalografía (MEG). También se aplicaron pruebas Cloze, en las que se ocultan palabras para que los participantes las rellenen, y se analizaron datos de pacientes expuestos al inglés para comprobar la aplicación entre idiomas. Además, se emplearon LLMs para cuantificar predictibilidad mediante entropía y sorpresa.
- Entropía: el contexto admite muchas palabras posibles (p. ej. tras «Vi un»).
- Sorpresa: una palabra es inesperada en el contexto (p. ej. «gato» tras «Me senté en un»).
Al comparar las predicciones de los modelos con las respuestas cerebrales, los autores observaron que, si el cerebro funcionara igual que un LLM, las correlaciones serían uniformemente altas. Sin embargo, la actividad cerebral varía según la posición de la palabra en la estructura gramatical, lo que sugiere sensibilidad a constituyentes. Los resultados plantean nuevas preguntas sobre cómo se relacionan los modelos computacionales y los procesos cerebrales del lenguaje.
Palabras difíciles
- predicción — Proceso de anticipar información futura en lenguaje.predicciones
- constituyente — Unidad lingüística formada por varias palabras.constituyentes
- magnetoencefalografía — Técnica que registra actividad magnética cerebral.
- entropía — Medida de cuántas continuaciones son posibles.
- sorpresa — Grado de inesperado de una palabra.
- correlación — Relación estadística entre dos señales o variables.correlaciones
- predictibilidad — Facilidad para anticipar qué palabra seguirá.
Consejo: pasa el cursor, enfoca o toca las palabras resaltadas en el artículo para ver definiciones rápidas mientras lees o audicións.
Preguntas de discusión
- ¿Qué limitaciones tienen, según el artículo, los grandes modelos de lenguaje para explicar los procesos cerebrales del lenguaje? Da razones basadas en el texto.
- ¿Por qué crees que los autores usaron hablantes de mandarín y datos de pacientes en inglés? ¿Qué aporta esa diversidad de idiomas a los resultados?
- Si el cerebro anticipa constituyentes y no solo la siguiente palabra, ¿qué implicaciones podría tener eso para la enseñanza de lenguas o para diseñar modelos de IA?
Artículos relacionados
Estudio sobre la enseñanza en línea en China durante el confinamiento de 2020
Investigadores analizaron cómo el cambio rápido a clases en línea durante el confinamiento por COVID-19 afectó a estudiantes universitarios en China. Los resultados varían por materia y por las políticas locales.
Investigadores encuentran circuito cerebral que facilita cambiar estrategias
Científicos de UC Riverside mapearon un circuito del tronco cerebral —centrado en el locus coeruleus— que ayuda a abandonar reglas antiguas y adoptar otras nuevas. Alterar ese circuito dificultó el cambio en ratones y aumentó el ruido cortical.
Modelos de IA distinguen sucesos reales y improbables
Investigadores estudiaron si los modelos de lenguaje por IA entienden la plausibilidad de sucesos. Encontraron vectores internos que distinguen entre hechos comunes, sucesos improbables, imposibles y enunciados sin sentido, y que coinciden con juicios humanos.