Un equipo de Brown University presentó en la International Conference on Learning Representations en Río de Janeiro un estudio sobre si los modelos de lenguaje codifican conocimientos del mundo real. Michael Lepori, quien lideró la investigación, afirma que hallaron evidencia de que los modelos registran restricciones causales del mundo real y que esas representaciones predicen juicios humanos.
El experimento mostró oraciones con distinta plausibilidad, por ejemplo enfriar una bebida con hielo, con nieve, con fuego o con "ayer". Los investigadores analizaron los estados matemáticos internos mediante interpretabilidad mecanicista, un enfoque que busca entender qué codifica el modelo.
Probaron varios modelos de código abierto y hallaron que los modelos suficientemente grandes desarrollaron vectores internos que corresponden a categorías de plausibilidad. Estos vectores podían distinguir categorías similares con aproximadamente 85% de precisión y reflejaron la incertidumbre humana en enunciados ambiguos.
Palabras difíciles
- codificar — Guardar información en una forma internacodifican, codifica
- restricción — Regla o límite que controla una situaciónrestricciones
- plausibilidad — Grado en que algo parece posible o razonable
- interpretabilidad — Capacidad de explicar lo que hace un sistema
- vector — Lista de números que representa información internavectores
- incertidumbre — Falta de seguridad sobre un resultado o idea
Consejo: pasa el cursor, enfoca o toca las palabras resaltadas en el artículo para ver definiciones rápidas mientras lees o audicións.
Preguntas de discusión
- ¿Qué ventajas y riesgos ves si los modelos de lenguaje usan representaciones que predicen juicios humanos? Explica en dos o tres frases.
- Propón un ejemplo simple, similar al experimento (como enfriar una bebida), que usarías para probar la plausibilidad con un modelo de lenguaje. Describe qué oraciones mostrarías.
Artículos relacionados
Temporizadores moleculares controlan la formación de recuerdos
Un estudio de Rockefeller University muestra que una cascada de temporizadores moleculares en varias regiones del cerebro, incluido el tálamo, regula si las impresiones a corto plazo se convierten en recuerdos a largo plazo.
Fertilizante de mosca soldado negro ayuda a agricultores en Mzimba
En Mzimba, Malawi, investigadores y agricultores desarrollaron un fertilizante orgánico con estiércol de la mosca soldado negro, biocarbón y posos de café. Las pruebas en plátanos muestran mejoras y el proyecto busca una alternativa barata a los fertilizantes sintéticos.
