Un equipo de Brown University presentó en la International Conference on Learning Representations en Río de Janeiro un estudio sobre si los modelos de lenguaje codifican conocimientos del mundo real. Michael Lepori, quien lideró la investigación, afirma que hallaron evidencia de que los modelos registran restricciones causales del mundo real y que esas representaciones predicen juicios humanos.
El experimento mostró oraciones con distinta plausibilidad, por ejemplo enfriar una bebida con hielo, con nieve, con fuego o con "ayer". Los investigadores analizaron los estados matemáticos internos mediante interpretabilidad mecanicista, un enfoque que busca entender qué codifica el modelo.
Probaron varios modelos de código abierto y hallaron que los modelos suficientemente grandes desarrollaron vectores internos que corresponden a categorías de plausibilidad. Estos vectores podían distinguir categorías similares con aproximadamente 85% de precisión y reflejaron la incertidumbre humana en enunciados ambiguos.
Palabras difíciles
- codificar — Guardar información en una forma internacodifican, codifica
- restricción — Regla o límite que controla una situaciónrestricciones
- plausibilidad — Grado en que algo parece posible o razonable
- interpretabilidad — Capacidad de explicar lo que hace un sistema
- vector — Lista de números que representa información internavectores
- incertidumbre — Falta de seguridad sobre un resultado o idea
Consejo: pasa el cursor, enfoca o toca las palabras resaltadas en el artículo para ver definiciones rápidas mientras lees o audicións.
Preguntas de discusión
- ¿Qué ventajas y riesgos ves si los modelos de lenguaje usan representaciones que predicen juicios humanos? Explica en dos o tres frases.
- Propón un ejemplo simple, similar al experimento (como enfriar una bebida), que usarías para probar la plausibilidad con un modelo de lenguaje. Describe qué oraciones mostrarías.
Artículos relacionados
La emoción y la memoria: cómo el cerebro hace perdurar recuerdos
Investigadores usaron escáneres cerebrales y varias medidas de excitación para entender por qué los recuerdos con carga emocional se guardan mejor. El estudio, liderado por Jadyn Park, muestra que la emoción integra redes cerebrales y fortalece la memoria.
Imágenes directas de dos novas muestran flujos y retrasos
Astrónomos consiguieron imágenes directas de dos novas poco después de sus erupciones usando interferometría en CHARA. Vieron flujos múltiples y una expulsión retrasada; además, las eyecciones relacionan los choques con rayos gamma detectados por Fermi.
Simulaciones cuánticas muestran cómo la luz UV altera el hielo
Investigadores usaron simulaciones de mecánica cuántica para entender cómo la luz ultravioleta cambia la química del hielo. Los resultados ayudan a explicar experimentos antiguos y tienen implicaciones para el permafrost y lunas heladas.
Por qué los modelos fallan al multiplicar números largos
Una investigación analiza por qué modelos de lenguaje no pueden multiplicar números de varias cifras. Compararon el ajuste fino estándar con un método llamado cadena de pensamiento implícita (ICoT), que sí aprendió a guardar cálculos intermedios.