Un equipo de Brown University presentó en la International Conference on Learning Representations en Río de Janeiro un estudio sobre si los modelos de lenguaje codifican conocimientos del mundo real. Michael Lepori, quien lideró la investigación, afirma que hallaron evidencia de que los modelos registran restricciones causales del mundo real y que esas representaciones predicen juicios humanos.
El experimento mostró oraciones con distinta plausibilidad, por ejemplo enfriar una bebida con hielo, con nieve, con fuego o con "ayer". Los investigadores analizaron los estados matemáticos internos mediante interpretabilidad mecanicista, un enfoque que busca entender qué codifica el modelo.
Probaron varios modelos de código abierto y hallaron que los modelos suficientemente grandes desarrollaron vectores internos que corresponden a categorías de plausibilidad. Estos vectores podían distinguir categorías similares con aproximadamente 85% de precisión y reflejaron la incertidumbre humana en enunciados ambiguos.
Palabras difíciles
- codificar — Guardar información en una forma internacodifican, codifica
- restricción — Regla o límite que controla una situaciónrestricciones
- plausibilidad — Grado en que algo parece posible o razonable
- interpretabilidad — Capacidad de explicar lo que hace un sistema
- vector — Lista de números que representa información internavectores
- incertidumbre — Falta de seguridad sobre un resultado o idea
Consejo: pasa el cursor, enfoca o toca las palabras resaltadas en el artículo para ver definiciones rápidas mientras lees o escuchas.
Preguntas de discusión
- ¿Qué ventajas y riesgos ves si los modelos de lenguaje usan representaciones que predicen juicios humanos? Explica en dos o tres frases.
- Propón un ejemplo simple, similar al experimento (como enfriar una bebida), que usarías para probar la plausibilidad con un modelo de lenguaje. Describe qué oraciones mostrarías.
Artículos relacionados
Líder indígena recibe premio por unir saberes y ciencia
Dzoodzo Baniwa, líder del Territorio Indígena Alto Río Negro en Amazonas, recibió un premio de la Fundación Bunge por su trabajo frente a la emergencia climática y por soluciones que combinan conocimiento indígena y práctica científica.
Microbios permiten saber la edad de las heces de termitas
Un estudio propone usar los microbios y su ADN en los pellets de termitas para distinguir excremento reciente de viejo. El método podría ofrecer una prueba rápida en el lugar para detectar infestaciones y evitar tratamientos innecesarios.
Menos contaminación en Asia y un calentamiento más rápido
Investigadores vinculan la caída de la contaminación por aerosoles en Asia oriental con una aceleración del calentamiento superficial global desde alrededor de 2010. El estudio y varios expertos explican causas, impactos regionales y necesidades de financiación.
