Un estudio comparó dos formas de entrenar modelos de lenguaje para multiplicar números largos. Los investigadores observaron que los modelos entrenados de forma estándar no guardan valores intermedios, por eso fallan en pasos largos.
El equipo probó un método llamado cadena de pensamiento implícita (ICoT). Con ICoT el modelo alcanzó 100% de precisión en la tarea, mientras que los modelos estándar tuvieron una precisión muy baja, por debajo del 1%.
También probaron añadir un objetivo de entrenamiento para que el modelo siga las sumas parciales. Al hacerlo, un modelo pequeño mejoró mucho y logró cerca del 99% de precisión.
Palabras difíciles
- método — Manera organizada para hacer algo
- precisión — Porcentaje de respuestas correctas en una tarea
- intermedio — Que está entre dos etapas o valoresintermedios
- cadena de pensamiento implícita — Secuencia de pasos internos en el razonamiento
- sumas parciales — Cálculos de sumas de partes de un problema
Consejo: pasa el cursor, enfoca o toca las palabras resaltadas en el artículo para ver definiciones rápidas mientras lees o escuchas.
Preguntas de discusión
- ¿Crees que es útil que un modelo guarde valores intermedios? ¿Por qué?
- ¿Te parece importante la precisión en una tarea de multiplicar? Explica en una frase.
- ¿Has usado o aprendido sumas parciales para resolver operaciones? Describe una vez breve.
Artículos relacionados
Estudio detecta fallos en gestores de contraseñas en la nube
Investigadores de ETH Zurich analizaron Bitwarden, LastPass y Dashlane y encontraron vulnerabilidades que permitían acceder o incluso cambiar contraseñas. Dieron 90 días para corregir y propusieron recomendaciones de seguridad.
TikTok y el clan en Somalia
Una investigación muestra que TikTok amplifica la identidad clanica en Somalia, aumenta la polarización y puede financiar conflictos como los de Laasanood en 2023. También hay creadores que promueven la paz y recomendaciones de moderación y educación digital.