Un estudio comparó dos formas de entrenar modelos de lenguaje para multiplicar números largos. Los investigadores observaron que los modelos entrenados de forma estándar no guardan valores intermedios, por eso fallan en pasos largos.
El equipo probó un método llamado cadena de pensamiento implícita (ICoT). Con ICoT el modelo alcanzó 100% de precisión en la tarea, mientras que los modelos estándar tuvieron una precisión muy baja, por debajo del 1%.
También probaron añadir un objetivo de entrenamiento para que el modelo siga las sumas parciales. Al hacerlo, un modelo pequeño mejoró mucho y logró cerca del 99% de precisión.
Palabras difíciles
- método — Manera organizada para hacer algo
- precisión — Porcentaje de respuestas correctas en una tarea
- intermedio — Que está entre dos etapas o valoresintermedios
- cadena de pensamiento implícita — Secuencia de pasos internos en el razonamiento
- sumas parciales — Cálculos de sumas de partes de un problema
Consejo: pasa el cursor, enfoca o toca las palabras resaltadas en el artículo para ver definiciones rápidas mientras lees o escuchas.
Preguntas de discusión
- ¿Crees que es útil que un modelo guarde valores intermedios? ¿Por qué?
- ¿Te parece importante la precisión en una tarea de multiplicar? Explica en una frase.
- ¿Has usado o aprendido sumas parciales para resolver operaciones? Describe una vez breve.
Artículos relacionados
La restricción calórica mejora la respuesta a la insulina en ratas mayores
Un estudio con ratas de 24 meses mostró que reducir las calorías cambia las proteínas del músculo y mejora la captación de glucosa por la insulina. Muchas respuestas moleculares difieren entre machos y hembras.
Mejorar la seguridad en modelos de lenguaje
Investigadores de North Carolina State University estudiaron cómo mejorar el alineamiento de seguridad en modelos de lenguaje grande. Identificaron neuronas clave y probaron congelarlas al afinar para reducir salidas inseguras sin perder rendimiento.
Repensar lo humano en la inteligencia artificial
La artista Xonorika Kira critica la idea de 'centrar lo humano' en la inteligencia artificial porque excluye otras formas de conocimiento. Propone reconocer la interdependencia entre especies, tecnologías y planetas y cambiar cómo se usan datos y modelos.
