Cómo una IA aprende por qué funcionan los titulares ^{CEFR B2}

Un equipo liderado por Tong Wang y K. Sudhir, con el asociado predoctoral Hengguang Zhou, propone un enfoque para que la inteligencia artificial aprenda explicaciones sobre por qué ciertos titulares funcionan. Los autores analizan las pruebas A/B, en las que se comparan dos versiones de un titular para ver cuál logra más clics, y advierten que entrenar un modelo solo con los titulares ganadores puede fomentar lenguaje sensacionalista en lugar de comprensión real.

Trabajaron con 23,000 titulares que describen 4,500 artículos de Upworthy. Alimentaron parte de esos datos a un modelo de lenguaje grande (LLM) que genera hipótesis competidoras y las valida con muestras de datos. Además usaron un modelo de puntuación preentrenado, basado en los resultados A/B de Upworthy, para medir la calidad de los titulares durante la evaluación.

Tras extraer un conjunto pequeño de hipótesis validadas, afinóron el LLM para maximizar el engagement por las razones correctas. En una prueba con unas 150 personas, los titulares humanos y los de IA estándar fueron elegidos aproximadamente en 30% de los casos, mientras que el nuevo marco fue elegido en 44% de las ocasiones. El análisis mostró que la IA estándar dependía más del lenguaje sensacionalista.

El método refleja el razonamiento científico —abducción para proponer explicaciones y luego inducción para probarlas— y los autores indican aplicaciones potenciales, por ejemplo coaching personalizado por IA para agentes de atención al cliente. También sugieren que las entradas de datos pueden incluir texto, audio o información visual. Concluyen que la IA guiada por conocimiento puede mejorar el contenido y hacer los sistemas más responsables y confiables.