ИИ, который понимает, почему работают заголовки ^{CEFR B1}

Исследование, проведённое Тонг Ваном и К. Судхиром при участии докторанта Хэнгуанга Чжоу, показало, что генеративный ИИ даёт лучший и более надёжный контент, если он не просто копирует «победившие» заголовки, а пытается понять, почему они работают. Авторы отмечают риск обучения модели только на выигравших вариантах: это может привести к кликбейту и упору на поверхностные слова.

В качестве решения они предложили LLM, который генерирует конкурирующие гипотезы о причинах вовлечения, затем проверяет эти гипотезы на данных и выделяет верифицированные объяснения. Модель дообучали так, чтобы она максимально увеличивала вовлечение «по правильным причинам», а не за счёт сенсационных сигналов.

Для эксперимента использовали набор заголовков от Upworthy и проверяли качество заголовков с помощью модели скоринга, основанной на результатах A/B-тестов. В тестах с людьми новая модель выбиралась чаще, чем стандартные ИИ-заголовки и оригиналы.