ИИ, который понимает, почему работают заголовки ^{CEFR B2}

Новое исследование Йельской школы менеджмента показывает: генеративный LLM, который учится не просто имитировать «победившие» заголовки, а объяснять, почему они работают, может создавать более вовлекающий и заслуживающий доверия контент. Авторы — Тонг Ван и К. Судхир при участии докторанта Хэнгуанга Чжоу — указывают на риск обучения только на «победителях»: модель начнёт эксплуатировать поверхностные сигналы, например сенсационные слова вроде «шокирующе», вместо понимания реальных причин кликов.

Исследователи разработали метод, близкий к научному рассуждению: сначала абдукция — LLM выдвигает несколько конкурирующих гипотез о том, почему один заголовок вовлекает больше, затем индукция — эти гипотезы проверяются на больших данных до появления валидационного набора верифицированных объяснений. После этого модель дообучают так, чтобы генерировать заголовки, максимизирующие вовлечение «по правильным причинам», а не за счёт эксплуатационных признаков.

В эксперименте использовали 23 000 заголовков, описывающих 4 500 статей от Upworthy; для оценки применяли предварительно обученную модель скоринга, основанную на результатах A/B-тестов. Система тестировали примерно на 150 человек, которым показывали три типа заголовков:

• оригинальные заголовки Upworthy,
• стандартные заголовки, сгенерированные ИИ,
• заголовки новой модели.

Человеческие и стандартные ИИ-заголовки выбирали лучшими примерно в 30% случаев; новая модель была выбрана в 44% случаев. Анализ показал, что стандартный ИИ сильнее опирался на сенсационные формулировки. Авторы утверждают, что подход может порождать знания в разных областях; Судхир отметил работу по созданию персонализированного ИИ-коучинга для агентов службы поддержки, где входные данные могут быть не только текстом, но и аудио или визуальной информацией. Исследователи заключают, что управляемый знаниями ИИ способен улучшать контент и делать системы более ответственными и заслуживающими доверия. Источник: Yale