Языковые модели меняют оценки текстов по автору ^{CEFR A2}

Федерико Джерманни и Джованни Спитале протестировали четыре большие модели: OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 и Mistral. Каждая модель сгенерировала по пятьдесят утверждений по 24 спорным темам, например обязательная вакцинация, геополитика и климатическая политика.

Затем модели оценивали те же тексты в разных условиях: без указания автора, с вымышленным человеком определённой национальности или с указанием другой модели. Всего исследователи собрали 192'000 оценок. Без информации об авторе согласие было выше 90%. Когда указывали автора, согласие резко падало. Авторы предупреждают о рисках для модерации контента и других сфер и просят больше прозрачности и контроля.