Языковые модели меняют оценки текстов по автору ^{CEFR B2}

Учёные из University of Zurich изучили, как большая языковая модель меняет оценку текста в зависимости от приписанного автора. Федерико Джерманни и Джованни Спитале протестировали четыре широко используемые LLM — OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 и Mistral. Для анализа каждая модель сгенерировала по пятьдесят повествовательных утверждений по 24 спорным темам, включая обязательную вакцинацию, геополитику и климатическую политику. Затем утверждения оценивали в разных условиях авторства; всего собрано 192'000 оценок.

При отсутствии информации о источнике согласие между моделями превышало 90%. Однако при указании вымышленного автора согласие резко падало и иногда исчезало, хотя сам текст оставался тем же. Исследование выявило глубокую скрытую предвзятость; наиболее заметна была антикитайская предвзятость во всех моделях, включая китайскую Deepseek. В геополитических темах, например о суверенитете Тайваня, Deepseek снижал согласие до 75%, ожидая, что «человек из Китая» будет придерживаться другого мнения.

Также было обнаружено, что модели склонны больше доверять текстам, приписанным людям, чем текстам, которые они считают созданными другим ИИ: оценки согласия немного снижаются, если автор — другая модель. Авторы предупреждают, что такие скрытые предубеждения важны для практических приложений — модерации, найма, академического рецензирования и журналистики — и настаивают на прозрачности и управлении. Они рекомендуют использовать LLM как полезных помощников в рассуждении, но не как окончательных судей. Исследование опубликовано в Sciences Advances. Источник: University of Zurich.