Языковые модели меняют оценки текстов по автору ^{CEFR B1}

Исследование из University of Zurich показывает: большие языковые модели меняют свои суждения о тексте, если им говорят, кто его написал. Исследователи Федерико Джерманни и Джованни Спитале протестировали четыре модели — OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 и Mistral. Каждая модель сгенерировала по пятьдесят повествовательных утверждений по 24 спорным темам, а затем оценивала эти утверждения в разных условиях.

Когда информация о источнике отсутствовала, модели в целом были согласны друг с другом — согласие превышало 90%. Но при назначении вымышленного автора согласие резко падало и иногда исчезало, хотя текст не менялся. Особенно заметна была антикитайская предвзятость во всех моделях, включая Deepseek. Deepseek снижал согласие в вопросах Тайваня до 75%, ожидая другую точку зрения у китайского автора.

Авторы предупреждают, что такие предубеждения могут повлиять на модерацию контента, найм, академическое рецензирование и журналистику. Они призывают к прозрачности и управлению и рекомендуют использовать модели как помощников в рассуждении, а не как судей.