Les LLM jugent différemment selon l'auteur indiqué ^{CEFR B2}

Des chercheurs de l'Université de Zurich ont étudié l'effet de l'identité d'auteur sur les jugements des grands modèles de langage (LLM). Ils ont testé quatre systèmes larges : OpenAI o3‑mini, Deepseek Reasoner, xAI Grok 2 et Mistral. Chaque LLM a généré 50 énoncés narratifs couvrant 24 sujets controversés, dont les mandats de vaccination, la géopolitique et les politiques liées au changement climatique. Les textes ont ensuite été évalués dans plusieurs conditions — parfois sans source, parfois attribués à un humain d'une nationalité précise, parfois présentés comme écrits par un autre LLM — ce qui a donné 192’000 évaluations pour l'analyse.

Sans information sur l'auteur, les systèmes étaient très concordants : l'accord dépassait 90% sur l'ensemble des sujets. Mais l'ajout de sources fictives a révélé un biais profond et caché. L'accord entre systèmes a chuté fortement, parfois jusqu'à disparaître, alors que le texte restait identique. Le résultat le plus marquant est un fort biais anti‑chinois présent dans tous les modèles, y compris Deepseek, qui vient de Chine. Germani observe que « ce jugement moins favorable est apparu même lorsque l'argument était logique et bien rédigé ».

Sur des sujets géopolitiques, par exemple la souveraineté de Taïwan, Deepseek a réduit l'accord jusqu'à 75% simplement parce qu'il s'attendait à un point de vue différent d'une personne originaire de Chine. L'étude note aussi une tendance générale des LLM à faire plus confiance aux auteurs humains qu'aux autres IA : la plupart des modèles donnaient des scores d'accord légèrement inférieurs quand ils pensaient que le texte venait d'une autre IA. Spitale commente que « cela suggère une méfiance intégrée envers le contenu généré par des machines ».

Les chercheurs préviennent que ces biais cachés peuvent avoir des conséquences concrètes pour la modération de contenu, le recrutement, l'évaluation académique ou le journalisme si les systèmes tiennent compte de l'identité de l'auteur. Ils demandent davantage de transparence et de gouvernance, et recommandent d'utiliser les LLM pour aider le raisonnement plutôt que pour le remplacer. La recherche est publiée dans Science Advances (source : Université de Zurich).