I modelli linguistici cambiano giudizio se conoscono l'autore ^{CEFR B2}

Un team dell'University of Zurich guidato da Federico Germani e Giovanni Spitale ha studiato se e come l'identità attribuita a un autore cambi le valutazioni dei grandi modelli linguistici. Lo studio ha coinvolto quattro LLM molto usati — OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 e Mistral — e ha seguito una procedura sistematica: ogni modello ha generato 50 enunciati narrativi su 24 argomenti controversi, quindi i modelli hanno valutato quegli stessi enunciati in condizioni diverse. In totale sono state raccolte 192’000 valutazioni per l'analisi.

I risultati mostrano che, senza informazioni sull'autore, l'accordo tra sistemi era molto alto (oltre il 90%). Aggiungendo fonti fittizie è però emerso un pregiudizio profondo: l'accordo è calato bruscamente e talvolta è scomparso, pur restando identico il testo. Il caso più evidente è stato un forte bias anti‑cinese in tutti i modelli, incluso Deepseek, che è cinese; per esempio, su temi come la sovranità di Taiwan Deepseek ha ridotto l'accordo fino al 75% perché si aspettava un'opinione diversa da una persona cinese.

Lo studio segnala inoltre una tendenza generale: i modelli tendono a fidarsi di più degli autori umani rispetto ad altre AI, attribuendo punteggi di accordo leggermente inferiori quando pensano che il testo sia scritto da un altro modello. I ricercatori avvertono che questi pregiudizi possono influenzare la moderazione dei contenuti, le assunzioni, le revisioni accademiche e il giornalismo. Germani e Spitale chiedono trasparenza e governance e raccomandano di usare gli LLM per assistere il ragionamento, non per sostituirlo: «assistenti utili, ma mai giudici.»

• Modelli analizzati: OpenAI o3-mini
• Deepseek Reasoner
• xAI Grok 2
• Mistral

La ricerca è apparsa in Science Advances. Fonte: University of Zurich.