Un team dell'University of Zurich guidato da Federico Germani e Giovanni Spitale ha studiato se e come l'identità attribuita a un autore cambi le valutazioni dei grandi modelli linguistici. Lo studio ha coinvolto quattro LLM molto usati — OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 e Mistral — e ha seguito una procedura sistematica: ogni modello ha generato 50 enunciati narrativi su 24 argomenti controversi, quindi i modelli hanno valutato quegli stessi enunciati in condizioni diverse. In totale sono state raccolte 192’000 valutazioni per l'analisi.
I risultati mostrano che, senza informazioni sull'autore, l'accordo tra sistemi era molto alto (oltre il 90%). Aggiungendo fonti fittizie è però emerso un pregiudizio profondo: l'accordo è calato bruscamente e talvolta è scomparso, pur restando identico il testo. Il caso più evidente è stato un forte bias anti‑cinese in tutti i modelli, incluso Deepseek, che è cinese; per esempio, su temi come la sovranità di Taiwan Deepseek ha ridotto l'accordo fino al 75% perché si aspettava un'opinione diversa da una persona cinese.
Lo studio segnala inoltre una tendenza generale: i modelli tendono a fidarsi di più degli autori umani rispetto ad altre AI, attribuendo punteggi di accordo leggermente inferiori quando pensano che il testo sia scritto da un altro modello. I ricercatori avvertono che questi pregiudizi possono influenzare la moderazione dei contenuti, le assunzioni, le revisioni accademiche e il giornalismo. Germani e Spitale chiedono trasparenza e governance e raccomandano di usare gli LLM per assistere il ragionamento, non per sostituirlo: «assistenti utili, ma mai giudici.»
- Modelli analizzati: OpenAI o3-mini
- Deepseek Reasoner
- xAI Grok 2
- Mistral
La ricerca è apparsa in Science Advances. Fonte: University of Zurich.
Parole difficili
- identità — insieme delle caratteristiche attribuite a una persona
- valutazione — giudizio o misurazione su qualità o contenutovalutazioni
- pregiudizio — opinione negativa non basata su fatti
- accordo — grado di intesa tra persone o sistemil'accordo
- fonte — luogo o documento che fornisce informazionefonti
- moderazione — controllo e gestione dei contenuti pubblicati online
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Quali conseguenze pratiche possono avere questi pregiudizi dei modelli, secondo l'articolo?
- Perché gli autori chiedono trasparenza e governance per gli LLM?
- Secondo lo studio, come dovrebbero essere usati gli LLM e perché?
Articoli correlati
Perché i modelli faticano a moltiplicare numeri a quattro cifre
Una ricerca spiega che i modelli linguistici non conservano valori intermedi necessari per moltiplicare numeri a quattro cifre. Un metodo chiamato ICoT e un obiettivo di addestramento mirato migliorano molto i risultati.
Audio da articoli scientifici: cosa mostra NotebookLM
Ricercatori hanno trasformato tre articoli sul vulcanismo marziano in riassunti audio con NotebookLM di Google. Le panoramiche sono chiare e utili per l'insegnamento, ma contengono errori; gli autori raccomandano di verificare sempre le fonti originali.
Nuovi strumenti AI per diagnosticare e monitorare la tubercolosi
Ricercatori hanno mostrato a Copenhagen, dal 18 al 21 novembre, diversi strumenti basati su intelligenza artificiale per rilevare e seguire la tubercolosi. Gli studi includono analisi del respiro, riconoscimento della tosse, mappatura della vulnerabilità e radiografie pediatriche.