Un gruppo di ricercatori di Brown University ha indagato se i modelli di linguaggio hanno una qualche forma di comprensione del mondo reale. Il lavoro, guidato dal dottorando Michael Lepori, è stato presentato all'International Conference on Learning Representations a Rio de Janeiro.
Il team ha creato un esperimento con frasi che descrivevano eventi comuni, improbabili, impossibili o privi di senso — ad esempio raffreddare una bevanda con ghiaccio, con neve, con il fuoco o con "ieri" — e ha analizzato gli stati matematici interni prodotti dall'AI tramite interpretabilità meccanicistica.
Gli esperimenti su diversi modelli open-source, tra cui GPT-2, Llama 3.2 e Gemma 2, hanno mostrato che modelli sufficientemente grandi sviluppano vettori interni distinti per le categorie di plausibilità. Questi vettori distinguono categorie simili e corrispondono ai giudizi umani; lo studio riporta un'accuratezza di circa 85% in alcuni confronti. I vettori emergono in modelli con oltre 2 miliardi di parametri.
Parole difficili
- modello di linguaggio — sistema di intelligenza artificiale che genera testomodelli di linguaggio
- indagare — esaminare con metodo per trovare informazioniindagato
- interpretabilità meccanicistica — analisi che spiega come funziona internamente un modello
- vettore — rappresentazione numerica usata dentro il modellovettori
- plausibilità — grado di verosimiglianza o probabilità di un evento
- parametro — valore numerico che regola il funzionamento del modelloparametri
- accuratezza — misura di precisione o correttezza dei risultati
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Secondo te, i modelli di linguaggio possono davvero comprendere il mondo reale? Spiega brevemente.
- Hai mai visto un assistente virtuale rispondere in modo illogico o strano? Racconta un esempio corto.
- Quali benefici pratici potrebbero avere modelli che distinguono la plausibilità degli eventi?
Articoli correlati
Una mappa biologica collega cellule e reti cerebrali
Un nuovo studio su Nature Communications combina immagini cerebrali, dati genetici e mappe molecolari per mostrare come l’organizzazione cellulare sostenga le reti viste con la fMRI. I risultati possono aiutare a capire depressione, schizofrenia e Alzheimer.
I modelli linguistici cambiano giudizio se conoscono l'autore
Ricercatori dell'University of Zurich mostrano che i grandi modelli linguistici valutano diversamente lo stesso testo quando viene indicata l'identità dell'autore. Lo studio rileva pregiudizi nascosti, incluso un forte bias anti‑cinese.
L'IA può apprendere valori culturali osservando le persone
Uno studio della University of Washington ha testato se l'intelligenza artificiale può imparare valori culturali osservando il comportamento umano. Agenti addestrati su dati di due gruppi hanno mostrato differenze nel comportamento altruistico.
Una nuova cassetta per la fermentazione del cacao a Kasawo
A Kasawo, a nord di Kampala, una cassetta singola per la fermentazione del cacao migliora la qualità dei semi e aumenta i ricavi degli agricoltori. Il progetto è più accessibile e favorisce vendite dirette ed esportazioni.
Come le relazioni influenzano i ricordi d'infanzia
Uno studio della Michigan State University su quasi 1,000 giovani adulti emergenti mostra che i ricordi di esperienze avverse dell'infanzia sono per lo più stabili, ma variano quando cambia la qualità delle relazioni, soprattutto con i genitori.