Un gruppo di ricercatori di Brown University ha indagato se i modelli di linguaggio hanno una qualche forma di comprensione del mondo reale. Il lavoro, guidato dal dottorando Michael Lepori, è stato presentato all'International Conference on Learning Representations a Rio de Janeiro.
Il team ha creato un esperimento con frasi che descrivevano eventi comuni, improbabili, impossibili o privi di senso — ad esempio raffreddare una bevanda con ghiaccio, con neve, con il fuoco o con "ieri" — e ha analizzato gli stati matematici interni prodotti dall'AI tramite interpretabilità meccanicistica.
Gli esperimenti su diversi modelli open-source, tra cui GPT-2, Llama 3.2 e Gemma 2, hanno mostrato che modelli sufficientemente grandi sviluppano vettori interni distinti per le categorie di plausibilità. Questi vettori distinguono categorie simili e corrispondono ai giudizi umani; lo studio riporta un'accuratezza di circa 85% in alcuni confronti. I vettori emergono in modelli con oltre 2 miliardi di parametri.
Parole difficili
- modello di linguaggio — sistema di intelligenza artificiale che genera testomodelli di linguaggio
- indagare — esaminare con metodo per trovare informazioniindagato
- interpretabilità meccanicistica — analisi che spiega come funziona internamente un modello
- vettore — rappresentazione numerica usata dentro il modellovettori
- plausibilità — grado di verosimiglianza o probabilità di un evento
- parametro — valore numerico che regola il funzionamento del modelloparametri
- accuratezza — misura di precisione o correttezza dei risultati
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Secondo te, i modelli di linguaggio possono davvero comprendere il mondo reale? Spiega brevemente.
- Hai mai visto un assistente virtuale rispondere in modo illogico o strano? Racconta un esempio corto.
- Quali benefici pratici potrebbero avere modelli che distinguono la plausibilità degli eventi?
Articoli correlati
Un modello predice i microbi negli starter di pane
Una ricerca della Tufts University usa starter di pane a lievitazione naturale per capire come convivono i microbi. Un modello basato su misure di singoli e coppie ha previsto molte comunità, migliorando quando si è aggiunto il ciclo reale dello starter.
