Ricercatori di Brown University hanno studiato se i moderni modelli di linguaggio capiscono il mondo reale. Il lavoro è stato presentato all'International Conference on Learning Representations a Rio de Janeiro, Brasile.
Per testare questa idea il gruppo ha proposto frasi con livelli diversi di plausibilità, per esempio: "Qualcuno ha raffreddato una bevanda con il ghiaccio", "...con la neve", "...con il fuoco" e "...con ieri". Hanno usato l'interpretabilità meccanicistica per vedere cosa succede negli stati interni del modello.
Gli esperimenti usavano modelli open-source come GPT-2, Llama 3.2 e Gemma 2. I modelli grandi mostravano segnali interni che corrispondevano ai giudizi umani e riflettevano incertezza su enunciati ambigui.
Parole difficili
- ricercatore — persona che fa studi scientificiRicercatori
- modello — programma o sistema che simula il linguaggiomodelli
- plausibilità — quanto qualcosa sembra probabile o sensato
- interpretabilità meccanicistica — metodo per capire cosa succede dentro un modello
- stato — condizione interna di un sistema o modellostati
- incertezza — mancanza di certezza su un fatto o idea
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Credi che i modelli di linguaggio possano capire il mondo reale? Perché?
- Hai mai usato un modello come GPT-2 o Llama? Cosa hai provato?
- Quale delle frasi d'esempio ti sembra più plausibile: con il ghiaccio, con la neve, con il fuoco o con ieri? Spiega.
Articoli correlati
Pterosauri: il volo nato in un rapido scatto evolutivo
Uno studio su fossili e tomografie indica che i pterosauri svilupparono il volo rapidamente all’origine del gruppo. I ricercatori hanno confrontato le cavità cerebrali dei pterosauri con quelle di parenti non volanti per capire le differenze.
L'IA può apprendere valori culturali osservando le persone
Uno studio della University of Washington ha testato se l'intelligenza artificiale può imparare valori culturali osservando il comportamento umano. Agenti addestrati su dati di due gruppi hanno mostrato differenze nel comportamento altruistico.
Eucarioti antichi vivevano sul fondale marino
Uno studio sui microfossili e sulle rocce del Northern Territory (Australia) tra 1,75 e 1,4 miliardi di anni fa mostra che i primi eucarioti apparivano soprattutto in fondali ossigenati, suggerendo un bisogno di ossigeno e vita sul sedimento.
Una mappa biologica collega cellule e reti cerebrali
Un nuovo studio su Nature Communications combina immagini cerebrali, dati genetici e mappe molecolari per mostrare come l’organizzazione cellulare sostenga le reti viste con la fMRI. I risultati possono aiutare a capire depressione, schizofrenia e Alzheimer.
L'Africa ha bisogno di più scienza per decidere e commerciare
Lise Korsten, presidente dell'African Academy of Sciences, avverte che la scarsa produzione di prove scientifiche in Africa ostacola decisioni, sicurezza alimentare ed esportazioni. L'AAS costruisce reti, promuove diplomazia scientifica e programmi per la diaspora.