Taalmodellen leren plausibiliteit van gebeurtenissen ^{CEFR B1}

Wetenschappers van Brown University presenteerden op een conferentie in Rio de Janeiro een studie over hoe taalmodellen omgaan met plausibiliteit. Michael Lepori, promovendus aan Brown, zegt dat het werk aanwijzingen geeft dat modellen iets coderen wat lijkt op causale beperkingen uit de echte wereld.

Het team gebruikte zinnen zoals “Iemand koelde een drankje met ijs”, “…met sneeuw”, “…met vuur” en “…met gisteren” en analyseerde de interne wiskundige toestanden van verschillende open-source modellen, waaronder GPT-2, Llama 3.2 en Gemma 2. Ze vonden dat voldoende grote modellen afzonderlijke vectoren ontwikkelden die plausibiliteitscategorieën aangeven.

De onderzoekers rapporteerden dat die vectoren vergelijkbare categorieën konden onderscheiden met ongeveer 85% nauwkeurigheid en dat de vectoren beginnen te verschijnen in modellen met meer dan 2 miljard parameters. Dit kan de begrijpelijkheid en betrouwbaarheid van toekomstige modellen verbeteren.