Wetenschappers van Brown University presenteerden op een conferentie in Rio de Janeiro een studie over hoe taalmodellen omgaan met plausibiliteit. Michael Lepori, promovendus aan Brown, zegt dat het werk aanwijzingen geeft dat modellen iets coderen wat lijkt op causale beperkingen uit de echte wereld.
Het team gebruikte zinnen zoals “Iemand koelde een drankje met ijs”, “…met sneeuw”, “…met vuur” en “…met gisteren” en analyseerde de interne wiskundige toestanden van verschillende open-source modellen, waaronder GPT-2, Llama 3.2 en Gemma 2. Ze vonden dat voldoende grote modellen afzonderlijke vectoren ontwikkelden die plausibiliteitscategorieën aangeven.
De onderzoekers rapporteerden dat die vectoren vergelijkbare categorieën konden onderscheiden met ongeveer 85% nauwkeurigheid en dat de vectoren beginnen te verschijnen in modellen met meer dan 2 miljard parameters. Dit kan de begrijpelijkheid en betrouwbaarheid van toekomstige modellen verbeteren.
Moeilijke woorden
- presenteren — aan het publiek iets laten zien of vertellenpresenteerden
- promovendus — iemand die aan een proefschrift werkt
- aanwijzing — bewijs of teken dat iets suggereertaanwijzingen
- causale beperking — regel die oorzaak en gevolg beschrijftcausale beperkingen
- plausibiliteit — hoe waarschijnlijk of logisch iets lijkt te zijn
- vector — rij van getallen die informatie voorsteltvectoren
- parameter — waarde die de werking van een model regeltparameters
- nauwkeurigheid — hoe dicht een resultaat bij het juiste ligt
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat modellen die plausibiliteit herkennen veiliger zijn voor gebruikers? Waarom wel of niet?
- Hoe zou het verbeteren van nauwkeurigheid het dagelijks gebruik van taalmodellen kunnen beïnvloeden?
- Welke voorbeelden zou jij testen om te zien of een model plausibel reageert?
Gerelateerde artikelen
Hoe UV-licht de chemie van ijs verandert
Wetenschappers bestudeerden met kwantummechanische simulaties hoe ultraviolette (UV) straling de chemie van ijs beïnvloedt. De resultaten verklaren oude waarnemingen en kunnen helpen bij voorspellingen over gasuitstoot uit ontdooiende permafrost.
Sociale media geven vroege signalen van ontheemding
Onderzoekers vinden dat berichten op sociale media vroegtijdige signalen kunnen geven van bevolkingsbewegingen tijdens crises. De studie onderzoekt methoden om te voorspellen wanneer en waar mensen verplaatsen en vergelijkt meerdere casussen en datasettypen.
Hersenen voorspellen woorden met grammaticale groepen
Nieuw onderzoek in Nature Neuroscience laat zien dat het menselijke brein komende woorden anticipeert door woorden in grammaticale groepen te organiseren, in plaats van alleen het volgende woord te voorspellen zoals veel AI-modellen doen.
