Wetenschappers van Brown University presenteerden op een conferentie in Rio de Janeiro een studie over hoe taalmodellen omgaan met plausibiliteit. Michael Lepori, promovendus aan Brown, zegt dat het werk aanwijzingen geeft dat modellen iets coderen wat lijkt op causale beperkingen uit de echte wereld.
Het team gebruikte zinnen zoals “Iemand koelde een drankje met ijs”, “…met sneeuw”, “…met vuur” en “…met gisteren” en analyseerde de interne wiskundige toestanden van verschillende open-source modellen, waaronder GPT-2, Llama 3.2 en Gemma 2. Ze vonden dat voldoende grote modellen afzonderlijke vectoren ontwikkelden die plausibiliteitscategorieën aangeven.
De onderzoekers rapporteerden dat die vectoren vergelijkbare categorieën konden onderscheiden met ongeveer 85% nauwkeurigheid en dat de vectoren beginnen te verschijnen in modellen met meer dan 2 miljard parameters. Dit kan de begrijpelijkheid en betrouwbaarheid van toekomstige modellen verbeteren.
Moeilijke woorden
- presenteren — aan het publiek iets laten zien of vertellenpresenteerden
- promovendus — iemand die aan een proefschrift werkt
- aanwijzing — bewijs of teken dat iets suggereertaanwijzingen
- causale beperking — regel die oorzaak en gevolg beschrijftcausale beperkingen
- plausibiliteit — hoe waarschijnlijk of logisch iets lijkt te zijn
- vector — rij van getallen die informatie voorsteltvectoren
- parameter — waarde die de werking van een model regeltparameters
- nauwkeurigheid — hoe dicht een resultaat bij het juiste ligt
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat modellen die plausibiliteit herkennen veiliger zijn voor gebruikers? Waarom wel of niet?
- Hoe zou het verbeteren van nauwkeurigheid het dagelijks gebruik van taalmodellen kunnen beïnvloeden?
- Welke voorbeelden zou jij testen om te zien of een model plausibel reageert?
Gerelateerde artikelen
Nieuwe methode toont hoe griepvirussen cellen binnendringen
Onderzoekers zagen voor het eerst in hoge resolutie hoe influenzavirussen levende menselijke cellen binnendringen. Zij ontwikkelden een nieuwe microscoopmethode die real-time details toont en geschikt is voor onderzoek naar antivirale middelen.
Jonge mantaroggen dragen groepen vissen in kustwateren
Jonge Caribische mantaroggen in kustgebieden vormen vaak kleine, bewegende ecosystemen doordat andere vissen zich aan hen hechten of bij hen blijven. Onderzoekers bestudeerden videomateriaal en waarschuwen voor risico's door boten en vistuig.
Fluorescentie helpt celcyclus van Toxoplasma te begrijpen
Onderzoekers volgden met een aangepast fluorescerend afbeeldingssysteem de groei van Toxoplasma gondii in realtime. Ze vonden een eiwit, PCNA1, waarmee ze de celcyclus in kaart brachten en zoeken nu naar zwakke plekken voor medicijnen.
