Een team van onderzoekers onderzocht of moderne taalmodellen interne representaties hebben voor de plausibiliteit van gebeurtenissen. De studie, uitgevoerd door wetenschappers van Brown University en gepresenteerd op de International Conference on Learning Representations in Rio de Janeiro, analyseerde hoe modellen zinnen verwerken die gewone, onwaarschijnlijke, onmogelijke of onsamenhangende gebeurtenissen beschrijven.
Het experiment gebruikte voorbeelden zoals “Iemand koelde een drankje met ijs”, “Iemand koelde een drankje met sneeuw”, “Iemand koelde een drankje met vuur” en “Iemand koelde een drankje met gisteren.” Voor elke zin bestudeerden de onderzoekers de interne wiskundige toestanden van de modellen met mechanistische interpretabiliteit, een methode die Lepori vergelijkt met "neurowetenschap voor AI-systemen".
De resultaten toonden aan dat voldoende grote modellen afzonderlijke interne vectoren vormen die plausibiliteitscategorieën weerspiegelen. Die vectoren konden zelfs onderscheid maken tussen vergelijkbare categorieën, zoals onwaarschijnlijk versus onmogelijk, met ongeveer 85% nauwkeurigheid. De vectoren leken ook menselijke onzekerheid te weerspiegelen bij dubbelzinnige uitspraken, wat overeenkwam met verdeelde oordelen uit mensensurveys.
- Mechanistische interpretabiliteit onthult wat modellen coderen.
- Vectoren corresponderen met menselijke plausibiliteitsoordelen.
- Resultaten kunnen ontwikkeling van betrouwbaardere modellen ondersteunen.
Moeilijke woorden
- representatie — interne voorstelling van informatie in een modelrepresentaties
- plausibiliteit — hoe geloofwaardig of waarschijnlijk iets lijkt
- interpretabiliteit — manier om te onderzoeken wat modellen intern coderen
- vector — wiskundige rij getallen die informatie voorsteltvectoren
- neurowetenschap — wetenschap over het functioneren van hersenen
- onzekerheid — gebrek aan zekerheid over een oordeel of uitkomst
- nauwkeurigheid — mate waarin resultaten of voorspellingen kloppen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Hoe kunnen interne representaties volgens u helpen bij het ontwikkelen van betrouwbaardere taalmodellen in praktische toepassingen? Geef voorbeelden.
- Welke gevolgen heeft het dat modellen menselijke onzekerheid lijken te weerspiegelen? Denk aan voor- en nadelen.
- Welke extra voorbeelden of zinstypen zou u testen om beter te begrijpen hoe modellen plausibiliteit inschatten?
Gerelateerde artikelen
Fluorescentie helpt celcyclus van Toxoplasma te begrijpen
Onderzoekers volgden met een aangepast fluorescerend afbeeldingssysteem de groei van Toxoplasma gondii in realtime. Ze vonden een eiwit, PCNA1, waarmee ze de celcyclus in kaart brachten en zoeken nu naar zwakke plekken voor medicijnen.
Nieuw synthetisch gel ondersteunt borstkliercellen
Tijdens de pandemie maakten onderzoekers van UC Santa Barbara een op algen gebaseerd synthetisch gel om borstklier-epitheelcellen te bestuderen. Het materiaal ondersteunt normale weefselontwikkeling en kan worden aangepast om celgroei te sturen.
Onderzoekers: AI-bias komt door te simpele modellen
Onderzoekers van de University of Texas at Austin bestudeerden problematische AI-algoritmen. Zij vinden dat bias vaak ontstaat omdat modellen de complexe werkelijkheid niet goed vastleggen. Ze noemen drie belangrijke factoren en geven concrete voorbeelden.
Mensen met gezichtsverlies schatten aankomst van voertuigen
Onderzoekers vergeleken volwassenen met leeftijdsgebonden maculadegeneratie en mensen met normaal zicht bij het schatten van de aankomsttijd van een voertuig in een virtuele omgeving. Beide groepen gebruikten zicht en geluid; er was geen extra voordeel van beide samen.