Een team van onderzoekers onderzocht of moderne taalmodellen interne representaties hebben voor de plausibiliteit van gebeurtenissen. De studie, uitgevoerd door wetenschappers van Brown University en gepresenteerd op de International Conference on Learning Representations in Rio de Janeiro, analyseerde hoe modellen zinnen verwerken die gewone, onwaarschijnlijke, onmogelijke of onsamenhangende gebeurtenissen beschrijven.
Het experiment gebruikte voorbeelden zoals “Iemand koelde een drankje met ijs”, “Iemand koelde een drankje met sneeuw”, “Iemand koelde een drankje met vuur” en “Iemand koelde een drankje met gisteren.” Voor elke zin bestudeerden de onderzoekers de interne wiskundige toestanden van de modellen met mechanistische interpretabiliteit, een methode die Lepori vergelijkt met "neurowetenschap voor AI-systemen".
De resultaten toonden aan dat voldoende grote modellen afzonderlijke interne vectoren vormen die plausibiliteitscategorieën weerspiegelen. Die vectoren konden zelfs onderscheid maken tussen vergelijkbare categorieën, zoals onwaarschijnlijk versus onmogelijk, met ongeveer 85% nauwkeurigheid. De vectoren leken ook menselijke onzekerheid te weerspiegelen bij dubbelzinnige uitspraken, wat overeenkwam met verdeelde oordelen uit mensensurveys.
- Mechanistische interpretabiliteit onthult wat modellen coderen.
- Vectoren corresponderen met menselijke plausibiliteitsoordelen.
- Resultaten kunnen ontwikkeling van betrouwbaardere modellen ondersteunen.
Moeilijke woorden
- representatie — interne voorstelling van informatie in een modelrepresentaties
- plausibiliteit — hoe geloofwaardig of waarschijnlijk iets lijkt
- interpretabiliteit — manier om te onderzoeken wat modellen intern coderen
- vector — wiskundige rij getallen die informatie voorsteltvectoren
- neurowetenschap — wetenschap over het functioneren van hersenen
- onzekerheid — gebrek aan zekerheid over een oordeel of uitkomst
- nauwkeurigheid — mate waarin resultaten of voorspellingen kloppen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Hoe kunnen interne representaties volgens u helpen bij het ontwikkelen van betrouwbaardere taalmodellen in praktische toepassingen? Geef voorbeelden.
- Welke gevolgen heeft het dat modellen menselijke onzekerheid lijken te weerspiegelen? Denk aan voor- en nadelen.
- Welke extra voorbeelden of zinstypen zou u testen om beter te begrijpen hoe modellen plausibiliteit inschatten?
Gerelateerde artikelen
Wegwerphandschoenen verstoren microplasticmetingen
Onderzoekers van de University of Michigan ontdekten dat nitril- en latexhandschoenen zeepachtige stearaten achterlaten die microplasticonderzoek kunnen vervuilen. Ze testten verschillende handschoenen en ontwikkelden methoden om echte microplastics van valse positieven te scheiden.
AI helpt jongeren met seksuele gezondheid in Latijns-Amerika
Gezondheidsgroepen in Latijns-Amerika gebruiken kunstmatige intelligentie om seksuele en reproductieve gezondheidsinformatie te geven aan jongeren en gemarginaliseerde groepen. Projecten in Peru en Argentinië proberen taalbarrières, stigma en beperkte zorgaanbod te verminderen.
As van Vesuvius toont exotische harsen en druivenproduct in Pompeii
Onderzoekers bestudeerden asresiduen uit twee wierookbranders uit Pompeii en een nabijgelegen villa. Ze vonden regionale planten, geïmporteerde harsen en een druivenproduct dat past bij ritueel wijngebruik in de Romeinse tijd.
Vogelgriep bij zwarte gieren in de Verenigde Staten
Onderzoekers van de University of Georgia vonden H5N1-vogelgriep bij zwarte gieren in zeven staten. Ze waarschuwen dat jaarlange circulatie het risico op mutaties vergroot en grote gevolgen kan hebben voor zeldzame vogels en landbouwdieren.