Een team van onderzoekers onderzocht of moderne taalmodellen interne representaties hebben voor de plausibiliteit van gebeurtenissen. De studie, uitgevoerd door wetenschappers van Brown University en gepresenteerd op de International Conference on Learning Representations in Rio de Janeiro, analyseerde hoe modellen zinnen verwerken die gewone, onwaarschijnlijke, onmogelijke of onsamenhangende gebeurtenissen beschrijven.
Het experiment gebruikte voorbeelden zoals “Iemand koelde een drankje met ijs”, “Iemand koelde een drankje met sneeuw”, “Iemand koelde een drankje met vuur” en “Iemand koelde een drankje met gisteren.” Voor elke zin bestudeerden de onderzoekers de interne wiskundige toestanden van de modellen met mechanistische interpretabiliteit, een methode die Lepori vergelijkt met "neurowetenschap voor AI-systemen".
De resultaten toonden aan dat voldoende grote modellen afzonderlijke interne vectoren vormen die plausibiliteitscategorieën weerspiegelen. Die vectoren konden zelfs onderscheid maken tussen vergelijkbare categorieën, zoals onwaarschijnlijk versus onmogelijk, met ongeveer 85% nauwkeurigheid. De vectoren leken ook menselijke onzekerheid te weerspiegelen bij dubbelzinnige uitspraken, wat overeenkwam met verdeelde oordelen uit mensensurveys.
- Mechanistische interpretabiliteit onthult wat modellen coderen.
- Vectoren corresponderen met menselijke plausibiliteitsoordelen.
- Resultaten kunnen ontwikkeling van betrouwbaardere modellen ondersteunen.
Moeilijke woorden
- representatie — interne voorstelling van informatie in een modelrepresentaties
- plausibiliteit — hoe geloofwaardig of waarschijnlijk iets lijkt
- interpretabiliteit — manier om te onderzoeken wat modellen intern coderen
- vector — wiskundige rij getallen die informatie voorsteltvectoren
- neurowetenschap — wetenschap over het functioneren van hersenen
- onzekerheid — gebrek aan zekerheid over een oordeel of uitkomst
- nauwkeurigheid — mate waarin resultaten of voorspellingen kloppen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Hoe kunnen interne representaties volgens u helpen bij het ontwikkelen van betrouwbaardere taalmodellen in praktische toepassingen? Geef voorbeelden.
- Welke gevolgen heeft het dat modellen menselijke onzekerheid lijken te weerspiegelen? Denk aan voor- en nadelen.
- Welke extra voorbeelden of zinstypen zou u testen om beter te begrijpen hoe modellen plausibiliteit inschatten?
Gerelateerde artikelen
ETH Zurich ontwikkelt nano‑OLEDs van ongeveer 100 nanometer
Een team van ETH Zurich maakte extreem kleine OLED‑pixels, tot ongeveer 100 nanometer. Ze toonden een logo van 2.800 nano‑pixels en noemen toepassingen zoals brillenschermen, microscopen en sensoren; het werk staat in Nature Photonics.
Nieuw leven bij koraalriffen kan medicijnen opleveren
Een tweejarige expeditie (2016–2018) onderzocht koraalriffen in de Stille Oceaan en vond duizenden onbekende bacteriën die unieke moleculen maken. Deze stoffen kunnen mogelijk worden gebruikt in geneeskunde en industrie, maar riffen zijn kwetsbaar.
Onderzoekers werken aan antiserum tegen zwarte schorpioen
Indiaanse onderzoekers analyseren het gif van de Indische zwarte schorpioen en werken aan een antiserum. Ze vonden veel verschillende toxines, testten het gif op muizen en benadrukken de noodzaak van betere behandelmethoden.
