Wetenschappers van Brown University presenteerden op een conferentie in Rio de Janeiro een studie over hoe taalmodellen omgaan met plausibiliteit. Michael Lepori, promovendus aan Brown, zegt dat het werk aanwijzingen geeft dat modellen iets coderen wat lijkt op causale beperkingen uit de echte wereld.
Het team gebruikte zinnen zoals “Iemand koelde een drankje met ijs”, “…met sneeuw”, “…met vuur” en “…met gisteren” en analyseerde de interne wiskundige toestanden van verschillende open-source modellen, waaronder GPT-2, Llama 3.2 en Gemma 2. Ze vonden dat voldoende grote modellen afzonderlijke vectoren ontwikkelden die plausibiliteitscategorieën aangeven.
De onderzoekers rapporteerden dat die vectoren vergelijkbare categorieën konden onderscheiden met ongeveer 85% nauwkeurigheid en dat de vectoren beginnen te verschijnen in modellen met meer dan 2 miljard parameters. Dit kan de begrijpelijkheid en betrouwbaarheid van toekomstige modellen verbeteren.
Moeilijke woorden
- presenteren — aan het publiek iets laten zien of vertellenpresenteerden
- promovendus — iemand die aan een proefschrift werkt
- aanwijzing — bewijs of teken dat iets suggereertaanwijzingen
- causale beperking — regel die oorzaak en gevolg beschrijftcausale beperkingen
- plausibiliteit — hoe waarschijnlijk of logisch iets lijkt te zijn
- vector — rij van getallen die informatie voorsteltvectoren
- parameter — waarde die de werking van een model regeltparameters
- nauwkeurigheid — hoe dicht een resultaat bij het juiste ligt
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat modellen die plausibiliteit herkennen veiliger zijn voor gebruikers? Waarom wel of niet?
- Hoe zou het verbeteren van nauwkeurigheid het dagelijks gebruik van taalmodellen kunnen beïnvloeden?
- Welke voorbeelden zou jij testen om te zien of een model plausibel reageert?
Gerelateerde artikelen
ETH Zurich ontwikkelt nano‑OLEDs van ongeveer 100 nanometer
Een team van ETH Zurich maakte extreem kleine OLED‑pixels, tot ongeveer 100 nanometer. Ze toonden een logo van 2.800 nano‑pixels en noemen toepassingen zoals brillenschermen, microscopen en sensoren; het werk staat in Nature Photonics.
Nieuw leven bij koraalriffen kan medicijnen opleveren
Een tweejarige expeditie (2016–2018) onderzocht koraalriffen in de Stille Oceaan en vond duizenden onbekende bacteriën die unieke moleculen maken. Deze stoffen kunnen mogelijk worden gebruikt in geneeskunde en industrie, maar riffen zijn kwetsbaar.
Onderzoekers werken aan antiserum tegen zwarte schorpioen
Indiaanse onderzoekers analyseren het gif van de Indische zwarte schorpioen en werken aan een antiserum. Ze vonden veel verschillende toxines, testten het gif op muizen en benadrukken de noodzaak van betere behandelmethoden.
