Een nieuw onderzoek onder leiding van Xiaoyan Bai en Chenhao Tan (University of Chicago), met samenwerking van MIT, Harvard University, University of Waterloo en Google DeepMind, verklaart waarom moderne grote taalmodellen moeite hebben met het vermenigvuldigen van twee viercijferige getallen. De studie vergelijkt standaard fine-tuning met Implicit Chain of Thought (ICoT) en legt de nadruk op langeafstandsafhankelijkheden: de noodzaak om deelproducten en lopende totalen op te slaan en later te gebruiken.
Bij standaard fine-tuning behaalden modellen met twee tot 12 lagen minder dan <1% nauwkeurigheid. Het ICoT-getrainde model behaalde daarentegen 100% nauwkeurigheid. Door de interne toestanden te onderzoeken, ontdekten de onderzoekers dat het ICoT-model tussentijdse waarden codeert en dat lopende totalen konden worden gedecodeerd uit de verborgen toestanden. Aandacht werd georganiseerd in verschillende paden door de tijd: vroege lagen berekenen en bewaren producten van cijferparen op specifieke locaties, en latere lagen halen die waarden terug om elk cijfer van het eindantwoord te vormen.
De auteurs merkten ook op dat cijfers werden voorgesteld met Fourier-achtige basiscomponenten en dat een meetkundige bewerking vergelijkbaar met een Minkowski-som tijdens de training vanzelf optrad. Als eenvoudige aanpassing voegden zij een trainingsdoel toe om lopende totalen bij elke stap bij te houden; deze toevoeging verhoogde de nauwkeurigheid van een twee-laags model tot 99% en leidde tot aandachtmechanismen vergelijkbaar met ICoT.
De studie illustreert dat beperkingen niet altijd opgelost worden door alleen meer data of grotere modellen. Gerichte architectuurkeuzes en trainingsdoelen kunnen modellen in staat stellen tot meerstapsredenering, een belangrijk punt nu AI steeds vaker wordt ingezet in kritieke besluitvorming.
Moeilijke woorden
- langeafstandsafhankelijkheid — noodzaak om informatie later opnieuw te gebruikenlangeafstandsafhankelijkheden
- deelproduct — tussenresultaat bij een grotere berekeningdeelproducten
- totaal — huidige som van alle tussenresultatenlopende totalen
- toestand — interne representatie die modelinformatie bevatinterne toestanden, verborgen toestanden
- aandacht — mechanisme dat bepaalt waar het model zich op focustaandachtmechanismen
- decoderen — omzetten van interne signalen naar begrijpelijke waardengedecodeerd
- meerstapsredenering — redenatie in meerdere opeenvolgende stappen
- trainingsdoel — specifieke taak die het model moet leren bereiken
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Waarom kan het belangrijk zijn dat een model tussentijdse waarden bewaart tijdens een berekening? Geef twee redenen.
- Welke voor- en nadelen zie je van gerichte architectuurkeuzes en trainingsdoelen in plaats van alleen meer data verzamelen?
- Hoe zou betere meerstapsredenering de inzet van AI in kritieke besluitvorming kunnen veranderen? Geef één concreet voorbeeld.
Gerelateerde artikelen
Files en maatregelen in Aziatische steden
Verkeersopstoppingen in veel Aziatische steden veroorzaken vervuiling en economische kosten. Steden als New Delhi, Bangkok, Manila en Jakarta nemen verschillende maatregelen, van voertuigverboden en elektrische bussen tot nieuwe metrolijnen en slimme verkeerssystemen.
Onderzoekers: AI-bias komt door te simpele modellen
Onderzoekers van de University of Texas at Austin bestudeerden problematische AI-algoritmen. Zij vinden dat bias vaak ontstaat omdat modellen de complexe werkelijkheid niet goed vastleggen. Ze noemen drie belangrijke factoren en geven concrete voorbeelden.