Nova esplorado klarigas kial modernaj grandaj lingvmodeloj malfortas pri la ŝajne simpla tasko de multobligado de du kvarciferaj nombroj. Gviditaj de Xiaoyan Bai kaj Chenhao Tan ĉe University of Chicago, kun kunlaborantoj de MIT, Harvard University, University of Waterloo kaj Google DeepMind, la esploristoj komparis norman fajnan ĝustigon kun la trejnmetodo Implicit Chain of Thought (ICoT).
La teamo fokusis al longdistancaj dependecoj, kie modelo devas konservi partajn produktojn kaj kurantajn sumojn por elpensi ĝustan finan respondon. Sub normala fajna ĝustigo, modeloj kun du ĝis 12 tavoloj atingis malpli ol 1% precizecon, kio montras ke ili falas en loka optimumo kaj simple lernas surfacajn ŝablonojn en la trejna datumaro.
Male, la ICoT-trejnita modelo atingis 100% precizecon. Sondado de internaj ŝtatoj rivelis ke ICoT kodas interajn valorojn kaj organizas atenton en apartaj padoj tra la tempo: fruaj tavoloj kalkulas kaj konservas cifern-parajn produktojn en difinitaj lokoj, kaj pli malfruaj tavoloj reprenas tiujn valorojn por formi ĉiun ciferecon de la fina respondo. La teamo ankaŭ observis ke la modelo reprezentas ciferojn per Fourier-similaj bazoj kaj ke geometra operacio simila al Minkowski-sumo formiĝis dum trejnado.
Por testi simplan ŝanĝon, la esploristoj aldonis trejnan celon kiu instruas al la modelo spuri kurantajn sumojn ĉe ĉiu paŝo. Aldoni ĉi tiun celon al du-tavola modelo levis precizecon al 99% sen eksplicita kateno-de-pensado-superrigardo; la modelo evoluigis atentajn mekanismojn similajn al ICoT kaj novajn strategiojn por spuri plurajn cifern-parojn. La studo emfazas, laŭ Tan, ke ĉar AI estas pli integrita en kritikaj decidoj, estas esence kompreni ĝiajn manierojn de lernado kaj pensado.
Fonto: University of Chicago
Malfacilaj vortoj
- dependeco — rilato kie unu parto influas aliandependecoj
- ĝustigo — ŝanĝo aŭ agordo por plibonigi funkcionfajnan ĝustigon
- trejnmetodo — specifa maniero por instrui modelon
- precizeco — kiom ofte respondoj estas ĝustajprecizecon
- atento — mekanismo por fokusi rilatajn informojnatenton, atentajn
- kodi — stoki aŭ reprezenti informojn per signojkodas
- sumo — totala valoro akumuliĝanta per adiciosumojn
- evoluigi — krei aŭ disvolvi novajn kapablojn aŭ strukturojnevoluigis
Konsilo: ŝovu la musmontrilon, fokusu aŭ tuŝu la reliefigitajn vortojn en la artikolo por vidi rapidajn difinojn dum legado aŭ aŭskultado.
Diskutaj demandoj
- Kial, laŭ la teksto, estas grave kompreni la lernadon kaj pensado de AI kiam ĝi estas uzata en kritikaj decidoj?
- Kiel ICoT organizis la laboron inter fruaj kaj malfruaj tavoloj? Donu mallongan priskribon bazitan sur la artikolo.
- Ĉu aldonado de simplaj trejnaj celoj, kiel spuri kurantajn sumojn, povus esti utila en aliaj taskoj? Klarigu per mallonga argumento aŭ ekzemplo.
Rilataj artikoloj
Kiel homoj kun vidperdo taksas alvenon de veturiloj
Studo esploris kiel plenkreskuloj kun aĝa makula degenero taksas la alventempon de alproksimiĝantaj veturiloj per vido, sono aŭ ambaŭ en virtuala realeco. Rezultoj montras similajn taksojn kiel ĉe homoj kun normala vido kaj neniun multimodalan avantaĝon.
