Nova studo esploras kial modernaj grandaj lingvmodeloj malfortas pri ŝajne simpla tasko: multobligi du kvarciferajn nombrojn. Gvidado venis de Xiaoyan Bai kaj Chenhao Tan ĉe University of Chicago kun kunlaborantoj de kelkaj universitatoj kaj de Google DeepMind. La teamo komparis norman fajnan ĝustigon kun la metodo Implicit Chain of Thought (ICoT).
Sub normala fajna ĝustigo modeloj kun kelkaj tavoloj atingis malpli ol 1% precizecon. La esploristoj trovis ke tiuj modeloj fiksiĝas en loka optimumo: ili lernas surfacajn ŝablonojn en la trejna datumaro sed ne evoluigas vojon por konservi interajn valorojn por poste uzado.
Male, la ICoT-trejnita modelo atingis 100% precizecon. Analizo de internaj ŝtatoj montris ke ICoT kodas kurantajn sumojn kaj konservas cifern-parajn produktojn en difinitaj lokoj; pli malfruaj tavoloj reprenas tiujn valorojn por formi la finajn ciferojn. Aparte, la teamo ankaŭ montris plibonigon al 99% kiam oni aldonis trejnan celon por spuri kurantajn sumojn en malforta modelo.
Malfacilaj vortoj
- studo — Esplorado pri specifa temo aŭ afero
- multobligi — Fari aritmetikan operacion por kalkuli la produkton
- fajna ĝustigo — Metodo por adapti jam trejnitan modelonfajnan ĝustigon
- optimumo — Punkto kun plej bona aŭ stabila solvo
- trejna datumaro — Kolekto de ekzemploj uzataj por trejni modelon
- precizeco — Grado de ĝusta aŭ korekta rezultaĵoprecizecon
- konservi — Tenigi informojn por uzo postekonservas
Konsilo: ŝovu la musmontrilon, fokusu aŭ tuŝu la reliefigitajn vortojn en la artikolo por vidi rapidajn difinojn dum legado aŭ aŭskultado.
Diskutaj demandoj
- Ĉu vi pensas, ke metodoj kiel ICoT povus helpi solvi aliajn malfacilajn problemojn? Kial aŭ kial ne?
- Kiam vi lernas, ĉu vi preferas konservi interajn paŝojn aŭ nur la finan respondon? Klarigu vian preferon.
- Kiel vi komprenas la esprimon "loka optimumo"? Donu simplan ekzemplon el ĉiutaga vivo.
Rilataj artikoloj
Sudaziaj civitaj arkivistoj registras buŝajn tradiciojn
Civitaj arkivistoj en Sudazio registras popolajn kantojn, buŝajn historiojn, enigmojn kaj tradician kuracistan scion. Projekto subtenas denaskajn parolantojn; ĝis nun estas 227 registritaj eroj el 14 lingvaj komunumoj alŝutitaj al Wikimedia-platformoj.