Nova studo esploras kial modernaj grandaj lingvmodeloj malfortas pri ŝajne simpla tasko: multobligi du kvarciferajn nombrojn. Gvidado venis de Xiaoyan Bai kaj Chenhao Tan ĉe University of Chicago kun kunlaborantoj de kelkaj universitatoj kaj de Google DeepMind. La teamo komparis norman fajnan ĝustigon kun la metodo Implicit Chain of Thought (ICoT).
Sub normala fajna ĝustigo modeloj kun kelkaj tavoloj atingis malpli ol 1% precizecon. La esploristoj trovis ke tiuj modeloj fiksiĝas en loka optimumo: ili lernas surfacajn ŝablonojn en la trejna datumaro sed ne evoluigas vojon por konservi interajn valorojn por poste uzado.
Male, la ICoT-trejnita modelo atingis 100% precizecon. Analizo de internaj ŝtatoj montris ke ICoT kodas kurantajn sumojn kaj konservas cifern-parajn produktojn en difinitaj lokoj; pli malfruaj tavoloj reprenas tiujn valorojn por formi la finajn ciferojn. Aparte, la teamo ankaŭ montris plibonigon al 99% kiam oni aldonis trejnan celon por spuri kurantajn sumojn en malforta modelo.
Malfacilaj vortoj
- studo — Esplorado pri specifa temo aŭ afero
- multobligi — Fari aritmetikan operacion por kalkuli la produkton
- fajna ĝustigo — Metodo por adapti jam trejnitan modelonfajnan ĝustigon
- optimumo — Punkto kun plej bona aŭ stabila solvo
- trejna datumaro — Kolekto de ekzemploj uzataj por trejni modelon
- precizeco — Grado de ĝusta aŭ korekta rezultaĵoprecizecon
- konservi — Tenigi informojn por uzo postekonservas
Konsilo: ŝovu la musmontrilon, fokusu aŭ tuŝu la reliefigitajn vortojn en la artikolo por vidi rapidajn difinojn dum legado aŭ aŭskultado.
Diskutaj demandoj
- Ĉu vi pensas, ke metodoj kiel ICoT povus helpi solvi aliajn malfacilajn problemojn? Kial aŭ kial ne?
- Kiam vi lernas, ĉu vi preferas konservi interajn paŝojn aŭ nur la finan respondon? Klarigu vian preferon.
- Kiel vi komprenas la esprimon "loka optimumo"? Donu simplan ekzemplon el ĉiutaga vivo.
Rilataj artikoloj
Iuj grasoj en beba formulo povas rapidigi hepatan grasakumuladon
Nova studo en novnaskitaj porkidaj modeloj trovis ke formuloj kun mezĉenaj grasacidoj kaŭzis pli rapidan grason en la hepato kaj fruajn signojn de steatotika hepata malsano. La teamo diras ke tio ne signifas eviti formulojn.
Elasta orelkartilago produktita el homaj ĉeloj
Sciencistoj enlaboratorie kreis elastan orelan kartilagon uzante homajn ĉelojn kaj 3D-presadon. La laboro estas kunlaboro inter ETH Zurich, institutoj en Bazelo kaj la kantona hospitalo de Lucerno, kaj montras promeson en bestaj testoj.