University of Chicago के नेतृत्व में एक टीम ने यह शोध किया, जिसमें MIT, Harvard University, University of Waterloo और Google DeepMind के सहयोगी भी शामिल थे। अध्ययन ने यह देखा कि मौजूदा प्रशिक्षण तरीके मॉडल की लंबी-दूरी निर्भरताएँ संभालने की क्षमता पर कैसे असर डालते हैं। शोध का फोकस दो चार-अंकीय संख्याओं के गुणा जैसे बहु-चरण गणनात्मक कार्य पर था।
टीम ने मानक फाइन-ट्यूनिंग की तुलना ICoT से की। मानक तरीके में दो से 12 परतों वाले मॉडल चार-अंकीय गुणा पर 1% से भी कम सटीकता दिखाते रहे, जबकि ICoT से प्रशिक्षित मॉडल 100% सटीकता पर पहुँचे। शोधकर्ताओं ने पाया कि ICoT मॉडल आंतरिक अवस्थाओं में मध्यवर्ती मान एन्कोड करते हैं और उनसे चलती राशियाँ (running sums) डिकोड कर पाते हैं।
शोध में यह भी दिखा कि शुरुआती परतें अंक-जुड़ियों के गुणनफल निकाल कर संग्रहीत करती हैं और बाद की परतें उन मानों को पुनः प्राप्त कर अंतिम उत्तर का निर्माण करती हैं। टीम ने एक प्रशिक्षण उद्देश्य जोड़ा जो हर चरण पर चलती राशियों को ट्रैक करना सिखाता; इससे छोटे मॉडलों की सटीकता बहुत बेहतर हुई।
कठिन शब्द
- नेतृत्व — किसी समूह या परियोजना का निर्देशन या मार्गदर्शन
- प्रशिक्षण — मशीन या मॉडल को जानकारी देने की प्रक्रियाप्रशिक्षित
- निर्भरता — एक चीज़ का दूसरी चीज़ पर आश्रित होनानिर्भरताएँ
- बहु-चरण — कई अलग-अलग चरणों में होने वाला कार्य
- फाइन-ट्यूनिंग — पूर्व प्रशिक्षित मॉडल का अतिरिक्त सुधार या समायोजन
- सटीकता — नतीजे या उत्तर के सही होने की मात्रा
- एन्कोड — जानकारी को किसी अन्य रूप में बदलना और रखना
- चलती राशियाँ — हर कदम पर जोड़े गए संख्याओं का क्रमिक जोड़
युक्ति: जब आप किसी भी भाषा में कहानी पढ़ें या ऑडियो सुनें, तो लेख में हाइलाइट किए गए शब्दों पर होवर/फ़ोकस/टैप करें और तुरंत छोटी-सी परिभाषा देखें।
चर्चा के प्रश्न
- आपको क्यों लगता है कि मॉडलों को मध्यवर्ती मान सीखाना उपयोगी होता है?
- क्या आप कभी गणित में बहु-चरण समस्याएँ हल करते समय बीच के कदम लिखते हैं? उस तरीके का एक छोटा उदाहरण दें।
- अगर यह प्रशिक्षण उद्देश्य स्कूल की पढ़ाई में लगाया जाए, तो छात्रों को कौन सा सीधा लाभ दिखेगा?
