बड़े भाषा मॉडल और सरल गुणा में असफलता ^{CEFR A2}

एक शोध टीम ने जांच की कि आधुनिक बड़े भाषा मॉडल सरल गुणा कार्यों में क्यों गलतियाँ करते हैं। उन्होंने दो प्रशिक्षण तरीके परखे: मानक फाइन-ट्यूनिंग और Implicit Chain of Thought (ICoT)।

मानक फाइन-ट्यूनिंग वाले मॉडलों ने बहुत कम सफलता पाई और उनकी सटीकता बहुत कम थी। ICoT से प्रशिक्षित मॉडल सही उत्तर देने में सफल रहे। टीम ने देखा कि ICoT मॉडल मध्यवर्ती मानों को संग्रहीत कर के बाद में उपयोग करते हैं। फिर उन्होंने एक नया प्रशिक्षण लक्ष्य जोड़ा, जिससे छोटे मॉडलों की सटीकता काफी बढ़ी।