एक शोध टीम ने जांच की कि आधुनिक बड़े भाषा मॉडल सरल गुणा कार्यों में क्यों गलतियाँ करते हैं। उन्होंने दो प्रशिक्षण तरीके परखे: मानक फाइन-ट्यूनिंग और Implicit Chain of Thought (ICoT)।
मानक फाइन-ट्यूनिंग वाले मॉडलों ने बहुत कम सफलता पाई और उनकी सटीकता बहुत कम थी। ICoT से प्रशिक्षित मॉडल सही उत्तर देने में सफल रहे। टीम ने देखा कि ICoT मॉडल मध्यवर्ती मानों को संग्रहीत कर के बाद में उपयोग करते हैं। फिर उन्होंने एक नया प्रशिक्षण लक्ष्य जोड़ा, जिससे छोटे मॉडलों की सटीकता काफी बढ़ी।
कठिन शब्द
- शोध — नया ज्ञान या तथ्य खोजने की वैज्ञानिक क्रिया
- प्रशिक्षण — मॉडल को नया कार्य सिखाने की प्रक्रिया
- सटीकता — उत्तर या परिणाम कितने सही हैं दिखाने वाला माप
- मध्यवर्ती — दो चरणों के बीच का या बीच का हिस्सा
- संग्रहीत — भंडारित या बाद में उपयोग के लिए रखा गया
- मानक — सामान्य या पारंपरिक तरीका या नियम
युक्ति: जब आप किसी भी भाषा में कहानी पढ़ें या ऑडियो सुनें, तो लेख में हाइलाइट किए गए शब्दों पर होवर/फ़ोकस/टैप करें और तुरंत छोटी-सी परिभाषा देखें।
चर्चा के प्रश्न
- क्या आप गणना करते समय बीच के कदम लिखते हैं? क्यों या क्यों नहीं?
- नया प्रशिक्षण लक्ष्य जोड़ने से छोटे मॉडलों की सटीकता बढ़ी। यह बदलाव आपके लिए कैसे उपयोगी हो सकता है?
- क्या आप सोचते हैं कि मॉडलों को बीच के मान रखने चाहिए? छोटा जवाब दीजिए।
संबंधित लेख
बड़े भाषा मॉडल में सुरक्षा-संशोधन
North Carolina State University के शोधकर्ताओं ने बड़े भाषा मॉडल (LLMs) में सुरक्षा-संशोधन कैसे काम करता है इसका अध्ययन किया। उन्होंने मॉडल में सुरक्षा-न्यूरॉन्स की पहचान कर फाइन‑ट्यूनिंग के समय उन्हें स्थिर रखकर सुरक्षित व्यवहार बनाए रखने के तरीके दिखाए।