University of Texas at Austin के शोध में पाया गया कि AI पूर्वाग्रह का एक बड़ा स्रोत यह है कि मॉडल वास्तविक दुनिया की जटिल परिस्थितियों का सही मॉडल नहीं बनाए पाते। शोध में उन एल्गोरिद्मों का अध्ययन किया गया जिन्हें दूसरों ने पक्षपाती बताया था और उनका तुलना ऐसे समान एल्गोरिद्म से की गई जिन्हें पक्षपाती नहीं कहा गया। शोध में न केवल एल्गोरिद्म बल्कि जिन संस्थाओं ने उन्हें बनाया और उपयोग किया, उनकी भी जांच की गई।
अध्ययन तीन जुड़े हुए कारक बताता है: पहला, कई मामलों में निर्णय लेने के लिए कोई स्थापित ground truth नहीं होता, जैसे एक्स-रे से हड्डी की उम्र का अनुमान जहां डॉक्टरों के पास कोई निश्चित तरीका नहीं है। दूसरा, मॉडल अक्सर वास्तविकता को सरल कर देते हैं और महत्वपूर्ण चर छोड़ देते हैं; एक उदाहरण में Medicaid लाभों पर स्वचालित निर्णय लेने से घर पर मिलने वाली मदद कट गई। तीसरा, जब प्रणालियाँ मुख्य रूप से एक ही जनसांख्य द्वारा डिजाइन होती हैं तो विविध समूहों के लिए पक्षपात बढ़ सकता है।
शोध कहता है कि केवल सटीकता बढ़ाना पर्याप्त नहीं है; डेवलपर्स को ब्लैक बॉक्स खोलकर वास्तविक दुनिया की जटिलता, विविध इनपुट और स्पष्ट ground truths पर ध्यान देना चाहिए। यह शोध MIS Quarterly में प्रकाशित हुआ।
कठिन शब्द
- पूर्वाग्रह — किसी समूह के खिलाफ गलत झुकाव या भेदभाव
- एल्गोरिद्म — कदम-दर-कदम कंप्यूटर नियमों या प्रक्रियाओं का समूहएल्गोरिद्मों
- संस्था — कोई संगठन जो काम चलाता हैसंस्थाओं
- निर्णय — किसी विकल्प या जवाब का चुनाव
- जटिलता — कई भागों और कठिन परिस्थितियों की स्थिति
- सटीकता — गलतियों से मुक्त परिणाम की सही मात्रा
- विविध — अलग-अलग प्रकार या समूहों का होना
युक्ति: जब आप किसी भी भाषा में कहानी पढ़ें या ऑडियो सुनें, तो लेख में हाइलाइट किए गए शब्दों पर होवर/फ़ोकस/टैप करें और तुरंत छोटी-सी परिभाषा देखें।
चर्चा के प्रश्न
- शोध कहता है कि डेवलपर्स को विविध इनपुट और स्पष्ट ground truths पर ध्यान देना चाहिए — आप कैसे सुझाएँगे कि वे यह करें?
- स्वचालित निर्णयों की वजह से घर पर मिलने वाली मदद कटने जैसा उदाहरण पढ़कर क्या आप ऐसी प्रणालियों पर भरोसा करेंगे? क्यों या क्यों नहीं?
- आपकी तरफ से कोई संस्था निर्णय प्रक्रिया में अधिक जवाबदेह कैसे बन सकती है? दो या तीन विचार बताइए।
