Penelitian: Penyebab Bias dalam Sistem AI ^{CEFR B2}

Penelitian baru dari University of Texas at Austin oleh Hüseyin Tanriverdi dan John-Patrick Akinyemi meneliti 363 algoritme yang sebelumnya diidentifikasi orang lain sebagai bias. Algoritme itu diambil dari repositori bernama AI Algorithmic and Automation Incidents and Controversies. Para peneliti membandingkan setiap algoritme bermasalah dengan algoritme serupa yang belum dituduh bias dan menelaah baik algoritme maupun organisasi yang membuat serta menerapkannya.

Mereka menyimpulkan bahwa satu sumber penting bias adalah kegagalan memodelkan kondisi dunia nyata yang kompleks. Studi ini mengidentifikasi tiga faktor saling terkait yang meningkatkan risiko hasil tidak adil:

• Kebenaran dasar yang tidak mapan — misalnya menebak usia dari tulang pada foto sinar-X atau memperlakukan opini publik sebagai fakta.
• Kompleksitas dunia nyata — model sering hanya menggunakan sebagian variabel karena data tidak tersedia, sehingga kehilangan aspek penting; contoh yang dikutip adalah penggantian kunjungan perawat oleh keputusan otomatis bagi tunjangan Medicaid, yang memutus akses bantuan bagi orang cacat untuk makan dan mandi.
• Keterlibatan pemangku kepentingan yang terbatas — sistem yang dirancang terutama oleh satu kelompok demografis dapat mengabaikan kebutuhan kelompok lain.

Tanriverdi menekankan bahwa “Ada satu set masalah yang kompleks yang harus ditangani algoritme, dan tidak mungkin menangani masalah tersebut dengan baik.” Ia juga menambahkan bahwa tanpa kebenaran dasar yang mapan, kemungkinan timbulnya bias meningkat secara signifikan. Studi ini menyimpulkan bahwa mengurangi bias memerlukan lebih dari sekadar meningkatkan akurasi: pengembang perlu membuka kotak hitam, mempertimbangkan kompleksitas dunia nyata, memperhitungkan input beragam, dan menetapkan kebenaran dasar yang jelas. Penelitian ini diterbitkan di MIS Quarterly (sumber: UT Austin).