Penelitian: Penyebab Bias dalam Sistem AI ^{CEFR B1}

Penelitian dari University of Texas at Austin, yang dipimpin oleh Hüseyin Tanriverdi bersama John-Patrick Akinyemi (kandidat PhD McCombs di IROM), menelaah ratusan algoritme yang sebelumnya diidentifikasi sebagai bias. Para peneliti mengambil contoh dari repositori insiden dan kontroversi algoritme AI dan membandingkan setiap algoritme bermasalah dengan algoritme serupa yang belum dituduh bias. Mereka juga menelaah organisasi yang membuat dan menggunakan algoritme itu.

Studi ini mengidentifikasi tiga faktor yang meningkatkan risiko hasil tidak adil. Pertama, kebenaran dasar yang tidak mapan — misalnya menebak usia dari foto sinar-X ketika dokter tidak punya cara mapan. Kedua, model sering menyederhanakan kenyataan dan menghilangkan variabel penting, seperti saat keputusan otomatis menggantikan kunjungan perawat sehingga beberapa orang kehilangan akses bantuan dasar. Ketiga, desain yang dibuat terutama oleh satu kelompok demografis dapat melewatkan kebutuhan kelompok lain.

Peneliti menyimpulkan bahwa mengurangi bias butuh lebih dari akurasi: pengembang harus membuka 'kotak hitam' model, mempertimbangkan kompleksitas dunia nyata, dan melibatkan input beragam. Studi ini diterbitkan di MIS Quarterly.