L'IA peut être biaisée à cause de la complexité du monde réel ^{CEFR B1}

Les outils d'IA se répandent et des études ont montré des conséquences graves : des traitements médicaux différents selon le profil des patients et des outils de recrutement qui discriminent certaines personnes. Ces cas ont attiré l'attention des chercheurs.

Une équipe de l'Université du Texas à Austin, dirigée par Hüseyin Tanriverdi avec John-Patrick Akinyemi, a étudié 363 algorithmes identifiés comme biaisés, issus d'un dépôt nommé AI Algorithmic and Automation Incidents and Controversies. Les chercheurs ont comparé chaque algorithme problématique à un algorithme similaire non signalé et ont examiné aussi les organisations utilisatrices.

Ils identifient plusieurs facteurs : l'absence d'une vérité de terrain claire (par exemple pour estimer l'âge d'un os sur une radiographie), la simplification excessive de situations réelles (cas de l'Arkansas où des visites à domicile ont été remplacées par des décisions automatisées, privant des personnes handicapées d'aide pour manger et se doucher) et le manque de participation de groupes divers lors de la conception. Les auteurs concluent qu'il faut plus que des gains de précision : ouvrir les boîtes noires et prendre en compte la complexité, des entrées diverses et des vérités de terrain claires. La recherche est publiée dans MIS Quarterly.