Les outils d'IA se répandent et des études ont montré des conséquences graves : des traitements médicaux différents selon le profil des patients et des outils de recrutement qui discriminent certaines personnes. Ces cas ont attiré l'attention des chercheurs.
Une équipe de l'Université du Texas à Austin, dirigée par Hüseyin Tanriverdi avec John-Patrick Akinyemi, a étudié 363 algorithmes identifiés comme biaisés, issus d'un dépôt nommé AI Algorithmic and Automation Incidents and Controversies. Les chercheurs ont comparé chaque algorithme problématique à un algorithme similaire non signalé et ont examiné aussi les organisations utilisatrices.
Ils identifient plusieurs facteurs : l'absence d'une vérité de terrain claire (par exemple pour estimer l'âge d'un os sur une radiographie), la simplification excessive de situations réelles (cas de l'Arkansas où des visites à domicile ont été remplacées par des décisions automatisées, privant des personnes handicapées d'aide pour manger et se doucher) et le manque de participation de groupes divers lors de la conception. Les auteurs concluent qu'il faut plus que des gains de précision : ouvrir les boîtes noires et prendre en compte la complexité, des entrées diverses et des vérités de terrain claires. La recherche est publiée dans MIS Quarterly.
Mots difficiles
- algorithme — suite d'instructions pour prendre des décisionsalgorithmes
- biaisé — qui favorise ou défavorise certains casbiaisés
- discriminer — traiter différemment et injustement des personnesdiscriminent
- vérité de terrain — mesure ou référence claire pour vérifier résultatsvérités de terrain
- simplification — réduction excessive de la complexité d'une situation
- boîte noire — système dont le fonctionnement interne est cachéboîtes noires
- conception — processus de création ou de développement d'un produit
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Pensez-vous que les entreprises devraient ouvrir les boîtes noires des algorithmes ? Pourquoi ?
- Comment la participation de groupes divers peut-elle améliorer la conception d'un outil d'IA ?
- Avez-vous déjà vu un service automatisé qui semblait injuste ? Que feriez-vous pour l'améliorer ?
Articles liés
Pourquoi certains mammifères contrôlent leur voix
Des neuroscientifiques expliquent pourquoi des phoques et des otaries peuvent contrôler leur voix alors que des coyotes ne le peuvent pas. L’étude, publiée dans Science, compare des cerveaux et montre une voie cérébrale directe liée au contrôle vocal chez les pinnipèdes.
Détecter l'ADN de saumon dans l'air pour suivre la migration
Lors de la remontée automnale, des chercheurs ont prélevé de l'ADN de saumon dans l'air près d'une rivière pour estimer combien de poissons traversent. Les concentrations aériennes suivaient les comptages visuels, malgré des niveaux beaucoup plus faibles que dans l'eau.
Des microbes dans les pellets de termites pour dater une infestation
Une étude de l'University of California, Riverside montre que l'ADN microbien des pellets de termites diminue avec le temps. Les chercheurs proposent d'utiliser cette signature pour créer un test rapide sur site et détecter l'ancienneté d'une infestation.
