Le problème du racisme et sexisme en IA

Les algorithmes créés pour l’intelligence artificielle se sont avérés sexistes et racistes. Métro s’est intéressé à cet enjeu.

La présence de biais sexistes et racistes en IA a été documentée par plusieurs experts ces dernières années. Une nouvelle étude révèle que le problème pourrait être encore plus important que ce que l’on pensait.

Une étude réalisée par des chercheurs des universités Carnegie Mellon et George Washington a découvert que les modèles de vision par ordinateur non supervisés apprennent automatiquement les préjugés raciaux, les préjugés de genre et ceux intersectionnels.

L’enquête a permis de découvrir que les systèmes d’IA étaient plus susceptibles de générer des images sexualisées de femmes tout en créant des images professionnelles d’hommes. Ces mêmes algorithmes associaient également aux images de personnes ayant la peau plus pâle des caractéristiques positives et, à l’inverse, les images de personnes ayant la peau plus sombre étaient associées à des caractéristiques négatives.

«Il y a plusieurs approches technologiques sur lesquels nous et nos collègues travaillons pour atténuer les biais en IA. Premièrement, nous pouvons prétraiter les données d’entraînement pour faire en sorte qu’elles soient plus représentatives des populations diverses.» – James Zou, de l’Université Stanford

Le facteur humain

Les experts croient que les biais racistes et sexistes sont enracinés dans l’information utilisée pour former les algorithmes, qui sont régulièrement créés par des humains.

«Ces biais et stéréotypes sont présents dans les données utilisées pour former les algorithmes d’IA. Du point de vue de l’algorithme, ces biais sont des modèles statistiques qu’il peut apprendre et exploiter pour faire des prédictions. C’est pourquoi plusieurs stéréotypes finissent par être intégrés dans les algorithmes», explique le professeur de science biomédicale et d’informatique à l’Université Stanford, James Zou.

Toutefois, même si ces biais ne sont pas générés par l’IA, cette technologie peut quand même répandre des stéréotypes nuisibles. Les experts croient que c’est le rôle des programmeurs d’en faire plus pour éviter que la situation perdure.

Quatre exemples de biais

Google Traduction

Quand cet outil convertit des articles d’actualité rédigés en espagnol vers l’anglais, des phrases qui réfèrent à des femmes sont souvent converties au masculin.

Caméras

Le logiciel créé pour avertir les utilisateurs de caméras Nikon que la personne qu’ils photographient semble être en train de cligner les yeux tend à interpréter que les Asiatiques sont toujours en train de cligner des yeux.

L’algorithme des mots

Le word embedding, un algorithme populaire utilisé pour traiter et analyser de grandes quantités de données de langage naturel, caractérise les noms américains d’origine européenne comme plaisants et les noms américains d’origine africaine comme désagréables.

Assistants vocaux

Un rapport de l’UNESCO critique le fait que la plupart des assistants vocaux ont des noms féminins ainsi que des personnalités soumises et affirme que c’est en raison du fait qu’il n’y a pratiquement pas de femmes qui travaillent au sein des équipes techniques qui développent ces services ainsi que d’autres outils numériques de pointe.