Facebook lance mardi une nouvelle fonctionnalité qui utilise des avancées de l’intelligence artificielle, notamment en termes de reconnaissance d’objets, pour décrire le contenu de photos publiées sur son réseau aux aveugles et aux malvoyants.
La technologie est disponible uniquement dans un premier temps sur les appareils mobiles d’Apple (iOS) et pour les utilisateurs anglophones de 5 marchés spécifiques (États-Unis, Royaume-Uni, Canada, Australie, Nouvelle-Zélande). L’objectif est toutefois de l’étendre rapidement à d’autres langues et à d’autres plateformes.
La nouvelle fonctionnalité, baptisée « automatic alternative text », fonctionne avec les logiciels utilisés par les aveugles pour obtenir une description audio de ce qui s’affiche sur leur écran.
Dans le cas d’une image publiée sur Facebook, ce type de logiciel se contentait toutefois généralement jusqu’ici de dire qu’il s’agissait d’une photo avec le nom de son auteur, et de lire le cas échéants les commentaires écrits en dessous, ce qui ne donnait pas forcément d’indication sur son contenu.
La nouvelle fonctionnalité ambitionne d’enrichir cette description en fournissant à l’utilisateur quelques mots sur ce qui a pu être automatiquement reconnu dans l’image. Lors d’une démonstration pour des journalistes, le système indiquait par exemple qu’une photo pouvait montrer du ciel et un arbre, une pizza, ou trois personnes qui sourient en extérieur.
Cela reste une description partielle du contenu de l’image, avec pour l’instant une centaine d’éléments reconnus automatiquement, qu’il s’agisse de modes de transport (voiture, bateau, avion, vélo…), d’éléments naturels (extérieur, montagne, arbre, océan, soleil…), de types de sports (tennis, natation, golf…) ou de nourriture (pizza, sushi, café, dessert) ou encore de mots aidant à décrire l’apparence d’une personne (bébé, lunettes, barbe, souriant…).
Le choix des éléments de cette liste, qui a vocation à s’allonger au fil du temps, repose sur la fréquence d’apparition des choses en question dans les photos publiées sur Facebook, mais aussi sur la capacité du système à les reconnaître de manière fiable, ont expliqué aux journalistes Jeff Wieland, un des membres de l’équipe s’occupant des questions d’accessibilité chez Facebook, et Matt King, un ingénieur du groupe qui a perdu la vue quand il était à l’université.
Dans le futur, le système pourrait être développé pour fournir des descriptions plus complètes, par exemple en précisant les activités auxquelles se livrent les personnes sur une photo, ou peut-être leur identité, ont-ils détaillé.
Facebook n’est pas le seul groupe technologique à envisager d’utiliser l’intelligence artificielle pour aider les handicapés.
Lors d’une conférence pour les développeurs la semaine dernière, Microsoft avait également évoqué l’intégration de fonctions de reconnaissance d’objet ou de texte à des applications mobiles. Il avait notamment montré dans une vidéo comment ce type de fonctionnalité pourrait par exemple s’intégrer à des lunettes ou un smartphone pour « voir » à la place d’un aveugle et lui décrire les gens qui l’entourent et leurs réactions, ou encore lui lire le menu d’un restaurant.