Facebook n’a pas perdu de temps. Moins d’une semaine après la présentation de l’application SeeingAI de Microsoft. La firme de Marck Zuckerberg a dévoilé son propre système d’assistance intelligente pour les aveugles baptisé Automatic Alternative Text.
Dans la vidéo de présentation, c’est une voix synthétique qui explique le fonctionnement de l’outil en s’adressant directement aux aveugles : “Curieux de savoir à quoi ressemble Facebook ? Montez le son et c’est parti“. La nouvelle technologie de Facebook est capable de dépeindre le contenu d’une photos, en décrivant ses différents éléments. Il s’agit en gros d’un système automatique de génération de légendes photographiques.
Le réseau social poursuit ses avancées technologiques dans la reconnaissance d’images. Son système de reconnaissance faciale DeepFace qui permettait de tagguer automatiquement les amis sur les photos avait déjà défrayé la chronique, tant l’algorithme était performant.
Soucieux d’élargir toujours un peu plus sa base d’utilisateurs (qui a franchi la barre du milliard d’utilisateurs quotidiens en 2015), Facebook n’est pas prêt de lâcher prise sur un marché qui représente plus de 300 millions d’utilisateurs. Facebook estime en effet à 246 millions le nombre de malvoyants et 39 millions le nombre d’aveugles. Avec plus de 2 milliards de photos partagées chaque jour sur Facebook, WhatsApp et Instagram, la firme ne voudrait pas priver les malvoyants de cette énorme base de données.
Plutôt que de se reposer sur ses collègues et proches pour “interpréter les photos” à la place du malvoyant, les ingénieurs de la Team Accessibility de Facebook suggèrent de générer algorithmiquement des descriptions précises et utiles sans subir de problèmes de latence trop pénalisants.
Après dix mois d’analyse de données, de conception de prototypes et d’études de comportement utilisateur (dont un exemple ici), voilà Image Alternative Text. Le réseau social a fait part de l’ampleur du défi qu’il s’était proposé de relever, comme de trouver l’équilibre entre quantité d’informations et précision. Le désir d’information étant très subjectif, certains cherchent d’abord à savoir qui est représenté sur la photo quand d’autres s’intéressent à l’arrière-plan, au paysage. Une prouesse rendue possible grâce à la technologie de reconnaissance d’objets développée par la firme, qui fonctionne à partir d’un réseau de neurones composé de milliards de paramètres et ayant digéré des millions d’exemples pour arriver à maturité.
Mais le projet dépasse largement cet objectif. A travers ses travaux de recherches sur l’interaction visuelle des malvoyants, le groupe cherche avant tout à développer de nouvelles fonctionnalités permettant de simplifier et d’améliorer l’interactivité de manière générale sur son réseau social. Rendre un outil le plus intuitif et facile d’utilisation possible, c’est le nerf de la guerre entre les développeurs d’applications.
La technologie n’est pour l’instant disponible qu’en Anglais sur la version iOS, mais Facebook prévoit déjà de déployer le dispositif à l’international.
Plus d’informations sur ces recherches sur le site dédié.
Cet article Facebook lance un système intelligent de description automatique pour les malvoyants est apparu en premier sur H+ MAGAZINE.