Des chercheurs de l’Université de Cornell et de Stanford ont présenté un système robotisé de surveillance des humains. Vous oubliez toujours de fermer la porte de votre chambre ? Vous ne vous souvenez jamais où vous avez pu poser vos clés de voiture ? Vous n’arrivez jamais à remettre le lait au frigo avant de partir ? Watch-Bot est fait pour vous !
Watch-Bot est un robot conçu par Chenxia Wu, Jiemi Zhang, Bart Selman, Silvio Savarese et Ashutosh Saxena, tous chercheurs à l’université de Cornell et de Stanford aux Etats-Unis. Le robot est simplement connecté à un capteur Kinect v2 RGB-D, à une caméra et à un ordinateur. Grâce au capteur Kinect, le robot observe les humains et leurs étranges comportements : ils ne cessent de tout oublier ! Et lorsqu’il identifie un comportement anormal, c’est là qu’il intervient pour prévenir son utilisateur grâce à un laser avec lequel il pointe l’objet oublié.
Il s’agit d’un dispositif portatif qui peut être employé sur n’importe quel robot existant. Très basiquement, il repose sur un système d’apprentissage algorithmique totalement libre. Comprendre, personne n’a programmé le robot pour qu’il comprenne que quand une personne sort une bouteille de lait du réfrigérateur sans ranger la bouteille, cela constitue un oubli. Les chercheurs n’ont pas informé le robot du sens normal d’une action. C’est à dire qu’en observant toutes les images d’humains en action, il ne savait pas si l’action de sortir le lait du frigo devait nécessairement précéder celle de le ranger.
Les chercheurs ont en fait employé une technique fondée sur les probabilités plus que sur l’annotation sémantique. Watch-Bot a donc appris par lui-même à réagir à une multitude de scénarios différents impliquant un être humain oubliant de faire quelque chose qu’il aurait dû faire. A la manière du robot de l’université Carnegie Mellon qui apprend par le toucher, Watch-Bot a appris en analysant lui-même les images des 458 vidéos d’activités humaines qu’il a pu filmées.
Pour identifier les différents comportements, il a toutefois fallu divisé les actions en 21 catégories et définir 23 types d’objets. Sur les 438 vidéos, 222 d’entre elles montraient un humain oublier de faire quelque chose. Pour entraîner leur machine, les chercheurs ont d’abord montré une série de vidéos dans lesquelles l’humain se souvenait de faire ce qu’il avait à faire. Et dans un second temps, ils lui ont envoyé une série de vidéos dans lesquelles ils oubliaient, sans jamais lui indiquer dans quel ordre les actions devaient être effectuées. Le robot a dû lui-même recréer des schémas d’actions à partir des images qu’il a digérées. C’est ce qu’on appelle l’entraînement libre. Ainsi, en lui montrant 10 personnes qui sortent du lait du réfrigérateur, et le rangent après s’être servies, puis en lui montrant quelqu’un d’autre sortir le lait sans le ranger, le robot comprend qu’il y a une anomalie et interpelle ladite personne.
Résultat, quand Watch-bot comprend qu’un humain a oublié quelque chose, il pointe cette chose avec un laser afin de lui rappeler de la ranger par exemple. Ces oublis concernaient autant des actions que des objets. Après des expérimentations, il s’avère que le robot est capable d’identifier un oubli d’action avec une précision de 46%, contre 36% pour les objets oubliés. D’autre part, le robot s’est révélé plus efficace dans le bureau que dans la cuisine, qu’il s’agisse des activités comme des objets oubliés. En conditions réelles, le robot a démontré un taux de réussite de 60%. Le projet poursuit sa route et le robot est désormais nourri de milliers de vidéos YouTube.
Cette approche, en apparence banale, implique qu’elle puisse être étendue à quantité de scénarios différents. Un tel dispositif pourrait tout autant s’appliquer au train de vie quotidien qu’à des opérations militaires ou des chaînes de production. Il pourrait d’une part aider les personnes âgées ou maladroites à se souvenir de couper le gaz avant de quitter la cuisine et d’autre part à des fins militaires et sécuritaires pour identifier et donc anticiper des comportements hostiles et dangereux. De nombreuses technologies permettent d’ores et déjà de se projeter dans un monde futuriste, mais l’assemblée nationale vient tout juste de voter contre la combinaison vidéosurveillance et reconnaissance faciale pour permettre aux forces de l’ordre d’identifier les potentiels comportements criminels voire terroristes, comme ce fut l’objet de l’amendement n°16 proposé le 11 mai par Mr Eric Ciotti (LR).
Lien vers l’article de recherche.
Cet article Watch-Bot, le robot qui détecte ce qui lui parait anormal et le fait savoir est apparu en premier sur H+ MAGAZINE.