Interagir en 3D en temps réel avec des objets réels

Une équipe du Massachusetts Institute of Technology (MIT) a mis au point une interface de détection de mouvements qui permet de contrôler à distance des formes 3D interagissant avec des objets réels. Jusqu'à maintenant nous avions d'un côté les interfaces de contrôle à distance comme Kinect ou Leap Motion, et de l'autre les objets. Développé par deux étudiants du Media Lab du MIT, Daniel Leithinger et Sean Follmer, on est désormais capable de retranscrire des objets de la vie réelle et d'agir sur eux en trois dimensions, sur une interface physique dédiée. Il faut imaginer le dispositif inFORM comme un écran en 3D permettant d'afficher du contenu sous la forme physique. Pour l'utilisateur, c'est une façon inédite d'interagir de manière tangible avec une information numérisée. Il s'agit de l'ajout d'une dimension supplémentaire à l'univers des capteurs de mouvement (Kinect, Leap Motion ou autre...). Plus concrètement, inFORM permet de contrôler des objets à distance exactement comme si vous les aviez entre les mains. Vous effectuez un geste dans le vide, comme si vous vouliez soulever quelque chose entre vos deux mains par exemple, et l'objet sera soulevé à distance par le dispositif en place, une sorte de plateau connecté à un ordinateur.

Comment fonctionne inFORM ?

Le plateau inFORM se compose d'une grille de 900 tiges carrées (30x30), agissant les unes indépendamment des autres par le biais d'actionneurs, chacun ayant sa propre carte à microcontrôleur. Le tout contrôlé par une unité centrale. Un capteur Kinect transmet les informations au dispositif pendant qu'un vidéo-projecteur situé au-dessus du plateau l'éclaire avec différentes couleurs. Dans la vidéo on peut voir un utilisateur tourner les pages d'un magazine et le dispositif inFORM les retranscrire physiquement en 3D via les neuf cents petits cubes, équivalents aux pixels d'un écran. C'est un projet très prometteur qui pourrait déboucher sur de nombreuses applications puisque pour la première fois on arrive à matérialiser le virtuel. inFORM pourrait s'avérer très utile pour une représentation visuelle d'une courbe ou d'un histogramme, pour modifier la disposition des espaces sur une maquette d'architecte, ou bien pour modéliser le corps humain avant une opération chirurgicale.