Intel a récemment annoncé l’édition 2014 de son concours Perceptual Computing App Challenge, articulé autour de sa technologie RealSense pour la création d’interface naturelle (NUI).Pour rappel, les technologies NUI permettent le contrôle et le déplacement des objets avec les gestes. Le challenge d’Intel a pour objectif d’encourager les développeurs à imaginer des façons nouvelles et novatrices dont RealSense pourra être utilisée par des applications qui pourront potentiellement faire l’objet d’une exploitation industrielle ou commerciale sur ordinateur de bureau, ordinateur portable, mais aussi sur tablette. Les participants pourront se partager jusqu’à un million de dollars. Il ne reste plus qu’une dizaine de jours pour participer au challenge.
La camera 3D RealSense qui sera utilisée embarque, entre autres, un système de reconnaissance faciale, vocale, la suppression des arrières plans, la réalité augmentée ainsi qu’une technologie de détection du mouvement des doigts et des mains pour donner aux appareils une interface plus intuitive. Le SDK de la camera permet de développer des solutions en C# et en C++, qui exploitent le potentiel du dispositif pour créer des interfaces utilisateur naturelles et conviviales, qui vont au-delà de ce que vous faites actuellement avec une souris et un clavier sur PC pour les interactions.
La technologie a eu droit à plusieurs évolutions, dont l’intégration de nouveaux capteurs et points d'analyse, rendant celle-ci plus sensible. Les développeurs pourront bénéficier notamment d’un suivi de 22 points des mains et des doigts dans une plage de 0,2 à 1,2 m de la caméra, donnant des positions 3D qui peuvent être utilisées pour contrôler une application. Le SDK prend désormais en charge 78 points de référence, offrant une précision accrue, une véritable détection 3D du visage et les mouvements de roulis, de tangage et de lacet du visage, au lieu des 7 points de référence pris en charge par la version 2013. La reconnaissance gestuelle et de la parole ont eu droit à plusieurs améliorations afin d’offrir une expérience plus fluide.
Pour stimuler la création des développeurs, Intel dévoile quelques projets existants qui exploitent les capacités de RealSense.
- Augmented Shaper Demo (Disco Hands)
Environnement sonore dynamique contrôlé par le mouvement des mains grâce à la technologie Intel RealSense. La caméra 3D suit avec précision le mouvement du bout des doigts dans l'espace, permettant de créer des notes et modifier le tempo.
- Hoplites Demo (hand segmentation)
Hoplites est un jeu développé par un ingénieur d'Intel à partir du SDK RealSense et de la caméra 3D Creative. Le joueur doit faire traverser les Hoplites (sorte de lemmings N.D.L.R) et les aider à franchir les obstacles avec ses mains et ses doigts.
- Robotic Arm Tech Demo
Présenté au Computex 2014, ce bras robotisé reproduit les mouvements de son concepteur par la reconnaissance des mouvements de la technologie RealSense.
- Thymio II robot with gestures (Deutsches Museum project)
Thymio II est un robot facilement programmable disposant de nombreux capteurs et actuateurs. L'équipe ParrotsOnJava.com a créé une exposition au Deutshes Museum de Munich où les visiteurs peuvent contrôler le robot par le mouvement des mains et des avant-bras.
- Bringing Building Blocks into the Virtual World
Eric Mention au Augmented World Expo 2014 montre comment la caméra RealSense est capable de saisir les objets réels et de les transposer dans un environnement virtuel. Le but du jeu est d'aider le berger à accompagner les moutons sur une plateforme en hauteur.
- Real-Time Face Tracking Demo
En partenariat avec Faceshift, Intel présente son capteur d'analyse faciale RealSense qui capte les expressions du visage en temps-réel et les reproduit sur un avatar virtuel. Le capteur est également capable de détecter les attributs du visage comme le sourire.
- Scavenger Bot Demo
Démonstration de la réalité augmentée avec la technologie RealSense.
Rajiv Mongia et son équipe ont développé une technologie permettant de séparer en temps-réel les objets/personnes entre l'avant et l'arrière plan. Combiné avec la topographie du terrain captée par la caméra 3D, le scavenger bot évolue dynamiquement en tenant compte du relief et de l'évolution de l'espace.
- Intel Perceptual Computing Challenge 2013: See what developers did
En bonus, une sélection des meilleurs projets de la compétition 2013.
Proposez votre idée d'interface naturelle pour le RealSense challenge 2014