Microsoft développe un système de détection de mouvement

Microsoft a toujours eu un intérêt particulier pour le développement de systèmes de suivi de mouvement. L’évidence est le système Kinect pour la console Xbox 360, qui permet de contrôler des jeux vidéo sans utiliser de manette, grâce au suivi des mouvements du corps entier.

Mais quand on arrive à la détection des mouvements des mains et des doigts, il s’avère qu'il est beaucoup plus difficile pour l'ordinateur de comprendre ce que est en train de faire une main que de suivre le mouvement de l’ensemble du corps. « Suivre la main et l'articulation de la main, est un problème beaucoup plus difficile », a déclaré Jonathan Taylor, un chercheur chez Microsoft.

La raison est que les parties des mains sont plus petites, et que les gens ont beaucoup de flexibilité dans leurs doigts et poignets. On peut en effet les déplacer de façon subtile et complexe de sorte qu’il soit difficile pour un ordinateur et même pour un humain de comprendre ce que la main est en train de faire.

Les chercheurs de Microsoft ont donc travaillé pour repousser les limites de leur système actuel à reconnaitre et reproduire les mouvements des mains. Et comme résultat, ils ont mis au point un nouveau système appelé Handpose.

Handpose « permet de suivre, en temps réel, tous les mouvements sophistiqués et nuancés de la main que les gens font dans leur vie quotidienne ». A expliqué Microsoft dans un billet de blog.

Handpose est basé sur Kinect. Les chercheurs « ont d’abord essayé d'utiliser le machine learning pour enseigner à l'ordinateur comment identifier les gestes de la main en lui permettant d'apprendre une pléthore d'images étiquetées.» A expliqué Microsoft. Mais le système de la Xbox 360 n’était pas suffisant à lui seul pour obtenir les résultats souhaités. Ils ont alors ajouté un autre élément dans le développement du système : la modélisation 3D de la main. « La combinaison des deux systèmes leur a permis de suivre les mains en temps réel » comme jamais auparavant, a dit Taylor.


Handpose utilise une caméra pour suivre les mouvements de la main. Il parvient ainsi à identifier des configurations plus souples et plus complexes des mains, en allant des zig-zag aux signes des doigts et de surcroît, en temps réel.

Le nouveau système de Microsoft offrira de vastes possibilités pour le monde de la réalité virtuelle des jeux vidéo, mais son utilisation pourra être beaucoup plus élargie.

Microsoft explique par exemple que le système pourrait être utilisé pour diriger des robots dans des situations risquées où il serait dangereux d’envoyer des secouristes. A court terme, il pourrait être aussi utilisé dans des technologies que nous utilisons au quotidien. Mais, en se projetant un peu plus loin dans le futur, les chercheurs croient que « la capacité pour les ordinateurs à comprendre les mouvements de la main va également avoir des implications importantes pour l'avenir de l'intelligence artificielle. » A déclaré l’un d’entre eux.

Microsoft note à titre d'exemple que cette capacité pour les ordinateurs à comprendre les mouvements de la main les plus nuancés « pourrait rendre plus facile pour nous d'enseigner aux robots comment faire certaines choses, comme ouvrir un pot. »

Les chercheurs de Microsoft devraient présenter leur projet à la conférence CHI sur l'interaction homme-machine à Séoul, cette année. Pour cette conférence, le projet de la firme de Redmond a reçu le prix « Best of CHI Mention Honorable Award ».


Source : Microsoft Blogs

Et vous ?

Qu'en pensez-vous ?

Quel serait l’impact du nouveau système de détection de mouvement de Microsoft ?