Des Chinois utilisent Kinect pour transformer le langage des signes en texte
Un système très ingénieux

Le , par Stéphane le calme, Chroniqueur Actualités
La communication est un outil primordial chez les êtres humains car elle permet des interactions. Cependant, combien de fois avez-vous été en face d'une personne frappée de surdité sans comprendre ce qu'elle dit et vice versa ? Une équipe de chez Microsoft Research Asia a récemment travaillé avec l’Institut de Technologie de l’Informatique à l’Académie Chinoise des Sciences sur la conception d'un système capable de traduire le langage des signes en écriture.

En combinant les données des caméras de Kinect, les chercheurs ambitionnent d’apprendre à l’interface Kinect de la Xbox 360 à reconnaître les gestes présents dans la langue des personnes malentendantes.

Le but de ce programme est de permettre à ces personnes de pouvoir communiquer aisément avec ceux qui ne connaissent pas la langue des signes et vice versa.


La façon dont le système fonctionne est assez astucieuse. En enregistrant puis en normalisant les mouvements de la langue des signes, le système utilise un algorithme pour déterminer l'alignement du mouvement de la trajectoire 3D. Une fois que la machine a pu assimiler les données visuelles, elle essaye de les faire correspondre aux mots qu'elle connait par ordre de pertinence. Le système devrait aussi pouvoir transformer les textes sous formes d'avatar qui apparaîtront devant l'écran des malentendants.

Encore au stade embryonnaire, si ce projet est commercialisé il permettra sans doute de rompre la barrière de la langue entre les personnes atteintes de surdité et les autres.

Source : reconnaissance des langages de signes et traduction par Kinect (au format PDF)

Et vous ?

Que pensez-vous de cette initiative ?


Vous avez aimé cette actualité ? Alors partagez-la avec vos amis en cliquant sur les boutons ci-dessous :


 Poster une réponse

Avatar de dutilleul dutilleul - Membre régulier http://www.developpez.com
le 26/07/2013 à 2:16
Bonsoir a tous.

(Enfin) Une application utile de la puissance de l'esprit humain et de la puissance de calcul qui en résulte dans nos machines.
Un point qui me chiffonne (c'est un détail) : je crois savoir (lire : je ne sais pas) que la langue des signe n'est pas universelle, chaque langue a ses codes. Mais il est certain qu'une fois décodées les postures des intervenants, la transcription dans chaque langage humain ne sera plus qu'un jeu d'enfant...
Mais je crains qu'il faille se convertir au chinois pour étudier les algorythmes !!!
Cordialement
Dutilleul
Avatar de MarieKisSlaJoue MarieKisSlaJoue - Membre émérite http://www.developpez.com
le 26/07/2013 à 2:50
Je trouve l'idée vraiment sympa. Par contre

Citation Envoyé par Stéphane le calme  Voir le message
Cependant, combien de fois avez-vous été en face d'une personne frappé de surdité sans comprendre ce qu'elle dit et vice-versa ?


Jamais, ça vous arrive souvent vous ?
Avatar de Voïvode Voïvode - Membre émérite http://www.developpez.com
le 26/07/2013 à 4:36
Citation Envoyé par MarieKisSlaJoue  Voir le message
Je trouve l'idée vraiment sympa. Par contre

Citation Envoyé par Stéphane le calme
Cependant, combien de fois avez-vous été en face d'une personne frappé de surdité sans comprendre ce qu'elle dit et vice-versa ?

Jamais, ça vous arrive souvent vous ?

Sauf qu'un sourd profond finit par ne plus savoir s'exprimer intelligiblement à l'oral.
Avatar de Paul TOTH Paul TOTH - Expert éminent sénior http://www.developpez.com
le 26/07/2013 à 5:06
Citation Envoyé par MarieKisSlaJoue  Voir le message
Jamais, ça vous arrive souvent vous ?

ça permettrait notamment d'équiper toutes les administrations recevant du public
Avatar de Na_Kai Na_Kai - Membre régulier http://www.developpez.com
le 26/07/2013 à 8:59
Que pensez-vous de cette initiative ?

C'est une très bonne initiative de la part de cette équipe de chez microsoft

Par contre :
Citation Envoyé par Stéphane le calme
Le système devrait aussi pouvoir transformer les textes sous formes d'avatar qui apparaîtront devant l'écran des malentendants.

Cela existe déja, en 2007 IBM avait financé des personnes pour sortir SiSi (Say It, Sign It) qui faisait exactement celà. J'ai d'ailleurs pu utiliser cette solution en 2009 et cela fonctionnait magnifiquement.
Avatar de lelensois16 lelensois16 - Membre éprouvé http://www.developpez.com
le 26/07/2013 à 9:17
Citation Envoyé par Voïvode  Voir le message
Sauf qu'un sourd profond finit par ne plus savoir s'exprimer intelligiblement à l'oral.

Faux, j'suis sourd profond et je m'en sors très bien

Le Langage des signes est un choix personnel. J'ai des camarades sourds qui ont choisi de ne pas apprendre à parler. Selon eux, le handicap n'a pas lieu d'être, entre sourds et avec le langage des signes, il y a pas de problèmes de communication.

Malgré tout, je suis contre une utilisation TOTALE de la LS ( je suis pas contre la LS mais pour une utilisation exclusive de la LS , je signe tous les jours mais aussi je parle tous les jours). Malheureusement, peu de sourds apprennent la langue orale et la langue des signes. Souvent c'est soit l'un soit l'autre. Mes copains sourds se renferment dans leur monde...

Après il y a un autre problème : La langue des signes n'est pas universelle.
1 - Elle est nationale : la LSF ( Langue des Signes Francçaise ) , l'ASL ( L'American Sign Language ) ...
2- Peu normalisée : l'ASL est très normalisée mais la LSF ( du fait qu'elle était interdite jusqu aux alentours des années 2000 ) ne l'est pas assez. Chaque école emploie ses propres signes. Après avec le temps, ca va se normaliser ( j'espère ).
3- Est ce que c'est du francais signé ? car la Langue des signes a sa propre syntaxe ( pas de temps , inversion du COD et du verbe ... ).
4- La langue des signes ne comprend pas uniquement les mains, mais aussi l'expression faciale. Je ne sais pas si l'outil prend en compte ce paramètre.
Avatar de Loceka Loceka - Expert confirmé http://www.developpez.com
le 26/07/2013 à 9:36
Citation Envoyé par lelensois16  Voir le message
Après il y a un autre problème : La langue des signes n'est pas universelle.

J'ai toujours trouvé que c'était d'une bêtise sans nom, ç'aurait été tellement plus simple de créer une langue des signes universelle d'autant qu'elle a été créée relativement récemment, à une période où il était devenu facile de communiquer avec le reste du monde...
Avatar de Paul TOTH Paul TOTH - Expert éminent sénior http://www.developpez.com
le 26/07/2013 à 9:43
Citation Envoyé par lelensois16  Voir le message
Faux, j'suis sourd profond et je m'en sors très bien

Le Langage des signes est un choix personnel. J'ai des camarades sourds qui ont choisi de ne pas apprendre à parler. Selon eux, le handicap n'a pas lieu d'être, entre sourds et avec le langage des signes, il y a pas de problèmes de communication.

Malgré tout, je suis contre une utilisation TOTALE de la LS ( je suis pas contre la LS mais pour une utilisation exclusive de la LS , je signe tous les jours mais aussi je parle tous les jours). Malheureusement, peu de sourds apprennent la langue orale et la langue des signes. Souvent c'est soit l'un soit l'autre. Mes copains sourds se renferment dans leur monde...

Après il y a un autre problème : La langue des signes n'est pas universelle.
1 - Elle est nationale : la LSF ( Langue des Signes Francçaise ) , l'ASL ( L'American Sign Language ) ...
2- Peu normalisée : l'ASL est très normalisée mais la LSF ( du fait qu'elle était interdite jusqu aux alentours des années 2000 ) ne l'est pas assez. Chaque école emploie ses propres signes. Après avec le temps, ca va se normaliser ( j'espère ).
3- Est ce que c'est du francais signé ? car la Langue des signes a sa propre syntaxe ( pas de temps , inversion du COD et du verbe ... ).
4- La langue des signes ne comprend pas uniquement les mains, mais aussi l'expression faciale. Je ne sais pas si l'outil prend en compte ce paramètre.

il y a quelques années j'ai rencontré une société qui propose des traducteurs en ligne grâce à un système de webcam qui apporte la video pour la LS et le son l'interlocuteur. C'est à cette occasion que j'ai appris que l'illettrisme touche 80% des sourds de naissance...d'où l'importance de ce genre de système. Ma première réaction aurait en effet été d'avoir recours à l'écrit pour communiquer
Avatar de ymoreau ymoreau - Membre émérite http://www.developpez.com
le 26/07/2013 à 9:48
Citation Envoyé par Loceka  Voir le message
J'ai toujours trouvé que c'était d'une bêtise sans nom, ç'aurait été tellement plus simple de créer une langue des signes universelle d'autant qu'elle a été créée relativement récemment, à une période où il était devenu facile de communiquer avec le reste du monde...

Une certaine entreprise qui a fait faillite avec le projet de Building "Babel" s'est dit la même chose

Plus sérieusement ce n'était probablement pas un choix, les muets du monde entier ne se sont pas réunis un jour pour dire :
"On se fait une fait une langue des signes universelle ?
- Non !
- Ok tant pis, on fait ça national alors."
La diversité des langues de signe me parait aussi évidente que la diversité des langues orales, des cultures etc. Et elle n'est pas si récente que ça, toute langue a une histoire. Et difficile de renoncer totalement à son histoire pour accepter une nouvelle norme universelle, en tout cas pas en une seule génération (on en a la preuve sur tout un tas d'autres trucs).
Avatar de lelensois16 lelensois16 - Membre éprouvé http://www.developpez.com
le 26/07/2013 à 9:52
Ben, il ya pas mal de similitudes entre signes. Genre l'ASL est insipiré de la LSF. Mais ca reste des signes nationaux.

Wikipédia :
L'ASL est proche de la LSF, avec une similarité lexicale de 43 % sur une liste-type de 872 mots. Ceci est dû à l’influence de Laurent Clerc sur Thomas Hopkins Gallaudet, le fondateur aux États-Unis de la première école pour les enfants sourds en Amérique et dont le fils Edward-Miner Gallaudet fonda ensuite à Washington le Gallaudet College qui devint la seule université enseignant en Signes.

J'ai du mal à croire à ce chiffre de 80% d'illétrés. Il est peut être vrai pour la génération précédente. Mais notre génération a fait pas mal de progrès :
- les outils de communication actuels : Internet, l'outil de l'article, le sous-titrage, les SMS, les outils de reconnaissance vocale ... Le jour où j'ai eu mon premier PC, j'étais heureux
- les progrès en manière d'éducation ( même si ce n'est pas parfait ) : les sourds qui font des progrès sont intégrés dans des classes normaux pour leur habituer à un environnement normal ( de ce fait , j'ai fait 3 ans avec les sourds et 15 ans avec les entendants ).
- la reconnaissance de la langue des signes qui aide pas mal à l'émancipation sourde.
Offres d'emploi IT
Développeur / développeuse d'application
SEPTIME - Midi Pyrénées - Rodez (12000)
Chef de projet JAVA _ PERPIGNAN
non renseigné - Languedoc Roussillon - PERPIGNAN
Développeur Symfony2 (H/F)
Kiwings SAS - WeCook.fr - Ile de France - Paris (75000)

Voir plus d'offres Voir la carte des offres IT
Contacter le responsable de la rubrique Accueil