Qu'est-ce qui se perd exactement dans la traduction lorsque des émissions de télévision et des films sont sous-titrés ou doublés dans une nouvelle langue ? C'est une question à laquelle il est difficile de répondre, mais pour l'équipe de la start-up d'IA Flawless, c'est une question à laquelle nous n'aurons peut-être plus à penser à l'avenir. L'entreprise affirme avoir la solution à cette barrière linguistique particulière ; une innovation technique qui pourrait aider les émissions de télévision et les films à atteindre sans effort de nouveaux marchés dans le monde entier. Cette nouvelle technologie d'imitation profonde permet à Robert De Niro de prononcer sa célèbre réplique de Taxi Driver dans un allemand impeccable, avec des mouvements de lèvres et des expressions faciales réalistes. Le logiciel d'IA manipule les lèvres et les expressions faciales d'un acteur pour les faire correspondre de manière convaincante au discours d'une personne prononçant les mêmes lignes dans une autre langue. Cette technologie, basée sur l'intelligence artificielle, pourrait remodeler l'industrie cinématographique, de manière à la fois séduisante et inquiétante.La technologie de doublage automatique a été mise au point par Flawless, une société britannique cofondée par le réalisateur Scott Mann, qui dit en avoir eu assez de voir des doublages étrangers de mauvaise qualité dans ses films. Cette technologie est liée au deepfaking, qui utilise l'IA pour coller le visage d'une personne sur celui d'une autre. Elle promet de permettre aux réalisateurs de tourner à nouveau des films dans différentes langues, afin de rendre les versions étrangères moins gênantes pour le public et plus fidèles à l'original. Mais le pouvoir de modifier automatiquement le visage d'un acteur aussi facilement pourrait également s'avérer controversé s'il n'est pas utilisé avec précaution.
Après avoir visionné une version étrangère de son film le plus récent, Heist, avec De Niro, Mann dit avoir été consterné par la façon dont le doublage a gâché des scènes soigneusement élaborées. Il refuse de préciser la langue. Le doublage implique parfois de modifier considérablement les dialogues, selon Mann, afin de les faire correspondre plus étroitement aux mouvements des lèvres de l'acteur. « Je me souviens avoir été anéanti. Vous faites un petit changement dans un mot ou une performance, cela peut avoir un grand changement sur un personnage dans le rythme de l'histoire, et à son tour sur le film », dit-il.
Mann a commencé à faire des recherches sur les travaux universitaires liés aux deepfakes, ce qui l'a conduit à un projet de doublage par IA dirigé par Christian Theobalt, professeur à l'Institut Max Planck d'informatique en Allemagne. Ce travail est plus sophistiqué qu'un deepfake classique. Il consiste à capturer les expressions faciales et les mouvements d'un acteur dans une scène, ainsi que ceux d'une personne prononçant les mêmes paroles dans une autre langue. Ces informations sont ensuite combinées pour créer un modèle 3D qui fusionne le visage et la tête de l'acteur avec les mouvements des lèvres du doubleur. Enfin, le résultat est cousu numériquement sur l'acteur dans une scène.
Flawless s'est inspiré du projet de Theobalt pour son produit. Mann indique que la société est en pourparlers avec des studios pour créer des versions étrangères de plusieurs films. D'autres clips de démonstration de Flawless montrent Jack Nicholson et Tom Cruise prononçant des répliques célèbres de A Few Good Men en français et Tom Hanks parlant espagnol et japonais dans des scènes de Forrest Gump. « Ce sera bientôt invisible. Les gens regarderont un film et ne réaliseront pas qu'il a été tourné à l'origine en français ou autre », dit Mann.
Ce qui rend la technologie de Flawless particulièrement intéressante, c'est son potentiel d'extension. L'argument de Flawless est que les doublages deepfake offrent un excellent rapport qualité-prix : ils sont peu coûteux et rapides à créer, surtout si on les compare au coût des remakes complets. De plus, avec l'avènement des plateformes de streaming mondiales comme Netflix, Disney Plus et Amazon Prime Video, il est plus facile que jamais pour ces contenus doublés d'atteindre les marchés internationaux. En effet, d’après Mann, Flawless étudie également comment sa technologie pourrait aider les studios à éviter de coûteuses reprises de tournage en faisant apparaître un acteur pour qu'il dise de nouvelles répliques. Mais il ajoute que certains acteurs sont un peu déstabilisés lorsqu'ils se voient manipulés par l'IA. « Il y a de la peur et de l'émerveillement : ce sont les deux réactions que je ne cesse de recevoir », dit-il.
Virginia Gardner, une actrice qui joue dans le dernier film de Mann et qui s'est vue parler espagnol grâce au logiciel de Flawless, ne semble pas trop inquiète, bien qu'elle suppose que les films modifiés par l'IA comporteraient un avertissement. « Je pense que c'est le meilleur moyen de pouvoir, en tant qu'acteur, préserver sa performance dans une autre langue. Si vous faites confiance à votre réalisateur et que vous avez confiance dans le fait que ce processus ne fera qu'améliorer un film, alors je ne vois vraiment pas d'inconvénient à cela », dit-elle.
La manipulation vidéo par l'IA est controversée et pour cause : les programmes gratuits de "deepfake", qui permettent de remplacer le visage d'une personne par celui d'une autre dans une scène vidéo, ont proliféré grâce aux progrès de l'IA. Le logiciel identifie les points clés du visage d'une personne et utilise l'apprentissage automatique pour capturer les mouvements du visage de cette personne. Cette technologie a été utilisée pour créer de fausses scènes à caractère pornographique de célébrités et des vidéos de « revenge-porn » préjudiciables pour les femmes. Les experts craignent que les deepfakes montrant une personne célèbre dans une situation compromettante ne diffusent des informations erronées et n'influencent une élection par exemple.
La manipulation de visages prête à l'emploi pourrait s'avérer controversée dans l'industrie cinématographique. Darryl Marks, fondateur d'Adapt Entertainment, une société de Tel Aviv qui travaille sur un autre outil de doublage IA, dit qu'il n'est pas sûr de la réaction de certains acteurs qui verront leur performance modifiée, surtout s'il n'est pas clair que cela a été fait par un ordinateur. « S'il s'agit d’acteurs très célèbres, ils pourraient s'y opposer », dit-il.« Il existe des utilisations légitimes et éthiques de cette technologie. Mais toute utilisation de cette technologie doit se faire uniquement avec le consentement des artistes-interprètes concernés, et avec une compensation adéquate et appropriée », déclare Duncan Crabtree-Ireland, avocat général de la Screen Actors Guild.
Hao Li, un artiste spécialisé dans les effets visuels et dans l'utilisation de l'IA pour la manipulation faciale, affirme que les réalisateurs et les producteurs de films manifestent un intérêt croissant pour les deepfakes et les technologies IA connexes. La création d'un deepfake nécessite normalement des heures de traitement algorithmique, mais Hao Li travaille actuellement sur un film où un logiciel de deepfake plus avancé permet au réalisateur de voir un acteur transformé en temps réel. Selon Li, la situation ressemble à celle qui s'est produite lorsque l'utilisation d'images de synthèse photoréalistes s'est généralisée dans les années 2000. Aujourd'hui, grâce à l'IA, « tout le monde veut soudainement s’y mettre », dit Li.
Et vous ?
Quel est votre avis sur le sujet ?Voir aussi :
« Je suis un mannequin et je sais que l'intelligence artificielle va bientôt prendre mon travail », a déclaré Sinead Bovell, d'autres domaines liés à la mode seraient également menacés Ce site montre des portraits de visages humains générés par une IA. Aucun d'entre eux n'est réel. Actualisez la page pour en voir un nouveau Avatarify, un deepfake qui échange en temps réel votre visage avec celui d'une célébrité, pendant les appels vidéo sur Zoom et Skype « L'IA ne peut pas nous protéger contre les deepfakes », selon un rapport de Data & Society, qui préconise une solution tenant compte à la fois de l'histoire et des processus sociaux
) alors que l'article explique que l'IA se "contente" de fusionner le visage de l'acteur et le mouvement des lèvres produit par un doubleur professionnel 2) fort probable puisque la voix Française de Jack Nicholson (Jean-Pierre Moulin) a 88ans et est retraitée depuis 2010 3) est un comble puisque l'école Française de doublage est réputée être la meilleure du monde et donc se servir de son travail pour mettre en valeur un produit qui prétend mettre fin à l'indigence des travaux produits, entre autres, par cette dernière est tout à fait scandaleux! Je savais déjà qu'il y avait beaucoup d'arnaques étiquetées "IA", mais là c'est le toupet!
Certes les avances technologiques dans le domaine sont impressionnantes mais on reste encore dans la vallée de l'étrange pour moi.