Face2Face : une application qui permet de truquer des vidéos en temps réel

Des chercheurs de Stanford University, University of Erlangen-Nuremberg et Max-Planck-Institute for Informatics, ont développé une application baptisée Face2Face. Celle-ci met en évidence des progrès significatifs dans le domaine de la modélisation 3D pour la reconstitution faciale. Avec leur application, les chercheurs mettent en œuvre une nouvelle approche de reconstitution en temps réel du visage d’une vidéo.

Face2Face permet à un acteur d’animer en direct les expressions d’un visage dans une vidéo cible. Pour cela, l’acteur capture à partir de sa webcam les expressions faciales de son propre visage qu’il veut faire paraître sur le visage de sa cible. L’application se charge ensuite de transférer ces expressions de manière rapide et efficace sur le visage de la cible en direct, et la vidéo cible est reconstituée en temps réel.


Contrairement aux approches de reconstitution faciale existantes qui fonctionnent en mode hors connexion, celle utilisée par ces chercheurs vise à transférer en ligne des expressions faciales d’un acteur source vers un acteur cible. Les chercheurs utilisent également une caméra équipée d’un simple capteur RVB plutôt qu’une caméra équipée d’un capteur de profondeur.

Leur objectif est de modifier la vidéo cible de manière photo-réaliste, de telle sorte qu’il soit pratiquement impossible de remarquer les manipulations. Les chercheurs ont démontré leur méthode dans une configuration en direct, où des vidéos YouTube ont été reconstituées en temps réel.


Sources : Stanford, Face2Face: Real-time Face Capture and Reenactment of RGB Videos (pdf)

Et vous ?

Qu’en pensez-vous ?

Voir aussi :

Un étudiant développe un programme de capture de mouvements, Predator est sous licence GPL et ne demande qu'une Webcam