Nos émotions reproduites en temps réel par un avatar

Vous bougez, il bouge. Vous souriez, il sourit. Vous vous fâchez, il se fâche. «Il», c’est l’avatar que vous aurez choisi. Faceshift, issu du Laboratoire d’informatique graphique et géométrique de l’EPFL, propose dès aujourd’hui un software qui pourrait faire gagner du temps aux concepteurs de films d’animation ou de jeux vidéo. Thibaut Weise, fondateur de la start-up, grimace et hoche la tête. Sur l’écran, son avatar, une créature fantastique reproduit en direct ses mimiques. Ce système pourrait à l’avenir également agrémenter les jeux en ligne ou encore rendre plus ludique les conversations vidéo.

Seul outil nécessaire : une caméra qui possède un détecteur de mouvement et un capteur de profondeur du style Microsoft Kinect ou Asus Xtion, bien connues des amateurs de jeux vidéo. Lors de la première utilisation, une dizaine de minutes sont nécessaires pour «entraîner» le software a reconnaître le visage de l’utilisateur. L’utilisateur reproduit quelques expressions de base demandées par le système: sourire, hausser les sourcils etc. «Plus on intègre de mouvements parmi les 50 positions du programme, plus le résultat sera réaliste», souligne Thibaut Weise, créateur de la start-up aujourd’hui basée au Technopark de Zurich. On peut ensuite se mettre dans la peau de son personnage et l’animer en bougeant soi-même. « C’est un peu comme si on sortait de son corps pour entrer dans celui de son avatar», s’amuse le jeune patron.

Un gain de temps pour les films d’animation

Le défi de l’équipe de recherche du Laboratoire d’informatique graphique et géométrique a été de trouver un algorithme permettant de superposer les données de profondeur de la caméra avec la couleur de l’image et l’avatar en une seule étape. Ils ont démontré que des mouvements du visage en 3D peuvent être reconstruits en temps réel sans l'utilisation de marqueurs du visage ou de matériel de numérisation complexe.

Dans un film d’animation ou un jeu vidéo, les expressions faciales des personnages sont définies avec un programme qui permet de bouger point par point les différentes parties du visage. Pour imiter la colère, il faut par exemple froncer chaque sourcil en deux ou trois clics, puis étirer la bouche vers le bas et ainsi de suite. Avec le logiciel de faceshift, les mimiques et «émotions» de l’avatar suivent celles de l’acteur, rendant le travail plus ludique et surtout plus court. « Ce nouvel outil pourrait faire gagner jusqu’à 30% de temps pour la réalisation d’un film », avance-t-il.

Le but, on l’imagine, est de pouvoir animer le visage de son avatar en direct dans un jeu vidéo. Déjà en contact avec de grands créateurs de jeux vidéos, Thibaut Weise estime que la prochaine génération de caméras 3D permettra à son entreprise de franchir ce cap. D’ici là, il prévoit des versions pour le grand public, intégrées dans des applications du genre de skype ou des jeux en ligne.