CYBER II

 

Capture, reconstruction et incrustation temps réel d’un animateur dans un monde virtuel

 

Description du projet

Dans le cadre d’une application de réalité virtuelle, nous nous intéressons à simuler, en temps réel, la présence d’une ou plusieurs personnes en mouvement au sein d’un environnement virtuel.

Nous souhaitons que cette incrustation du réel dans le virtuel se fasse sans équipement particulier, qu’elle soit la plus naturelle et la plus réaliste possible, et qu’elle soit interactive, c'est-à-dire que les personnes puissent interagir avec l’environnement virtuel. La visualisation de l’incrustation se fera sur un mur d’images constitué de projecteurs de très haute résolution. Pour que l’ensemble fonctionne en temps réels, nous aurons recours à une architecture distribuée de type grappe de PC pour gérer l’acquisition des flux vidéos et leurs traitements ainsi que la visualisation sur le mur d’images.

 

Ce projet est la suite logique de l’ACI Jeune Chercheur CYBER (2001-04) et du projet régional DEREVE (1999-03) qui ont permis notamment de mettre en évidence un certain nombre de verrous scientifiques présents dans ce thème. Le projet CYBER II a des ambitions plus grandes en terme de réalisme et de degré d’interactions entre réel et virtuel. Il nécessite pour cela la maîtrise de plusieurs domaines tels que la capture de mouvement, la reconstruction à partir d’images, le rendu graphique de haute qualité et le calcul distribué. Dans chacun de ces domaines nous voulons aborder, avec la contrainte du temps réel, les problèmes scientifiques suivants:

 

L’acquisition et la modélisation :

·        le calibrage dynamique des caméras ;

·        l’extraction, dans les images, des personnes présentes dans la scène lorsque le fond est quelconque, et dans le cas de caméras statiques et mobiles ;

·        la modélisation optimale des caractéristiques photométriques et géométriques de l’animateur ;

·        l’obtention de flux vidéos de l’animateur qui soient indépendants des conditions d’illumination de l’environnement réel ;

·        l’acquisition et la modélisation de sources lumineuses réelles.

 

Le rendu et l’incrustation 3D de haute qualité :

·        La visualisation, sous tous les angles, de l’animateur dans le monde virtuel ;

·        l’alignement des textures vidéo et leurs corrections photométriques ;

·        l’obtention d’ombres douces réalistes issue de plusieurs sources lumineuses virtuelles de forme quelconque, la qualité du rendu sera évaluée par une mesure d'erreur ;

·        les interactions lumineuses entre les personnes et le monde virtuel constitué de sources lumineuses et de surfaces qui modifient l’apparence des personnes lors de l’incrustation.

 

La grappe de PCs :

·        Les environnements logiciels de routage et contrôle des flux de données dans un environnement distribué ;

·        Les mesures de performance distribuée pour l'ajustement du niveau de détail.

 

Pour sa réussite le projet CYBER II s’appuie sur quatre partenaires possédant des compétences complémentaires sur les thèmes évoqués : Artis/GRAVIR pour le rendu, APACHE/ID pour la grappe de PCs, LIRIS pour la modélisation et MOVI/GRAVIR pour la vision par ordinateur. 

 

 

Coordinateur du projet

HASENFRATZ Jean Marc – ARTIS – GRAVIR/IMAG – INRIA

 

 

Partenaires

§         Projet APACHE, Laboratoire Informatique et Distribution (ID-IMAG), UMR 5132 CNRS, INRIA, Grenoble 1, INP Grenoble