Simulation de dépose de cordons d'étanchéité sur la carrosserie d'une voiture. © INRIA / Photo Jim Wallace - Données : PSA Peugeot Citroën

Cette expérience peut être la simulation d'une tâche, réelle ou non, à des fins de formation, d'évaluation, de conception, d'analyse, de divertissement... ou même de thérapie. Parmi les tâches réelles simulées, citons à titre d'exemples le prototypage virtuel, la simulation de conduite, de visite de sites culturels, d'opérations chirurgicales ou encore d'environnements anxiogènes pour le traitement des phobies. Il peut aussi s'agir de tâches n'existant pas dans le monde réel comme l'exploration de données complexes (résultats de calculs scientifiques ou données expérimentales) ou la simulation d'incohérences sensori-motrices pour des études théoriques sur le comportement et la perception humaine.

Par opposition aux simulations de phénomènes physiques ou naturels (prévision météorologique, résistance des matériaux, croissance des plantes, évolution des galaxies, fusion thermonucléaire, etc.), la réalité virtuelle s'intéresse à des simulations intégrant l'être humain, en étudiant plus particulièrement l'interface entre l'homme et son environnement.

On pourrait envisager d’employer la même démarche que pour simuler les phénomènes physiques ou naturels, c'est-à-dire modéliser non seulement la tâche, mais aussi l'opérateur, et utiliser ce modèle pour la simulation. Mais cette approche soulève deux problèmes. D'une part, la complexité de la modélisation du comportement humain rend cette approche difficile dans de nombreux cas. D'autre part, lorsque l’homme est intégré dans la boucle, l'objectif de la simulation est souvent l'étude de la perception que l’opérateur a de l’expérience. Il peut s'agir d'études ergonomiques ou psychologiques sur le comportement ou la perception humaine.

C'est la raison pour laquelle une approche différente doit être adoptée. Celle-ci consiste à intégrer l'homme réel, « en chair et en os », dans la simulation, ce qui dispense d'une modélisation du comportement humain, complexe et souvent non pertinente. Par contre, l’intégration d'une personne dans la simulation suppose une gestion suffisamment fidèle de l’interface entre l’opérateur et la tâche.

1. Un aperçu de la réalité virtuelle

De façon générale, la réalité virtuelle vise à faire vivre, à la première personne, une expérience interactive simulée dite « virtuelle », qui donne à l'utilisateur l'impression d’« y être ». Pour traduire cette sensation de réalité, la littérature scientifique emploie souvent les termes de présence ou d’immersion. L’interactivité de l’expérience — au sens de la communication entre l'application et l'utilisateur — doit être la plus riche possible, ce qui suppose que l’application interprète les actions de la personne (geste, regard, parole, posture…) — on parlera alors de modalités de communication — et stimule les sens de l’opérateur — on parlera de restitutions sensorielles.

Cependant, il n'est pas rare de voir seulement un nombre limité de modalités et de retours sensoriels intégrés dans les applications de réalité virtuelle. En effet, si chacun d'entre eux fait l'objet de recherches poussées en fonction de son importance, leur intégration dans une même application constitue un défi supplémentaire.

Pourquoi cette nécessité d'avoir le sentiment d'« y être » ? Au-delà de l’image fixe ou de l’animation de synthèse, assimilables aux photos ou au reportage audiovisuel que l’on rapporte d’un voyage pour les montrer à ses amis, la réalité virtuelle vise à donner le sentiment d'être du voyage. Cette sensation est favorisée par l'intégration d'un certain nombre de facteurs d'immersion, dont l'interaction à la première personne et la mise à disposition de plusieurs modalités de communication et de plusieurs retours sensoriels (de type visuel et tactile par exemple).

Concernant la restitution visuelle, outre le réalisme et l'aspect temps-réel de la simulation graphique, qui relèvent de l’informatique graphique, les principaux facteurs d’immersion caractéristiques de la réalité virtuelle sont une visualisation à la première personne, une visualisation stéréoscopique et un grand champ de vision.

Dans le cas présent, nous nous intéresserons donc principalement aux aspects de visualisation des configurations de réalité virtuelle. D'autres technologies de base spécifiques à la réalité virtuelle seront abordées dans d'autres documents. Par ailleurs, la réalité virtuelle fait aussi appel à de nombreuses technologies étudiées dans d'autres thématiques telles que l'informatique graphique (techniques de visualisation, modélisation, simulation du comportement d'entités, etc.), la vision (enregistrement des mouvements, etc.), la robotique, les systèmes distribués, les réseaux...

Principe de la visualisation et de l'interaction à la première personne

Une visualisation à la première personne suppose de connaître la position exacte de la tête de l'utilisateur, de façon à fournir une visualisation du monde virtuel en fonction de cette position. Pour ce faire, on utilise des systèmes de suivi de positions qui indiquent la position de la tête. À chaque instant, la scène est visualisée en adoptant comme point de vue la position de la tête (plus précisément de l’œil). Plusieurs technologies sont disponibles pour le suivi de positions, les plus utilisées étant celles de type électromagnétique, combinaison inertiel ultrasons, ou optique.

Proposer une visualisation à la première personne permet non seulement d’observer un objet sous différents angles par de simples mouvements de tête comme on le fait naturellement dans le monde réel, mais aussi d'interagir grâce à une superposition des espaces virtuel et réel, l'espace réel étant lui aussi tout naturellement vu à partir de l’œil. On parle également de co-location. En l'absence de celle-ci, toute manipulation s’apparente à de la télé-opération (manipulation à distance). L’espace réel de manipulation n’est plus superposé à l’espace virtuel de visualisation et les objets réels (la main de l'utilisateur par exemple) doivent être représentés par des avatars (modèles virtuels représentant une entité réelle) pour être vus à leur place.

Principe de la visualisation stéréoscopique

La vision binoculaire humaine intègre une perception du relief. Chaque œil voit une image légèrement différente, et c'est à partir de ces deux images correspondant à des points de vue légèrement décalés que le cerveau reconstruit une information de profondeur. En réalité virtuelle, l'information de profondeur liée à la vision binoculaire est restituée, de la même façon, en calculant une images différente pour chaque œil, avec comme point de vue la position exacte de l'œil. Cependant, le caractère stéréoscopique de la vision n'explique pas à lui seul la perception du relief. Elle est en effet renforcée par l'effet de perspective, qui attribue une taille plus petite aux objets éloignés, les occlusions et les ombres, ou encore la parallaxe lors des mouvements de tête.

Principe d’un grand champ de vision

Un grand champ de vision peut être obtenu soit par une visualisation sur grands écrans (dans le cas de configurations de réalité virtuelle - ou environnements virtuels - à base de projections sur grands écrans), soit par l’utilisation de casques permettant, par un simple mouvement de tête, d’explorer tout l’espace entourant la personne.

Continuum des principaux systèmes de visualisation

Intégration des facteurs d’immersion des principaux systèmes de visualisation. OUI/NON signifie technologiquement possible mais généralement non réalisé.

Après avoir détaillé ces quelques principes de la réalité virtuelle, passons en revue les principales configurations de réalité virtuelle qui les mettent en œuvre.