Le traité de la réalité virtuelle, volume 2 : Création des environnement virtuels et applications [2, 2 ed.] 2911762487, 9782911762482

Citation preview

Sous la direction de Philippe Fuchs et la coordination de Guillaume Moreau, il est rédigé par dix-huit chercheurs français, spécialistes de la réalité virtuelle. Le premier volume « Fondements et Interfaces Comportementales » expose les aspects théoriques et l’interfaçage de l’homme dans un environnement virtuel. Ce deuxième volume « Création des environnements virtuels & Applications » décrit les techniques informatiques pour la création des environnements virtuels et expose les applications professionnelles de la réalité virtuelle. Plus précisément, il résume en introduction la définition du champ de la réalité virtuelle proposée dans le premier volume. Une partie est ensuite consacrée aux principes informatiques de la modélisation des environnements virtuels et de leur animation. Les comportements des objets et l’autonomie des entités virtuelles sont exposés avant de décrire la plate-forme logicielle open source Openmask. Puis une autre partie est consacrée aux applications professionnelles. Un chapitre présente les applications pour tous les secteurs de l’industrie, à partir de réalisations développées dans le cadre de la plate-forme française PERF-RV. Un chapitre décrit en détail les potentialités de la réalité virtuelle pour la formation à partir de réalisations professionnelles. Un dernier chapitre expose l’intérêt de la réalité virtuelle pour la psychiatrie.

Guillaume Moreau, maître de conférences en informatique à Centrale Nantes est chercheur au laboratoire CNRS CERMA UMR 1563. Ses travaux de recherche portent sur l’utilisation de la réalité virtuelle pour l’étude des ambiances architecturales et urbaines

SCIENCES MATHÉMATIQUES ET INFORMATIQUE

1

B. Arnaldi - J.M. Burkhardt - A. Chauffaut - S. Coquillart T. Duval - S. Donikian - P. Fuchs - J. Grosjean - F. Harrouet E. Klinger - D. Lourdeaux - D. Mellet d’Huart - G. Moreau A. Paljic - J.P. Papin - P. Stergiopoulos J. Tisseau - I. Viaud-Delmon

réalité virtuelle 2e édition Volume 2 : Création des environnements virtuels & Applications

Préface de Alain Berthoz, Professeur au Collège de France

65 Euros

cou-bandeau vol-2a

Direction : Philippe Fuchs Coordination : Guillaume Moreau

Le traité de la

vol 2

et ouvrage (en 2 volumes) constitue la seconde édition étendue et mise à jour du précédent traité de la réalité virtuelle paru en décembre 2000.

Le traité de la réalité virtuelle

C

Philippe Fuchs, professeur de l’Ecole des mines de Paris, est le responsable de l’équipe Réalité Virtuelle & Réalité Augmentée. Ses recherches concernent les aspects théoriques et techniques de l’interfaçage en environnements virtuels

Philippe Fuchs, Guillaume Moreau

format couv dépliée 352 mm larg 240 mm haut

29/09/03, 16:15

PRÉFACE

Alain Berthoz

La réalité virtuelle va jouer un rôle décisif dans les années à venir et ce traité est donc très utile pour rassembler un certain nombre de connaissances, de théories et de techniques. On peut, en effet, prévoir une explosion de son utilisation dans les domaines suivants. D’abord l’éducation, où elle va apporter beaucoup à de nombreuses disciplines par le développement de l’enseignement à distance et par l’apprentissage des processus industriels. Les plus grandes sociétés développent aujourd’hui des méthodes basées sur la réalité virtuelle pour entraîner leur personnel à des opérations de manipulation, l’aider dans la compréhension de processus complexes et dans la navigation en environnements hostiles ou lointains. De façon plus générale, la réalité virtuelle haptique et visuelle (car la réalité virtuelle n’est pas seulement visuelle mais multimodale) sera un outil indispensable pour le développement des simulateurs de demain, qu’ils concernent le pilotage d’avions ou de voitures, la simulation de méthodes chirurgicales ou la simulation d’activités sportives. On peut dire que nous tenons là un formidable outil d’apprentissage. Cependant, son usage ne sera pas limité à l’enseignement ou à l’entraînement. La réalité virtuelle est aussi entrée dans le monde du travail par la téléopération qui exige une restitution de la présence des objets manipulés et de leur environnement. Véritable prolongement de la main, de la vision, du sens du toucher, la réalité virtuelle permet aujourd’hui d’allonger le bras de l’opérateur au-delà des routes et des océans. L’utilisation de la réalité virtuelle ne s’arrête toujours pas là. On entrevoit maintenant son application dans le domaine médical pour l’aide au diagnostic de certaines maladies (par exemple le vertige ou les troubles de l’orientation spatiale) et pour l’étude des bases neurales de ces maladies, où la réalité virtuelle s’est introduite car elle permet de manipuler les paramètres du monde visuel, haptique ou acoustique. La réalité virtuelle peut être aussi exploitée pour la réhabilitation, voire le traitement des troubles liés à l’âge (par exemple par des méthodes de thérapies comportementales). Notre Laboratoire est engagé dans une coopération avec deux services de Psychiatrie a Paris et a Lyon pour tester l’intérêt de la réalité virtuelle pour compléter les thérapies cognitives dans les troubles comme l’agoraphobie. J’ai en effet dans mon livre "Le sens du mouvement" proposé l’idée que certains de ces troubles sont dus a une difficulté à construire une cohérence entre toutes les informations sensorielles ou entre les données des sens et les attentes du sujet et nous avons montré qu’une exposition à des conflits sensoriels pouvait induire une réduction sensible de la désorientation spatiale [Tsuzuku e.a., 1995, Vitte e.a., 1994] ouvrant ainsi la voie a ces nouvelles thérapies. J’ai fait l’hypothèse que cette capacité de résoudre des conflits était liée à des stratégies cognitives qui permettent au cerveau humain de trouver des solutions nouvelles lorsque des systèmes sensori-moteurs sont lésés ou confrontés à des problèmes qu’ils ne peuvent pas résoudre [Berthoz, 1985, Jones e.a., 1985, Jones e.a., 1984] mais il faut se garder de se hâter a généraliser et il faut maintenant, avec patience et rigueur étudier scientifiquement avec les cliniciens le champ réel d’application de ces méthodes ; Enfin son usage va se répandre dans la science par le biais de la simulation des processus et de la construction de modèles explicatifs dans de très nombreux domaines. Il

ii

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

est inutile de mentionner l’immense champ d’application que constitue le domaine des jeux, qu’ils soient basés ou non sur des techniques de réalité virtuelle. Ces exemples donnent une idée de l’enjeu. Face à lui, les méthodes et les techniques, comme on le lira ici, se développent très rapidement. Il faut toutefois rester conscient du chemin qui reste à parcourir. Et qui risque d’être long. Ce chemin est d’abord technologique. En effet, la technologie qui permettra une restitution fidèle de la réalité n’est pas encore achevée et le savoir-faire des ingénieurs sera précieux. Les jeunes ont devant eux un immense champ de recherche et de réalisation. Ensuite, sur le plan de la fusion des modalités de la réalité virtuelle, il est nécessaire de combiner vision, sens haptique et acoustique, comme le fait si habilement le cerveau. Ceci est encore un grand défi à relever. Pour cela, je conseille sans aucun doute d’accroître la trop faible coopération entre les spécialistes des sciences de la cognition et les ingénieurs. Pas parce que les processus qu’utilise le cerveau, lorsqu’ils sont connus, sont nécessairement à copier mais parce qu’un échange réciproque ne peut qu’enrichir les connaissances des uns et des autres. De telles coopérations sont trop rares en France, et je remercie les auteurs de ce livre de s’être adressé à un Physiologiste pour préfacer leur ouvrage. Le chemin est ensuite théorique. Nous savons peu de choses sur les processus cérébraux qui permettent de reconnaître avec une grande finesse la forme d’un objet en mouvement. Au fond, nous savons peu de chose sur la perception du mouvement et sur les mécanismes qui permettent au cerveau de mettre en correspondance le toucher et la vision. Nous savons enfin peu de chose sur la façon dont le cerveau résout les problèmes de délai. J’ai eu l’impression, en lisant ce livre, que des problèmes théoriques majeurs sont encore à résoudre dans le domaine de l’algorithmique, en particulier concernant les problèmes tridimensionnels. La représentation de l’espace 3D, la reconnaissance des objets, posent des problèmes de géométrie encore non résolus, les capteurs sont encore à perfectionner mais aussi les théories sur le traitement de leurs données. Nous savons que le cerveau peut résoudre le problème du grand nombre de degrés de liberté à contrôler, qu’il anticipe, présélectionne et fait des hypothèses sur les données des sens. Ces capacités de prédiction, d’anticipation, d’utilisation de la mémoire pour prédire le futur permettent de simplifier la "neurocomputation". Nous savons aussi que l’analyse du monde extérieur utilise des "modèles internes" des lois de la mécanique et des lois physiques. Faut-il intégrer de tels processus dans les systèmes de contrôle et d’analyse des systèmes de réalité virtuelle ? Faut-il en inventer de meilleurs ? Voilà le défi, et ce livre sera utile à tous ceux qui veulent le relever. Il sera aussi utile au moment ou la réalité virtuelle donne lieu a des réseaux d’excellence au niveau Européen . Alain Berthoz est Professeur au Collège de France. Il est le directeur du Laboratoire de Physiologie de la Perception et de l’Action CNRS Collège de France. Il est l’auteur des ouvrages " Le sens du mouvement "(1997) et "La décision"(2003) publiés chez O. Jacob. [Berthoz, 1985]

[Jones e.a., 1985]

[Jones e.a., 1984]

A. Berthoz (1985). Adaptative mechanisms in eye-head coordination. In A. Berthoz et G. M. Jones, editors, Adaptative mechanisms in gaze control, pages 177–201. Elsevier. G. M. Jones et A. Berthoz (1985). Mental control of the adaptative process. In A. Berthoz et G. M. Jones, editors, Adaptative mechanisms in gaze control, pages 203–208. Elsevier. G. M. Jones, A. Berthoz, et B. Segal. Adaptative modification of the vestibulo-ocular reflex by mental effort in darkness. Exp Brain Res, (56) :149–153 (1984).

iii [Tsuzuku e.a., 1995]

[Vitte e.a., 1994]

T. Tsuzuku, E. Vitte, A. Semont, et A. Berthoz. Modification of parameters in vertical optokinetic nystagmus after repeated vertical optokinetic stimulation in patients with vestibular lesions. Acta Otolaryngol.Suppl, (520 Pt 2) :419–422 (1995). E. Vitte, A. Semont, et A. Berthoz. Repeated optokinetic stimulation in conditions of active standing facilitates recovery from vestibular deficits. Exp.Brain.Res, (102) :141–148 (1994).

iv

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

AVANT PROPOS

Depuis une dizaine d’années, la réalité virtuelle s’est développée en France. Celle-ci ouvre potentiellement de nouvelles perspectives pour notre société. Mais soyons réalistes, la réalité virtuelle induit d’abord bien des défis scientifiques pour les chercheurs et pour les industriels. Nous avons participé avec enthousiasme à l’éclosion de la réalité virtuelle en France, conscients de l’immensité de la tâche. Durant cette décennie, nous avons développé, entre autres, des connaissances pour l’interfaçage en environnement virtuel et conçu des méthodes pour la réalité virtuelle, tant sur le plan technique que sur le plan humain. Parallèlement à nos projets de recherche, nous avons souhaité faire un travail d’information sur les avancées du domaine. En 1996, Philippe Fuchs a rédigé un premier livre «Les Interfaces de la Réalité Virtuelle». En 2001, Guillaume Moreau, Jean-Paul Papin et Philippe Fuchs, conscients de l’absence de livre récent en français, ont écrit une première édition du «Traité de la Réalité Virtuelle». Ce livre couvrait plusieurs aspects du domaine, l’objectif de l’ouvrage étant de fournir à moyens termes un document de référence sur la réalité virtuelle, d’où le terme «Traité». Mais personne ne peut avoir une vision globale et précise de tous les secteurs de la réalité virtuelle. Nous avons souhaité vivement que d’autres chercheurs participent à la rédaction du traité dans cette deuxième édition, soit pour écrire de nouveaux chapitres, soit pour compléter des chapitres existants. Nous sommes profondément reconnaissant à tous les nouveaux auteurs de la deuxième édition, qui ont bien voulu participer à sa rédaction. Nous sommes heureux de leur contribution qui ne s’est pas limitée à une rédaction isolée de leur chapitre. Plusieurs chapitres de la première édition ont été complétés et améliorés suite à des discussions fructueuses entre auteurs. De nouveaux chapitres ont été rédigés à plusieurs par des chercheurs qui collaborent sur des projets communs. Nos remerciements s’adressent aux chercheurs et collègues de l’ÉNIB, de l’IRISA, de l’INRIA, de l’AFPA, de l’École des mines de Paris, du CNRS ainsi qu’à l’ensemble des chercheurs impliqués dans le projet PERF-RV pour leur contribution essentielle au traité. Notre ambition est de proposer des éditions du traité réactualisées, sachant qu’une réédition périodique est possible grâce à la réactivité des Presses de l’École des mines de Paris. Les apports complémentaires de chercheurs dans les domaines des simulations acoustiques, des retours d’effort et des sciences cognitives devraient étoffer les prochaines éditions du traité. Nous désirons aussi profiter de l’essor des nouveaux moyens d’information : en proposant une version consultable sur notre site web (et téléchargeable gratuitement 1 pour les étudiants), nous espérons une plus grande interactivité avec le lecteur qui pourra donner en ligne son point de vue et ses critiques, que nous accepterons volontiers. Et en étant optimiste, dans un futur plus ou moins proche, quand le livre électronique sera performant, exploitable et exploité à la place du livre papier, l’interactivité pourra être 1 La version électronique n’est gratuite que pour les étudiants. Nous espérons que cette règle sera respectée par tous.

vi

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

plus grande entre auteurs et lecteurs. Ceci induira un nouveau moyen de communication : l’INTERLIVRE, puisqu’il sera INTERactif, téléchargeable sur INTERnet, rédigé INTERauteurs et INTERdisciplinaire dans son contenu. Nous tenons à remercier toutes les personnes qui nous ont aidés dans nos recherches et dans la réalisation de ce livre, en particulier nos collègues, les entreprises nous ayant fourni des informations et des photographies ainsi que Catherine Delamare, responsable des Presses de l’Ecole des Mines de Paris. Nous exprimons notre gratitude aux relecteurs, Jean Serra et Gérard Subsol, dont les conseils ont contribué à améliorer notre manuscrit. Nos remerciements s’adressent aussi au professeur Alain Berthoz du Collège de France, qui nous soutient dans notre projet et qui a eu la gentillesse de préfacer notre livre. Nous espérons, cher lecteur, que vous apprécierez ce traité, comme nous avons pris plaisir à le rédiger avec les autres auteurs et à transmettre nos idées. Philippe Fuchs et Guillaume Moreau.

LES AUTEURS

Philippe Fuchs est à l’initiative du «Traité de la réalité virtuelle» et dirige la rédaction de l’ouvrage, dont c’est la deuxième édition. Professeur à l’Ecole des Mines de Paris, il est le responsable de l’équipe Réalité Virtuelle et Réalité Augmentée. Ses recherches concernent les aspects théoriques et techniques de l’interfaçage en RV. Dans cette deuxième édition, il est auteur ou coauteur des chapitres 1, 2, 3, 5, 6, 7, 8, 9, 10, 11, 12 et 13 du volume 1. ([email protected] - www-caor.ensmp.fr/Fr/Recherche/RV-RA) Guillaume Moreau est le coordonnateur du «Traité de la réalité virtuelle». Maître de conférences en informatique à l’Ecole Centrale de Nantes, ses activités de recherche se déroulent au CERMA et portent sur l’utilisation des outils de réalité virtuelle pour l’étude des ambiances architecturales et urbaines ainsi que sur la reconstruction 3D d’environnements virtuels urbains. Il est auteur des chapitres 2 et 3 du volume 2. ([email protected] - www.cerma.archi.fr) Bruno Arnaldi, professeur à l’INSA de Rennes, est le responsable du projet SIAMES à l’IRISA. Il est à l’initiative et le responsable de la plate-forme RNTL PERF-RV, qui rassemble en France des centres de recherche et des entreprises développant des applications industrielles avec les techniques de réalité virtuelle. Il est auteur ou coauteur du chapitre 1 du volume 1 et des chapitres 5 et 6 du volume 2. ([email protected] - www.irisa.fr/siames) Jean Marie Burkhardt est docteur en psychologie, maître de conférences en Ergonomie au Laboratoire d’Ergonomie Informatique (LEI) à l’Université Paris V, actuellement en délégation à l’INRIA. Ses recherches portent, d’une part, sur la conception et l’évaluation des environnements virtuels et, d’autre part, sur l’étude psychologique des activités de conception. Il est coauteur du chapitre 2 du volume 1 et du chapitre 7 du volume 2. ([email protected] - www.psycho.univ-paris5.fr/lei et http ://eiffel.inria.fr) Alain Chauffaut est ingénieur de recherche dans l’équipe SIAMES à l’INRIA de Rennes. Il est chargé de la mise à disposition de la plate-forme distribuée OpenMask pour la réalité virtuelle. Il est coauteur du chapitre 5 du volume 2. ([email protected] - www.irisa.fr/siames) Sabine Coquillart est directeur de recherche à l’INRIA Rhône-Alpes. Elle anime le groupe i3D INRIA-GRAVIR, dont les recherches sont focalisées sur l’interaction 3D et plus particulièrement l’interaction 3D en environnements virtuels. Elle a fait partie des comités de programme des conférences de réalité virtuelle IEEE VR, EG-VE et IPT. Elle est coauteur du chapitre 13 du volume 1.

viii

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

([email protected] - www.inria.fr) Stéphane Donikian est chargé de recherche au CNRS - IRISA UMR 6074. Ses axes de recherche sont la modélisation du comportement humain, l’animation comportementale, les environnements virtuels informés, la scénarisation d’environnements virtuels narratifs et interactifs. Il est coauteur du chapitre 5 du volume 2. ([email protected] - www.irisa.fr/prive/donikian) Thierry Duval est maître de conférences en informatique à l’université de Rennes 1 et fait partie de l’équipe SIAMES de l’IRISA. Son axe de recherche est les interactions coopératives en univers virtuels partagés. Il est coauteur du chapitre 5 du volume 2. ([email protected] - www.irisa.fr) Jérôme Grosjean est doctorant dans l’équipe i3D de l’INRIA. Ses axes de recherche concernent l’interaction 3D et plus particulièrement le contrôle d’application en environnement virtuel immersif. Au cours de sa thèse, il a développé le C3 (Command and Control Cube) et Quikwrite VR. Il est coauteur du chapitre 13 du volume 1. ([email protected] - www.inria.fr) Fabrice Harrouet est maître de conférences au Laboratoire d’Ingénierie Informatique de l’ENI Brest. Il oeuvre à la réalisation d’ARéVi, une plate-forme de simulation et de rendu individu-centrée. Il enseigne la programmation système, les techniques de compilation et le rendu 3D. Il est coauteur du chapitre 4 du volume 2. ([email protected] - www.enib.fr/li2) Evelyne Klinger, ingénieur de l’ENST, est chargée de projets en réalité virtuelle et de cours dans ce domaine à l’ENSI de Caen. Ses travaux sont actuellement orientés vers la construction d’environnements virtuels pour le traitement de troubles psychiatriques et neurologiques. Elle est coauteur du chapitre 8 du volume 2. ([email protected] - www.greyc.unicaen.fr/vepsy) Domitile Lourdeaux est ingénieur de recherche en informatique dans l’équipe Réalité Virtuelle et Réalité Augmentée au Centre de Robotique de l’École des Mines de Paris. Ses recherches portent sur la conception d’environnements virtuels et l’intelligence artificielle pour gérer les situations d’apprentissage en environnement virtuel. Elle est coauteur du chapitre 7 du volume 2. ([email protected] - www-caor.ensmp.fr/Fr/Recherche/RV-RA) Daniel Mellet d’Huart est chef de projet à l’AFPA (Association nationale pour la formation professionnelle des adultes). Il travaille sur les usages de la réalité virtuelle pour faciliter les apprentissages et sur l’ingénierie de conception d’environnements virtuels pour l’apprentissage. Il mène des recherches avec le Laboratoire d’Informatique de l’Université du Maine (LIUM) et l’Ecole des Mines de Paris. Il est coauteur du chapitre 7 du volume 2.

ix

([email protected] - www.afpa.fr et www.dm-dh.com) Alexis Paljic est doctorant dans l’équipe i3D de l’INRIA. Il travaille sur l’interaction 3D et les aides à la coopération entre utilisateurs dans les environnements virtuels coopératifs, notamment le retour d’effort, ainsi que sur l’ergonomie et les facteurs humains en environnement virtuels immersifs. Il est coauteur du chapitre 13 du volume 1. ([email protected] - www.inria.fr) Jean-Paul Papin, Médecin chef des services (cadre de réserve) du service de santé des armées mène des recherche au Laboratoire de Robotique de Versailles (LRV). Ses axes de recherches concernent l’utilisation de la réalité virtuelle pour faciliter la navigation terrestre et maritime, la diffusion contrôlée des odeurs dans les environnements réels et virtuelle, le développement des simulateur de formation médicale. Il est auteur ou coauteur des chapitres 3, 4, 9, 14 et 15 du volume 1. ([email protected] - www.robot.uvsq.fr) Panagiotis Stergiopoulos est doctorant au Centre de Robotique de l’Ecole des Mines de Paris. Ses recherches portent sur la conception d’interfaces haptiques et sur les algorithmes d’interaction pour la réalité virtuelle. Il est coauteur du chapitre 8 du volume 1. ([email protected] - www-caor.ensmp.fr/Fr/Recherche/RV-RA) Jacques Tisseau est Professeur des Universités en Informatique à l’Ecole Nationale d’Ingénieurs de Brest où il dirige le Centre Européen de Réalité Virtuelle. Ses recherches portent sur l’autonomisation des entités virtuelles, l’interaction avec ces entités autonomes et l’épistémologie de la réalité virtuelle. Il est auteur ou coauteur du chapitre 1 du volume 1 et du chapitre 4 du volume 2. ([email protected] - www.enib.fr/li2) Isabelle Viaud-Delmon, Chargée de Recherche au CNRS au Laboratoire CNRS UMR 7593 "Vulnérabilité, Adaptation et Psychopathologie" de l’hôpital de la Salpêtrière. Son axe de recherche est centré autour de l’utilisation de la réalité virtuelle en psychiatrie à des fins diagnostiques, thérapeutiques et expérimentales. La réalité virtuelle visuelle et auditive est utilisée comme outil pour étudier les caractéristiques de l’intégration sensorielle et cognitive des personnes sensibles à la déréalisation. Elle est coauteur du chapitre 8 du volume 2. ([email protected])

x

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

TABLE DES MATIÈRES

Volume 1 : Fondements et interfaces comportementales

I

Les concepts de base de la réalité virtuelle

1

1 La réalité virtuelle et ses applications

3

1.1

Fondement de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . . .

3

1.1.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.1.2

Définitions de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . .

5

1.1.3

La modélisation des environnements virtuels . . . . . . . . . . . . . .

13

1.1.4

Aspects philosophique et social de la réalité virtuelle . . . . . . . . . .

18

1.1.5

Historique succinct de la réalité virtuelle . . . . . . . . . . . . . . . . .

19

1.1.6

Les domaines précurseurs de la réalité virtuelle . . . . . . . . . . . . .

20

1.1.7

Le développement de la réalité virtuelle en France . . . . . . . . . . .

22

1.1.8

Un petit bêtisier de la réalité virtuelle . . . . . . . . . . . . . . . . . .

24

Les applications de la réalité virtuelle . . . . . . . . . . . . . . . . . . .

25

1.2.1

Taxonomie théorique des applications RV . . . . . . . . . . . . . . . .

25

1.2.2

Les applications potentielles de la réalité virtuelle . . . . . . . . . . . .

26

1.2.3

Les applications en fonction des secteurs d’activités . . . . . . . . . . .

28

1.2.4

Définition et taxonomie de la réalité augmentée . . . . . . . . . . . . .

39

1.3

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43

1.4

Annexe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

Typologie des simulations . . . . . . . . . . . . . . . . . . . . . . . .

44

1.2

1.4.1

xii

1.4.2 1.5

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Modélisation, simulation, compréhension . . . . . . . . . . . . . . . .

45

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

48

2 Approche théorique et pragmatique de la réalité virtuelle

53

2.1

Comportement de l’homme dans un environnement réel . . . . . . . . .

53

2.2

Conception des interfaces comportementales . . . . . . . . . . . . . . .

55

2.2.1

Conception matérielle . . . . . . . . . . . . . . . . . . . . . . . . . .

55

2.2.2

Transparence d’une interface . . . . . . . . . . . . . . . . . . . . . . .

55

2.2.3

Interfaces commercialisées et interfaces spécifiques . . . . . . . . . . .

57

2.2.4

Comparaison entre interfaces en réalité virtuelle et en téléopération . . . . . . . . . . . . . . . . . . . . . . .

58

L’approche «instrumentale» pour l’immersion et l’interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58

Les concepts fondamentaux pour l’interfaçage comportemental . . . . . . . . . . . . . . . . . . . . . . . . .

58

Interfaces comportementales, schèmes et métaphores . . . . . . . . . .

63

Méthode de conception et d’évaluation d’un environnement en réalité virtuelle . . . . . . . . . . . . . . . .

66

2.4.1

Le modèle de référence en RV . . . . . . . . . . . . . . . . . . . . . .

66

2.4.2

Les Primitives Comportementales Virtuelles et les Aides Logicielles Comportementales . . . . . . . . . .

69

2.4.3

Démarche de conception . . . . . . . . . . . . . . . . . . . . . . . . .

71

2.4.4

Démarche de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . .

73

2.4.5

Ouverture d’une porte . . . . . . . . . . . . . . . . . . . . . . . . . .

74

2.4.6

Magasin virtuel d’expérimentation commerciale . . . . . . . . . . . . .

75

2.4.7

Formation en réalité virtuelle sur des infrastructures ferroviaires . . . . . . . . . . . . . . . . . . . . . . . . . . .

80

2.3 2.3.1 2.3.2 2.4

2.5

Discussion sur notre approche pour l’immersion et l’interaction du sujet

84

2.6

Immersion, Réalisme et Présence . . . . . . . . . . . . . . . . . . . . .

86

Table des matières

xiii

2.6.1

Introduction et objectif . . . . . . . . . . . . . . . . . . . . . . . . . .

86

2.6.2

La notion d’immersion . . . . . . . . . . . . . . . . . . . . . . . . . .

87

2.6.3

Les notions de réalisme et de présence . . . . . . . . . . . . . . . . . .

89

2.6.4

Le réalisme en fonction des types d’applications RV . . . . . . . . . .

93

2.6.5

Positionnement du sujet immergé par rapport aux environnements réel et virtuel . . . . . . . . . . . . . . .

97

2.7

Perspectives et conclusions du chapitre . . . . . . . . . . . . . . . . . . 100

2.8

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 101

II

Les interfaces comportementales

3 L’être humain dans les environnements réel et virtuel

105 107

3.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

3.2

L’être humain, son environnement naturel . . . . . . . . . . . . . . . . . 107

3.3

Les facteurs humains et le facteur humain . . . . . . . . . . . . . . . . . 111

3.3.1

Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

3.3.2

Démarche systémique . . . . . . . . . . . . . . . . . . . . . . . . . . 112

3.3.3

L’homme en action . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

3.3.4

Facteurs influents

. . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

3.4

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

3.5

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 121

4 Les sens et les réponses motrices de l’homme

123

4.1

Le fonctionnement des sens . . . . . . . . . . . . . . . . . . . . . . . . 123

4.2

La vision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

4.2.1

Le système visuel humain . . . . . . . . . . . . . . . . . . . . . . . . 125

4.2.2

Traitement de l’information dans le système visuel . . . . . . . . . . . 130

xiv

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

4.2.3

Prise visuelle d’informations . . . . . . . . . . . . . . . . . . . . . . . 135

4.2.4

La perception visuelle de la profondeur . . . . . . . . . . . . . . . . . 136

4.2.5

Les caractéristiques psychophysiques de la vision . . . . . . . . . . . . 143

4.3

L’ouïe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

4.3.1

Introduction

4.3.2

Physique du son . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

4.3.3

Le système auditif . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

4.3.4

Physiologie de l’audition . . . . . . . . . . . . . . . . . . . . . . . . . 154

4.3.5

Principe de localisation spatiale d’une source sonore . . . . . . . . . . 156

4.3.6

La perception auditive . . . . . . . . . . . . . . . . . . . . . . . . . . 158

4.4

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

Sensibilité cutanée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

4.4.1

Physique de la matière . . . . . . . . . . . . . . . . . . . . . . . . . . 160

4.4.2

La peau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

4.5

Les ambiances chimiques : l’odorat et le goût

. . . . . . . . . . . . . . 164

4.5.1

Les odeurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

4.5.2

Les saveurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

4.6

Proprioception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

4.6.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

4.6.2

Physique de la gravité et des accélérations . . . . . . . . . . . . . . . . 169

4.6.3

L’appareil vestibulaire et les voies kinesthésiques . . . . . . . . . . . . 169

4.7

Réponses motrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

4.8

La main, organe d’information et d’action . . . . . . . . . . . . . . . . 173

4.8.1

Anatomie de la main . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

4.8.2

Fonction de la main

4.9

. . . . . . . . . . . . . . . . . . . . . . . . . . . 175

Classification des interfaces . . . . . . . . . . . . . . . . . . . . . . . . 177

Table des matières

xv

4.10 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 177

III Les interfaces motrices 5 Les capteurs de localisation 5.1

181 183

Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

5.1.1

La localisation spatiale . . . . . . . . . . . . . . . . . . . . . . . . . . 183

5.1.2

Capteur de localisation et interface de commande . . . . . . . . . . . . 184

5.2

Principes de positionnement . . . . . . . . . . . . . . . . . . . . . . . . 185

5.2.1

Principe par mesures de distance entre points . . . . . . . . . . . . . . 185

5.2.2

Principe de mesure avec source émettrice . . . . . . . . . . . . . . . . 186

5.2.3

Principe de mesure sans source émettrice artificielle . . . . . . . . . . . 186

5.2.4

Principe de mesure de caractéristiques du mouvement . . . . . . . . . . 186

5.2.5

Principe par mesures d’angles entre solides . . . . . . . . . . . . . . . 187

5.3

Traqueurs mécaniques . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

5.3.1

Traqueurs mécaniques mesurant des distances . . . . . . . . . . . . . . 187

5.3.2

Traqueurs mécaniques déterminant une orientation, une vitesse ou une accélération . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

5.4

Traqueurs électromagnétiques . . . . . . . . . . . . . . . . . . . . . . . 192

5.4.1

Traqueurs électromagnétiques à champ alternatif . . . . . . . . . . . . 192

5.4.2

Traqueurs électromagnétiques à champ impulsionnel . . . . . . . . . . 195

5.4.3

Caractéristiques des traqueurs électromagnétiques . . . . . . . . . . . . 199

5.4.4

Compas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

5.5

Traqueurs acoustiques ou traqueurs à ultrasons . . . . . . . . . . . . . . 202

5.6

Traqueurs optiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

5.6.1

Traqueurs avec récepteurs ponctuels . . . . . . . . . . . . . . . . . . . 205

xvi

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

5.6.2

Traqueurs avec récepteurs plans . . . . . . . . . . . . . . . . . . . . . 206

5.7

Comparaison entre les différents types de traqueurs . . . . . . . . . . . . 211

5.8

Annexe : Calcul des paramètres du capteur électromagnétique Fastrak . . 213

5.8.1

Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

5.8.2

Détermination des courants dans le récepteur . . . . . . . . . . . . . . 215

5.8.3

Détermination des changements en position et orientation . . . . . . . 216

5.9

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 218

6 Les interfaces spécifiques de la localisation corporelle

221

6.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

6.2

Interfaces de localisation du corps «motion capture» . . . . . . . . . . . 222

6.2.1

Deux principes de «motion capture» . . . . . . . . . . . . . . . . . . . 222

6.2.2

Interfaces portables de localisation du corps . . . . . . . . . . . . . . . 223

6.2.3

Interfaces de localisation optique . . . . . . . . . . . . . . . . . . . . . 226

6.3

Interfaces de localisation des membres supérieurs ou inférieurs . . . . . 230

6.4

Interfaces spécifiques de locomotion . . . . . . . . . . . . . . . . . . . 234

6.4.1

Interfaces de locomotion par patins . . . . . . . . . . . . . . . . . . . 236

6.4.2

Interfaces de locomotion par tapis . . . . . . . . . . . . . . . . . . . . 237

6.4.3

Interfaces de locomotion en position assise . . . . . . . . . . . . . . . 240

6.5

Interfaces de détection de l’expression du visage ou des lèvres . . . . . . 241

6.5.1

Détection optique de l’expression du visage ou des lèvres

6.5.2

Détection mecanique de l’expression du visage ou des lèvres

6.5.3

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242

6.6

. . . . . . . 241 . . . . . 242

Oculomètres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

6.6.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

6.6.2

Oculomètres optiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 244

Table des matières

6.6.3

xvii

Oculomètres électromagnétiques . . . . . . . . . . . . . . . . . . . . . 246

6.7

Capteurs physiologiques

. . . . . . . . . . . . . . . . . . . . . . . . . 246

6.8

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

6.9

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 247

7 Les interfaces manuelles motrices 7.1

249

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249

7.1.1

Capteur de localisation et gant de données . . . . . . . . . . . . . . . . 249

7.1.2

Capteur de localisation et interface de commande . . . . . . . . . . . . 249

7.2

Gants de données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

7.2.1

Gants à fibres optiques . . . . . . . . . . . . . . . . . . . . . . . . . . 250

7.2.2

Gants à variation de résistances . . . . . . . . . . . . . . . . . . . . . 252

7.2.3

Gants à effet Hall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254

7.2.4

Cas particulier : gant de commandes binaires . . . . . . . . . . . . . . 254

7.2.5

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255

7.3

Interfaces de commande . . . . . . . . . . . . . . . . . . . . . . . . . . 256

7.3.1

Souris 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

7.3.2

Souris 3D avec retour d’effort . . . . . . . . . . . . . . . . . . . . . . 259

7.3.3

Interface de commande à six degrés de liberté pour grand écran . . . . 261

7.3.4

Interfaces non-manuelles de commande . . . . . . . . . . . . . . . . . 261

7.4

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 263

IV

Les interfaces sensori-motrices

8 Les interfaces manuelles sensori-motrices, interfaces à retour d’effort 8.1

265 267

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267

xviii Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

8.2

Étude de la création des retours d’effort . . . . . . . . . . . . . . . . . . 269

8.2.1

Réalisation physique des efforts . . . . . . . . . . . . . . . . . . . . . 269

8.2.2

Architecture mécanique de l’interface . . . . . . . . . . . . . . . . . . 270

8.2.3

Conception d’interface à retour d’effort . . . . . . . . . . . . . . . . . 272

8.3

Les différentes interfaces à retour d’effort . . . . . . . . . . . . . . . . . 283

8.3.1

Retour d’effort à réaction externe . . . . . . . . . . . . . . . . . . . . 283

8.3.2

Retour d’effort à réaction interne . . . . . . . . . . . . . . . . . . . . . 303

8.4

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308

8.5

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 309

V Les interfaces sensorielles

311

9 Les interfaces manuelles sensorielles, les interfaces à sensibilité cutanée

313

9.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313

9.2

Interface à retour thermique . . . . . . . . . . . . . . . . . . . . . . . . 314

9.3

Interfaces à retour tactile . . . . . . . . . . . . . . . . . . . . . . . . . . 316

9.3.1

Retour tactile pneumatique . . . . . . . . . . . . . . . . . . . . . . . . 316

9.3.2

Retour tactile à matrice d’aiguilles . . . . . . . . . . . . . . . . . . . . 316

9.3.3

Retour tactile par vibrations . . . . . . . . . . . . . . . . . . . . . . . 318

9.3.4

Retour tactile par manette . . . . . . . . . . . . . . . . . . . . . . . . 320

9.3.5

Retour tactile par électrodes cutanées . . . . . . . . . . . . . . . . . . 320

9.3.6

Le cas particulier du mixage de phénomènes virtuel et réel . . . . . . . 321

9.4

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

9.5

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 322

10 Les interfaces visuelles

325

Table des matières

xix

10.1 Introduction aux interfaces visuelles . . . . . . . . . . . . . . . . . . . . 325 10.2 Interfaces visuelles à support fixe . . . . . . . . . . . . . . . . . . . . . 326 10.2.1 Écrans d’ordinateur monoscopiques . . . . . . . . . . . . . . . . . . . 326 10.2.2 Écrans d’ordinateur stéréoscopiques . . . . . . . . . . . . . . . . . . . 327 10.2.3 Fenêtre immersive . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333 10.2.4 Visiobureaux ou bureaux immersifs . . . . . . . . . . . . . . . . . . . 334 10.2.5 Interfaces visuelles à taille humaine : visiosalle (salle immersive) et visiocube . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 10.2.6 Différents types de vidéoprojecteurs . . . . . . . . . . . . . . . . . . . 346 10.3 Interfaces visuelles portables . . . . . . . . . . . . . . . . . . . . . . . 348 10.3.1 Architecture d’un visiocasque . . . . . . . . . . . . . . . . . . . . . . 348 10.3.2 Visiocasques avec écrans à tube cathodique . . . . . . . . . . . . . . . 352 10.3.3 Visiocasques avec écrans à cristaux liquides . . . . . . . . . . . . . . . 354 10.3.4 Modèle optique d’un visiocasque et problèmes connexes . . . . . . . . 356 10.3.5 Vidéolunettes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 10.3.6 Visiocasque et dispositif semi transparents . . . . . . . . . . . . . . . . 361 10.4 Critères de choix d’une interface visuelle . . . . . . . . . . . . . . . . . 362 10.5 Tests visuels sur les interfaces . . . . . . . . . . . . . . . . . . . . . . . 365 10.5.1 Tests visuels sur les écrans stéréoscopiques . . . . . . . . . . . . . . . 365 10.5.2 Tests visuels sur les visiocasques . . . . . . . . . . . . . . . . . . . . . 366 10.6 Création d’images stéréoscopiques . . . . . . . . . . . . . . . . . . . . 367 10.6.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 10.6.2 Choix des paramètres stéréoscopiques . . . . . . . . . . . . . . . . . . 374 10.6.3 Création d’images en relief pour la téléopération . . . . . . . . . . . . 375 10.6.4 Limitation de la fatigue oculaire en vision stéréoscopique . . . . . . . . 380

xx

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

10.6.5 Création d’images en relief pour une revue de projet . . . . . . . . . . 383 10.7 Évaluation des techniques stéréoscopiques . . . . . . . . . . . . . . . . 384 10.7.1 Intérêts de la vision en relief . . . . . . . . . . . . . . . . . . . . . . . 384 10.7.2 Choix des paramètres de la vision en relief . . . . . . . . . . . . . . . 384 10.7.3 Comparaison des solutions à un écran . . . . . . . . . . . . . . . . . . 385 10.7.4 Comparaison entre les écrans des visiocasques . . . . . . . . . . . . . 386 10.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 10.9 Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387 10.9.1 Restitution par images volumiques

. . . . . . . . . . . . . . . . . . . 387

10.9.2 Dispositifs pour la polarisation de lumière . . . . . . . . . . . . . . . . 387 10.9.3 Modélisation d’un visiocasque . . . . . . . . . . . . . . . . . . . . . . 389 10.9.4 Perception du relief sur une feuille . . . . . . . . . . . . . . . . . . . . 391 10.9.5 Formules de la vision stéréoscopique . . . . . . . . . . . . . . . . . . 392 10.10 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 401

11 Les interfaces à simulation de mouvement et les interfaces à simulation de climat 405 11.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 11.2 Sièges de simulation pour mono-utilisateur . . . . . . . . . . . . . . . . 408 11.2.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 11.2.2 Les différents produits de simulation mono-utilisateur . . . . . . . . . 409 11.3 Cabines de simulation pour multi-utilisateurs . . . . . . . . . . . . . . . 414 11.3.1 Évolution des simulateurs . . . . . . . . . . . . . . . . . . . . . . . . 414 11.3.2 Plates-formes mobiles . . . . . . . . . . . . . . . . . . . . . . . . . . 416 11.3.3 Les différentes cabines de simulation . . . . . . . . . . . . . . . . . . 418 11.4 Conclusion sur les interfaces à simulation de mouvement . . . . . . . . 421

Table des matières

xxi

11.5 Interface à simulation de climat . . . . . . . . . . . . . . . . . . . . . . 421 11.6 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 422 12 Les interfaces olfactives

423

12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423 12.2 Les interfaces olfactives commercialisées . . . . . . . . . . . . . . . . . 423 12.2.1 L’interface olfactive de Olfacom . . . . . . . . . . . . . . . . . . . . . 423 12.2.2 L’interface olfactive de Ruetz . . . . . . . . . . . . . . . . . . . . . . 424 12.2.3 L’interface olfactive de AromaJet . . . . . . . . . . . . . . . . . . . . 425 12.2.4 L’interface olfactive de Aerome . . . . . . . . . . . . . . . . . . . . . 426 12.2.5 L’interface olfactive de Digiscents . . . . . . . . . . . . . . . . . . . . 426 12.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427 12.4 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 427

VI

Conclusion sur l’interfaçage

429

13 Techniques d’immersion et d’interaction Les primitives comportementales virtuelles

431

13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431 13.1.1 Rappel sur notre démarche en réalité virtuelle . . . . . . . . . . . . . . 431 13.1.2 Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 13.1.3 Couplages des PCV . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 13.2 Primitives Comportementales Virtuelles d’observation . . . . . . . . . . 434 13.2.1 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434 13.2.2 Observation visuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . 435 13.2.3 Observation acoustique . . . . . . . . . . . . . . . . . . . . . . . . . . 440 13.2.4 Observation tactile . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440

xxii

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

13.3 Primitives Comportementales Virtuelles de déplacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 440 13.3.1 Problématique d’un déplacement dans un monde virtuel . . . . . . . . 440 13.3.2 Les différentes interfaces comportementales exploitables . . . . . . . . 442 13.4 Primitives Comportementales Virtuelles pour agir sur le monde virtuel . 445 13.4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445 13.4.2 Sélection et Manipulation . . . . . . . . . . . . . . . . . . . . . . . . 446 13.4.3 Assembler des objets . . . . . . . . . . . . . . . . . . . . . . . . . . . 452 13.4.4 Déformer un objet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452 13.4.5 Agir sur un être vivant . . . . . . . . . . . . . . . . . . . . . . . . . . 452 13.5 Primitives Comportementales Virtuelles de communication avec autrui ou contrôle d’applications . . . . . . . . . . . . . . . . . . . . . . . . . 454 13.5.1 La communication avec autrui . . . . . . . . . . . . . . . . . . . . . . 454 13.5.2 Le contrôle d’applications . . . . . . . . . . . . . . . . . . . . . . . . 454 13.6 Conclusion sur les techniques d’immersion et d’interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460 13.7 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 461

VII Aspects généraux de la réalité virtuelle 14 Les effets sur l’homme des environnements

465 467

14.1 Les effets sur l’homme des environnements naturels . . . . . . . . . . . 467 14.1.1 La lumière . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467 14.1.2 Le bruit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467 14.1.3 La chaleur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469 14.1.4 Le froid . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472 14.1.5 Les accélérations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473

Table des matières

xxiii

14.1.6 Les vibrations des solides et leurs effets généraux sur l’organisme humain 474 14.2 Les effets sur l’homme des environnements virtuels . . . . . . . . . . . 477 14.2.1 Les effets visuels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477 14.2.2 Les effets musculo-squelettiques

. . . . . . . . . . . . . . . . . . . . 478

14.2.3 Cinétoses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479 14.2.4 Effets psychologiques . . . . . . . . . . . . . . . . . . . . . . . . . . 480 14.2.5 Facteurs influents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482 14.2.6 Outils d’analyse des environnements virtuels et des effets de l’immersion 484 14.3 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 485

15 Ethique, droit et réalité virtuelle

489

15.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489 15.1.1 Loi sur la protection des personnes se prêtant à des recherches biomédicales489 15.1.2 Recommandations aux promoteurs et aux chercheurs . . . . . . . . . . 490 15.1.3 Autorisation des lieux de recherches biomédicales sans bénéfice individuel direct . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491 15.2 Ethique et droit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492 15.2.1 Perspectives juridiques et éthiques selon Huriet . . . . . . . . . . . . . 492 15.2.2 Ethique et droit en télé médecine . . . . . . . . . . . . . . . . . . . . . 492 15.3 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 493

Vocabulaire

495

Table des illustrations

501

xxiv Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Volume 2 : Création des environnements virtuels et applications

I Introduction à la réalité virtuelle

1

1 La réalité virtuelle - Résumé

3

1.1

Fondement de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . . .

3

1.1.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.1.2

Définitions de la réalité virtuelle . . . . . . . . . . . . . . . . . . . . .

4

1.1.3

La modélisation des environnements virtuels . . . . . . . . . . . . . .

12

1.2

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

1.3

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

14

II Modélisation des mondes virtuels

17

2 Modèles géométriques des environnements virtuels

19

2.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

2.1.1

Types d’objets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

2.1.2

Propriétés des modèles . . . . . . . . . . . . . . . . . . . . . . . . . .

20

Modèles volumiques . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

2.2.1

Énumération spatiale . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

2.2.2

Constructive Solid Geometry . . . . . . . . . . . . . . . . . . . . . . .

25

Modèles surfaciques . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.3.1

Utilisation de surfaces planes . . . . . . . . . . . . . . . . . . . . . . .

27

2.3.2

Utilisation de surfaces non planes . . . . . . . . . . . . . . . . . . . .

28

Géométrie algorithmique . . . . . . . . . . . . . . . . . . . . . . . . .

32

Transformation d’un volume en surface . . . . . . . . . . . . . . . . .

32

2.2

2.3

2.4 2.4.1

Table des matières

xxv

2.4.2

Maillage polygonal d’un nuage de points . . . . . . . . . . . . . . . .

33

2.4.3

Décimation de maillages . . . . . . . . . . . . . . . . . . . . . . . . .

37

Optimisation des modèles pour la réalité virtuelle . . . . . . . . . . . . .

40

2.5.1

Texturation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

2.5.2

Niveaux de détails . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

44

2.5

2.6

3 Comportements des objets du monde virtuel

47

3.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3.2

Modèles descriptifs . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

3.2.1

Modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

3.2.2

Animation par keyframing . . . . . . . . . . . . . . . . . . . . . . . .

48

3.2.3

Cinématique directe et inverse . . . . . . . . . . . . . . . . . . . . . .

49

Modèles générateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

3.3.1

Modèle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

3.3.2

Rappels sur la mécanique des solides . . . . . . . . . . . . . . . . . .

52

3.3.3

Mécanismes rigides articulés . . . . . . . . . . . . . . . . . . . . . . .

53

3.3.4

Simulation de systèmes déformables . . . . . . . . . . . . . . . . . . .

54

3.3.5

Discussion sur le rôle des modèles générateurs . . . . . . . . . . . . .

58

Modèles comportementaux . . . . . . . . . . . . . . . . . . . . . . . .

58

3.4.1

Modèles de transformation internes . . . . . . . . . . . . . . . . . . .

59

3.4.2

Modèles de transformation externes . . . . . . . . . . . . . . . . . . .

62

Approche stimulus-réponse . . . . . . . . . . . . . . . . . . . . . . . .

62

3.5.1

Les réseaux SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

3.5.2

Contrôle Stimulus-Réponse de créatures . . . . . . . . . . . . . . . . .

63

3.5.3

Sense Control Action . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

3.3

3.4

3.5

xxvi Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

3.5.4

Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

65

Approche à base de règles . . . . . . . . . . . . . . . . . . . . . . . . .

65

3.6.1

Nuées, troupeaux et bancs . . . . . . . . . . . . . . . . . . . . . . . .

65

3.6.2

Approche «écologique» . . . . . . . . . . . . . . . . . . . . . . . . .

66

3.6.3

In VitrAm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

66

3.6.4

Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

3.7

Approche optimale . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

3.8

Approche automate . . . . . . . . . . . . . . . . . . . . . . . . . . . .

68

3.8.1

Automate d’états finis . . . . . . . . . . . . . . . . . . . . . . . . . .

68

3.8.2

Piles d’automates . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

69

3.8.3

Concurrence et hiérarchie : HPTS . . . . . . . . . . . . . . . . . . . .

71

Autonomie sous contrôle : scénarios d’animation . . . . . . . . . . . . .

76

3.10 Cas particulier : le motion capture . . . . . . . . . . . . . . . . . . . . .

77

3.11 Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . .

80

4 Autonomie des entités virtuelles

85

4.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85

4.1.1

Interdisciplinarité . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85

4.1.2

Transdisciplinarité . . . . . . . . . . . . . . . . . . . . . . . . . . . .

86

Principe d’autonomie . . . . . . . . . . . . . . . . . . . . . . . . . . .

87

4.2.1

Exploitation des modèles . . . . . . . . . . . . . . . . . . . . . . . . .

87

4.2.2

Modélisation de l’utilisateur . . . . . . . . . . . . . . . . . . . . . . .

89

4.2.3

Autonomisation des modèles . . . . . . . . . . . . . . . . . . . . . . .

90

4.2.4

L’autonomie en réalité virtuelle . . . . . . . . . . . . . . . . . . . . .

93

Entités autonomes . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

94

Approche multi-agents . . . . . . . . . . . . . . . . . . . . . . . . . .

96

3.6

3.9

4.2

4.3 4.3.1

Table des matières

xxvii

4.3.2

Simulation multi-agents participative . . . . . . . . . . . . . . . . . .

97

4.3.3

Expérimentation in virtuo . . . . . . . . . . . . . . . . . . . . . . . .

99

L’autonomie par construction . . . . . . . . . . . . . . . . . . . . . . .

99

4.4 4.4.1

Métaphore d’Ali Baba . . . . . . . . . . . . . . . . . . . . . . . . . . 100

4.4.2

L’environnement de développement oRis . . . . . . . . . . . . . . . . 101

4.5

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

4.6

Annexe : la plateforme oRis . . . . . . . . . . . . . . . . . . . . . . . . 104

4.6.1

Le langage oRis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

4.6.2

Le simulateur oRis . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

4.6.3

La plateforme ARéVi . . . . . . . . . . . . . . . . . . . . . . . . . . 117

4.7

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 119

5 Openmask : une plate-forme logicielle open source pour la réalité virtuelle125 5.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

5.2

Présentation générale d’OpenMASK . . . . . . . . . . . . . . . . . . . 126

5.2.1

Le noyau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

5.2.2

L’objet de simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

5.2.3

L’application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

5.2.4

La distribution des objets de simulation . . . . . . . . . . . . . . . . . 134

5.2.5

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

5.3

Les composants fondamentaux d’OpenMASK . . . . . . . . . . . . . . 135

5.3.1

OpenMASK-3DVis : Kit logiciel de visualisation interactive . . . . . . 136

5.3.2

Interaction : Adaptateurs et Interacteurs . . . . . . . . . . . . . . . . . 138

5.3.3

Coopération . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

5.4 5.4.1

Les développements thématiques . . . . . . . . . . . . . . . . . . . . . 142 Les humanoïdes virtuels . . . . . . . . . . . . . . . . . . . . . . . . . 143

xxviii Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

5.4.2

Retour d’effort . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

5.5

Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

5.6

Remerciements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

5.7

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 151

III Les applications de la réalité virtuelle

155

6 Applications industrielles : la plate-forme française de réalité virtuelle PerfRV 157 6.1

Objectifs du projet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

6.1.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

6.1.2

Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

6.1.3

Objectifs du projet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

6.2

Organisation du projet . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

6.2.1

INRIA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

6.2.2

CEA-LIST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

6.2.3

École des Mines de Paris . . . . . . . . . . . . . . . . . . . . . . . . . 163

6.2.4

Institut de l’Image de Chalon sur Saône . . . . . . . . . . . . . . . . . 163

6.2.5

LABRI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

6.2.6

Laboratoire de Robotique de Versailles . . . . . . . . . . . . . . . . . 166

6.2.7

LIMSI-CNRS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

6.2.8

ADEPA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

6.2.9

EADS CCR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

6.2.10 IFP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 6.2.11 CLARTE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169 6.2.12 Dassault Aviation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

Table des matières

xxix

6.2.13 EDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 6.2.14 Giat Industries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170 6.2.15 PSA PEUGEOT CITROËN . . . . . . . . . . . . . . . . . . . . . . . 171 6.2.16 Renault . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 6.3

Fonctionnement du réseau . . . . . . . . . . . . . . . . . . . . . . . . . 173

6.3.1

Règles d’ouverture de la plate-forme

6.3.2

Usages des ressources matérielles . . . . . . . . . . . . . . . . . . . . 174

6.3.3

Usage des ressources logicielles . . . . . . . . . . . . . . . . . . . . . 174

6.3.4

Diffusion des résultats . . . . . . . . . . . . . . . . . . . . . . . . . . 175

6.4

. . . . . . . . . . . . . . . . . . 174

Sous-projets et actions de PERF-RV . . . . . . . . . . . . . . . . . . . . 175

6.4.1

Sous-projet 1 : Interfaces haptiques et visualisation immersive . . . . . . . . . . . . . . . . . . . 176

6.4.2

Sous-projet 2 : Interface multimodale et coopérative . . . . . . . . . . 177

6.4.3

Sous-projet 3 : Simulation d’assemblage et de montage . . . . . . . . . 177

6.4.4

Sous-projet 4 : Formation au geste technique . . . . . . . . . . . . . . 179

6.5

PERF-RV : principaux résultats . . . . . . . . . . . . . . . . . . . . . . 179

6.5.1

Sous-projet 1 : Interfaces haptiques et visualisation immersive . . . . . 180

6.5.2

Sous-projet 2 : Interface multimodale et coopérative . . . . . . . . . . 186

6.5.3

Sous-projet 3 : Simulation d’assemblage et de montage . . . . . . . . . 191

6.6

Sous-projet 4 : Formation au geste technique . . . . . . . . . . . . . . . 197

6.7

Conclusion et perspectives . . . . . . . . . . . . . . . . . . . . . . . . . 200

6.8

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 203

7 La conception des environnements virtuels pour l’apprentissage 7.1 7.1.1

207

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 Développer la réalité virtuelle pour l’apprentissage . . . . . . . . . . . 207

xxx

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.1.2

Des écueils à éviter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

7.1.3

Contributions des disciplines à la conception des environnements virtuels pour l’apprentissage . . . . . . . 209

7.1.4

Préambule à la lecture du chapitre . . . . . . . . . . . . . . . . . . . . 210

7.2

Les environnements virtuels d’apprentissage : notions, origine et principaux apports . . . . . . . . . . . . . . . . . 211

7.2.1

Quelques notions et définitions . . . . . . . . . . . . . . . . . . . . . . 211

7.2.2

Origines technologique et informatique de la réalité virtuelle pour l’apprentissage . . . . . . . . . . . 215

7.2.3

Un cadre pour synhtétiser les apports . . . . . . . . . . . . . . . . . . 221

7.3

Démarche et outils pour la conception . . . . . . . . . . . . . . . . . . . 226

7.3.1

Démarche générale du projet de conception . . . . . . . . . . . . . . . 227

7.3.2

Outils pour l’orientation du projet . . . . . . . . . . . . . . . . . . . . 231

7.3.3

Spécification - développement- évaluation : outils et méthodes . . . . . . . . . . . . . . . . . . . . . . . 246

7.4

Conclusions et perspectives . . . . . . . . . . . . . . . . . . . . . . . . 266

7.5

Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

7.5.1

Annexe 1 : L’évaluation avec des utilisateurs . . . . . . . . . . . . . . 269

7.5.2

Annexe 2 : Les méthodes pédagogiques : synthèse, exemples et remarques272

7.5.3

Annexe 3 : fiches techniques . . . . . . . . . . . . . . . . . . . . . . . 275

7.6

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 292

8 Réalité virtuelle et psychiatrie

297

8.1

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

8.2

Atouts et inconvénients de la réalité virtuelle . . . . . . . . . . . . . . . 297

8.2.1

Le cas des thérapies en psychopathologie clinique . . . . . . . . . . . . 298

8.2.2

Conflits sensoriels et cognitifs . . . . . . . . . . . . . . . . . . . . . . 299

Table des matières

8.3

xxxi

Exploitation de la réalité virtuelle en psychothérapie . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

8.3.1

Principes des thérapies d’exposition . . . . . . . . . . . . . . . . . . . 302

8.3.2

Les applications en psychothérapie . . . . . . . . . . . . . . . . . . . . 304

8.4

Techniques de distraction . . . . . . . . . . . . . . . . . . . . . . . . . 314

8.5

Les applications en neuropsychologie . . . . . . . . . . . . . . . . . . . 314

8.5.1

Évaluation neuropsychologique . . . . . . . . . . . . . . . . . . . . . 315

8.5.2

Réhabilitation cognitive . . . . . . . . . . . . . . . . . . . . . . . . . 316

8.5.3

Troubles du développement et de l’apprentissage . . . . . . . . . . . . 317

8.6

Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317

8.7

Ressources en réalité virtuelle et santé mentale . . . . . . . . . . . . . . 318

8.7.1

Journaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

8.7.2

Livres et tutorial en ligne . . . . . . . . . . . . . . . . . . . . . . . . . 318

8.7.3

Listservers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

8.7.4

Sites internet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

8.7.5

Conférences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

8.8

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . 320

Vocabulaire

325

Table des illustrations

331

xxxii Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Première partie

Introduction à la réalité virtuelle

1

LA RÉALITÉ VIRTUELLE - RÉSUMÉ

Philippe Fuchs, Bruno Arnaldi et Jacques Tisseau

1.1

FONDEMENT DE LA RÉALITÉ VIRTUELLE

Ce chapitre est un court résumé du chapitre 1 du volume 1 du traité pour les lecteurs n’ayant pas le volume 1 du traité. 1.1.1 INTRODUCTION

Il est naturel pour l’homme de s’échapper de la réalité quotidienne pour différentes raisons (artistiques, culturelles ou professionnelles). L’évolution des techniques aidant, l’homme a pu satisfaire ce besoin par des représentations principalement visuelles ou sonores, mais figées du monde. Figées dans le sens où l’utilisateur ne peut observer la représentation qu’en spectateur, que ce soit une peinture, une photographie, un film d’images réelles ou d’images de synthèse. La réalité virtuelle lui offre une dimension supplémentaire en lui procurant un environnement virtuel dans lequel il devient acteur. Que le lecteur ne s’y méprenne pas, la nouveauté n’est pas dans la création d’environnements virtuels plus performants dans leur représentation1, mais bien dans la possibilité de pouvoir "agir virtuellement" dans un monde artificiel (ou "interagir", vu sous un angle plus technique). La réalité virtuelle oscille, dans l’esprit du grand public, entre phantasme et technologie, entre rêve et réalité. Il est évident que de nombreux mystères entourent cette discipline, le premier d’entre eux étant contenu dans le nom même qui associe deux termes en apparente opposition. Qui n’a pas rêvé ou été effrayé par les exploitations littéraires et cinématographiques de la science fiction, exploitant certains aspects techniques sensés être propres à la réalité virtuelle ? L’enjeu de cet ouvrage, outre celui de décrire un état de l’art sur le sujet, est de délimiter correctement le domaine permettant de démystifier la réalité virtuelle. La réalité virtuelle ne peut être envisagée que depuis peu, grâce à l’augmentation importante de la puissance intrinsèque des ordinateurs, en particulier la possibilité de créer en temps réel des images de synthèse et de permettre une interactivité, toujours en temps réel, entre l’utilisateur et le monde virtuel. Le lecteur doit bien noter qu’à la base de la réalité virtuelle, ce sont des évolutions techniques qui ont permis son essor, et donc, par déduction, qui en contraignent sa portée. La réalité virtuelle n’est pas née spontanément il y a quinze ans. Comme toute nouvelle technique, elle a eu des antécédents qui ne s’appelaient pas "réalité virtuelle". Dans quel type d’application savait-on permettre à une personne d’agir dans un environnement virtuel ? Principalement dans les simulateurs de transport, qui ont permis à des professionnels d’interagir avec un environnement partiellement 2 virtuel, depuis 50 1 A ce propos, il est étonnant de voir certains faire ressortir l’exploitation des images en relief, comme la nouveauté liée à la réalité virtuelle. Rappelons que l’on sait créer des images en relief (stéréoscopiques) depuis 150 ans environ. 2 Le poste de conduite de la voiture, de l’avion ou du train n’est pas simulé mais réel.

4

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

ans environ (on faisait de la réalité virtuelle sans le savoir, comme M. Jourdain faisait de la prose...). La réalité virtuelle se retrouve dans de nombreux domaines : Dans le domaine des sciences et des techniques, la réalité virtuelle émarge au domaine des STIC (Sciences et Techniques de l’Information et de la Communication) dont l’importance en terme d’impact sur la société n’est plus à démontrer. Néanmoins, le cadre de la réalité virtuelle dépasse celui de l’information et de la communication, puisqu’il s’agit d’agir dans un monde virtuel. De nombreuses disciplines concourent à produire de nouvelles avancées dans le domaine de la réalité virtuelle : •

•

•

l’informatique, par la capacité à exploiter de nouveaux algorithmes de traitement de modèles numériques et à créer des environnements virtuels interactifs ; la téléopération et la robotique, par la capacité à développer de nouveaux organes actifs coopérants avec l’humain ; ainsi que la mécanique, l’optique, l’automatique, l’acoustique, etc.

Dans le domaine des sciences humaines, l’homme est au cœur de la problématique de la réalité virtuelle et cela conduit à considérer avec attention les sciences humaines. En particulier, une vision centrée sur l’homme en réalité virtuelle doit tenir compte des disciplines suivantes : •

•

•

la psychologie expérimentale, qui doit mettre en œuvre des protocoles d’évaluation fiables lors de l’étude des actions et des perceptions humaines via des dispositifs techniques ; l’ergonomie, qui permet d’évaluer la pertinence des environnements de réalité virtuelle sur le plan du confort et du fonctionnement ; la cognition, qui étudie la nature des processus cognitifs du sujet plongé dans une activité se déroulant dans un univers virtuel.

À ce titre, la réalité virtuelle occupe, par le couplage des sciences humaines et des sciences dures, une position particulière dans le schéma scientifique habituel. Cette position représente à la fois un avantage par l’interdisciplinarité intrinsèque du domaine et un inconvénient par l’incompréhesion que cette dualité engendre. Si la réalité virtuelle s’appuie sur l’informatique pour son essor, elle doit être à plus ou moins long terme un secteur de recherche et d’activité indépendant. Si les ordinateurs permettent de simuler des mondes virtuels, l’interaction de l’homme avec ceux-ci n’est possible qu’au travers de logiciels, des interfaces matérielles et des processus cognitifs adéquats. Elle ne doit pas être considérée comme une simple branche de l’informatique, vu les potentialités novatrices qu’elle propose. 1.1.2 DÉFINITIONS DE LA RÉALITÉ VIRTUELLE

1.1.2.1

Préliminaire et image réductrice de la réalité virtuelle

Le terme "réalité virtuelle" est employé depuis plus de dix ans. Ce terme est discutable et a été discuté par certains. Cet oxymoron vient de l’expression anglaise virtual reality, introduite aux États-Unis dans les années 80 par Jaron Lanier. Cette appellation étant

La réalité virtuelle - Résumé

5

maintenant courante, il est vain de vouloir la modifier. Cependant, comme le rappelle J.P. Papin, en anglais, virtual signifie "de fait", "pratiquement". La traduction française ne rend donc pas compte de cette signification. Il aurait fallu parler de tenant lieu de réalité ou de réalité vicariante ou mieux encore d’environnement vicariant. Le mot vicariant est utilisé en psychologie et en physiologie, où dans ce dernier cas, il désigne un organe qui se supplée à un autre. Définir la réalité virtuelle est une tâche ardue à plus d’un titre. Pourtant, il existe un consensus de fait, car la communauté scientifique internationale semble accepter un cadre commun de travaux relatifs à la réalité virtuelle : il existe plusieurs grandes manifestations scientifiques internationales traitant de Virtual Reality. Il n’existe cependant pas à ce jour de consensus général sur une définition unique. Nous tentons d’expliciter clairement dans ce paragraphe le domaine précis de la réalité virtuelle. Dans la pratique, il faut comprendre que ce manque de vision unique est dû à la diversité des acteurs et des domaines scientifiques impliqués. En effet, chaque type d’acteur a une tendance naturelle à orienter sa propre définition vers son domaine sans essayer d’englober la discipline dans son ensemble. Un informaticien a tendance à focaliser son attention sur la partie logicielle concernant les traitements des modèles. Un mécatronicien privilégie la partie conception des interfaces matérielles alors qu’un ergonome a une vision très centrée sur l’homme. Sur le fond, aucune des définitions proposées n’est aberrante, mais souvent restrictive. On trouve aussi dans la littérature des définitions qui mélangent malencontreusement la finalité de la réalité virtuelle, ses fonctions, ses applications et les techniques sur lesquelles elle repose. Certains vont jusqu’à définir la réalité virtuelle par l’image réductrice qui a été véhiculée dans les médias : une personne équipée d’un visiocasque 3 avec différentes commandes pour interagir (gant de données, manette, volant, etc.) et reliées à un ordinateur (Figure 1.1). Il faut rejeter ces approches. On ne définit pas l’informatique par son matériel (clavier, écran, souris) ni en parlant de ses fonctions (calculs, raisonnement logique, mémorisation) ni par ses types d’applications. Pour clarifier les choses, nous allons donner des définitions à plusieurs niveaux.

Figure 1.1 : Simulation de la conduite d’une voiture avec visiocasque ou sur écran de simulateur (Copyright Photo PSA Peugeot Citroën)

3 Visiocasque : traduction de "Head Mounted Display". On peut aussi employer l’expression "casque immersif".

6

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

1.1.2.2

Finalité de la réalité virtuelle

Avant de se focaliser sur des fonctions ou des techniques, il semble judicieux de déterminer d’abord la finalité de la réalité virtuelle que partage tous les acteurs. Après avoir étudié l’objectif commun de chacune de ses applications, nous pouvons affirmer que [Fuchs, 1996] : La finalité de la réalité virtuelle est de permettre à une personne (ou à plusieurs) une activité sensori-motrice dans un monde artificiel, qui est soit imaginaire, soit symbolique, soit une simulation de certains aspects du monde réel. Les termes “activité sensori-motrice” sont employés pour signifier qu’au fondement de la réalité virtuelle la personne perçoit et agit physiquement. Bien évidemment, il en découle que la personne a aussi une activité cognitive. Mais avoir une activité cognitive dans un environnement virtuel sans activité physique (sensori-motrice) est hors du domaine de la réalité virtuelle. Une simulation de certains aspects du monde réel : ceux-ci sont à déterminer lors de la conception de l’application. Cette phase initiale est fondamentale et doit être analysée explicitement. L’erreur, souvent rencontrée, est celle du concepteur qui recherche le plus grand "degré de réalisme" (en pratique limité par des contraintes techniques et économiques). Cette approche erronée est entreprise sans se soucier de savoir précisément quels sont les aspects de la réalité que l’application exige. L’idée naïve de vouloir, si possible, le comportement du monde virtuel entièrement identique à celui du monde réel est absurde. Si on veut faire une réalité "virtuelle", c’est bien dans le but de modifier des aspects de la "vraie" réalité. Par exemple : •

•

on souhaite former du personnel dans un environnement virtuel pour leur éviter des risques réels ; on souhaite étudier un futur produit, qui n’est donc pas encore matérialisé.

Il ne faut pas penser que c’est seulement à cause de difficultés techniques que la simulation virtuelle est différente de la réalité. Réciproquement, si une simulation ne représente que certains phénomènes physiques réels, la réalité virtuelle permet aussi de simuler différemment ces phénomènes, le réalisme "allant au-delà" du réel : •

des phénomènes physiques, invisibles par les sens humains (radioactivité, infrarouges, etc.) peuvent être représentés virtuellement ;

•

la représentation visuelle des objets peut être plus compréhensible s’ils sont affichés en fil de fer, en éclaté ou à une échelle plus grande que nature.

Nous obtenons ainsi une simulation du monde réel, qui est “augmentée” par des représentations plus adéquates, quoiqu’irréelles, d’objets ou de phénomènes physiques. Mais on peut aussi exploiter des représentations symboliques pour améliorer la compréhension du monde simulé, correspondant au cas suivant. Un monde symbolique : la réalité virtuelle est exploitée soit pour représenter symboliquement un phénomène, (la structure de molécules, l’écoulement de fluides,...), soit

La réalité virtuelle - Résumé

7

pour ajouter au monde réel simulé des concepts ou des entités symboliques. Ceux-ci permettent à l’utilisateur de se faire une meilleure représentation mentale de son environnement. Par exemple : •

•

dans la simulation du monde réel, nous pouvons ajouter des informations schématiques pour l’utilisateur, lui permettant de mieux saisir la structure d’un mécanisme ou la planification d’une tâche à accomplir ; nous pouvons représenter la potentialité d’un danger par le simple changement de couleur d’objets, virant au rouge.

Un monde imaginaire : la virtualité est employée pour créer un monde irréel, sorti de l’imagination de l’artiste ou de l’auteur de science-fiction. Dans ce cas, le monde créé n’a pas l’obligation d’être une simulation du monde réel, en particulier pour les lois liées aux entités virtuelles. En conclusion, le lecteur doit retenir qu’il ne faut pas parler d’un "degré de réalisme", ce terme laissant supposer qu’au mieux le virtuel est identique au réel. Il y a bien des possibilités variées d’exploiter les potentialités de la réalité virtuelle, les trois cas pouvant évidemment être associés dans une application. Le concepteur de dispositf de réalité virtuelle doit aussi se poser une autre question. Où est la frontière entre le monde simulé virtuellement et le monde réel, dans lequel se situe l’utilisateur ? Au moment de la conception d’un dispositif en réalité virtuelle, l’analyse de l’application doit permettre de déterminer ce domaine de transposition entre les mondes réel et virtuel, qui est l’intersection de deux ensembles : • •

l’ensemble des phénomènes réels ; l’ensemble de phénomènes représentés virtuellement.

Par exemple, dans un simulateur de transport, la cabine est réelle. Pour l’étude esthétique d’une planche de bord, celle-ci est virtuelle mais le volant peut être réel ou virtuel.

1.1.2.3

Définition technique

Une définition plus technique et littérale de la réalité virtuelle va s’attacher à caractériser le domaine par une phrase compacte et suffisamment consensuelle pour que les acteurs du domaine s’y reconnaissent. En vertu de ce qui a été énoncé en introduction, la tâche est délicate. Tous les chercheurs se retrouvent au minimum sur deux mots explicitant les fonctionnalités qui sont la clef de voûte de la réalité virtuelle : l’immersion et l’interaction. Les deux principales technologies exploitées sont l’informatique (matériel et logiciel) et les interfaces. La définition de la réalité virtuelle est ainsi : La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique (1) et des interfaces comportementales (2) en vue de simuler dans un monde virtuel (3) le comportement d’entités 3D, qui sont en interaction en temps réel (4) entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle (5) par l’intermédiaire de canaux sensori-moteurs.

8

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Cette définition introduit une terminologie nécessitant quelques explications permettant de la situer par rapport aux arguments développés dans l’introduction : 1. il faut évidemment exploiter les potentialités de l’informatique, matérielles et logicielles, pour réaliser techniquement un environnement virtuel interactif qui puisse être interfacé avec l’utilisateur. La simulation est dynamique : les entités (objets, personnages virtuels, etc.) sont animées en temps réel suivant des lois physiques (mécaniques, optiques, acoustiques, etc.) et des lois comportementales (psychologiques, sociales, affectives, etc.) ; 2. nous exploitons des interfaces matérielles de la réalité virtuelle, que nous appelons “interfaces comportementales” (nous préciserons plus loin pourquoi cette nouvelle appellation). Elles sont composées “d’interfaces sensorielles” et “d’interfaces motrices”. Les interfaces sensorielles informent l’utilisateur par ses sens de l’évolution du monde virtuel. Les interfaces motrices informent l’ordinateur des actions motrices de l’homme sur le monde virtuel. Le nombre et le choix de ces interfaces dépendent de l’objectif poursuivi de l’application. Nous détaillons au chapitre deux du volume 1 du traité le concept d’interfaçage comportemental ; 3. il faut créer un monde virtuel interactif et en temps réel. La création d’un monde virtuel est une des deux problématiques majeures de la réalité virtuelle : la modélisation, la numérisation et le traitement informatique du monde virtuel. L’autre problématique est celle de l’interfaçage entre le sujet et ce monde virtuel. La modélisation des environnements virtuels est développée au paragraphe suivant, les modèles pouvant être simplement descriptifs jusqu’à être autonomes. Nous pouvons noter le cas particulier d’associer un monde réel avec un monde virtuel (techniques de la réalité augmentée) ; 4. l’interaction en temps réel est obtenue si l’utilisateur ne perçoit pas de décalage temporel (latence) entre son action sur l’environnement virtuel et la réponse sensorielle de ce dernier. Cette contrainte est difficile à satisfaire. A défaut, on peut chercher à ne point infliger de perturbations au sujet par ce décalage temporel, même s’il le perçoit. A noter que s’il n’y a que des interactions entre entités 3D dans le monde virtuel, sans interaction humaine, nous sommes dans le domaine de l’animation (d’images de synthèse) et non plus dans le domaine de la réalité virtuelle. Ces deux domaines se recoupent et exploitent évidemment certaines techniques identiques ; 5. l’utilisateur doit être en “immersion pseudo-naturelle” la plus efficace possible dans le monde virtuel. L’immersion ne peut être naturelle car nous avons appris à agir naturellement dans un monde réel et non virtuel (des biais sensori-moteurs sont créés, d’où le terme pseudo). Cette sensation est une notion en partie subjective qui dépend de l’application et du dispositif utilisé (interfaces, logiciels, etc.). Les deux conditions, interaction et immersion, sont rarement réalisables parfaitement par rapport à l’application envisagée. C’est plutôt un objectif à atteindre. Par contre, elles doivent être en partie réalisées, même modestement, pour parler d’un système basé sur les techniques de réalité virtuelle. Il résulte de cette analyse globale un principe fondamental de la réalité virtuelle. Ce principe est contenu dans la boucle de la figure 1.2. L’utilisateur agit sur l’environnement virtuel grâce à l’usage d’interfaces motrices qui captent ses actions (gestes, déplacements, voix, etc.). Ces activités sont transmises au calculateur qui l’interprête

La réalité virtuelle - Résumé

9

comme une demande de modification de l’environnement. Conformément à cette sollication de modification, le calculateur évalue les transformations à apporter à l’environnememt virtuel et les restitutions sensorielles (images, son, efforts, etc.) à transmettre aux interfaces sensorielles. Cette boucle en environnement virtuel interactif est le pendant de la boucle “perception, cognition, action” du comportement de l’homme dans un mode réel. Mais deux contraintes majeures, inhérentes aux techniques, vont perturber la boucle “perception, cognition, action” et en conséquence le comportement du sujet : la latence et les incohérences sensori-motrices.

MONDE REEL

MONDE VIRTUEL

Interfaces motrices

CALCULATEUR(S) Acquisition Simulation Restitution

UTILISATEUR(S) Perception Décision Action

Interfaces sensorielles

Figure 1.2 : La boucle perception, cognition, action passant par le monde virtuel La latence est le décalage temporel entre une action de l’utilisateur sur les interfaces motrices et la perception des conséquences de cette action sur l’environnement virtuel à travers les interfaces sensorielles. L’existence de la latence dans la boucle influe sur la qualité de toute application de réalité virtuelle. Le seuil de tolérence de la latence varie grandement selon la nature de l’intéraction, selon les sens et les réponses motrices exploités, selon le type d’application et selon les performances des utilisateurs. En pratique, la limite du délai de réaction acceptable est de l’ordre de cent à quelques dizaines de millisecondes pour avoir l’impression de temps réel. Donnons un exemple : si l’utilisateur tourne la tête, les images correctes doivent être affichées avec un délai inférieur à quelques dizaines de millisecondes pour que ce dernier ne soit pas perturbateur. A ce propos, il faut mentionner que dans la vie de tous les jours, le vrai monde est quasi intantanné. Le quasi vient du fait que l’on néglige, sur le plan humain, le retard perceptif dû au transfert des influx nerveux et à l’interprétation par le cerveau des stimulis. Nous sommes donc plongé dans ce monde quasi instantanné et nous avons développé des comportements naturels et inconscients face à cette réactivité. Dans le virtuel, il est généralement impossible de respecter cette quasi instantanéïte. En effet, chaque maillon de la chaîne de traitement (interface en entrée, réseau de communication, calculateur, interface en sortie) introduit des délais (dus aux transmissions, aux temps de traitement, aux fréquences d’échantillonage...) qui, cumulés, représentent la latence du système. Cette latence est donc un artéfact inhérent aux environnements virtuels interactifs. Dans certains cas, en particulier lorsqu’elle n’est pas maîtrisée et qu’elle dépasse le seuil de tolérence de l’utilisateur dans la tâche qu’il accompli, elle peut devenir rédhibitoire et nuire à l’acceptation de l’application.

10

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Les incohérences sensori-motrices sont des artefacts de la réalité virtuelle. Quelque soit le nombre de canaux sensoriels exploités dans une application, quelque soit le nombre d’interactions à la disposition du sujet, il y a presque toujours des incohérences sensorimotrices par rapport au comportement sensori-moteur du sujet dans le monde réel. Par exemple, dans bien des manipulations d’objets virtuels, leurs poids ne sont pas pris en compte. Cette incohérence sensori-motrice perturbera-t-elle le comportement du sujet ? Cette question est débattue dans le chapitre deux du volume un du traité. Les schémas suivants (Figure 1.3, Figure 1.4) explicitent la différence essentielle entre l’homme observateur d’un monde virtuel figé (peinture, cinéma, modélisation en CAO, etc.) et l’homme acteur dans un monde virtuel interactif. Homme observateur et acteur

Homme observateur

MONDE REEL

MONDE VIRTUEL

Figure 1.3 : Comparaison entre un monde réel et un monde virtuel figé Les techniques de la réalité virtuelle permettent à toute personne d’agir par l’intermédiaire de ses muscles sur un environnement virtuel, ce dernier réagissant en retour sur les organes sensoriels de l’utilisateur, grâce aux développements récents de dispositifs sensoriels et moteurs. Le monde virtuel étant simulé sur du matériel informatique, la réalité virtuelle implique un changement dans l’interaction entre l’homme et l’ordinateur. Ce dernier ne peut plus être seulement interfacé avec un écran monoscopique, un clavier et une souris 2D si l’on désire une immersion relativement naturelle. Nous préférons employer le terme d’interfaces comportementales plutôt que d’interfaces matérielles ou d’interfaces homme machine (IHM), pour bien différencier celles-ci de celles-là. Et nous utiliserons encore moins le terme de "périphérique", qui a une signification négative par rapport à notre approche anthropocentrique et non technocentrique. Pour notre définition, l’interface comportementale est un dispositif qui exploite la perception et la motricité à la base du comportement humain. Le comportement humain exploité en environnement virtuel est relativement proche d’un comportement en environnement réel. Au niveau théorique, les "interfaces sensorielles" sont conçues pour transmettre des stimuli sensoriels de l’ordinateur vers l’homme et inversement les "interfaces motrices” pour transmettre des réponses motrices de l’homme vers l’ordinateur. Certaines interfaces mixtes, "interfaces sensori-motrices", transmettent des réponses motrices et en réaction des stimuli sensoriels sont renvoyés par l’ordinateur, comme les gants de données à retour d’effort. Précisons ici que l’organisme humain, recevant des stimuli sensoriels, a aussi des réponses autres que motrices (musculaires) : réponses hormonales, physiologiques, etc. Mis à part quelques exceptions, nous n’exploitons que les réponses motrices (musculaires) dans les dispositifs de réalité virtuelle. Nous présentons les interfaces comportementales dans le volume un du traité qui permettent techniquement l’immersion et l’interaction du sujet dans un environnement virtuel. D’autres capteurs peuvent être utilisés dans certaines applications, informant l’ordinateur par exemple de l’évolution de caractéristiques physiques de l’environnement

La réalité virtuelle - Résumé

11

Homme observateur et acteur

Homme observateur et acteur

MONDE REEL

MONDE VIRTUEL sur quoi ?

pour une pourquoi ?

INTERACTION EN TEMPS REEL

par une comment ?

IMMERSION PSEUDO-NATURELLE

avec des avec quoi ?

INTERFACES COMPORTEMENTALES et ORDINATEUR(S)

Figure 1.4 : Comparaison entre un monde réel et un monde virtuel interactif

12

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

réel, qui peuvent intervenir pour des raisons diverses dans la simulation. Comment les interfaces doivent-elles transmettre les stimuli sensoriels et les réponses motrices ? Comment les utiliser pour permettre un interfaçage comportemental efficace ? Nous expliciterons notre approche et notre méthodologie dans le chapitre deux du volume un.

1.1.3 LA MODÉLISATION DES ENVIRONNEMENTS VIRTUELS

1.1.3.1

Les modèles

L’exploitation d’une scène virtuelle, représentatitive de l’environnement dans lequel l’expérimentation doit avoir lieu, est réalisée par le traitement de modèles que ce soit pour la forme des objets, leur aspect et leur mobilité [Foley e.a., 1982, Hégron, 1985, Foley e.a., 1995, Peroche e.a., 1998]. Concernant la géométrie des objets, le problème consiste essentiellement à décrire sous une forme mathématique la fontière entre l’intérieur et l’extérieur de l’objet. Formellement, différentes techniques sont utilisables. Néanmoins, la contrainte du temps de calcul impose d’exploiter des cartes graphiques 3D avec accélération matérielle pour la génération des images. En conséquence, il est actuellement d’usage de considérer que les environnements 3D utilisés en réalité virtuelle sont modélisés par un ensemble de facettes polygonales planes 4 , indépendamment de la manière dont les objets de cette scène ont été modélisés au départ. En effet, les outils de modélisation (modeleurs CAO ou multimédia) peuvent exploiter plusieurs types de modèles géométriques (NURBS5 , représentation volumique...) qui nécessiterons, pour être intégrés dans l’application de réalité virtuelle, une conversion en un ensemble de facettes polygonales planes. Cette conversion n’est pas sans conséquence puisqu’elle est généralement effectuée avec perte d’information. En effet, l’ensemble des facettes polygonales planes ne représente, en général, qu’une vue approchée de la surface initiale. Toute la difficulté de la conversion de modèle réside alors dans un judicieux compromis entre le nombre de facettes polygonales planes et la précision de la représentation. Une fois la forme représentée, il est nécessaire de considérer le comportement de l’objet face à la lumière [Bouatouch e.a., 1996] et d’associer aux surfaces un ensemble de propriétés photométriques lié au matériau composant l’objet. Ici aussi, l’exploitation de cartes graphiques 3D va orienter un certain nombre de choix. En effet, ces cartes disposent d’algorithmes cablés d’élimination des surfaces cachées (algorithme du tampon de profondeur) et de calcul d’éclairement fondé sur quelques modèles simples traitant de la diffusion (loi de Lambert), de la spécularité (effet mirroir) due aux sources et de la transparence (sans traitement de la réfraction). Il existe aussi des modèles d’éclairement et des algorithmes plus sophistiqués [Whitted, 1980, Cook e.a., 1982](lancer de rayon [Roth, 1982, Kajiya, 1983], radiosité [Sillion e.a., 1998]) beaucoup plus coûteux et difficile à faire tenir aujourd’hui sur une carte graphique. Enfin pour tenir compte de la mobilité d’un objet, nous introduisons des modèles d’animation chargés de gérer les degrés de liberté de l’objet qui, selon sa nature rigide ou déformable, comprennent : 4 définition 5 Non

élémentaire : partie de plan inscrite dans un contour polygonal fermé Uniform Rational B-Spline

La réalité virtuelle - Résumé • • •

13

les trois translations dans l’espace 3D ; les trois rotations dans l’espace 3D ; les déformations locales de la surface de l’objet qui sont soit des déplacements des sommets des facettes polygonales planes soit des modifications plus profondes de la forme imposant une modification de la topologie de l’objet (par exemple, un objet qui se casse en deux parties ou plus).

Une scène virtuelle est généralement composée de plusieurs objets qui sont fréquemment organisés selon une représentation hiérarchique arborescente. En animation, cette hiérarchie peut être exploitée pour distinguer les mouvements relatifs de mouvements absolus. Dans la littérature scientifique, nous distinguons trois classes de modèles de mouvement [Arnaldi, 1988, Arnaldi, 1994] : Les modèles descriptifs : ils traduisent une représentation exclusivement fondée sur la description des effets du mouvement (modèles phénoménologiques). Même s’il existe de nombreuses variantes, leur trait commun est de modéliser la mobilité des objets sous la forme de trajectoires spatio-temporelles [Reeves, 1981, Kochanek, 1984, Steketee e.a., 1985] (ensemble des lieux et des temps de passage des objets). Les modèles générateurs : ils s’attachent à tenir compte des causes du mouvement (modèle causal) en représentant, sous la forme d’équations, l’ensemble des trajectoires possibles [Hégron e.a., 1992], [Hégron e.a., 1995] et [Dumont, 1990]. Un exemple classique de ce type de modèle est le fait d’associer à un objet un comportement mécanique où le mouvement sera régit par ses équations qu’il faudra résoudre pour chaque image ou pour chaque instant de l’échantillonnage temporel utilisé. Les modèles comportementaux : ce type de modèle a pour vocation de donner de l’autonomie à un objet [Donikian, 1994]. Fondamentalement, l’objet doit avoir une perception de l’environnement virtuel dans lequel il est plongé, il doit avoir la capacité de décider de son futur et enfin il doit pouvoir agir sur lui-même par ses organes moteurs. L’exemple typique de ce type de modèle est le traitement d’humains virtuels autonomes capable d’agir et de réagir dans l’environnement virtuel. Une discussion s’impose quant aux capacités de ces modèles sur le plan des applications en réalité virtuelle : •

•

En effet, les modèles descriptifs sont tels que, dans une certaine mesure, les mouvements sont préenregistrés et qu’il n’est possible pratiquement que de contrôler l’instant de déclenchement de la trajectoire. En particulier, les réactions aux interactions avec l’utilisateur ne pourront suivre qu’une des trajectoires préenregistrées. La variation et la crédibilité du résultat passent donc par l’usage d’un très grand nombre de trajectoires potentielles qu’il est difficile de modéliser. Les modèles générateurs, quant à eux, sont très adaptables (au sens de l’interaction) puisqu’ils contiennent par essence l’ensemble des réactions possibles. L’action de l’utilisateur est traduite sous la forme d’un des points d’entrée du modèle (paramètrage en force ou en position) et cette action est prise en compte au moment de la nouvelle résolution du système d’équations. En contrepartie, les modèles générateurs sont beaucoup plus coûteux en temps de calcul car ils nécessitent généralement

14

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

la résolution de systèmes d’équations différentielles linéaires ou non-linéaires. Sur le plan de l’usage, lorsqu’une certaine réalité physique de l’environnement virtuel est imposée par le type d’application ou le type d’interaction, ces modèles deviennent incontournables. Un exemple typique est celui d’une interaction avec retour d’effort. Dans ce cas, pour que l’utilisateur ait la capacité de percevoir les efforts ou les inerties engendrées lors d’une manipulation, l’application doit être en mesure de déterminer ces forces, grâce au modèle générateur, pour les transmettre ensuite au dispositif haptique. •

Enfin, les modèles comportementaux se placent sur un autre plan puisque leur caractéristique essentielle concerne leur capacité à produire de l’autonomie dans l’environnement virtuel. Cette autonomie est largement utilisée dans les applications faisant intervenir des entités virtuelles dotées d’une certaine intelligence ou lorsque l’on cherche à observer des phénomènes émergeants, liés à l’usage d’un ensemble de règles ou de lois locales connues sur un grand nombre d’entités (modélisation et simulation multi-agents). Dans la partie action du cycle perception - décision - action, le modèle comportemental s’appuie fréquemment sur un modèle descriptif ou un modèle générateur.

La modélisation des environnements virtuels est présentée en détail dans les premiers chapitres du volume deux du traité.

1.2 CONCLUSION Ce chapitre a précisé les fondements de la réalité virtuelle. Pour conclure, nous pouvons dire que les problématiques fondamentales inhérentes à la réalité virtuelle se découpent en deux catégories : celle concernant la modélisation et la numérisation de l’environnement virtuel et celle concernant l’interfaçage de l’utilisateur avec ce monde virtuel.

1.3 RÉFÉRENCES BIBLIOGRAPHIQUES [Arnaldi, 1988]

B. Arnaldi. Conception du noyau d’un système d’animation de scènes tridimensionnelles intégrant les lois de la mécani que. Thèse de doctorat, Université de Rennes I (1988).

[Arnaldi, 1994]

B. Arnaldi. Animation de systèmes physiques. mémoire d’habilitation à diriger les recherches, université de Rennes I (1994).

[Bouatouch e.a., 1996] K. Bouatouch, P. Guitton, B. Péroche, et F. Sillion. Simulation de la lumière en synthèse d’images : aspects algorithmiques. TSI, 14(10) (1996). [Cook e.a., 1982]

R. Cook et K. Torrance. A reflectance model for computer graphics. ACM Transactions on Graphics, 1(1) :7–24 (1982).

[Donikian, 1994]

S. Donikian. Les modèles comportementaux pour la génération du mouvement d’objets dans une scène. Revue Internationale de CFAO et d’Infographie, numéro spécial AFIG-GROPLAN, 9(6) (1994).

[Dumont, 1990]

G. Dumont. Animation de scènes tridimensionnelles : la mécanique des solides comme modèle de synthèse du mouvement. Thèse de doctorat, Université de Rennes 1 (1990).

[Foley e.a., 1982]

J. Foley et A. V. Dam. Fundamentals of Interactive Computer Graphics. Addison Wesley Publishing Company, London (1982).

La réalité virtuelle - Résumé [Foley e.a., 1995]

[Fuchs, 1996] [Hégron, 1985] [Hégron e.a., 1992]

[Hégron e.a., 1995] [Kajiya, 1983] [Kochanek, 1984] [Peroche e.a., 1998] [Reeves, 1981]

[Roth, 1982] [Sillion e.a., 1998] [Steketee e.a., 1985]

[Whitted, 1980]

15

J. Foley, A. V. Dam, S. K. Feiner, et J. Hugues. Computer graphics Principles and practice in C. Addison Wesley Publishing Company, London (1995). P. Fuchs. Les interfaces de la réalité virtuelle. Les Presses de l’Ecole des Mines de Paris (1996). ISBN 2-9509954-0-3. G. Hégron. Synthèse d’Image : algorithmes élémentaires. DUNOD informatique (1985). G. Hégron et B. Arnaldi. Computer Animation : Motion and Deformation Control. Eurographics Technical Report Series. Eurographics’92 Tutorial Notes, Cambridge (GB) (1992). G. Hégron, B. Arnaldi, et C. Lecerf. Computer Animation, chapter Dynamic Simulation and Animation. Prentice Hall (1995). J. Kajiya. New techniques for ray tracing procedurally defined objects. ACM Computer Graphics, 17(3) :91–102 (1983). D. H. Kochanek. Interpolating splines with local tension, continuity, and biais control. Computer Graphics, 18(3) :124–132 (1984). P. Peroche, D. Ghazanfarpour, D. Michelucci, et M. Roelens. Informatique graphique, 2ème édition. Hermes (1998). W. T. Reeves. Inbetweening for computer animation utilizing moving point constraints. Computer Graphics, 15(3) :263–269 (1981), In proceedings of SIGGRAPH’81. S. Roth. Ray casting for modeling solids. Computer Graphics and Image Processing, 18(2) :109–144 (1982). F. Sillion et C. Puech. Radiosity and Global Illumination. Morgan Kaufmann Publishers, San Francisco (1998). S. N. Steketee et N. I. Badler. Parametric keyframe interpolation incorporating kinetic adjustement and phrasing control. Computer Graphics, 19(3) :255–262 (1985), In proceedings of SIGGRAPH’85. T. Whitted. An improved illumination model for shaded display. Communications of the ACM, 23 :343–349 (1980).

16

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Deuxième partie

Modélisation des mondes virtuels

2

MODÈLES GÉOMÉTRIQUES DES ENVIRONNEMENTS VIRTUELS

Guillaume Moreau

2.1

INTRODUCTION

Dans un environnement virtuel, l’observateur évolue dans un monde qui est une représentation d’une partie de la réalité ou d’un environnement imaginaire [Fuchs, 1996]. Dans la plupart des cas, la représentation qui est faite à l’observateur est en premier lieu visuelle. Cette représentation visuelle est formée par la projection d’un modèle géométrique 3D de l’environnement virtuel sur une ou plusieurs images planes 2D par l’intermédiaire de caméras virtuelles dont le mouvement peut être lié à celui de l’observateur. Cet environnement n’est bien sûr pas uniquement constitué d’éléments de nature géométrique ; prenons l’exemple de ce qu’on appelle la ville virtuelle. Une ville virtuelle se compose au moins d’une représentation du bâti et du réseau routier ainsi que d’acteurs évoluant dans cette ville (cf. figure 2.1 représentant une simulation de tramway dans un carrefour nantais [Donikian e.a., 1998]). Les représentations géométriques du bâti et du réseau routier sont insuffisantes pour permettre cette simulation [Donikian, 1997]. La seule intégration d’un tramway dans le cadre de cette étude a nécessité la création d’un modèle géométrique et cinématique d’un tramway, mais aussi la définition du comportement du couple conducteur-tramway au passage de certains éléments remarquables du réseau routier (feux, intersections, arrêts de tramway). Dès lors, la modélisation du réseau routier devient non seulement géométrique, mais aussi topologique (orientation dans un réseau) et sémantique (signification du feu rouge) [Thomas, 1999].

Figure 2.1 : Etude d’impact sur l’intégration d’un tramway dans un carrefour nantais (image IRISA/Siames). Si nous avons rapidement montré que la modélisation d’un environnement virtuel n’est pas uniquement géométrique, celle-ci constitue néanmoins une étape importante du processus de construction d’un environnement virtuel. Ce chapitre et le chapitre suivant

20

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

y seront consacrés. Dans un premier temps, nous ferons un tour des modèles théoriques associés à la description géométrique, puis nous aborderons les outils de la modélisation. Les aspects non géométriques seront abordés ensuite au chapitre 3. 2.1.1 TYPES D’OBJETS

Avant de modéliser des objets géométriques, il faut pouvoir répondre à la question : que cherche-t-on à modéliser ? il est évident que la modélisation d’un solide indéformable est différente de celle d’un fluide compressible. L’objet le plus simple est bien sûr le solide rigide non déformable. Cet objet ne peut subir que des transformations solides T = (R, t), où R est une rotation dans l’espace et t une translation. Le cube de la figure 2.2 est un exemple de solide rigide indéformable. Le principal avantage des solides rigides est de n’avoir à calculer que leur position solide dans l’espace avant d’effectuer leur rendu. Les modèles non-rigides peuvent se décomposer quant à eux en plusieurs catégories : • les solides articulés : ce sont des solides rigides indéformables reliés entre eux par des liaisons mécaniques (par exemple une liaison pivot). Ils sont utilisés pour représenter par exemple le mouvement d’un bras relié à un tronc ou les roues d’une voiture qui sont liées au chassis, en première approximation bien sûr. C’est aussi le cas du pendule de la figure 2.3. Les liaisons entre les solides sont représentées par leurs paramètres (ici les angles θ1 et θ2 ) ; • les solides déformables dont les déformations suivent les lois de la mécanique (ou pas, dans un monde imaginaire). Ce peut être la peau d’un être vivant, une balle se déformant au contact du sol. Ces modèles sont régis par leurs paramètres mécaniques. Il est donc nécessaire de calculer l’évolution de leur forme avant d’effectuer leur rendu visuel. Les vignettes de la figure 2.4 présentent l’évolution de la lampe Luxo se déformant sous l’effet de son propre poids [Cozot, 1996] ; • en dernier les modèles non-solides, qui représentent tout ce qu’on ne peut pas associer à la notion d’objet. On peut citer les fluides, les modèles particulaires qui associent plusieurs sous-modèles associés mécaniquement entre eux. La création d’un jet de lave par exemple utilise des modèles particulaires. Il existe par ailleurs des modèles qui ne rentrent pas en compte dans le cadre de la réalité virtuelle à utilisation professionnelle ; ils sont associés aux techniques dites de rendu non photo-réaliste. Ces techniques ont des résultats souvent spectaculaires mais elles ne peuvent être classées en familles simples comme celles que nous venons de citer. De plus leur utilisation en réalité virtuelle semble marginale. Elles ne seront donc pas abordées dans cet ouvrage. La contrainte majeure de la réalité virtuelle en terme de rendu graphique porte naturellement sur la nécessité absolue d’un rendu temps réel du modèle 3D. Il est donc évident qu’on cherche à privilégier dans les environnements virtuels les objets les plus simples (solides rigides et articulés) au détriment des plus complexes (fluides visqueux par exemple). On se limite donc essentiellement dans les paragraphes qui suivent à des solides rigides représentant des objets manufacturés ou des éléments naturels. 2.1.2 PROPRIÉTÉS DES MODÈLES

Selon Michael Mortenson [Mortenson, 1985], «un modèle géométrique est une représentation mathématique non ambiguë et complète de la forme d’un objet physique afin

Modèles géométriques des environnements virtuels

21

Figure 2.2 : Solide rigide : un cube.

θ1

θ2

Figure 2.3 : Solide articulé : un bi-pendule.

Figure 2.4 : Objet déformable : la lampe Luxo se déformant sous son propre poids (image IRISA/Siames).

22

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

de la traiter sur ordinateur». Comme il existe une variété de modèles, il est utile de pouvoir comparer les différentes représentations d’un même objet entre elles. Les critères utilisés sont les suivants : • le domaine : il s’agit de l’ensemble des objets qu’une représentation peut modéliser ; • la complétude : c’est la capacité théorique d’une représentation à pouvoir répondre à certaines questions géométriques simples comme l’aire d’une surface, la position d’un point par rapport à un volume... ; • l’unicité de la représentation d’un objet : ce critère est important lorsqu’on cherche à déterminer l’égalité de deux objets, à un couple rotation/translation près ; • la facilité de manipulation : c’est la base de la création et de la modification du modèle ; • les performances techniques : la précision, la concision de la structure, mais aussi la rapidité des algorithmes associés (détection de collision, rendu visuel...). Il existe deux techniques fondamentales pour représenter des objets en trois dimensions : • la représentation volumique : elle consiste naturellement à déterminer une représentation informatique de leur volume ; • la représentation surfacique : elle provient du constat que nous nous situons dans un espace euclidien à trois dimensions où tout objet fini régulier a une frontière non dégénérée. On peut donc déterminer le volume de l’objet comme étant l’intérieur de sa frontière. En résumé, on cherche donc ici à modéliser la sphère plutôt que la boule. Si cela peut paraître plus complexe en théorie, cette représentation est en réalité plus utile, puisque dans le cas de solides non transparents, le rendu n’est effectué pour la seule surface de l’objet. Pour les représentations volumiques comme surfaciques, il existe plusieurs modèles mathématiques vérifiant chacun des propriétés différentes. Nous verrons dans les sections suivantes les principaux types de modèles tant volumiques que surfaciques puis l’algorithmique associée aux conversions de modèles. Enfin nous verrons les améliorations que nous pouvons apporter à une modélisation pour l’utiliser dans un environnement virtuel, avec les contraintes de temps réel qui s’y rattachent. 2.2 MODÈLES VOLUMIQUES Les modèles dits volumiques sont les modèles qui représentent le volume d’un objet. Deux familles de techniques sont utilisées : • l’énumération spatiale : elle consiste à découper l’espace en un nombre important de petites cellules qui appartiendront totalement, en partie, ou pas du tout au volume de l’objet. La modélisation consiste alors à trouver un découpage de l’espace et une fonction qui détermine le remplissage d’une cellule lorsque seule une partie de celleci est occupée par l’objet à modéliser ; • la CSG : La CSG (Constructive Solid Geometry) est un arbre binaire de construction où les feuilles sont des primitives géométriques et les nœuds des opérateurs booléens. 2.2.1 ÉNUMÉRATION SPATIALE

On cherche donc à construire une partition de l’espace. On utilise des axes de découpage orthogonaux aux axes du repère global pour simplifier. Chaque cellule est ainsi

Modèles géométriques des environnements virtuels

23

localisée par rapport à l’objet à représenter : si elle est pleine, on dit qu’elle est à l’intérieur de l’objet, si elle est vide on dit qu’elle est à l’extérieur de l’objet. Si elle n’est que partiellement remplie, on fournira une fonction de test d’appartenance. La figure 2.5 présente un maillage grossier d’un lapin en deux dimensions. La seconde vignette prouve qu’il est impossible de reconnaître visuellement un lapin à partir d’un maillage si large. Le problème de la précision suffisante du maillage est donc posé. La notion de maillage régulier se généralise aisément en trois dimensions.

Figure 2.5 : Maillage régulier en deux dimensions d’un lapin. Le choix du maillage revêt une grande importance puisqu’il est très directement lié à la concision de la représentation. Lorsqu’on travaille dans un espace à 3 dimensions avec un maillage uniforme, le nombre de cellules croît avec le cube du niveau de subdivision. Pour un volume formé dans un cube de 10 cm de côté découpé avec une précision de 1 mm, on obtient déjà 1 million de cellules élémentaires. Cette technique est très utilisée en imagerie médicale où les images scanner ont une résolution de 256 pixels par 256 (voire 512 par 512 maintenant). Chaque coupe scanner utilise à elle seule plus de 65000 cellules, nombre qu’il faut encore multiplier par le nombre de couches. Pire encore, quelque soit le niveau de subdivision de l’espace, on ne pourra jamais représenter de façon exacte une simple droite oblique (et à plus forte raison un cercle ou une sphère). On pense alors logiquement à utiliser un maillage adaptatif, c’est-à-dire grossier sur les grands volumes de l’intérieur de l’objet et plus fin vers ses frontières. L’utilisation d’un maillage adaptatif n’augmentera pas le domaine des objets modélisables de façon exacte, mais en permettra une représentation plus compacte. On construit donc une représentation arborescente d’un objet selon un algorithme descendant : si une cellule est uniforme, une feuille terminale est créée ; dans le cas inverse, 2 d (d étant la dimension de l’espace considéré, en 2D on parle de quadtrees, en 3D d’octrees) cellules filles partitionnant régulièrement la cellule mère sont créées et l’algorithme est appliqué à chacune d’entre elles [Jackins e.a., 1980]. Bien entendu on fixe une limite maximale de subdivision de façon à ce que l’algorithme puisse se terminer. La figure 2.6 montre un exemple de calcul d’un quadtree à partir d’une image (qui est elle-même par définition un maillage régulier de l’espace en deux dimensions). Le passage dans un espace de dimension 3 est tout aussi évident. Il existe aussi des techniques de subdivision plus élaborées puisqu’elles ne découpent pas les cellules suivant les axes, mais suivant des schémas simples ; elles sont utiles pour découper de façon exacte des polyèdres. On parle alors de polytree ou de PM tree

24

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines





 


  
 

  

















Figure 2.6 : Construction d’un quadtree à partir d’un maillage régulier d’un espace à deux dimensions (dans cet exemple, on a modélisé l’espace libre, c’est-à-dire le complémentaire des objets).

(PM signifiant alors Polygonal Map). La représentation informatique d’une représentation par énumération d’un objet est simple : une grille régulière peut-être représentée par un tableau à trois dimensions de booléens. Les structures d’octree (généralisation du quadtree dans un espace à trois dimensions) sont des arbres octaux que l’on construit récursivement. L’utilisation de structures d’énumération spatiale (régulières ou adaptatives) est très simple d’un point de vue algorithmique, les complexités sont souvent assez faibles, même les opérateurs géométriques booléens sont faciles à mettre en œuvre. Les problèmes se posent lors des changements d’échelle (dont le facteur n’est pas un multiple de 2) ou lors des rotations (d’angle différent de 90 degrés). Du point de vue des propriétés énoncées en 2.1.2, on peut dire que : le domaine des objets représentés est très large si on ne fixe pas une marge d’erreur strictement nulle. En revanche, le domaine de représentation exacte est particulièrement limité. Toutefois, la précision de modélisation est connue à l’avance ; • le modèle est bien adapté aux algorithmes simples ; • l’unicité des modèles n’est pas vérifiée à cause de la sensibilité des modèles à l’orientation de l’objet ; • dans l’ensemble, les modèles sont faciles à manipuler, même si les rotations et les mises à l’échelle peuvent poser de gros problèmes ; • les structures de données sont particulièrement lourdes puisque la précision est une racine cubique du nombre de cellules utilisées. Cette complexité peut être diminuée en utilisant des structures arborescentes comme les octrees. Comme on l’a évoqué précedemment, les grilles sont très utilisées dans le domaine médical (IRM, scanner), mais aussi en géophysique (l’Institut Français du Pétrole par exemple pour représenter des cubes de données sismiques). La figure 2.7 montre une reconstruction du sous-sol de la région de Morges dans les Alpes à l’aide d’un modèle numérique de terrain et d’un certain nombre de coupes. On utilise donc essentiellement les grilles pour représenter le réel (données acquises) plutôt que pour des activités de création. Les structures adaptatives ne sont généralement pas utilisées en tant que modèle mais en tant qu’intermédiaires de calcul, notamment pour les calculs d’intersec•

Modèles géométriques des environnements virtuels

25

tion. Le rendu visuel des modèles volumiques passe soit par une conversion en modèle surfacique soit pas des techniques particulières comme le logiciel OpenGL Volumizer [http1].

Figure 2.7 : Reconstruction du sous sol de la région de Morges (image INRIA/Prisme).

2.2.2 CONSTRUCTIVE SOLID GEOMETRY

La CSG est une technique de modélisation particulière puisqu’elle ne préjuge pas de la représentation réelle. On peut utiliser la CSG en commun avec des primitives surfaciques, même si la surface résultant de l’intersection d’une sphère avec un cube sera difficile à calculer. On s’intéresse ici à la CSG en tant que représentation d’un objet en trois dimensions. On considère donc un ensemble E de primitives géométriques, constitué par exemple de boules, de pavés, de tores... On peut aussi inclure dans E des volumes obtenus par extrusion ou par balayage, cela n’a aucune incidence sur le modèle théorique. Le domaine des volumes constructibles est donc l’ensemble D engendré par E ∪ {0} et les opérateurs ensemblistes ∩, ∪ et −. Les primitives CSG sont très utilisées dans le domaine de la CAO pour créer des formes de pièces. Si la plupart des modeleurs 3D du commerce supportent la CSG, le logiciel povray [http2] du domaine public est des rares logiciels de rendu à l’exploiter de façon native. On peut très facilement créer des modèles d’objets CSG à l’aide du langage de script. L’exemple suivant montre la création d’un pavé percé par trois trous dont l’un est rempli par un cylindre 1 . L’arbre CSG associé au fichier est représenté figure 2.8.

1 Dans le langage de povray, lorsque deux primitives géométriques se suivent, elles sont implicitement reliées par l’opérateur union.

26

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

union

cylindre

différence

boite

union

cylindre

cylindre

Figure 2.8 : Exemple d’arbre CSG.

cylinder {

0.2 pigment { Yellow } } difference { box {

} cylinder {

0.1 } cylinder {

0.1 } pigment { Red } }

En y ajoutant une caméra et une source de lumière, on obtient l’image de la figure 2.9. En termes plus informatiques, la représentation d’un arbre CSG est une simple structure d’arbre où les feuilles sont des primitives géométriques et les nœuds des opérateurs booléens. Certains algorithmes de traitement sont extrêmement simples à mettre en œuvre, d’autres ne sont pas prévus par la structure (par exemple il est impossible d’effectuer un calcul de volume dans le cas général). Le problème fondamental inhérent à la représentation CSG est celui de la représentation visuelle des primitives élémentaires et la détermination du résultat de l’application des opérateurs sur ces structures.

Modèles géométriques des environnements virtuels

27

Figure 2.9 : Exemple de pièce modélisée par CSG avec povray

En termes de propriétés, nous pouvons dire que : l’ensemble des objets représentés dépend essentiellement des primitives de base utilisées, mais peut être très étendu ; • le modèle est très adapté à certains calculs tout en rendant des opérations, comme un simple calcul de volume, complètement impossibles ; • l’unicité n’est évidemment pas vérifiée, l’ordre de construction influe sur les primitives utilisées et sur l’ordre d’application des opérateurs ; • les modèles CSG sont très faciles à utiliser et sont donc généralement implantés dans tous les outils de modélisation 3D, même si la structure interne de ces derniers est plutôt de nature surfacique ; • la précision et la concision des modèles dépendent essentiellement des primitives utilisées et de leur adéquation à l’objet à modéliser. Les modèles CSG sont naturellement la clé de voûte des outils de CAO mécanique, à la fois pour des questions d’ergonomie et de fabrication des objets conçus. Toutefois, leur adéquation à la réalité virtuelle est plus que discutable comme nous le verrons par la suite. En matière de rendu visuel, la CSG est plutôt utilisée dans des logiciels non temps réel comme les logiciels de lancer de rayon. En effet les techniques de lancer de rayon peuvent s’affranchir du calcul explicite du volume de l’objet modélisé.

•

2.3

MODÈLES SURFACIQUES

Nous arrivons maintenant à la représentation surfacique où nous allons chercher à modéliser les frontières de l’objet. Pour cette raison, la modélisation surfacique est aussi appelée Brep (Boundary Representation). Le problème est différent en ce sens que nous déterminons cette fois une surface, c’est-à-dire un hyperplan de l’espace à trois dimensions. Il faut alors chercher à représenter la surface frontière sous une forme qui la rende utilisable pour des traitements algorithmiques. Les modèles surfaciques sont classés suivant le type de surface utilisé. 2.3.1 UTILISATION DE SURFACES PLANES

C’est le modèle le plus généralement utilisé pour le rendu temps réel. On représente la surface frontière d’un objet à l’aide d’un ensemble de faces polygonales connectées entre elles. Une frontière se représente donc à l’aide de trois ensembles : un ensemble de sommets S, un ensemble d’arêtes A et un ensemble de faces F . Le modèle doit respecter certaines contraintes d’intégrité :

28

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

•

les faces ne s’intersectent qu’en leurs sommets ou arêtes communes ;

•

une arête appartient à deux faces ;

•

tous les sommets adjacents à un sommet donné forment dans l’espace un polygone simple (pas d’intersection entre les arêtes, si possible convexe).

On utilise généralement des triangles comme polygones, pour simplifier au maximum les calculs, le triangle étant la surface polygonale fermée la plus simple. Elle est de plus forcément planaire. Tout polygone pouvant être réduit à un ensemble de triangles, les problèmes sont donc équivalents. La figure 2.10 présente un exemple de pièce modélisée à l’aide d’un maillage triangulaire. La précision du maillage n’est limitée que par le nombre de triangles qu’on peut afficher. Aujourd’hui, les cartes graphiques 3D sont capables d’afficher un grand nombre de triangles par seconde, mais en contrepartie elles ne peuvent afficher que des triangles !

Figure 2.10 : Exemple de pièce modélisée à l’aide d’un maillage triangulaire.

2.3.2 UTILISATION DE SURFACES NON PLANES

Le modèle proposé au paragraphe précédent se généralise sans problème à des surfaces non-planes. Les contraintes d’intégrité sont plus difficiles à faire respecter. Les surfaces non planes présentent généralement l’avantage de la compacité de la représentation. Elles sont plus faciles à manipuler pour des opérateurs de CAO puisqu’elles nécessitent moins de paramétrages. Leur aspect visuel est plus agréable à quantité de données égale, elles permettent de représenter plus facilement et plus précisément des surfaces lisses. En règle générale, les modeleurs utilisent des modélisations à base de surfaces gauches, qu’on cherche ensuite à trianguler afin de simplifier les calculs de rendu. La triangulation, qui est un problème complexe abordé dans la section 2.4, est nécessairement un compromis entre la précision du modèle triangulé, le temps nécessaire au rendu et le temps consacré à la triangulation elle-même. Les modeleurs actuels font la part belle aux surfaces NURBS pour la modélisation d’objets. C’est le cas de CATIA pour la CAO, mais aussi de 3DS Max pour l’infographie. Les formats de fichiers dédiés à la réalité virtuelle (VRML par exemple) permettent d’ailleurs l’incorporation directe de surfaces NURBS, même si elles seront triangulées pour la visualisation temps réel.

Modèles géométriques des environnements virtuels

2.3.2.1

29

Les surfaces NURBS

La plupart des attributs des surfaces NURBS sont décrits dans la signification des initiales : • NU : les surfaces NURBS sont non-uniformes ; • R : les équations qui les décrivent sont rationnelles ; • BS : ce sont des surfaces splines de Bézier. En résumé, les NURBS sont des surfaces paramétriques rationnelles construites à partir de deux paramètres u et v, d’un ensemble de points de contrôle, d’une séquence de nœuds et du poids affecté à chacun des points de contrôle. Elles permettent de représenter avec beaucoup de précision les surfaces utilisées en CAO, ainsi que de prendre en compte les différents types de continuité entre surfaces d’un même objet. Les surfaces NURBS sont des généralisations des B-splines non-rationnelles qui proviennent ellesmême des courbes de Bézier rationnelles. On peut aller encore plus loin en ajoutant que ces dernières sont une généralisation des courbes de Bézier... Reprenons depuis le début : une courbe de Bézier de degré n est une courbe paramétrique C(u) définie par : C(u) =

n X

Bi,n (u)Pi

0≤u≤1

(2.1)

i=0

Les Pi sont appelés les points de contrôle de la courbe. Les fonctions de base B i,n sont les classiques polynômes de Bernstein de degré n définis par : Bi,n (u) =

n! ui (1 − u)n−i i!(n − i)!

(2.2)

Les courbes de Bézier sont très utilisées pour le dessin interactif en deux dimensions, on en trouve dans toutes les applications Windows par exemple. Typiquement, on utilise une courbe de degré 3 (qui possède par conséquent 4 points de contrôle), comme celle de la figure 2.11. Malheureusement, les courbes de Bézier ne permettent pas de représenter les coniques. Une conique (par exemple un cercle) peut être représentée à l’aide d’une fonction rationnelle (le quotient de deux polynômes), soit en dimension 3: X(u) Y (u) Z(u) x(u) = y(u) = z(u) = (2.3) W (u) W (u) W (u)

Figure 2.11 : Courbe de Bézier de degré 3, avec ses 4 points de contrôle.

30

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

A partir de cette observation, on définit les courbes de Bézier rationnelles : Pn i=0 Bi,n (u)wi Pi C(u) = P n i=0 Bi,n (u)wi

0≤u≤1

(2.4)

où les Pi (respectivement les Bi ) sont toujours les points de contrôle (respectivement les polynômes de Bernstein). Les wi sont des scalaires qu’on appelle les poids des points de contrôle. Leur rôle consiste à attirer ou au contraire repousser la courbe des points de contrôle. Généralement, l’utilisation d’un nombre réduit de points de contrôle ne permet pas de dessiner facilement la forme adéquate. Si on augmente le nombre de points de contrôle, on augmente par conséquent le degré des polynômes, ce qui les rend moins intéressants numériquement (instabilité numérique, coûts de calcul), mais aussi du point de vue de l’utilisation interactive (un point de contrôle a une influence sur toute la courbe ce qui limite les possibilités de modifications très localisées). On va donc créer des courbes de Bézier jointes bout à bout, en y ajoutant des contraintes de continuité. Pour ceci, on va utiliser certains points de contrôle plusieurs fois. La courbe C(u) est alors définie sur u ∈ [0, 1] et est composée des segments C i (u), 1 ≤ i ≤ m. Ces segments sont joints à leurs extrémités u0 = 0 < u1 < u2 < u3 < u4 = 1 avec un certain niveau de continuité. On dit que la courbe est C k continue à une ex(j) (j) (j) trémité ui si Ci (ui ) = Ci+1 (ui ) pour tout 0 ≤ j ≤ k, où Ci représente la j-ème dérivée de Ci . Pour rendre les équations compatibles avec une implantation informatique, on utilise la définition suivante : C(u) =

n X

Ni,p Pi

a≤u≤b

(2.5)

i=0

où les Pi sont les points de contrôle et Ni,p les fonctions B-splines de base de degré p. Il y a plusieurs approches pour définir ces fonctions B-splines de base. Nous nous contenterons de l’approche récurrente, bien adaptée à une implantation informatique. La Bspline a des points de contrôle de jonction entre ses segments qu’on appelle des nœuds. Une séquence de ces nœuds est appelée le vecteur nœud et s’écrit U = (u 0 , ..., um ). U est une séquence non-décroissante de nombre réels. La fonction B-spline de base est alors définie par la formule de récurrence suivante :  1 si ui ≤ u ≤ ui+1 Ni,0 (u) = 0 sinon (2.6) ui+p+1 −u u−ui N (u) Ni,p (u) = ui+p −ui Ni,p−1 (u) + ui+p+1 i+1,p−1 −ui+1 L’équation (2.6) peut résulter en un quotient 0/0 qu’on définit alors à 0. Le vecteur nœud d’une courbe B-spline non-uniforme est alors un vecteur non-périodique et nonuniforme de la forme : U = (a, ..., a, up+1 , ...um−p+1 , b, ..., b) | {z } | {z } p+1

p+1

(2.7)

Modèles géométriques des environnements virtuels

31

On appelle polygone de contrôle d’une courbe B-spline le polygone obtenu en joignant tous les points de contrôles Pi . On généralise le résultat obtenu aux courbes rationnelles et on définit les courbes Bsplines rationnelles et non-uniformes, c’est-à-dire les courbes NURBS : Pn i=0 Ni,p (u)wi Pi C(u) = P a≤u≤b (2.8) n i=0 Ni,p (u)wi où les Pi sont les points de contrôle, les wi les poids et les Ni les fonctions B-splines de base définies sur le vecteur nœud non-périodique et non-uniforme U de l’équation (2.7). On peut représenter une courbe rationnelle à n dimensions comme une courbe polynomiale à n + 1 dimensions en utilisant les coordonnées homogènes. Les points de contrôle en coordonnées homogènes s’écrivent alors Pw i = (wi xi , wi yi , wi zi , wi ) dans un espace à 4 dimensions où wi 6= 0. Cette opération est équivalente à une projection perspective sur l’origine. On peut alors réécrire l’équation (2.8) Cw (u) =

n X

Ni,p (u)Pw i

(2.9)

i=0

C’est cette dernière équation que nous allons utiliser pour définir les surfaces NURBS, en coordonnées homogènes : S w (u, v) =

n X X

Ni,p (u)Nj,q (v)Pi,j

(2.10)

i=0 j=0

où Pw i,j forme un réseau bidirectionnel de points de contrôle, N i,p et Nj,q sont les fonctions B-splines de base définies sur les vecteurs nœuds : U

= {a, ..., a, up+1 , ...ur−p+1 , b, ..., b} | {z } | {z } p+1

V

p+1

= {c, ..., c, uq+1 , ...us−q+1 , d, ..., d} | {z } | {z } q+1

(2.11)

q+1

avec r = n + p + 1, s = m + q + 1, les limites [a, b] et [c, d] étant généralement fixées à [0, 1].

2.3.2.2

Avantages et inconvénients des NURBS

Après cet intermède théorique, il me semble important de discuter des avantages et inconvénients d’utiliser des NURBS comme surfaces de modélisation. Les avantages sont indéniablement : • le domaine modélisable de façon exacte est très vaste, la modification interactive est aisée grâce à l’utilisation de points de contrôle et de nœuds. Les NURBS sont capables de modéliser des coniques, ce qui est impossible avec des surfaces de Bézier ;

32

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

le coût calculatoire pour la représentation n’est pas énorme, la plupart des calculs sont numériquement stables ; • les NURBS sont invariantes par les transformations géométriques courantes (rotation, translation, projection perspective). Il suffit d’appliquer ces transformations aux points de contrôle ; • les interprétations géométriques sont aisées, les NURBS étant de simples généralisations des courbes et surfaces de Bézier ; • la représentation est particulièrement compacte pour des formes complexes, qui peuvent ne même pas être représentables par d’autres méthodes. Malheureusement, ceci ne va pas sans quelques inconvénients : • les NURBS contiennent énormément d’informations géométriques, la représentation de courbes et de surfaces simples traditionnelles peut présenter des inconvénients en terme de stockage ; ainsi, la représentation d’un cercle dans l’espace ne requiert normalement que le rayon, le centre du cercle et une normale au plan du cercle, soit 7 nombres réels. Si on utilise des NURBS, il faut 7 points de contrôle homogènes et 10 nœuds, soit 38 nombres réels. Cette remarque dépend considérablement du type de surface à représenter ; • la manipulation des poids peut mener à des constructions aberrantes ; • les opérations courantes (intersection de surfaces) sont extrêmement difficiles à mener, ce qui peut s’avérer particulièrement gênant en réalité virtuelle ; • certains algorithmes fondamentaux sont instables numériquement (calcul des paramètres (u, v) d’un point (x, y, z) appartenant à une surface). •

2.4 GÉOMÉTRIE ALGORITHMIQUE Dans cette section, nous nous proposons d’aborder quelques notions de géométrie algorithmique pour la conversion de modèles. Pour des questions de rapidité, les modèles utilisés en réalité virtuelle sont des modèles surfaciques à base de maillages polygonaux. Les objets représentés à l’aide d’autres modèles doivent donc être convertis en objet représentés par des maillages polygonaux. De façon plus générale, nous présentons aussi quelques algorithmes permettant de construire des surfaces à partir d’un nuage de points non structurés. Ces algorithmes sont tout aussi utiles lorsqu’on numérise des objets réels. 2.4.1 TRANSFORMATION D’UN VOLUME EN SURFACE

Quand on a affaire à des données médicales comme des coupes scanner, on utilise d’abord des techniques de segmentation pour extraire les contours intéressants qui caractériseront les volumes à reconstruire, puis on effectue une mise en volume, c’est-àdire qu’on construit un modèle volumique tel qu’on l’a décrit en 2.2. Pour visualiser ce modèle en temps réel, il faut donc le convertir en un modèle surfacique à base de triangles. La technique de référence est l’algorithme des Marching Cubes, conçu par Lorensen et Cline [Lorensen e.a., 1987] en 1987. Cet algorithme n’est pas parfait, mais reste universellement reconnu. La suite de ce paragraphe est donc consacré à la présentation de l’algorithme des Marching Cubes. Il s’agit de découper l’espace en une grille régulière de cubes, de déterminer la topologie de la surface à l’intérieur du cube, de construire les triangles associés et enfin de

Modèles géométriques des environnements virtuels

33

passer au cube suivant. On construit donc un cube à partir de quatre points d’une coupe et quatre points d’une coupe adjacente. Il faut ensuite valuer les sommets du cube ; on assigne à chaque sommet 1 si la valeur de la coupe en ce point est supérieur au seuil et 0 sinon. Chaque cube est donc valué par 8 nombres égaux à 0 ou 1, ce qui donne 28 = 256 cas possibles. En mettant à profit toutes les symétries du cube et du problème, on peut limiter l’étude à 14 cas dont 2 sont décrits figure 2.12. En utilisant une interpolation linéaire pour déterminer les points d’intersection de la surface recherchée et des arêtes du cube, on construit ainsi de 0 à 4 triangles par cube. L’algorithme possède diverses améliorations, mais le principe reste celui-ci. Les limitations des Marching Cubes portent sur la génération possible de triangles aberrants.

Figure 2.12 : Exemple de construction des triangles à partir de la valuation des sommets des cubes (les sommets valués à 1 sont indiqués par un point noir). La figure 2.13 présente une coupe scanner d’une mâchoire humaine numérisée dans le cadre du projet Visimplant. Les coupes scanner sont segmentées afin de séparer les différents matériaux présents. L’ensemble des coupes scanner est utilisée pour reconstruire un modèle en trois dimensions de la mâchoire à l’aide de l’algorithme des Marching Cubes modifié pour éviter la génération de triangles aberrants. La figure 2.14 montre une vue de cette reconstruction [Dutreuil, 2001].

Figure 2.13 : Coupes scanner d’une mâchoire humaine (image Ecole des Mines de Paris/Centre de Robotique)

2.4.2 MAILLAGE POLYGONAL D’UN NUAGE DE POINTS

Lorsqu’on utilise un scanner laser, on obtient en sortie un nuage de points non structuré. Il va falloir construire un maillage polygonal (de préférence de triangles) à partir de ce

34

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 2.14 : Reconstruction 3D de la mâchoire à l’aide de l’algorithme des Marching Cubes (image Ecole des Mines de Paris/Centre de Robotique)

nuage. Le problème du maillage d’un nuage de points consiste donc à déterminer la surface S construite à partir d’un ensemble de points p ∈ P de la surface réelle S, vérifiant : ∀p ∈ P, ∃x ∈ S, x = p ou x proche de p

(2.12)

La suite de ce paragraphe est inspirée de l’excellent état de l’art présenté par Mencl et Müller à Eurographics’98 [Mencl e.a., 1998] et complété entre autres par le rapport du MPI dirigé par Leif Kobbelt [Kobbelt e.a., 2000]. Avant d’effectuer une reconstruction de surface, il faut se poser quelques questions : de la qualité de l’échantillonnage dépend le résultat. Si l’échantillonnage n’est pas dense, certaines méthodes ne fonctionneront pas. Si celui-ci n’est pas assez précis, la reconstruction sera de faible qualité, tandis que s’il est trop précis, le volume de données à gérer sera trop important et il faudra mettre en œuvre des techniques de décimation. Il faut aussi analyser les propriétés de la surface à reconstruire : cherche-t-on à conserver les propriétés topologiques de la structure ? en dernier lieu, le type de surface a aussi son importance : nous nous intéressons ici aux maillages polygonaux, mais il existe d’autres méthodes. Les maillages polygonaux conservent les propriétés topologiques mais ne fournissent pas un aspect très lisse. On peut dénombrer 4 types de méthodes, que nous allons brièvement décrire. Un dernier type de problème ne sera pas abordé car il constitue un domaine de recherche à part entière qui dépasse largement le cadre de ce livre : généralement, les scanners laser sont utilisés plusieurs fois sur l’environnement ou l’objet à modéliser. On obtient de la sorte plusieurs nuages de points 3D dont le recalage par rapport à un repère absolu peut présenter des défauts. Sans aborder le problème du recalage proprement dit, les algorithmes de construction de surfaces doivent prendre en compte les erreurs de recalage des nuages de points.

Modèles géométriques des environnements virtuels

2.4.2.1

35

Méthodes de subdivision spatiale

Le principe de ces méthodes consiste à subdiviser la boite englobante de P en un ensemble de cellules disjointes (grilles régulières, octrees, tétraèdres). La seconde étape consiste à sélectionner les cellules traversée par des surfaces, puis à calculer une surface à partir des cellules sélectionnées. La méthode la plus simple consiste donc à diviser la boite englobante de P en voxels (ce sont les éléments d’une grille régulière en 3 dimensions). La seconde étape consiste à déterminer les voxels qui contiennent au moins un point de P . La construction de la surface se fait alors en utilisant les quadrilatères extérieurs aux voxels sélectionnés. On peut alors découper les quadrilatères en deux triangles et utiliser différentes méthodes de lissage pour obtenir un aspect visuel plus agréable. On peut éventuellement déformer la surface obtenue pour la rapprocher des points de P . On peut aussi utiliser l’algorithme des Marching Cubes décrit en 2.4.1. Edelsbrunner et Mücke proposent une méthode utilisant les α-shapes. On commence par construire une tétraédrisation de Delaunay [Boissonnat e.a., 1995] de P , puis on efface des tétraèdres, des triangles et des arêtes en utilisant des α-boules : tous les tétraèdres, triangles ou arêtes dont la sphère englobante minimum n’est pas contenue dans la boule d’effacement de rayon α sont effacés. Le résultat est appelé une α-shape. La troisème étape consiste à extraire les triangles en utilisant les règles suivantes : on considère les deux sphères de rayon α passant par les trois points d’un triangle. Si au moins une des deux sphères ne contient aucun autre point de P , le triangle appartient à la surface. Le principal problème de cette méthode réside dans le choix du α. C’est un paramètre global, un α trop petit peut créer des trous dans les surfaces et déconnecter certains éléments. Il est aussi possible d’utiliser une décomposition en cellules orientée-volume, où l’on élimine les cellules qui n’appartiennent pas au volume délimité par la surface. Ces méthodes sont essentiellement fondées sur la tétraédrisation de Delaunay. Boissonnat propose par exemple d’éliminer certains tétraèdres (il commence par ceux qui ont 2 faces, 5 arêtes et 4 points). Cette approche ne permet pas de reconstruire des surfaces à trous, Isselhard propose donc de modifier la procédure d’effacement des tétraèdres, en permettant l’élimination de nouveaux types de tétraèdres. De façon identique Veltkamp utilise des γ-indicateurs (une fonction qui permet de classer les triangles vis-à-vis d’une sphère) et élimine les triangles par γ-indicateurs décroissants. Cette technique s’adapte très bien aux différences de densité du nuage de points, mais comme l’approche de Boissonnat, elle ne permet pas reconstruire les surfaces contenant des trous.

2.4.2.2

Méthodes à fonction de distance

Une fonction de distance en géométrie algorithmique est une fonction dont la valeur absolue est la plus courte distance entre un point de l’espace et un point de la surface. Elle est négative lorsque le point se trouve à l’intérieur du volume délimité par la surface et positive autrement. Le point clé de ce type d’approche réside dans la calcul de la fonction de distance. Hoppe [Hoppe e.a., 1992] suggère l’idée suivante : à chaque point p i ∈ P , on associe

36

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

un plan tangent estimé. Cette estimation est obtenue en prenant k points de P dans le voisinage de pi et calculant le meilleur plan approximant au sens des moindres carrés. La distance est calculée en déterminant le plan tangent le plus proche du point dont on cherche la distance à la surface. Le problème est alors de trouver une orientation cohérente des plans tangents pour déterminer le signe de la fonction de distance. On utilise pour ceci le graphe de Riemann2 . Comment utiliser une fonction de distance ainsi définie ? La méthode de Hoppe et al est une méthode à sélection de cellules qui utilise une fonction de distance : on commence par une décomposition régulière en voxels. Les voxels sélectionnés sont ceux dont les sommets sont de signe opposés. La surface est alors obtenue en utilisant l’algorithme des Marching Cubes (cf. section 2.4.1).

2.4.2.3

Méthodes de déformation

Il s’agit cette fois de déformer une surface initiale jusqu’à ce qu’elle donne une bonne approximation de la forme, c’est-à-dire qu’elle constitue une bonne approximation des points de P . Ces méthodes sont particulièrement utiles lorsqu’on dispose d’une première approximation grossière de la surface. On distingue trois types de méthodes assez différentes : • purement géométrique : elle consiste à déformer tout l’espace (et donc l’objet qui s’y trouve) en fournissant des points sources et des points de destination (typiquement des points de la surface), et en interpolant entre ces points ; • approche physique : c’est tout simplement une approche masses-ressorts telle que décrite en 3.3.4. Les points du maillage sont reliés aux points de P par des ressorts ; • approche informatique : on utilise ici un réseau de neurones (feature map de Kohonen) que l’on va entrainer pour faire coller la surface aux points de contrôle. La difficulté réside dans le fait qu’il faut arriver à lier les poids et les points de la surface. L’intérêt est de pouvoir modéliser a priori n’importe quel type de surface.

2.4.2.4

Méthodes à croissance de surfaces

L’idée de la construction incrémentale de surface est de constuire les surfaces à partir des points et de leurs propriétés orientées surface. Ceci peut se faire de plusieurs façons très différentes. On peut commencer par relier deux points proches à un endroit de P et ajouter des triangles dont les sommets sont de proches voisins des points déjà reliés. C’est ce que propose notamment Boissonnat : on commence par relier les deux points les plus proches de P . Pour attacher un nouveau triangle à ces points (et plus tard aux arêtes de la frontière), on estime localement un plan tangent grâce à un voisinage. Les points sur le voisinage de la frontière sont projetés sur le plan tangent ; le nouveau triangle est 2 Le graphe de Riemann est le graphe dont les sommets sont les centres o des plans tangents définis i comme les centroïdes des k points utilisés pour les estimer. Deux plans sont connectés ssi le centre de l’un d’entre est le k-voisinage de l’autre. On affecte comme poids aux arcs une valeur égale à 1 moins la valeur absolue du produit scalaire entre les normales aux plans. L’orientation est alors déterminée en propageant une orientation de référence par un arbre couvrant minimal.

Modèles géométriques des environnements virtuels

37

obtenu en connectant un de ces points à la frontière (celui qui maximise l’angle sous lequel il voit les deux autres points du triangle). Mencl et Müller [Mencl e.a., 1998] proposent une approche qui utilisent la reconnaissance de caractéristiques dans les nuages de points. Cette technique se décompose en plusieurs étapes : • calcul d’un EMST, c’est-à-dire un graphe couvrant euclidien minimal, qui servira de base au graphe de description de surface ; • ce graphe est étendu aux feuilles de l’arbre, en reliant chacune des feuilles à ses voisins les plus proches ; • reconnaissance de caractéristiques : l’idée est d’intégrer différents algorithmes de reconnaissance dans l’algorithme principal tout en conservant la cohérence structurelle d’un graphe de description de la surface. Cela permet de s’adapter aux différences de densité des nuages de points, aux différents types de surfaces rencontrés, voire même de reconstruire un ruban de Möbius. 2.4.3 DÉCIMATION DE MAILLAGES

Afin d’être utilisés dans une application de réalité virtuelle, les maillages polygonaux doivent comporter un nombre de polygones raisonnable. Les modèles fournis, par maillage d’un volume ou d’un nuage de points comportent assez régulièrement trop de polygones. Plus simplement, les maillages issus de logiciels de CAO comportent un niveau de détail trop important pour être visualisés en temps réel. On cherche alors à réduire le nombre de triangles d’un modèle. Cette technique s’appelle la décimation. Notons que cette technique s’applique tout aussi bien pour la génération des niveaux de détail (cf. 2.5.2, page 42). De façon générale, on peut dire que la décimation est la création d’une approximation polygonale d’un modèle complexe à la précision suffisante pour l’application considérée. Cela induit quelques problèmes généraux : • quelles sont les données de départ ? Il existe différentes approches pour créer des maillages de taille réduite, certaines d’entre elles ne procèdent pas à partir d’un maillage, mais proposent une décimation directement basée sur les nuages de points. Hoppe [Hoppe e.a., 1993] propose par exemple de minimiser une fonction de coût sur un maillage à partir d’un nuage de point. Le maillage initial fournit simplement un point de départ pour l’algorithme d’optimisation ; • quelles sont les propriétés géométriques des modèles qui doivent être considérées ? Cherche-t-on la précision de l’éclairage, le contact entre les surfaces, l’aspect rugueux d’une surface ? • la notion d’approximation nécessite la définition d’une erreur d’approximation ; • une fois définie cette erreur, comment définir la précision suffisante à une application donnée ? • en dernier lieu, les maillages actuels issus des systèmes de numérisation 3D sont véritablement énormes (le projet Digital Michelangelo obtient des modèles à plusieurs milliards de polygones [Levoy e.a., 2000]) et ne peuvent même pas être chargés en mémoire d’un seul tenant. La structuration des maillages et l’accès aléatoire à leurs éléments est donc une des nouvelles composantes de la recherche dans le domaine de la décimation.

38

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Il existe une large variété de techniques de décimations de maillage dans la littérature, pas forcément dans uniquement dans le domaine de l’informatique graphique d’ailleurs. Ainsi, les techniques d’éléments finis qui impliquent le maillage de la surface ou du volume d’un objet mettent aussi en œuvre la décimation. Historiquement, on peut distinguer deux types d’approches : celles qui sont un sousensemble du maillage existant, et celles qui recréent un nouveau maillage. L’approche la plus simple en apparence est celle de Schröder [Schröder e.a., 1992]. Elle consiste à choisir un des sommets du maillage, à l’enlever, puis retrianguler la surface autour de ce sommet. Au contraire, Turk [Turk, 1992] préfère générer de nouveaux sommets dans les régions de la surface, le nombre de sommets générés dépendant de la courbure locale de la surface. Les nouveaux points sont retriangulés. Cette méthode garantit la génération de triangles ayant de bonnes propriétés, mais ne permet guère de garantir une bonne approximation du maillage initial.

2.4.3.1

Algorithmes incrémentaux

L’algorithme incrémental de Schröder [Schröder e.a., 1992] est paramétré par une borne d’erreur  qui donne non pas un maximum, mais un miminum ! Le schéma général de l’algorithme est le suivant : Répéter trouver une région dont l’erreur est inférieure à  enlever des triangles dans la région retrianguler la région Jusqu’à aucune région admissible Malheureusement, cette méthode ne donne pas de borne sur la distance entre le maillage initial et le maillage final. De plus, les transformations appliquées sont locales pour résoudre un problème global. Il existe des extensions de cet algorithme qui prennent en compte ce problème : il s’agit alors d’utiliser des mécanismes de file d’attente pour hiérarchiser les transformations en fonction de leur intérêt. Là encore, aucune propriété de minimisation globale n’est assurée. La question du choix des triangles à éliminer reste posée. Schröder distingue plusieurs types de triangles, comme le montre la figure 2.15. Il pose des conditions sur la connectivité des sommets et des arêtes. Les triangles considérés par son algorithme sont les deux premiers de la figure, les seconds ne sont pas considérés comme admissibles. Les algorithmes de décimation, à l’instar de celui de Schröder ne traitent que très rarement les triangles non admissibles.

2.4.3.2

Opérateurs

Nous avons dit dans le paragraphe précédent qu’on enlevait des triangles dans les régions sélectionnés. Les algorithmes se limitent généralement à un petit nombre d’opérateurs, si possible inversibles (ce type d’algorithme peut aussi être utilisé dans le cas où l’on cherche à raffiner un maillage). Le premier opérateur consiste simplement à enlever un sommet, comme le montre la figure 2.16. Il reste cependant trop de degrés de liberté sur cet opérateur : la retriangulation proposée par la figure n’est qu’une

Modèles géométriques des environnements virtuels

39

Figure 2.15 : Types de configurations de triangles.

triangulation parmi d’autres.

Figure 2.16 : Suppression d’un sommet dans un maillage.

Pour pallier cet inconvénient, il existe un autre type d’opérateur, appelé edge collapse, schématisé par la figure 2.17. De sorte, la seule liberté sur l’opérateur reste l’emplacement du nouveau sommet, qui peut se trouver n’importe où sur l’arête qui a été supprimée. Une solution classique consiste à choisir l’un des deux sommets de cette arête, cela s’appelle le restricted edge collapse. Ces opérateurs ne modifient pas la topologie du maillage, les régions non connexes du maillage le resteront.

Figure 2.17 : Suppression d’une arête dans un maillage, méthode dite du edge collapse.

Il existe aussi des opérateurs qui modifient la topologie du maillage, soit en connectant des parties du maillage qui ne l’étaient pas à l’origine, soit en intervertissant des arêtes, ce qui peut rendre possible l’application des opérateurs précédents dans certains cas. Tous ces opérateurs ne s’appliquent qu’à des sommets intérieurs aux maillages. Dans le cas des maillages qui ne représentent pas des objets solides, les sommets frontières doivent être traités avec des précautions particulières : il s’agit cette fois d’approximer le contour d’un polyèdre. Les algorithmes classiques peuvent être utilisés, par exemple en conservant le périmètre du polyèdre.

40

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

2.4.3.3

Métriques d’erreur

Dans ce paragraphe, nous abordons rapidemnt la notion d’erreur ou de précision de la décimation. La classification des métriques d’erreur se fait selon trois critères : •

les propriétés mesurées : topoologie, géométrie, attributs ;

•

la portée de la métrique : l’erreur est-elle évaluée d’étape à étape, ou y-a-t-il une comparaison avec le maillage original ?

•

l’interprétation : la métrique est-elle interprétable de façon intuitive ?

La première idée consiste à mesurer la distance qui sépare un maillage du maillage de l’étape précédente [Schröder e.a., 1992]. Malheureusement cette étape est purement locale, ce qui rend l’estimation d’une erreur globale difficile. Cela ne permet pas de disposer d’une borne supérieure de l’erreur fiable et précise, comme la CAO le requiert par exemple. La plupart des métriques cherchent donc à évaluer une borne supérérieure garantie de l’erreur. On peut utiliser pour ceci la distance de Hausdorff. La distance de Hausdorff entre deux formes A et B est définie comme étant le maximum des distances entre un point de A à son point le plus proche dans B. L’inconvénient de la distance de Hausdorff (qui n’est pas une distance au sens mathématique du terme) outre qu’elle n’est pas symétrique, est qu’elle est particulièrement difficile à calculer. Une alternative consiste à calculer uniquement la distance entre les points du sommet initial aux triangles du maillagé décimé. On peut aussi utiliser une toute autre métrique, par exemple en cherchant la conservation du volume. Les approches modernes visent plutôt à définir des métriques de qualité qui incorporent les notions de précision géométrique des métriques d’erreur, mais aussi des notions comme la qualité visuelle, l’absence de rugosité des surfaces, les limites de courbure, la conservation de la topologie. Plus généralement, les critères sont liés à l’application visée.

2.5 OPTIMISATION DES MODÈLES POUR LA RÉALITÉ VIRTUELLE Comme l’ont montré les paragraphes précédents, nous disposons d’une variété de modèles plus ou moins adaptés aux contraintes d’une application de réalité virtuelle. La conversion entre ces modèles est bien entendu possible, mais celle-ce n’est pas forcément suffisante : un modèle surfacique à base de triangles ou de polygones peut être trop complexe pour la machine qui va devoir le faire tourner. De ce fait, il existe aujourd’hui un certain nombre de techniques qui visent à diminuer le nombre de triangles affichés à l’écran. Certaines de ces techniques sont utilisables hors-ligne avant la simulation, d’autres sont intégrables à l’intérieur même de l’application. D’autres encore, comme les niveaux de détail, proposent des solutions mixtes, où une partie des calculs est effectuée hors-ligne, tandis que le reste se fait lors de la simulation. Toutes les techniques citées dans ce qui suit, visent à diminuer le nombre de triangles du modèle ou de la partie du modèle affichée à l’écran. Bien sûr, les algorithmes décrits dans le paragraphe 2.4.3 font partie des techniques d’optimisation des modèles.

Modèles géométriques des environnements virtuels

41

2.5.1 TEXTURATION

2.5.1.1

Introduction

Intuitivement, la texture d’un objet représente son état de surface. En informatique graphique, c’est une image plane qu’on va plaquer sur une surface en trois dimensions, qui sera ensuite projetée sur l’écran. Pour connaître la couleur d’un point de l’écran, il suffit donc de connaître la transformation géométrique qui permet de passer du plan de la texture à un point de la surface. Cette fonction constitue ce qu’on appelle les coordonnées de texture. Reste alors à déterminer un algorithme de plaquage de texture. Les techniques de plaquage de texture diffèrent en fonction de la surface qui reçoit la texture. Idéalement, le plaquage de texture consiste à trouver un isomorphisme entre une image (surface plane définie par des coordonnées (u, v) ∈ [0, 1] 2 ) et une surface quelconque définie par une fonction f (x, y, z) = 0. Sur des surfaces planes, on se contente généralement d’une double interpolation. Cet isomorphisme n’existe évidemment pas pour tous les types de surface. La texturation d’une sphère (par exemple pour représenter la terre) est impossible par des simples algorithmes d’interpolation.

2.5.1.2

Avantages et inconvénients des textures

L’utilisation de textures permet de diminuer le nombre de polygones nécessaires pour représenter un objet. Reprenons l’exemple de la terre du paragraphe précédent. Si on réalise cet objet sans texture, le nombre de polygones nécessaires pour représenter la nature du sol (terre, mer) à laquelle il faut ajouter les polygones représentant les nuages, la modélisation devient plus fastidieuse et requiert un nombre de polygones beaucoup plus important. Ici, quelques photos satellites et une sphère (décimée en quelques centaines de triangles) ont suffi à représenter l’image de la figure 2.18.

Figure 2.18 : Représentation de la terre à l’aide de textures. Les cartes graphiques 3D récentes incorporent en plus des algorithmes d’affichage 3D pré-câblés et des fonctions de texturation des objets 3D. Les images constituant les

42

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

textures sont stockées dans une mémoire spécifique appelée mémoire de texture embarquée sur la carte graphique. L’accès est donc plus beaucoup plus rapide que pour la mémoire centrale et un processeur spécialisé se charge du plaquage de textures déchargeant alors d’autant le processeur principal. En contrepartie, les textures fournissent naturellement une qualité d’affichage inférieure (dans l’exemple précédent, la perception ne s’améliore pas si on se rapproche de la terre). L’utilisation de cartes graphiques à mémoire spécialisée est une technique relativement couteuse puisque la mémoire utilisée a des temps de réponse extrêmement faibles : celle-ci est donc généralement disponible en quantité limitée.

2.5.2 NIVEAUX DE DÉTAILS

La technique des niveaux de détail consiste à diminuer le nombre de polygones d’un objet affiché à l’écran en fonction de la façon dont il est perçu par l’utilisateur : un objet lointain ou petit nécessite moins de détail qu’un objet proche ou gros. Ceci est vrai pour deux raisons principales : •

le centre d’intérêt de l’image est généralement au centre de l’écran et de taille respectable ;

•

l’image est constituée d’une suite de pixels discrets, les détails dont la projection est inférieure à la taille du pixel ne sont donc pas représentables.

L’utilisation de niveaux de détails dans une application suppose de disposer d’une part d’un certain nombre de modélisations d’un même objet à des précisions différentes et d’une fonction de détermination du modèle à utiliser. Dans les fichiers de données 3D classiques représentant les modèles 3D par des arborescences, un nœud niveau de détail (Level Of Detail soit LOD en anglais) se présente comme sur la figure 2.19.

LOD (2,40)

Geode 1 45000t

Geode 2 20000t

Geode 3 1000t

Figure 2.19 : Représentation des niveaux de détail dans l’arborescence d’un fichier de données 3D

S’il est possible de modéliser trois fois le même objet à des précisions différentes, il est évidemment plus intéressant d’effectuer une seule fois la modélisation avec une bonne précision et d’utiliser ensuite des outils de décimation automatique. Ce calcul se fait classiquement hors-ligne, mais peut s’effectuer aussi en ligne. La fonction de choix du niveau de modélisation à visualiser est calculée en ligne.

Modèles géométriques des environnements virtuels

2.5.2.1

43

Commande de transition

Il existe plusieurs critères de transition d’un niveau de détail à un autre. Le principal paramètre utilisé est bien sûr la distance entre la caméra virtuelle et l’objet considéré. On utilise une table de décision qui donne le niveau de détail à utiliser en fonction de cette distance. Cette technique est insuffisante puisqu’elle ne tient pas compte de la taille des objets : un gros objet éloigné peut nécessiter plus de détail qu’un petit objet à proximité de la caméra. Plus généralement, le niveau de détail requis par un objet dépend de la taille à l’écran de l’objet plus que de sa taille réelle. L’angle sous lequel est vu l’objet a donc aussi son importance. En dehors de ces critères, il existe d’autres données à prendre en compte. J. Nouvel [Nouvel, 1998] les explicite pour le cas du pilote de chasse dans son simulateur de vol : • l’importance relative de l’objet dans son environnement : un arbre au milieu d’une plaine peut constituer un repère de vol, alors qu’il est parfaitement anodin au milieu d’une forêt ; • l’intérêt fonctionnel de l’objet : toujours pour le pilote de chasse, un avion présente un intérêt largement supérieur à un arbre. Cette technique, appelée «technique des aires d’intérêt» peut s’appliquer à l’ensemble de la base de données 3D ; • la vitesse linéaire de l’objet par rapport à l’observateur : plus l’objet se déplace vite, moins ses détails sont visibles ; • la vitesse angulaire du modèle : plus un objet tourne vite sur lui-même, moins ses détails seront visibles ; • la position de l’objet sur l’écran : l’œil est plus précis en son centre qu’à sa périphérie, les objets situés dans l’axe du regard nécessitent donc plus de détails. De plus, le champ de vision a tendance à se rétrécir avec la vitesse. On nuancera ce propos par le fait qu’il n’existe aujourd’hui que des prototypes de dispositifs permettant d’effectuer le suivi des mouvements de yeux ; • la visibilité dans l’environnement : les objets dans le brouillard disparaissent plus vite ; • enfin, la charge du générateur d’images : on peut choisir d’éliminer des objets (ou d’utiliser des niveaux de détail plus grossiers) lorsque la machine graphique n’arrive plus à générer le nombre d’images suffisant. Ces critères sont bien sûr à adapter pour les autres applications, mais ils donnent les trois idées de base ; on réduit les détails en fonction de la distance entre l’observateur et l’objet, de la charge machine et de critères fonctionnels liés au domaines de l’application. Une fois la décision de transition prise, il faut l’appliquer au modèle. La solution la plus naturelle consiste à remplacer purement et simplement un modèle de l’objet par un autre. Cette technique est évidemment très peu couteuse, mais peut provoquer des artefacts visuels gênants (clignotements des objets éloignés qui se rapprochent) lors du changement et perturber l’attention de l’utilisateur. A l’inverse le fondu-enchaîné (ou blending) consiste à afficher les deux modèles en même temps en rendant l’un de plus en plus transparent tandis que l’autre devient de plus en opaque. Les artefacts disparaissent, mais au détriment du coût de calcul : il faut effectuer le rendu des deux modèles, mais aussi effectuer des calculs de transparence. Les techniques d’interpolation 3D constituent alors un bon compromis entre la commutation et le blending : il

44

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

s’agit de déterminer hors-ligne des relations entre les sommets des niveaux de détail et d’effectuer une interpolation entre ces sommets lors de la simulation.

2.5.2.2

Génération des niveaux de détail

La méthode générale pour calculer des niveaux de détail se décompose en deux phases : 1. calcul de l’importance : il s’agit de calculer l’intérêt d’une sommet pour la reconnaissance du modèle auquel il appartient ; 2. construction : une fois que les sommets ont été triés en fonction de leur importance, on génère le nouveau niveau de détail lié à un seuil d’importance, par exemple en éliminant les sommets dont l’importance est faible. L’approche par raffinement existe aussi dans la littérature (approche multi-résolution par ondelettes [Eck e.a., 1995]) où on construit le modèle complet à partir d’une forme simple en ajoutant au fur et à mesure les sommets du modèle le plus raffiné. 2.6 RÉFÉRENCES BIBLIOGRAPHIQUES [Boissonnat e.a., 1995] J.-D. Boissonnat et M. Yvinec. Géométrie algorithmique. Ediscience International (1995). [Cozot, 1996] R. Cozot. Environnement de simulation des systèmes physiques. Thèse de doctorat, Université de Rennes I, Rennes (1996). [Donikian, 1997] S. Donikian. Multilevel modeling of virtual urban environments for behavioral animation. In Computer Animation (1997), pages 127–133, Genève, Suisse. [Donikian e.a., 1998] S. Donikian, G. Moreau, et G. Thomas (1998). Multimodal driving simulation in realistic urban environments. In S. G. Tzafestas et G. Schmidt, editors, Progress in System and Robot Analysis and Control. Springer-Verlag. [Dutreuil, 2001] J. Dutreuil. Modélisation 3D et robotique médicale pour la chirurgie : développement d’un protocole d’implantologie dentaire assistée par robotique et étude d’un cas clinique. Thèse de doctorat, Ecole des Mines de Paris, Paris (2001). [Eck e.a., 1995] M. Eck, T. DeRose, T. Duchamp, H. Hoppe, M. Lounsbery, et W. Stuetzle. Multiresolution analysis of arbitrary meshes. In Computer Graphics (1995), pages 173–181. [Fuchs, 1996] P. Fuchs. Les interfaces de la réalité virtuelle. Les Presses de l’Ecole des Mines de Paris (1996). [Hoppe e.a., 1992] H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, et W. Stuetzle. Surface reconstruction from unorganized points. In SIGGRAPH’92, volume 26 of Computer Graphics (1992), pages 71–78. [Hoppe e.a., 1993] H. Hoppe, T. DeRose, T. Duchamp, J. McDonald, et W. Stuetzle. Mesh optimization. In Computer Graphics (SIGGRAPH’93 Proceedings) (1993), pages 19–26. ACM. [Jackins e.a., 1980] C. L. Jackins et S. L. Tanimoto. Oct-trees and their use in representing three-dimensional objects. Computer Graphics Image Processing, 14 :249–270 (1980). [Kobbelt e.a., 2000] L. Kobbelt, S. Bischoff, K. Kähler, R. Schneider, M. Botsch, C. Rössl, et J. Vorsatz (2000). Geometric modeling based on polygonal meshes. Rapport de recherche MPI-I-2000-4-002, Max Planck Institut für Informatik, Sarrebruck, Allemagne.

Modèles géométriques des environnements virtuels [Levoy e.a., 2000]

[Lorensen e.a., 1987]

[Mencl e.a., 1998]

[Mortenson, 1985] [Nouvel, 1998] [Schröder e.a., 1992]

[Thomas, 1999]

[Turk, 1992]

M. Levoy, S. Rusinkiewicz, M. Ginzton, J. Ginsberg, K. Pulli, D. Koller, S. Anderson, J. Sade, B. Curless, L. Pereira, J. Davis, et D. Fulk. The digital michelangelo project : 3d scanning of large statues. Proceedings of SIGGRAPH 2000, pages 131–144 (2000). W. E. Lorensen et H. E. Cline. Marching cubes : A high resolution 3d surface construction algorithm. Computer Graphics (Proceedings of SIGGRAPH 87), 21(4) :163–169 (1987), Held in Anaheim, California. R. Mencl et H. Müller. Interpolation and approximation of surfaces from three-dimensional scattered data points. In Eurographics State of The Art Report (1998), Lisbonne, Portugal. M. Mortenson. Geometric Modeling. John Wiley & Sons (1985). J. Nouvel. Niveaux de détail dynamiquement adaptatifs pour objets et terrain. Thèse de doctorat, Université de Rennes I, Rennes (1998). W. Schröder, J. Zarge, et W. Lorensen. Decimation of triangle meshes. In Computer Graphics (SIGGRAPH’92 Proceedings), volume 26 (1992), pages 65–70. G. Thomas. Environnements virtuels urbains : modélisation des informations nécessaires à la simulation de piétons. Thèse de doctorat, Université de Rennes I, Rennes (1999). G. Turk. Re-tiling polygonal surfaces. In Computer Graphics (SIGGRAPH’92 Proceedings), volume 26 (1992), pages 289–298.

Adresses des sites Web [http1] [http2]

45

http ://www.sgi.com/software/volumizer http ://www.povray.org

46

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

3

COMPORTEMENTS DES OBJETS DU MONDE VIRTUEL

Guillaume Moreau

3.1

INTRODUCTION

Avant de parler d’animation par ordinateur, nous pouvons très rapidement parler de l’origine de l’animation. Il s’agit évidemment des films d’animation, à commencer par les dessins animés, type Tex Avery ou Disney. Dans un environnement virtuel comme dans un film, la vie vient de l’illusion de mouvement. L’objectif de l’animation est donc de créer le mouvement, celui de l’animation par ordinateur étant alors d’automatiser la création du mouvement. C’est Disney qui a posé les principes de l’animation en couches ou cell animation. Différents calques représentant différents plans de la scène sont superposés. Cette technique permet de ne redessiner qu’un minimum d’objets. Les inconvénients restent naturellement le dessin manuel des différentes couches mobiles et les limitations intrinsèques du modèle : Ce modèle à plusieurs plans ne permet que des animations 2D ou des travellings horizontaux. Dans le cadre de la réalité virtuelle, nous nous intéressons à une animation d’objets 3D sans restriction sur les mouvements de caméra qu’on peut assimiler à un objet animable. La problématique est double : il s’agit d’un part de paramétrer les descriptions géométriques des modèles (2D ou 3D), puis de contrôler l’évolution de ces paramètres dans le temps. On s’intéresse à un système continu qui évolue au cours du temps. Une animation est une séquence d’images, où chaque image est une observation du système à un instant t. Les images d’une animation sur l’écran d’un ordinateur constituent une discrétisation à la fois temporelle (fréquence d’affichage) et spatiale (résolution de l’écran) des états du système. On considère donc une animation comme étant une suite E t = Et0 +nδt d’états du système pris à chaque pas de temps. L’animation consiste donc d’une part à décrire les relations entre les Et (c’est-à-dire les mouvements et les déformations) et d’autre part à les évaluer. Les modèles de contrôle du mouvement sont donc le cœur de tout système d’animation. G. Hégron et B. Arnaldi [Hégron e.a., 1992] donnent une classification à trois niveaux des modèles de contrôle du mouvement fondée sur le niveau d’abstraction de la description du mouvement. Le plus bas-niveau est nommé niveau descriptif et reproduit les effets décrits sans se préoccuper de ce qui les a produits ; par contre, le niveau immédiatement supérieur, dit niveau générateur, s’intéresse aux causes physiques du mouvement. Mais la description du mouvement uniquement à l’aide de la physique s’avère rapidement compliquée à mettre en œuvre pour la simulation des organismes vivants : un niveau d’abstraction supplémentaire est nécessaire, il s’agit du niveau comportemental. Le développeur cherche par exemple à donner un ordre concret à son personnage de synthèse : «gare-toi derrière la pendule de la gare». Cet ordre induit un comportement, qui se traduit par des actions physiques (le déplacement d’une voiture). Ce déplacement physique est représenté à l’écran par un ensemble d’images décrites les unes après les autres par le simulateur physique. Dans ce chapitre, nous allons décrire ces trois types de modèles de mouvement, en nous intéressant plus particulièrement aux modèles comportementaux.

48

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

3.2 MODÈLES DESCRIPTIFS 3.2.1 MODÈLE

Les modèles descriptifs s’attachent à reproduire les effets des mouvements sans se préoccuper de leurs causes. L’utilisateur cherche essentiellement à exprimer E t sous une forme explicite. Les Et représentent alors une trajectoire spatio-temporelle dans l’espace de description du système à animer [Arnaldi, 1994], appelé aussi espace d’états. Il existe deux façons de lier E à t : •

uniquement en fonction du temps : Et = F (t)

•

(3.1)

à la fois en fonction du temps et des autres Et : Et = F (t, Et−δt , Et−2δt ...)

(3.2)

Comme il s’agit d’automatiser le processus de création des images, l’animateur va chercher à en dessiner le moins possible, tout en faisant calculer le reste à l’ordinateur. Son travail consiste à fournir un certain nombre de positions clé (à la fois dans l’espace et dans le temps). Ensuite il reste à effectuer une interpolation spatiale ou spatiotemporelle entre les points clé pour calculer l’animation. Cette technique s’appelle le keyframing. 3.2.2 ANIMATION PAR KEYFRAMING

Comme le montre la figure 3.1, le keyframing consiste à définir des images clés, puis une méthode d’interpolation entre ces images clés. La figure évoque aussi un des problèmes fondamentaux des méthodes d’interpolation : si les deux images clé sont l’image de gauche et l’image de droite, le mouvement vers le haut est occulté lors de l’interpolation. Le choix des images clé repose alors uniquement sur l’animateur.

keyframe #2 keyframe #3 keyframe #1

Figure 3.1 : Interpolation entre des images clé Pour un simple point matériel animé, le keyframing pose encore un certain nombre de questions auxquelles il faut pouvoir répondre : • Comment choisir le paramétrage ?

Comportements des objets du monde virtuel •

Quel type d’interpolation utiliser ?

•

Comment garder le contrôle sur l’animation ?

49

La définition de trajectoires de façon paramétrique plutôt qu’implicite semble évidente. Pour tout objet qui n’est pas un point, nous pouvons choisir d’autres types de paramétrage : on peut paramétrer l’orientation dans l’espace d’un solide (attention cependant aux problèmes de continuité, voir [Watt, 2000] pour une description des méthodes d’interpolation de rotations), sa taille, sa couleur, les différents éclairages d’une scène, la forme générale d’un objet. En dernier lieu, il ne faut pas oublier que le mouvement de la caméra s’apparente aussi au mouvement d’un objet solide. Cela reste un problème difficile puisqu’il faut exprimer mathématiquement ce que l’animateur veut obtenir à l’écran ! Il existe bien entendu des travaux sur le sujet, on peut citer par exemple ceux de N. Courty [Courty, 2002]. La technique d’interpolation la plus simple est bien entendu l’interpolation linéaire. Les positions clés sont données par l’animateur, puis l’ordinateur interpole linéairement entre ces positions. L’interpolation entre formes ayant le même nombre de sommets est possible grâce à cette technique, même si les formes intermédiaires n’ont pas de raison de ressembler à quoi que ce soit de réaliste. L’autre problème qui survient est que le mouvement d’un objet réel est extrêmement rarement un mouvement linéaire. En ajoutant des positions clé, l’animateur augmente son contrôle sur le mouvement mais diminue l’intervention de l’ordinateur. En limitant le nombre de positions clé, le mouvement peut avoir l’air saccadé. Une interpolation non-linéaire apporte un effet bénéfique à l’aspect des trajectoires. L’utilisation de courbes splines ou de simples cubiques de Bézier s’est généralisée dans les logiciels d’animation. Les courbes sont décrites sous forme paramétrique. Les problèmes classiques de l’influence globale des points de contrôle sur des courbes locales reste posé, mais le problème principal n’est pas ici : la vitesse du point animé dépend du type d’interpolation mis en œuvre. On considère un point matériel animé sur une trajectoire interpolée Q(t). On note s = A(t) la longueur de l’arc parcouru à l’instant t. Pour conserver une vitesse constante, on doit reparamétrer non pas directement par le temps, mais par la longueur de l’arc. La trajectoire devient alors Q(A−1 (u)). Cette technique s’appelle reparamétrisation des arcs (on la trouve aussi sous le nom de redéfinition du temps [Arnaldi, 1994]). De la même manière la reparamétrisation peut être faite directement par une courbe de vitesse, si l’animateur cherche une vitesse non constante. On remarque que le keyframing s’adapte à tout paramétrage défini par l’animateur. Il s’applique notamment aux paramètres articulaires d’un solide articulé. Prenons l’exemple d’un bras de pelleteuse que l’animateur cherche à amener d’une position de repos à une position particulière (cf. Figure 3.2). L’intérêt de l’animateur n’est pas ici de paramétrer les angles articulaires du bras, mais plutôt de spécifier les positions initiale et finale de la pelle, et de faire calculer à l’ordinateur les valeurs articulaires. C’est ce que se propose de faire la cinématique inverse.

3.2.3 CINÉMATIQUE DIRECTE ET INVERSE

Le keyframing et la cinématique inverse représentent avec le motion capture (cf. section 3.10, page 77) les techniques les plus utilisées aujourd’hui dans le domaine du cinéma d’animation ou des jeux vidéo (qui ont les mêmes contraintes de temps réel que la réalité virtuelle).

50

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 3.2 : Animation d’un bras de pelleteuse

Le lien entre le point terminal et les valeurs articulaires d’un système articulé comme le bras de pelleteuse de l’exemple précédent s’écrit de façon générale comme indiqué par l’équation (3.3). x = f (θ)

(3.3)

où x représente les coordonnées de l’effecteur, θ les valeurs articulaires. f est alors appelé le modèle géométrique direct. Le problème précédent consiste à évaluer θ en fonction de x : θ = f −1 (x) (3.4) Bien sûr, dans le cas général, f n’est pas inversible, la plupart des méthodes de résolution [Watt, 2000] s’orientent vers une résolution itérative du problème. On écrit d’abord l’équation de la cinématique directe : dx = J(θ) dθ

(3.5)

J(θ) est la jacobienne de f . L’algorithme de cinématique inverse consiste à résoudre de façon itérative le problème (3.6). dθ = J −1 (θ)(dx)

(3.6)

Le schéma général de l’algorithme s’écrit donc ainsi : Répéter dx = petit mouvement dans la direction de x dθ = J −1 (θ)(dx) x = f (θ + dθ) J = dx dθ inverser J x = x + dx Jusqu’à but atteint Le problème n’est pas résolu pour autant puisque la jacobienne J n’a pas de raisons d’être inversible. Elle n’est même pas forcément carrée ! Diverses approches existent

Comportements des objets du monde virtuel

51

alors, la plus simple consiste à utiliser la pseudo-inverse de J, d’autres méthodes cherchent à minimiser l’erreur avec des moindres carrés pondérés. Il n’y a pas de solutions universelles tant les causes de problèmes sont nombreuses : •

il peut ne pas y avoir de solution unique. Par exemple la main humaine peut atteindre la même position de plusieurs façons différentes ;

•

il peut ne pas y avoir de solution. C’est le cas dans les systèmes surcontraints ;

•

rien ne prouve que le mouvement reproduit à l’aide de la cinématique inverse est un mouvement réaliste, en particulier pour le mouvement humain. Les contraintes habituelles de la commande robotique (minimisation d’énergie par exemple) ne s’appliquent que très mal aux mouvements de l’être humain [Multon e.a., 1999]. Une approche fondée sur la minimisation des jerks (dérivée de l’accélération) semble plus adaptée.

3.3

MODÈLES GÉNÉRATEURS

3.3.1 MODÈLE

Les modèles descriptifs ne permettent pas à l’objet animé d’agir ou de réagir par luimême, ce qui contredit les principes d’interaction de la réalité virtuelle ; contrairement aux modèles descriptifs, les modèles générateurs permettent de décrire les causes du mouvement. Il s’agit donc d’intégrer les lois de la mécanique comme cause du mouvement [Arnaldi, 1988]. Les intérêts des modèles générateurs par rapport aux modèles descriptifs sont multiples [Cozot, 1996a] :

•

réalisme des mouvements : les corps animés à l’écran réagissent aux lois de la physique. Cela garantit donc le réalisme de l’animation par rapport à la simulation ;

•

réduction du nombre de degrés de liberté du système : l’utilisation des modèles générateurs peut permettre de réduire le nombre de paramètres du mouvement puisque ceux-ci sont régis par les lois de la mécanique. Un corps en chute libre n’est plus soumis qu’à l’action de la gravité, l’animateur n’a donc pas à se préoccuper de sa trajectoire ;

•

paramétrage naturel : le paramétrage d’une animation s’effectue à l’aide de grandeurs physiques (masse, élasticité..) et ne dépend donc pas du savoir-faire de l’animateur.

Là encore, on retrouve les mêmes distinctions que celles que nous avions faites sur les types de modèles géométriques en 2.1.1. Dans le cas de la réalité virtuelle, nous nous intéressons d’abord principalement aux solides rigides et aux mécanismes rigides articulés, même si les modèles déformables sont de plus en plus utilisés dans les systèmes mettant en œuvre le retour d’effort. Nous commencerons cette partie sur les modèles générateurs par quelques rappels de mécanique des solides, puis nous décrirons rapidement le formalisme proposé par R. Cozot [Cozot, 1996a] pour unifier les différents modèles de matière pour la simulation.

52

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

3.3.2 RAPPELS SUR LA MÉCANIQUE DES SOLIDES

3.3.2.1

Cinématique du solide rigide

Le solide rigide [Bamberger, 1981] se caractérise par une absence totale de déformation quels que soient les efforts appliqués. Son mouvement est donc régi par 6 paramètres (3 en translation et 3 en rotation). On peut donc écrire que le mouvement d’un point M d’un solide S en fonction du temps t : Mt = G(M0 , t) = Bt + Rt M0

(3.7)

où Bt est un vecteur de translation et Rt une matrice de rotation. En dérivant l’équation (3.7) par rapport au temps, on obtient V (M, t) =

∂ Bt − Ωs × (Bt − Mt ) ∂t

(3.8)

Le champ de vitesse des points d’un solide s’écrit alors V (M, t) = V (M 0 , t) + Ωs × M 0 M

M, M 0 ∈ S

(3.9)

En redérivant, on obtient l’accélération en tout point M d’un solide Γ(M, t) =

3.3.2.2

∂ ∂2 Bt + Ωs × RM0 + Ωs × (Ωs × RM0 ) 2 ∂t ∂t

(3.10)

Dynamique du solide rigide

La dynamique d’un solide rigide est donnée par deux formalismes équivalents : la seconde loi de Newton (aussi appelée principe de la dynamique) et le principe des travaux virtuels. La seconde loi de Newton exprime que la variation de quantité de mouvement d’un solide est égale à la somme des forces extérieures qui agissent sur le solide, soit Z Z d ρ(M )V (M, t)dτ = f (M, t)dτ (3.11) dt S S où ρ(M ) représente la masse volumique de S en M et f (M, t) les forces qui s’appliquent en M à l’instant t. A l’aide des propriétés de la cinématique du solide rigide et des définitions des moments d’inertie, on obtient alors les deux relations fondamentales de la dynamique mΓa = Fa (3.12) Ia Ω˙ s + Ωs × Ia Ωs = Ca pour a ∈ S, m masse de S, Fa résultante des forces en a, Ia la matrice d’inertie définie par Z Iaij =

(ei × aM ) · (ej × aM )dτ

S

(3.13)

Comportements des objets du monde virtuel

53

et Ca la résultante des couples en a définie par Z Ca = f (M ) × AM dτ

(3.14)

S

Le principe des travaux virtuels est un formalisme énergétique : on calcule les énergies mises en jeu lors du mouvement, on écrit la loi de conservation de l’énergie qu’on projette dans l’espace des paramètres. Le principe des travaux virtuels exprime alors que pour tout déplacement virtuel d’un corps S, la somme des travaux virtuels est nulle, soit δWd + δWj = 0 (3.15) où δWd est le travail virtuel des actions données et δWj le travail virtuel des actions d’inertie. Dans l’espace des paramètres, l’équation (3.15) s’écrit Di + Ii = 0

i ∈ {1, · · · , n}

(3.16)

avec Di représentant les actions généralisées données relatives au i-ème paramètre et Ii les actions généralisées d’inertie relatives au i-ème paramètre. Les équations de Lagrange (exprimées dans l’espace des paramètres qi ) s’écrivent alors ainsi :   d ∂C ∂C Ii = − + i ∈ {1, · · · , n} (3.17) dt ∂ q˙i ∂qi C étant l’énergie cinétique définie par Z C= ρ(M )V 2 (M, t)dτ

(3.18)

S

3.3.3 MÉCANISMES RIGIDES ARTICULÉS

Les mécanismes rigides articulés sont construits à partir des solides en ajoutant des liaisons. On considère maintenant un mécanisme rigide articulé composé d’un ensemble fini de n solides rigides. Le mécanisme est donc décrit par 6n paramètres. Mais une liaison est une limitation aux libertés de mouvement des solides entre eux. Cette dépendance s’exprime par une expression de la forme de l’équation (3.19). ˙ ≥0 f (q, q)

(3.19)

Il existe des cas particuliers de liaisons : ˙ = 0, on parle de liaison bilatérale ; • si f (q, q) ˙ on parle de liaison • si l’expression de la liaison ne fait pas intervenir les paramètres q, holonome ; • si un mécanisme est décrit par p liaisons bilatérales, indépendantes et holonomes, il peut s’exprimer en fonction de n − p paramètres. Les n − p paramètres minimaux permettant de décrire la configuration géométrique complète du système sont appelés les degrés de liberté du système.

54

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

La troisième loi de Newton, appelée principe d’action-réaction exprime que si un solide Si exprime une force fi→j sur un solide Sj , alors Sj exerce sur Si une force fj→i = −fi→j . La dynamique globale des systèmes articulés se calcule alors à partir du formalisme de Newton-Euler ou du principe des travaux virtuels. Dans le premier cas, le formalisme de Newton-Euler s’écrit = Fi + fi−1→i − fi→i+1 = CGi + ci−1→i − ci→i+1

mi ΓG i ˙ i + Ω i × I Gi Ωi IGi Ω

(3.20)

avec Gi centre de gravité du solide Si , IGi la matrice d’inertie de Si en Gi , CGi le couples extérieurs en Gi s’exerçant sur le solide, fi→j les forces de liaison et ci→j les couples de liaison entre deux solides. Si on écrit récursivement les équations (3.20), on obtient un système dont on peut éliminer les termes de forces de couples de liaison. De la même manière, on écrit le principe des travaux virtuels : δWd + δWl + δWj = 0

(3.21)

où δWl représente le travail des actions de liaison. Après projection sur l’espace des paramètres, on obtient que les actions données relatives à qi sont données par : Z ∂M Di = FM dτ (3.22) ∂qi S pour tout M point du solide. Les actions d’inertie se calculent à partir de l’expression de l’énergie cinétique par les équations de Lagrange :

Ii = −

d dt



∂C ∂ q˙i



+

∂C ∂qi

(3.23)

Les actions de liaison sont prises en compte par les multiplicateurs de Lagrange et par la méthode de pénalisation :

Li =

 ∂f  λ ∂q  i    λ ∂g ∂qi

2

 k ∂f  ∂qi    k ∂g2 ∂qi

λ multiplicateur de Lagrange, f expression de liaison holonome λ multiplicateur de Lagrange, g expression de liaison non-holonome k constante de pénalisation, f expression de liaison holonome k constante de pénalisation, g expression de liaison non-holonome (3.24)

3.3.4 SIMULATION DE SYSTÈMES DÉFORMABLES

Nous n’entrerons pas dans les détails de la dynamique des systèmes déformables, mais nous nous contenterons de décrire rapidement les deux modèles principaux de simulation que sont la méthode des éléments finis et les modèles dits masses-ressorts. Leur

Comportements des objets du monde virtuel

55

utilisation dans le domaine de la simulation hors-ligne est fondamentale mais les temps de calcul requis sont aujourd’hui encore majoritairement incompatibles avec la réalité virtuelle. Leur utilisation dans les environnements virtuels reste encore quelque peu marginale. De plus, il existe un certain nombre de difficultés qui dépassent largement le cadre de la réalité virtuelle : les lois de déformation sont peu connues, leurs paramètres le sont encore moins. Les modèles mathématiques mettent souvent en œuvre des notions d’élasticité linéaire incompatibles avec des grosses déformations et naturellement avec des modifications de topologies comme l’éclatement d’un objet. Or ce sont ces modèles déformables qui devront être simulés dans une majorité d’applications utilisant des interfaces à retour d’effort, notamment dans la formation au geste chirurgical. Ce panorama pessimiste peut néanmoins s’éclaircit localement sur de nombreux points : les systèmes de masses-ressorts autorisent des précalculs pour une utilisation en ligne. Cela permet par exemple de simuler l’apprentissage du geste pour la laparoscopie. Le problème du découpage d’une partie de foie malade est plus complexe puisqu’il modifie le maillage. La simulation temps réel est encore possible mais avec de fortes restrictions. Le lecteur trouvera plus de détails dans [Picinbono, 2001].

3.3.4.1

Méthodes des éléments finis

Le principe de la méthode consiste à discrétiser par un ensemble de volumes élémentaires définis à partir de points élémentaires et structurés par un maillage : les points sont les nœuds du maillage. Ce dernier permet donc d’interpoler les grandeurs physiques en tout point du matériau. A chaque instant (pas de simulation), le matériau évolue et se déforme : le maillage suit alors le matériau. On construit la dynamique du système matériel considéré par assemblage des dynamiques des éléments de base. L’élément fini est un domaine matériel élémentaire. Il est décrit par un ensemble fini de n points matériels qu’on appelle les nœuds de l’élément. On note q i le vecteur des paramètres lagrangiens qui décrivent le i-ème nœud de l’élément. Un point M quelconque de l’élément est alors décrit par un vecteur de paramètres v. Le déplacement u de M est donné par : u(v) =

n X

Nj (v)qj

(3.25)

j

Les Nj (v) sont les fonctions d’interpolation. Chaque fonction Nj est associée à un nœud qj de l’élément fini. Si on note u = (u1 , u2 , u3 )t le vecteur déplacement, le tenseur des déformation  s’écrit par définition : 

∂ ∂x1

 0   0  [] =   0  ∂  ∂x

0 ∂ ∂x2

0 ∂ ∂x3 3

∂ ∂x2

0 ∂ ∂x1

0 0 ∂ ∂x3 ∂ ∂x2 ∂ ∂x1

0



     · (u) = [∂] · (u)   

(3.26)

56

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Pour un matériau solide, le tenseur des contraintes s’écrit : [σ] = [C][] avec σ tenseur symétrique des contraintes et C sur l’élément fini s’écrit : " N1 0 0 Nn N1 0 ··· 0 (u) = [N ](q) = 0 0 0 N1 0

(3.27)

tenseur des dilatations. L’interpolation 0 Nn 0

0 0 Nn

#

· q11 , q12 , q13 , · · · , qn1 , qn2 , qn3


t

(3.28) On applique le principe des travaux virtuels défini par l’équation (3.29), sur l’élément fini de référence. Z Z Z Z δuργdv + [δ][σ]dv = δuf dv + δu[σ] · nds (3.29) V

V

V

S

On obtient : [Me ](¨ q) + [Ke ](q) − (Fe ) = 0

(3.30)

où on note R [Me ], la matrice de masse élémentaire, définie par [Me ] = V [N ]t ρ[N ] ; R • [Ke ], la matrice de rigidité élémentaire, définie par [K e ] = [N ]t [δ]t [C][δ][N ] ; V R ˜ [N ]t f. • (Fe ), le vecteur des résultantes aux nœuds défini par (F e ) = •

V

Le maillage est construit par assemblage d’éléments de référence. Chaque élément de référence est obtenu par translation, orientation et déformation d’éléments de référence. La transformation τ entre l’élément fini de référence réel et l’élément fini de référence est une fonction bijective : un point du domaine réel se transforme en un unique point du domaine de référence et inversement. On peut écrire τ sous la forme : X xkreel = N i (u, v)xki (3.31) i

où les xki , k ∈ {1, 2, 3} sont les coordonnées du nœud qi . Les fonctions N i sont appelées les fonctions de forme. Si elles sont égales aux fonctions paramétriques N i , l’élément est dit isoparamétrique. Afin de calculer la dynamique de l’élément réel, il est nécessaire de transformer les intégrales sur l’élément réel en intégrales sur l’élément de référence : Z Z Xdηdξdψ = Xdet(J)dudvdw (3.32) Vr eel

Vr ef

avec det(J) déterminant de la matrice jacobienne J de l’application τ . La matrice de rigidité Ke de l’élément réel s’écrit donc : Z Kr = [N ]t ([J]−1 )t [∂]t [C][∂][J]−1 [N ]det([J])dudvdw (3.33) Vr ef

De même, on construit la matrice de masse réelle Mr et la résultante réelle des forces extérieures. Les éléments du système dynamique du maillage réel ayant été ainsi construits, la simulation du maillage est effectuée en résolvant le système (3.34) : [Mr ](¨ q) + [Kr ](q) − (Fr ) = 0

(3.34)

Comportements des objets du monde virtuel

57

La méthode des éléments finis est très adaptée au calcul des mécanismes solides soumis à de petites perturbations. En effet, le maillage reste constant au cours de la déformation. Dans l’hypothèse où le domaine est soumis à de fortes déformations, les éléments déformés ne constituent pas une bonne approximation du domaine matériel. Ce type de méthode est donc principalement utilisé dans le cadre de calcul de structure. En ce qui concerne les coûts de calcul, la résolution du système (3.34) nécessite l’inversion de la matrice [Mr ], dont la taille est égale à la dimension du vecteur de paramètres (q). Le coût de calcul est donc proportionnel au cube de la taille de ce vecteur. La matrice peut être creuse induisant des problèmes de stabilité numérique lors de la résolution.

3.3.4.2

Autres méthodes

La méthode alternative la plus connue est la méthode dite masses-ressorts. Cette méthode est une approximation de la méthode des éléments finis utilisée pour l’étude des phénomènes vibratoires dans les structures. La matière continue est remplacée par un ensemble de masses ponctuelles mi , placées aux nœuds qi , i ∈ {1, · · · , N } du maillage. La matrice de masse élémentaire [Me ] définie au paragraphe précédent devient alors une matrice diagonale : ˜ e ] = diag(m1 , · · · , mN ) [M

(3.35)

La matière a donc été modélisée par un maillage de masses ponctuelles, reliées entre elles par des liaisons. Par assemblage, la matrice de masse globale [M r ] reste diagonale. La résolution du système (3.34) ne nécessite plus l’inversion de la matrice de masse globale. Le coût de résolution est alors égal au coût d’évaluation de [K r (q)]. Dans le cas d’études vibratoires, on ne s’intéresse pas à tous les types de déformation. Seuls les déplacements linéaires sont pris en compte. L’élément de matière est alors remplacé par une maille composée de masses et de ressorts. Dans ce cas, la matrice de raideur devient très creuse : les forces internes élastiques sont les forces de rappel des ressorts. Le système dynamique se résout alors linéairement en fonction du nombre de masses ponctuelles. Il existe d’autres méthodes issues d’une simplification de la méthode des éléments finis : elles consistent à projeter les déformations possibles sur une base de fonctions réduites : on utilise alors un ensemble de modes de déformation a priori connus. Le résultat obtenu est donc l’intensité des déformations considérées. Ces méthodes sont appelées méthodes de synthèse modale. Le mode de résolution est encore cubique en le nombre de paramètres du système, mais la synthèse modale permet de limiter ce nombre de paramètres en utilisant les bons modes de déformation. Le problème consiste à pré-déterminer ces modes de déformation. On trouve aussi dans la littérature des modèles non structurés où la matière est aussi modélisée par un maillage, mais la topologie du maillage est recalculée à chaque pas de temps : ce modèle est appelé modèle lagrangien libre. Le coût de calcul est supérieur puisqu’il faut appliquer la méthode des éléments finis, mais aussi une méthode de maillage automatique (par exemple une triangulation de Delaunay). Le modèle Lagrangien libre-libre englobe quant à lui les méthodes où le milieu continu est décrit par un ensemble de particules en interaction.

58

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

3.3.5 DISCUSSION SUR LE RÔLE DES MODÈLES GÉNÉRATEURS

En animation comme en simulation, les modèles utilisés sont les mêmes. L’animation reprend les simplifications usuelles de la simulation. L’utilisation de modèles générateurs dans des environnements virtuels pose la question du choix du modèle : les contraintes de l’animation et de la simulation ne sont pas les mêmes (démonstration dans [Arnaldi e.a., 1992]). Les modèles de simulation se doivent de fournir une haute précision dans un domaine restreint, alors qu’en animation le but est d’obtenir un résultat visuel crédible. Ce résultat ne passe pas forcément par une simulation extrêmement rigoureuse, mais peut nécessiter pour certaines applications des modèles plus précis. Les mouvements d’un fluide parfait peuvent sembler peu convaincants à un observateur habitué à la complexité du monde réel. Dès lors, R. Cozot [Cozot, 1996a] suggère de concevoir le modèle d’animation en fonction des effets qu’on veut observer. Il propose pour ce faire un modèle général utilisable pour l’animation comme pour la simulation [Cozot, 1996b, Cozot e.a., 1997], intégrant l’ensemble des modèles de matière que nous avons vus dans les paragraphes précédents. La complexité du système est alors le maximum des complexités des éléments qui composent le système. L’intérêt de cette approche est sa complémentarité vis-à-vis des autres techniques utilisées habituellement : le processus traditionnel consiste à linéariser un système possédant un grand nombre de paramètres, alors qu’ici on cherche plutôt à diminuer le nombre de paramètres, mais sans simplifier le modèle. Toujours dans un souci d’efficacité de la simulation, R. Cozot propose de découpler le modèle géométrique du modèle mécanique : le modèle géométrique représente la forme de l’objet et se déduit bien sûr du modèle mécanique. On peut cependant considérer un support de déformation sur lequel le modèle géométrique sera appliqué. On évite ainsi une surparamétrisation du système. Les logiciels d’animation moderne comme Maya d’Alias/Wavefront permettent d’effectuer ce qu’on appelle le skinning : une peau déformable est appliquée sur un squelette humain possédant nettement moins de degrés de liberté. Cela permet de conserver à la fois des temps de simulation courts et un aspect visuel réaliste. En conclusion, les modèles qu’on a appelés ici modèles générateurs sont à la base de la simulation mécanique et donc de la génération du mouvement dans les environnements virtuels. Malheureusement, dans le domaine déformable, leur utilisation est limitée par les temps de calcul souvent prohibitifs associés aux modèles. 3.4 MODÈLES COMPORTEMENTAUX Si l’utilisation d’un modèle générateur peut effectivement procurer un mouvement réaliste pour des objets non vivants, cela ne va pas sans certains inconvénients : •

une phase de modélisation du système physique est requise ;

•

les objets à animer possèdent des attributs physiques qui ne sont pas toujours faciles à déterminer ;

•

enfin, le contrôle du mouvement est le plus gros problème lié à l’utilisation des modèles générateurs : en effet, une partie des équations du mouvement sont intrinsèquement liées au système à animer, tandis que les autres lient les actions sur le système (la commande) et les paramètres du système. Il faut donc être capable, pour un ef-

Comportements des objets du monde virtuel

59

fet donné, de retrouver la commande qui a engendré cet effet, ce qui est dans le cas général, impossible ou très complexe. En ce qui concerne les être vivants, le problème est encore plus complexe : l’animateur, ou le développeur d’une application de réalité virtuelle cherche à leur donner une certaine autonomie tout conservant des moyens d’interaction. Les jeux vidéo d’aventure fournissent un exemple très pertinent : le héros interagit avec les autres personnages du jeu. Généralement, les interactions sont particulièrement limitées : combat, dialogue pré-enregistrés... dans un jeu de simulation automobile ou de football, les joueurs qui sont remplacés par l’ordinateur ont un niveau de comportement plus abstrait : on peut dire qu’ils jouent leur rôle. Idéalement, le rôle du développeur devrait se limiter à une spécification de ce rôle. Un niveau de contrôle complémentaire sur le mouvement s’avère donc nécessaire : en parallèle de cet objectif, l’animation comportementale propose aussi un niveau d’abstraction supplémentaire en tentant de décrire les réponses du système à des stimuli de l’environnement. On considère que le système à animer est contrôlable par un certain nombre d’actions simples qui vont constituer ses réponses. Le but de l’animation comportementale est donc de spécifier la décision du système : en fonction des stimuli qu’il perçoit, il agit. Selon G. Hégron et B. Arnaldi [Hégron e.a., 1992], les systèmes d’animation comportementale se divisent en deux grandes familles qui distinguent les organismes qui agissent sur eux-mêmes (modèles de transformation interne) des organismes qui agissent sur leur environnement (modèles de transformations externes). 3.4.1 MODÈLES DE TRANSFORMATION INTERNES

Ces modèles s’attachent à décrire de manière réaliste l’évolution interne d’entités vivantes (plantes, êtres humains...) en fonction de paramètres extérieurs. Il s’agit cependant de rendre compte des modifications de l’enveloppe externe de l’entité à animer (par exemple la croissance d’une plante).

3.4.1.1

Modèles de plantes

Les modèles de croissances des plantes sont des systèmes de réécriture fondés sur un axiome et des règles de production appelé L-systems. A. Lindenmayer définit un Lsystem comme étant un axiome constitué d’une chaîne de symboles paramétrés et temporisés et de règles de production qui spécifient comment les symboles se transforment en fonction du temps [Lindemayer, 1968]. Les symboles sont associés à des primitives géométriques, ce qui permet de donner une représentation graphique au L-system. Dans [Prusinkiewicz e.a., 1994], P. Prunsinkiewicz rappelle la définition la plus générale d’un L-system où une règle de production s’écrit sous la forme de l’équation 3.36 : id : lc < pred > rc : cond −→ succ : p

(3.36)

où id est le nom de la règle de production, lc et rc sont les contextes gauche et droite, pred la partie gauche de la règle de production, succ la partie droite de la règle, cond la condition de la réécriture et p sa probabilité.

60

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

La réécriture se fait en parallèle sur les différents éléments. Il y a deux manières de parvenir à une représentation graphique : d’une part, les symboles réécrits sont associés à une primitive graphique et d’autre part on peut insérer dans la chaîne de production des ordres équivalents à ceux que l’on donne à une tortue Logo. À noter que si la réécriture se fait en parallèle, l’interprétation graphique est complètement séquentielle. Les règles de production des L-systems sont des règles discrètes : P. Prusinkiewicz définit les dL-systems en introduisant un temps continu à la place d’une séquence d’étapes de dérivation discrètes [Prusinkiewicz e.a., 1993]. Les paramètres w du système sont déterminés en continu par une équation différentielle ordinaire tant qu’ils restent dans un domaine D. Dès que w atteint une frontière de D, une règle de production qui dépend de la position sur la frontière, est appliquée. Ensuite, le système est à nouveau régi par l’équation différentielle. La figure 3.3 présente un exemple simple de L-system.

Figure 3.3 : Exemple de plante générée par un L-system En biologie, les L-systems sont utilisés pour générer des maquettes tridimensionnelles de plantes. C’est la fonction du logiciel AMAP (Atelier de Modélisation de l’Architecture des Plantes) développé par le CIRAD [http1] : à partir de mesures effectuées sur le terrain et de systèmes de réécriture stochastiques, il construit des plantes en tenant compte des interactions avec l’environnement (notamment la quantité de lumière traversant chaque voxel de l’espace) lors de sa croissance [Jaeger e.a., 1992, Blaise, 1991]. LA figure 3.4 présente un exemple d’arbres générés par le logiciel AMAP.

Figure 3.4 : Exemple d’arbre généré par le logiciel AMAP du CIRAD Dans le cadre de l’animation par ordinateur, H. Noser [Noser e.a., 1997, Noser, 1997] utilise les L-systems pour décrire la croissance des plantes qui servent de décor, mais aussi pour contrôler partiellement un humanoïde de synthèse (voir 3.8.2.1).

Comportements des objets du monde virtuel

61

En conclusion, les L-systems sont utilisés à la fois en animation par ordinateur et en biologie pour simuler la croissance des végétaux. C’est aussi à la biologie (et notamment à la biomécanique humaine) que nous devons les travaux sur les modèles musculaires du corps humain que nous allons aborder maintenant.

3.4.1.2

Humanoïdes de synthèse

Du point de vue de l’animation, l’être humain se compose essentiellement d’un squelette, de muscles et d’une enveloppe extérieure, la peau. Pour animer un humanoïde, il faut définir un modèle d’un ou plusieurs de ces composants. La structure utilisée généralement est celle d’une structure osseuse (solide rigide articulé) sur laquelle est plaquée une peau déformable. Deux types de problèmes se posent donc : le mouvement du squelette (par exemple la reproduction de la marche humaine) et la déformation de la peau (par exemple, l’animation faciale). Dans cette étude, nous allons aborder rapidement le problème de la reproduction de la marche humaine et celui de l’animation faciale.

3.4.1.3

Reproduction de la locomotion humaine

Le cas de la locomotion humaine est un cas particulier de locomotion. En effet, contrairement à la nage d’un poisson ou au vol d’un oiseau, la locomotion humaine se distingue par les interactions avec un sol situé à altitude variable. Il n’est donc pas possible d’ignorer complètement les contraintes cinématiques. Différentes techniques sont utilisées [Multon e.a., 1999] : •

•

•

•

Dans le cadre du projet Jack [Phillips e.a., 1988, Lee e.a., 1989] de l’université de Pennsylvanie, X. Zhao [Zhao e.a., 1996] propose une méthode fondée sur la dynamique et la minimisation d’un critère énergétique. La minimisation de l’effort ou de l’énergie ne correspond pas toujours à une vérité biomécanique, à cause d’une corrélation très forte avec la morphologie du sujet. De plus, l’apprentissage de la marche, ou même la marche au pas des militaires sont des exemples de marche nonéconomique ; J. Hodgins [Hodgins, 1996] utilise des techniques classiques de contrôle : il y a un contrôleur différent pour chaque phase de la marche et ces contrôleurs sont reliés entre eux par des automates finis. Ces modèles sont extrêmement coûteux en temps de calcul ; Dans le cadre de l’animation interactive, des approches purement cinématiques sont proposées [Boulic e.a., 1990]. Plus récemment, R. Boulic [Boulic e.a., 1996] a intégré des notions de dynamiques en regroupant les articulations dans un arbre de distribution des masses. Ces approches sont intéressantes du point de vue du coût mais permettent difficilement la personnification des démarches obtenues. Une amélioration consiste à utiliser des mouvements acquis à l’aide de systèmes vidéo et à les rejouer [Fua e.a., 1998]. Le coût mémoire est alors plus élevé mais la démarche nettement plus réaliste ; F. Multon [Multon, 1996] s’intéresse à la construction de modèles biomécaniques de la locomotion humaine. Le cycle de marche est décomposé en différentes phases

62

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

reliées par des automates. Pour chacun des cycles des trajectoires articulaires sont interpolées par de simples polynômes de degré 3. L’intérêt de l’approche réside dans le fait que les phases identifiées ne sont pas celles qui sont utilisées habituellement en biomécanique ; trois phases sont utilisées pour l’extension du genou et une pour sa flexion, pour la marche comme pour la course. Cette méthode permet en outre l’identification simple de paramètres naturels comme la longueur ou la fréquence des pas.

3.4.1.4

Animation faciale

L’animation faciale consiste à animer le visage d’un être humain. C’est une tâche complexe qui nécessite la modélisation, l’animation et le rendu de la géométrie du visage mais aussi d’éléments distinctifs du visage comme la peau, les cheveux, les lèvres ou la langue. On peut facilement imaginer le niveau de complexité du visage en se remémorant que la tête ne contient qu’une seule articulation, celle de la mâchoire. Tout le reste doit être représenté par des modèles déformables ! P. Fua [Fua e.a., 1997] classe les modèles d’animation faciale en deux catégories : •

•

les modèles à peu de degrés de liberté, qui se concentrent sur les mouvements de la tête. Ils utilisent des modèles assez simplistes et sont donc assez pauvres graphiquement ; les modèles plus sophistiqués ; il s’agit en premier lieu d’extraire la géométrie à partir d’images réelles [Essa e.a., 1997] ou de la générer automatiquement [Lee e.a., 1995]. Ensuite, il faut définir des paramètres de déformation pour contrôler les mouvements du visage. Trois types de modèles sont utilisés [Dubreuil e.a., 1997] : des modèles purement physiques, des modèles purement géométriques ou des modèles anatomiques.

Ces deux types de modèles sont en cours d’intégration dans la future norme MPEG-4 (cf. [Escher e.a., 1998, Ostermann, 1998]). 3.4.2 MODÈLES DE TRANSFORMATION EXTERNES

Les modèles dits de transformation externes définissent le comportement extérieur d’un être, c’est-à-dire ses actions et réactions vis-à-vis de son environnement, que ce soit de façon individuelle ou collective. La classification des modèles de transformation externes n’est pas simple. Dès lors Il existe une classification fondée sur le niveau d’abstraction [Zeltzer, 1991], mais aussi des classifications plus techniques [Donikian, 1994]. Une classification technique paraît plus pertinente ici dans la mesure où les techniques employées sont plus faciles à classer. 3.5 APPROCHE STIMULUS-RÉPONSE L’approche dite stimulus-réponse définit le comportement des objets à partir d’un ensemble de capteurs et d’effecteurs ; ils sont reliés entre eux par un réseau dont les nœuds

Comportements des objets du monde virtuel

63

transforment l’information passée [Wilhelms e.a., 1990]. Le comportement d’un objet dépend alors à la fois de la perception qu’il a de son environnement et des transformations que va subir l’information perçue. 3.5.1 LES RÉSEAUX SAN

Les réseaux SAN (Sensor Actuator Networks) [van de Panne e.a., 1993] sont des réseaux de neurones avec en entrée des capteurs binaires et en sortie des commandes pour les effecteurs. Il existe quatre catégories de capteurs : • les capteurs de contact qui permettent de tester le contact avec le sol ; • les capteurs de vue qui déterminent si un point appartient ou non au cône de vision ; • les capteurs angulaires qui vérifient si un angle appartient ou non à un intervalle [θ1 , θ2 ] ; • et les capteurs de longueur qui vérifient qu’une distance mesurée appartient ou non à un intervalle [l1 , l2 ]. De la même manière, il n’existe que deux types d’effecteurs : • les effecteurs linéaires qui génèrent des forces ; • et les effecteurs angulaires qui génèrent des moments. Dans un réseau de type SAN, les capteurs sont connectés à tous les nœuds cachés ainsi qu’à tous les effecteurs comme le montre la figure 3.5. De leur côté, les nœuds cachés et les effecteurs sont complètement interconnectés. Les poids affectés aux connexions sont calculés à l’aide d’un algorithme d’optimisation stochastique. capteurs

noeuds cachés

effecteurs

Figure 3.5 : Les réseaux SAN M. Van de Panne utilise les réseaux SAN pour animer différents types de petits animaux lors de leurs déplacements : certains rampent, d’autres marchent, courent, sautent... 3.5.2 CONTRÔLE STIMULUS-RÉPONSE DE CRÉATURES

J. Thomas Ngo [Ngo e.a., 1993] propose une approche un peu similaire avec SC (Spacetime Constraints). Son système est composé de la structure physique de la créature à animer, des effecteurs qui contrôlent la configuration interne de la créature et de critères d’évaluation du mouvement. L’algorithme de contrôle du mouvement est un système

64

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

stimulus-réponse. La créature exécute des réflexes instinctifs qui sont déclenchés par des événements qui se produisent dans l’environnement virtuel. Une réponse est un ensemble d’actions sur les effecteurs qui permet d’effectuer des modifications du mouvement de la créature de façon fluide. Les stimuli sont introduits à partir de variables de perception : une variable de perception est une fonction à valeurs réelles de l’environnement. J. Thomas Ngo définit : • des capteurs proprioceptifs (les angles des articulations) ; • des capteurs tactiles (forces exercées sur les points de contact avec le sol) ; • des capteurs cinétiques (vitesse du centre de masse) ; • et des capteurs de position (position du centre de masse). Une fonction stimulus est donc une combinaison de variables de perception qui s’écrit sous la forme de l’équation (3.37) ; les vj sont les variables de perception et les λj et vj0 les paramètres du système. 2 n  s = 1 − max λj (vj − vj0 ) j=1

(3.37)

Les fonctions stimulus sont pondérées par des poids qui sont des fonctions des paramètres λj . Le problème de cette approche, outre le caractère bas-niveau des variables de perception, est bien sûr la détermination des paramètres du système à animer. J. Thomas Ngo utilise un algorithme génétique pour les optimiser. Le domaine d’application favori de ce type de technique est l’animation de personnages articulés (ici mouvements de gymnastique). 3.5.3 SENSE CONTROL ACTION

Les SCA (Sense Control Action) [Granieri e.a., 1995] sont des réseaux comportementaux : chaque comportement est décomposé en sous-comportements implantés sous la forme d’un sous-réseau. Chaque sous-réseau est composé de trois types de nœuds : • les nœuds perceptifs sont des nœuds dont la sortie représente la perception de l’entité à animer. Les capteurs accèdent à la base de données de l’environnement, calculent les distances et les angles de vue d’un objet qui sont les sorties des capteurs. Les capteurs ne diffèrent que par le type d’objet qu’ils sont capables de percevoir : • les capteurs d’objet détectent un seul objet. Cette détection est globale et effectuée sans tenir compte des problèmes de visibilité ; • les capteurs de localisation détectent ce qui se trouve à un point précis de l’espace ; • les capteurs de proximité détectent des objets d’un type donné de façon locale, typiquement dans un cône de vision ; • les capteurs de terrain détectent la praticabilité du terrain sur lequel évolue le piéton ; • les capteurs de champ de vision déterminent si un humanoïde est visible depuis un ensemble d’autres humanoïdes. La valeur de sortie du capteur est proportionnelle au nombre d’agents qui peuvent voir le propriétaire du capteur et inversement proportionnelle à la distance de ces agents.

Comportements des objets du monde virtuel

65

les nœuds de contrôle servent à implanter les boucles de retour d’état de l’automatique en générant des boucles qui visent à minimiser l’erreur perçue en fonction des valeurs désirées de la sortie. Deux nœuds de contrôle ont été implantés : les nœuds attracteurs servent à attirer l’humanoïde vers quelque chose qui a été perçu et les nœuds répulsifs servent au contraire à éviter un obstacle. • les nœuds moteur sont les nœuds qui vont avoir un effet direct sur l’environnement en faisant effectivement bouger les humanoïdes de la simulation. Cette approche en tant que telle ne permet pas un niveau d’abstraction important, elle est utilisée pour des actions de bas-niveau comme la simulation de la locomotion humaine. Nous verrons plus loin que combinée à une approche de plus haut niveau, les applications deviennent plus intéressantes.

•

3.5.4 RÉSUMÉ

L’approche stimulus-réponse à base de réseaux est une première brique de l’animation comportementale et notamment de l’approche «Perception-Décision-Action» telle que nous la décrirons plus loin. La différence entre les approches que nous avons étudiées porte plus sur l’algorithme d’identification des paramètres que sur la nature réelle du réseau utilisé. Les mouvements générés peuvent être très différents, mais le niveau d’abstraction reste très bas. La partie décisionnelle est très limitée, tant dans sa portée que dans son adaptativité. De plus, une modification d’une réaction à un stimulus quelconque de l’environnement nécessite souvent un recalcul complet des paramètres du réseau. 3.6

APPROCHE À BASE DE RÈGLES

Les approches dites à base de règles tentent de répondre au problème du niveau d’abstraction de la description du comportement : la structure reste la même, les données perçues sont transformées en actions. Simplement, il existe un ensemble de règles explicites qui spécifie l’action en fonction de la perception. De fait, les différents comportements possibles d’un objet peuvent être représentés par un arbre de décision. Cette approche est celle qui se rapproche le plus des systèmes multi-agents [Giroux, 1993, Bouron, 1993] de type cognitif. 3.6.1 NUÉES, TROUPEAUX ET BANCS

Historiquement, C. Reynolds [Reynolds, 1987] a été un des premiers à introduire des règles de comportement pour les objets à animer. Il s’est intéressé au vol des nuées d’oiseaux ; il définit à cette fin un vol géométrique qui est un mouvement le long d’une trajectoire, c’est-à-dire une transformation géométrique spatiale et temporelle d’une courbe 3D (la trajectoire de référence). À chaque objet sont associés un repère local et deux opérateurs de changement de repère. Deux forces contradictoires sont utilisées : l’une sert à rester dans la nuée en suivant la trajectoire de référence, l’autre sert à éviter les collisions. Trois règles de comportement sont définies : éviter les collisions, harmoniser sa vitesse à celle de ces voisins et rester proche de ses voisins. La figure 3.6 présente un exemple de nuée d’oiseaux dont le comportement respecte les règles précédentes.

66

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 3.6 : Règles de comportement : une nuée d’oiseaux évitant un obstacle

3.6.2 APPROCHE «ÉCOLOGIQUE»

T. Widyanto [Widyanto e.a., 1991] propose une approche fondée sur la psychologie écologique1 issue des travaux de J. Gibson. Dans son livre [Gibson, 1986], J. Gibson s’intéresse à la perception en tant que moteur de décision du comportement. En effet, les objets qui sont perçus sont destinés à une ou plusieurs activités : ainsi, un couteau va être utilisé pour découper, une pomme va être mangée... les informations concernant l’environnement d’une entité comportementale sont disponibles à tout moment et la richesse des informations traitées ne dépend que des capacités de perception d’une entité. Le recueil d’informations est effectué en deux étapes : capture (par lancer de rayon) et évaluation. La partie décisionnelle s’effectue en deux étapes : • l’orientation du regard au prochain pas de temps est déterminée par une pondération des différents centres d’intérêt du regard ; • chaque entité possède ses propres buts (à travers un modèle comportemental unique). À chaque pas de temps, les buts sont évalués afin de choisir celui qui sera réalisé à l’aide d’un certain nombre d’actions (ce sont des hiérarchies d’unités fonctionnelles élémentaires). Toutes les unités sont validées et ordonnées par ordre de priorité et la plus importante est effectuée. Le travail de Widyanto et Marriot se concentre essentiellement sur la perception et incorpore des travaux écologiques. L’intérêt de cette approche réside donc plus dans la sémantique apportée aux données perçues qu’au moteur de décision. 3.6.3 IN VITRAM

Le but de ce système [Mouli e.a., 1992, Mouli, 1994] est de permettre la production de films d’animation, à partir de la mise en scène de personnages autonomes doués d’un comportement propre, le résultat étant la génération de la trajectoire des différents personnages. In VitrAm repose sur la notion d’objets et de personnages : les objets contiennent leurs propres fonctionnalités et donc leur propre comportement de réaction aux stimuli de l’environnement. R. Mouli distingue trois niveaux de comportement : • le niveau acomportemental : il est essentiellement utilisé pour décrire les objets du décor qui ne font que subir les forces qui leur sont appliquées ; 1 au sens biologique du terme : étude des êtres vivants au sein des milieux où ils vivent, ainsi que de leur interaction avec ces milieux.

Comportements des objets du monde virtuel

67

•

le niveau réflexe : les personnages de ce niveau vont établir une liaison simple entre la perception et l’action. C’est typiquement le cas d’un interrupteur ;

•

le niveau intelligent : il est utilisé pour les personnages ayant un comportement complexe. La liaison entre capteurs et effecteurs est réalisée grâce à un ensemble de règles et un moteur d’inférences.

La simulation se fait de manière discrète, en tenant compte des différentes fréquences internes. Pour chaque pas de temps, le cycle «Perception-Décision-Action» est décomposé pour tous les personnages. Cela permet de présenter à un instant donné un état du monde unique et donc à chaque personnage de raisonner sur les mêmes données. La perception se fait à l’aide de capteurs qui simulent les capacités de perception des personnages : ils sont typés dans la perception (vue, ouïe...) comme dans l’espace (sphérique, cônique...) et paramétrés (portée, seuil de sensibilité...) La boucle de simulation d’In VitrAm s’écrit de la façon suivante : •

Acquisition/Décision 1. scrutation de l’état du monde ; 2. mémorisation des informations captées ; 3. génération des faits nécessaires à la réflexion (uniquement pour le niveau intelligent) ; 4. raisonnement sur les actions à réaliser (uniquement pour le niveau intelligent).

•

Exécution 1. exécution des actions automatiques ; 2. exécution des actions déduites par le raisonnement (uniquement pour le niveau intelligent) ; 3. déplacement du personnage.

Dans [Mouli, 1994], R. Mouli décrit l’utilisation d’In VitrAm pour l’animation de fourmis dans une sorte de jeu de la vie : chaque fourmi évolue sur le sol à la recherche de nourriture. Les fourmis sont conçues à partir des personnages intelligents décrits plus haut et munies d’un certain nombre de capteurs. Il existe des versions plus évoluées en ce qui concerne la complexité des comportements des fourmis et de leurs interactions.

3.6.4 DISCUSSION

Les systèmes à base de règles apparaissent plus simples à manipuler que les systèmes stimulus-réponse que nous avons vu précédemment. Malheureusement, la spécification du comportement d’un système à animer en un petit nombre de règles est une tâche difficile à mener à bien. De plus, il existe un double problème de gestion du temps [Rainjonneau, 1992] : •

les algorithmes des moteurs d’inférences ne sont pas compatibles avec le temps réel et donc avec l’animation réellement interactive ou la réalité virtuelle ;

•

la spécification à base de règles ne rend pas compte des fréquences de fonctionnement différentes [Lord e.a., 1994] des activités menées en parallèle dans le cerveau humain.

68

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

3.7 APPROCHE OPTIMALE Cette troisième approche ne s’applique pas à l’animation interactive : l’environnement est entièrement statique et prédéfini. Tout l’espace des solutions pour le mouvement des objets est accessible et le problème de ce type d’animation réside dans le choix d’un critère d’optimalité de l’animation obtenue et dans l’algorithme d’obtention de cet optimum. Cette approche peut être qualifiée de comportementale en ce sens que les critères utilisés peuvent être de nature comportementale (satisfaction de buts propres aux personnages de l’animation), mais n’est pas compatible avec la notion de temps réel. C’est pourquoi nous ne la détaillerons pas ici. On peut néanmoins trouver un exemple dans [Ridsdale e.a., 1990].

3.8 APPROCHE AUTOMATE Dans cette section, nous allons nous intéresser à un certain nombre de systèmes d’animation où la partie décisionnelle des entités comportementales est représentée par un ou plusieurs automates. Dans un premier temps, nous décrirons le système utilisé dans le cadre du simulateur de conduite IDS2 . Les auteurs de ce système reconnaissent que l’utilisation d’un seul gros automate pose des problèmes. C’est pourquoi ils ont proposé le formalisme HCSM qui introduit parallélisme et hiérarchie. Nous verrons aussi d’autres systèmes fondés sur les automates parallèles hiérarchisés.

3.8.1 AUTOMATE D’ÉTATS FINIS

L’Iowa Driving Simulator est un simulateur de conduite temps réel où l’on cherche à proposer à l’utilisateur un environnement virtuel réaliste tant statiquement que dynamiquement : il faut donc inclure dans cet environnement des véhicules virtuels dont le comportement se rapproche le plus possible de la réalité. Le contrôle de ces véhicules [Booth e.a., 1993] s’effectue grâce à un automate d’états finis. À chaque état de l’automate (figure 3.7) sont associés des attributs qui permettent d’obtenir une commande qui s’adapte à la situation. Les conducteurs sont dotés d’un certain nombre de paramètres (tels que temps de réaction, agressivité...). La sortie du module de conduite est donc un ensemble de commandes pour les véhicules virtuels de la simulation. Le scénario distribue statistiquement tous ces paramètres et fournit la répartition des véhicules sur le réseau routier. Les auteurs du conducteur virtuel d’IDS [Booth e.a., 1993] reconnaissent eux-mêmes un certain nombre de limitations dues à l’utilisation d’un automate unique : •

la moindre petite modification du comportement peut nécessiter une refonte globale de l’automate ;

•

l’introduction d’une interruption inconditionnelle (exception) en réponse à un environnement requiert l’introduction de transitions de tous les états de l’automate vers un état de gestion de l’exception ; 2 Iowa

Driving Simulator

Comportements des objets du monde virtuel

69 tourner à gauche

ralentir pour tourner

suivre

distance frontale acceptable

attendre le signal tourner à droite

conduite libre

stopper

arrêt

distance lattérale acceptable ne pas tourner

Figure 3.7 : Iowa Driving Simulator : extrait de l’automate de contrôle du conducteur virtuel

•

lorsque certains groupes d’états représentent une activité cohérente (dépassement, franchissement d’un croisement...), il n’y a pas de mécanisme qui permette d’abstraire le comportement lors de cette activité : la modularité est inexistante ;

•

enfin, il est extrêmement difficile d’exprimer la concurrence des comportements : lors de la conduite, plusieurs tâches, éventuellement conflictuelles sont effectuées en même temps. Il appartient au conducteur de prendre en compte toutes les «sorties» possibles de ces tâches et d’en déduire la pression qu’il va exercer sur les pédales ou la manière dont il va tourner le volant.

3.8.2 PILES D’AUTOMATES

3.8.2.1

Virtual Life

Le terme Virtual Life représente un mélange des termes réalité virtuelle et vie artificielle : D. Thalmann [Magnenat-Thalmann e.a., 1984, Thalmann, 1998] cherche à créer une vie artificielle dans un environnement de réalité virtuelle. Les acteurs synthétiques sont doués d’un comportement autonome reprenant une structure «perceptiondécision-action». La partie décisionnelle est représentée par une séquence d’actions : chaque action est décomposée en un automate séquentiel. Les actions sont empilées par l’utilisateur au début de la simulation (ce qui fournit une sorte de scénario). Une fois qu’une action est complétée, l’automate qui la décrit est dépilé. À noter qu’il est possible qu’un automate ait lui-même besoin de sous-automates pour exécuter sa tâche : dans ce cas, il empile ses sous-automates, suspend sa propre exécution et ne la reprend que lorsqu’il revient au sommet de la pile. Le contrôle de l’humanoïde peut aussi être passé à un système de règles de production [Noser, 1997] : cela permet de définir de nouveaux comportements à partir de quelques règles simples. H. Noser et D. Thalmann [Noser e.a., 1997] appliquent ce modèle de définition du comportement à la simulation d’un match de tennis entre humains virtuels (cf. figure 3.8 3 ). Ils définissent un certain nombre d’automates régissant le comportement des joueurs comme de l’arbitre. Ainsi, l’automate play_tennis d’un joueur doit contrôler les systèmes auditifs et visuels en même temps que son état interne. Si l’automate détecte par exemple, l’événement sonore faute émis par l’arbitre, il suspend son exécution en s’empilant et 3 image

dûe à H. Noser (LIG, Lausanne)

70

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

lance l’automate marche pour aller se replacer correctement sur le terrain avant de servir.

Figure 3.8 : Virtual Life : jeu de tennis virtuel Les automates permettent donc de contrôler le comportement du joueur, ainsi que celui de l’arbitre. Le modèle de perception comporte une partie auditive originale, qui est d’ailleurs reprise dans les différents projets du LIG (comportements sociaux et comportements de foule). Par contre, la concurrence et la gestion du temps n’apparaissent pas explicitement.

3.8.2.2

SCA et Pat-Nets

Dans le cadre du projet Jack, N. Badler[Badler e.a., 1997, Webber e.a., 1995] propose un modèle composé à la fois d’une partie stimulus-réponse et d’une partie automates parallèles hiérarchisés. L’architecture globale de contrôle du système est présentée figure 3.9.

PaT-Nets

SCA

PERCEPTION

CONTROLE

ACTION

Figure 3.9 : Architecture de contrôle comportemental de Jack La partie stimulus-réponse est implantée sous la forme de SCA [Granieri e.a., 1995] : les SCA4 sont des boucles de contrôle «Perception-Contrôle-Action» qui servent à produire un comportement réactif localement adaptatif. En général, les comportements 4 les

boucles SCA sont décrites plus longuement en 3.5.3

Comportements des objets du monde virtuel

71

considérés à ce niveau sont des comportements simples comme la locomotion ou le changement de direction du regard. Les Pat-Nets [Webber e.a., 1995, Reich, 1997] sont des automates parallèles hiérarchisés avec des possibilités de passage de messages et de synchronisation (par sémaphores). Des processus sont associés aux états, ils peuvent invoquer d’autres PaT-Nets, des comportements exécutables ou bien des actions de haut-niveau (planification, raisonnement). L’invocation se produit à l’entrée dans un état. Les transitions entre états se font lorsqu’une condition de transition (qui peut être locale à l’humanoïde ou globale) est vérifiée. Les conflits entre transitions franchissables sont résolus en donnant une priorité à chacune d’entre elles. Toutes les primitives classiques sur les processus sont implantées dans les PaT-Nets. L’exécution est effectuée à travers un système d’exploitation écrit en Lisp. En liant les SCA (flots de données à rétro-action) et les PaT-Nets (contrôleurs à état), il semble possible d’atteindre un niveau de flexibilité assez intéressant en utilisant uniquement le formalisme le plus approprié lors de la phase de spécification du comportement. Le système Jack [http2] témoigne de l’utilisation conjointe de ces deux formalismes dans des cadres applicatifs assez différents qui vont du jeu de cache-cache aux univers virtuels [Webber e.a., 1995, Badler, 1998]. Toutefois, l’interface entre les différents niveaux de contrôle (SCA et PaT-Nets notamment) n’apparaît pas clairement. De plus, il semble que tous les systèmes comportementaux fonctionnent à la même fréquence et que la résolution de conflits entre comportements ne soit soluble que par l’assignation d’une priorité à chaque transition dans un PaT-Net. 3.8.3 CONCURRENCE ET HIÉRARCHIE : HPTS

3.8.3.1

Fondements

Le modèle HPTS [Moreau e.a., 1998] se base sur les affirmations de Newell quant aux propriétés d’un bon modèle de comportement [Newell, 1990]. Ces propriétés sont les suivantes : •

•

•

•

•

un comportement flexible et adaptatif5 , c’est-à-dire que l’organisme simulé doit s’adapter à son environnement et à l’évolution de celui-ci afin d’effectuer ce qu’il est supposé faire, sans mettre en danger son existence ; des interactions temps réel avec l’environnement. Le temps réel est obligatoire lorsqu’on se place dans le cadre de la simulation interactive et donc de la réalité virtuelle ; un environnement riche et complexe : une entité simulée doit pouvoir percevoir son environnement, doit avoir une base de connaissance sur cet environnement (c’est-àdire qu’elle possède un moyen de se représenter son environnement), et enfin elle doit avoir plusieurs degrés de liberté d’actions sur cet environnement ; représentation symbolique et abstraction de la connaissance : une entité doit posséder des informations symboliques sur son environnement ; possibilité d’apprentissage : une entité doit être capable de tenir compte de son expérience passée ;

5 le mot adaptatif utilisé par Newell doit plutôt être pris au sens adapté qu’au sens adaptatif couramment utilisé en robotique

72 •

•

•

• •

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

autonomie dans un environnement social : la «vie» d’une entité se déroule dans un environnement où il y a d’autres entités. Il doit alors y avoir une vie sociale, c’est-àdire des possibilités de coopération, de conflit... conscience de soi, perception de soi : en plus des informations qu’elle possède sur son environnement, une entité doit pouvoir raisonner sur elle-même, et modifier ses buts. C’est ce que Th. Bouron [Bouron, 1993] appelle la réflexivité ; être réalisable par un réseau neuronal : toutes les activités précédemment citées doivent pouvoir être réalisées par un réseau de neurones ; être constructible par un processus embryologique ; émergence par évolution.

Moreau traduit en termes informatiques les contraintes issues des propriétés précédentes ainsi que de la psychologie comportementale [Moreau, 1998]. Ces contraintes sont reprises dans le tableau 3.1. HPTS est construit sur ces contraintes en y ajoutant la prise en compte explicite du temps. Contrainte Modularité Réactivité Hiérarchie Concurrence Préemption Exceptions Gestion du temps Flots de données

Motivation mise à jour simulation interactive architecture de contrôle activités menées simultanément résolution des conflits traitement des situations exceptionnelles activités cognitives de fréquence différentes communications entre les différents niveaux

Tableau 3.1 : Modèles de comportement

3.8.3.2

Définition

CP IS

s

IF

OS

MailBox

events

Figure 3.10 : HPTS : architecture Le modèle décisionnel HPTS (Hierarchical Parallel Transition Systems) est un système réactif, constitué d’une hiérarchie d’automates (qui sont les comportements possibles).

Comportements des objets du monde virtuel

73

Chaque machine à états peut être vue comme une boite noire (cf. figure 3.10) qui comporte des flots d’entrée et de sortie, et des paramètres de contrôle. On définit donc une machine à états comme étant : s =< S, Γ, IS, OS, CP, LV, IF, M, ν >

(3.38)

où •

S est un ensemble de sous-états ;

•

Γ est la fonction d’activité des sous-états ;

•

IS est un ensemble de signaux d’entrée ;

•

OS est un ensemble de signaux de sortie ;

•

CP est un ensemble de paramètres de contrôle ;

•

V est un ensemble de variables locales ;

•

IF est la fonction d’intégration ;

•

M est la boite aux lettres du système ;

•

ν est la fréquence de fonctionnement.

s est soit un état atomique du système, dans ce cas S = ∅, soit un état composite (S 6= ∅). À chaque état s est attribué un paramètre d’activité as tel que : as ∈ A = {idle, active, suspended}

(3.39)

La fonction d’activité Γ est donc la fonction qui fait évoluer le paramètre d’activité a s0 de tous les sous-états s0 ∈ S. Par exemple, après avoir débuté, un état se retrouve actif. La fonction d’activité Γ à valeurs dans A s’écrit : ∀s0 ∈ S, as0 (t) = Γ(as0 (t − 1), IS, CP, V, M )

(3.40)

Il existe une suite logique entre les statuts. La fonction d’activité est contrainte par cette suite, qui peut être elle-même représentée sous la forme d’un automate repris figure 3.11. Le carré situé dans l’état active signifie que la fonction d’intégration (décrite plus loin) est exécutée. Les transitions entre états se font à chaque pas de temps de simulation. Il n’est donc pas possible de passer d’idle à suspended en un seul pas de temps. La boite aux lettres M est un système de messagerie qui permet de recevoir des messages (provenant notamment des sous-états ou de l’état père). Un message est ici un événement accompagné de données. On distingue un certain nombre d’événements spécifiques qui commandent la fonction d’activité Γ : ce sont les événements qui apparaissent sur la figure 3.11 et qui permettent de modifier l’état d’une machine HPTS. À chaque primitive est associé un événement renvoyé par la machine HPTS à qui le message était destiné. Cet événement permet à la machine de signaler son nouveau statut. On distingue deux types de messages :

74

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines kill

resume




idle

active

suspended


suspend

start

kill

Figure 3.11 : HPTS : automate de fonctionnement

les messages globaux : leur diffusion est assurée dans un environnement de broadcasting, c’est-à-dire que toutes les machines HPTS y ont accès, et que toutes peuvent les utiliser ; • les messages locaux : ceux-ci ont un destinataire particulier spécifié lors de l’envoi. Ce mécanisme permet de mettre en œuvre la communication entre machines HPTS, voire entre entités comportementales. On pourrait imaginer une diffusion générale de tous les messages, où le protocole de communication incorporerait le destinataire (par exemple comme dans le protocole IP), mais ce serait moins efficace d’un point de vue transmission de données. La fonction d’intégration gère la cohérence entre les différents comportements proposés par les sous-états. On distingue trois cas : • S = ∅ : s est donc un état atomique, IF est donc une fonction qui ne dépend que des entrées IS, des variables locales et des paramètres de contrôle ; • card S = 1 : s a un seul sous-état s1 actif, dont la sortie est le résultat de la fonction d’intégration de s1 appliquée sur les sous-états actifs de s1 . Typiquement, la fonction IF de s est alors une fonction identité. On peut imaginer que IF soit aussi un filtre ; • card S > 1 : c’est le cas le plus complexe : IF est alors l’intégration des différents comportements proposés par les sous-états actifs s0 de S. Nous étudierons ce problème plus tard. De manière formelle, IF s’écrit simplement :

•

OS(s) = IF (OS(s0 , ∀s0 ∈ S), V, IS, P C)

(3.41)

Un exemple relativement simple de fonction d’intégration, dans le cadre de la simulation de conduite, est présenté figure 3.12. Les trois sous-états de l’état supervisor proposent chacun une action paramétrée. Aux actions sont associées des priorités, comme le montre la relation d’ordre définie dans la boite action. Si deux états proposent la même action, une loi conservative est appliquée sur ses paramètres : en cas de demandes de freinage simultanées, la distance d’arrêt la plus courte est choisie.

3.8.3.3

Aspects temporels

Le n-uplet qui définit une machine HPTS incorpore un paramètre ν, défini comme la fréquence d’exécution. En pratique, seul le cas où la fréquence d’exécution d’un automate s est un multiple de la fréquence de son automate père a été envisagé. Tout

Comportements des objets du monde virtuel

75

Supervisor

action Premption : DRIVE < FOLLOW < STOP < EMERG_S

Traffic

action speed headway

Road network


ouvreToi()). La porte s’exécute en conséquence selon un schéma maître-esclave. En programmation par agents (figure 4.5c), le porte de la caverne est un agent dont le but est de s’ouvrir quand elle détecte un passant (exemple : une porte d’aéroport dotée de caméras) : c’est la porte qui a l’intention et le savoir-faire (Agent Sesame). Qu’AliBaba ait ou non l’intention de passer par la porte, celle-ci peut s’ouvrir si elle le détecte ; elle peut même éventuellement négocier son ouverture. L’utilisateur AliBaba est ainsi immergé dans l’univers des agents par l’intermédiaire d’un avatar 3 Le nom oRis est librement inspiré du suffixe latin oris qui se rencontre dans le pluriel de mots se rapportant au langage, comme cantatio → chant, cantoris → chanteurs (ceux qui chantent), ou encore oratio → parole, oratoris → orateurs (ceux qui parlent). Nous y avons retenu la triple symbolique du langage, du pluriel et de l’acte : langage multi-agents. 4 Ali Baba connaissait donc déjà la programmation par objets ! Cette analogie entre l’envoi de message en programmation par objets et la formule d’Ali Baba (Sésame ouvre-toi) est donnée dans [Ferber 90].

Autonomie des entités virtuelles

101

qui est détectable par la porte. execute { Object Sesame = new Data; Agent AliBaba = new Avatar; }

execute { Object Sesame = new Porte; Agent AliBaba = new Avatar; }

execute { Agent Sesame = new Porte; Agent AliBaba = new Avatar; }

AliBaba::execute { ouvreToi(Sesame); }

AliBaba::execute { Sesame->ouvreToi(); }

void Porte::main(void) { if(view(anObject)) ouvreToi(); else fermeToi(); }

a. programmation procédurale

b. programmation par objets

c. programmation par agents

Figure 4.5 : Métaphore d’Ali Baba et paradigmes de programmation Ainsi, le choix d’un langage n’est pas neutre quant à la construction d’une application. La programmation par agents telle que nous la concevons favorise, par construction, l’autonomisation des entités qui composent nos univers virtuels. C’est pourquoi nous avons choisi de faire d’oRis un langage d’implémentation des systèmes multi-agents et un environnement de simulation multi-agents participative. oRis est stable et opérationnel5 et a déjà donné lieu à de nombreuses applications dont l’atelier de réalité virtuelle ARéVi [Duval 97, Reignier 98].

4.4.2 L’ENVIRONNEMENT DE DÉVELOPPEMENT ORIS

Il n’entre pas dans le cadre de ce chapitre de décrire précisemment cet environnement de développement (langage + simulateur) dont les détails pourront être trouvés dans [Harrouet 00, Harrouet 02] et dans l’annexe 4.6 en fin de chapitre. Aussi nous limiterons-nous ici à rappeler ses principales caractéristiques.

4.4.2.1

oRis : le langage

oRis est un langage générique d’implémentation des systèmes multi-agents, qui permet d’écrire des programmes à base d’objets et d’agents en interaction, situés dans un environnement spatio-temporel, et soumis aux actions en ligne de l’utilisateur. Les agents d’oRis sont caractérisés par des propriétés (les attributs), des savoir-faire (les méthodes), des connaissances déclaratives (les clauses Prolog), une boîte à messages, des activités (les flots d’exécution) et des objectifs. Les mécanismes associés sont bien entendu disponibles : la consultation et la modification d’attributs, les appels de méthodes, le moteur d’inférences, la consultation et l’envoi de messages, la désignation et le mode d’activation des flots d’exécution, ainsi que l’évaluation des objectifs. Par conséquent, dans une même application oRis, il est possible d’utiliser des entités de différentes natures : •

des objets et des objets actifs (selon la sémantique UML [Rumbaugh 99]) ;

•

des acteurs tel que le propose [Hewitt 73] : un acteur est une entité active qui joue un rôle en donnant la réplique conformément à un script ; son comportement s’exprime par des envois de messages ;

5 oRis peut être utilisé librement en le téléchargeant depuis la page d’accueil de Fabrice Harrouet [http2]). Une documentation, des exemples, des supports de cours et le mémoire de thèse [Harrouet 00] sont également disponibles depuis cette page.

102 •

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

des agents que l’on peut définir comme des entités autonomes (il n’y a pas de script a contrario du modèle d’acteur) et dont le comportement repose sur la perception de l’environnement et la réalisation d’actions, ces dernières étant, éventuellement, guidées par des buts (pro-activité).

Fondamentalement, l’implémentation de ces différents types d’entité repose sur la notion d’objet (instance d’une classe), la concurrence et l’autonomie étant fondées, à ce niveau, sur la notion d’objet actif (un objet ayant ses propres flots d’exécution). La proactivité des agents repose sur la notion de buts, de connaissances, de plans d’actions et sur un mécanisme d’inférence ; la programmation logico-déductive répond bien à ce besoin : avec oRis, ces éléments peuvent être implémentés en Prolog auquel il est interfacé.

4.4.2.2

oRis : le simulateur

oRis est également un environnement de simulation multi-agents participative qui permet le contrôle de l’ordonnancement des agents et la modélisation interactive grâce à la dynamicité du langage. Nous avons porté une attention particulière à la réalisation du simulateur afin de s’assurer que le procédé d’activation des entités autonomes n’induit pas de biais dans la simulation dont la plateforme d’exécution serait seule responsable. Dans ce cadre, la robustesse aux erreurs d’exécution s’est avérée un point particulièrement sensible, d’autant que le simulateur donne accès à l’ensemble du langage en ligne. Il existe en effet de nombreux moyens d’introduire du code oRis en cours d’exécution (composition d’une chaîne, fenêtre de saisie, lecture d’un fichier, lecture d’une trame réseau . . .), mais tous convergent vers un point d’entrée unique : la fonction parse(). Cette fonction transmet à l’interpréteur la chaîne passée en argument, ainsi l’intégralité du langage est disponible en ligne. En effet, le même procédé est utilisé pour le chargement initial et pour les interventions en ligne. Il est donc possible de réaliser des agents qui, disposant d’un mécanisme d’apprentissage, pourraient faire évoluer leur comportement de manière autonome. Pour que l’utilisateur soit plus qu’un simple spectateur de l’évolution du système multi-agents, il faut qu’il dispose d’un langage ayant des propriétés dynamiques afin que de nouvelles portions de code puissent être prises en compte à tout instant et dans des circonstances variées. Les interventions les plus simples consistent à déclencher de nouveaux traitements pour changer le déroulement naturel de l’évolution du système multi-agents. La construction incrémentale du système nécessite de pouvoir compléter l’application en cours de fonctionnement en y ajoutant de nouvelles notions et notamment de nouvelles classes. Les modifications peuvent aussi ne concerner que des instances isolées. Toutes ces modifications en ligne permettent à l’utilisateur de considérer les modèles qu’il utilise comme étant eux-mêmes des paramètres de l’application. Notre objectif consistant à permettre d’apporter des modifications en ligne est motivé par le fait que dans une réalité virtuelle, la vie doit continuer malgré tout. Par là, nous entendons que, quoi qu’il puisse se produire, et quoi qu’un utilisateur ait pu provoquer, le modèle doit continuer à s’exécuter même si des erreurs se produisent (la vie artificielle évolue malgré tout).

Autonomie des entités virtuelles

4.5

103

CONCLUSION

Le concept d’autonomie vient ainsi compléter le concept de présence au sein du noyau conceptuel de la réalité virtuelle. Cette autonomie s’appuie sur un principe selon lequel l’autonomisation des modèles numériques qui constituent les univers virtuels est indispensable à la réalité de ces univers. L’autonomisation des modèles conduit à les doter de moyens sensori-moteurs, de moyens de communication et de moyens de coordination perceptions-actions. Cette autonomie par conviction s’avère être une autonomie par essence pour les modèles d’organismes, une autonomie par nécessité pour les modèles de mécanismes, et une autonomie par ignorance pour les modèles de systèmes complexes caractérisés par une grande diversité de composants, de structures et d’interactions. L’utilisateur humain est représenté au sein de l’univers virtuel par un avatar, modèle parmi les modèles, dont il contrôle les coordinations perceptions-actions. Il est en relation avec son avatar par l’intermédiaire d’un langage et d’interfaces comportementales adaptées qui rendent possible la triple médiation des sens, de l’action et du langage. Ainsi, par une sorte d’empathie numérique, il acquiert un sentiment de présence au sein de l’univers virtuel dont le rendu multisensoriel est celui, réaliste, des images numériques de synthèse : 3D, sonores, tactiles, kinésthésiques, proprioceptives, animées en temps réel, et partagées sur les réseaux informatiques. Ainsi, selon la métaphore de Pinocchio, l’homme, plus autonome car libéré en partie du contrôle de ses modèles, participe pleinement à ces réalités virtuelles : de simple spectateur, il devient acteur et même créateur de ces mondes virtuels en évolution. Ce principe d’autonomie nous a conduit à modéliser les univers virtuels par des systèmes multi-agents dont les évolutions donnent lieu à des simulations auxquelles l’homme participe. Nous disposons aujourd’hui, avec les simulations multi-agents participatives de la réalité virtuelle, de véritables laboratoires virtuels dans lesquels nous peuvons mener un nouveau type d’expérimentation, à moindre coût et sans danger : l’expérimentation in virtuo. Cette expérimentation in virtuo vient compléter nos moyens d’investigation classiques que sont les expérimentations in vivo et in vitro, ou encore les calculs in silico. Les systèmes modélisés sont de plus en plus complexes, mais aujourd’hui encore, il n’existe pas de formalisme capable de rendre compte de cette complexité. Seule, la réalité virtuelle permet de vivre cette complexité. Il nous faudra donc approfondir les relations entre la réalité virtuelle et les théories de la complexité pour faire de la réalité virtuelle un outil d’investigation de la complexité, tel le macroscope que Joël de Rosnay imaginait dans les années 1970. Microscope, téléscope : ces mots évoquent les grandes percées scientifiques vers l’infiniment petit et vers l’infiniment grand. [...] Aujourd’hui, nous sommes confrontés à un autre infini : l’infiniment complexe. Mais cette fois plus d’instrument. Rien qu’un cerveau nu, une intelligence et une logique désarmés devant l’immense complexité de la vie et de la société. [...] Il nous faut donc un nouvel outil. [...] Cet outil, je l’appelle le macroscope (macro, grand ; et skopein, observer). Le macroscope n’est pas un outil comme les autres. C’est un instrument symbolique, fait d’un ensemble de méthodes et de techniques empruntées à des disciplines très différentes. Evidemment, il est inutile de le chercher dans les laboratoires ou les centres de recherche. Et pourtant nombreux sont ceux qui s’en servent aujourd’hui dans les domaines les plus variés. Car le macroscope peut être considéré comme le sym-

104

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines bole d’une nouvelle manière de voir, de comprendre et d’agir. De Rosnay J., Le macroscope : vers une vision globale, 1975

L’homme s’implique dans ces mondes virtuels par l’intermédiaire d’avatars. L’identité structurelle entre un agent et un avatar autorise, à tout moment, l’utilisateur à se substituer à un agent en prenant le contrôle de son module de décision. Et à l’inverse, il peut à tout moment rendre le contrôle à l’agent auquel il s’était substitué. La qualité de la substitution pourra être évaluée par un test d’autonomie in virtuo qui sera positif si un utilisateur interagissant avec une entité ne devine pas s’il s’agit d’un agent ou d’un autre utilisateur ; les agents, eux, devront réagir comme s’il s’agissait d’un autre agent. Ce principe de substitution vient compléter notre principe d’autonomie, et il faudra en évaluer les conséquences, tant épistémologiques qu’éthiques.

4.6 ANNEXE : LA PLATEFORME ORIS Cette annexe présente la plateforme de développement oRis (langage + simulateur) qui a été développée au Laboratoire d’Ingénierie Informatique (LI2, [http1]) de l’Ecole Nationale d’Ingénieurs de Brest (ENIB) pour des besoins de simulation multi-agents participative. Le langage oRis, qui est l’objet de la première section, apparaîtra comme un langage générique de programmation par objets actifs concurrents, dynamiquement interprété, avec une granularité au niveau des instances. Puis, nous porterons une attention particulière au simulateur associé, afin de montrer qu’il a été construit en s’assurant que le procédé d’activation des entités autonomes n’induit pas de biais dans la simulation dont la plateforme d’exécution serait seule responsable. Dans ce cadre, la robustesse aux erreurs d’exécution s’avérera un point particulièrement sensible, d’autant que le simulateur donne accès à l’ensemble du langage en ligne.

4.6.1 LE LANGAGE ORIS

4.6.1.1

Vue d’ensemble

oRis est un langage orienté objet, à typage fort et interprété. Il a d’ailleurs de nombreuses similitudes avec les langages C++ et Java, ce qui facilite son apprentissage. Tout comme ces langages généralistes, oRis permet d’aborder des thèmes applicatifs variés ; si l’on intègre des composants développés avec ces langages, l’architecture logique des applications reste homogène, ce qui facilite la réutilisabilité de composants tiers et l’extensibilité de la plate-forme oRis. La figure 4.6 propose, à titre d’illustration, un programme minimal, mais néanmoins complet, définissant une classe et lançant quelques traitements (blocs start). Nous pouvons remarquer que la classe décrit des objets actifs dont les comportements exécutent en parallèle d’autres traitements initiés dans d’autres contextes locaux. oRis gère un ramasse-miettes. Il est ainsi possible de choisir quelles instances sont sujettes à une destruction automatique (cette décision est cependant révocable dynamiquement), la destruction explicite d’une instance par l’opérateur delete étant toujours possible. En cons´quence, il existe un mécanisme permettant de savoir si une référence est toujours valide.

Autonomie des entités virtuelles class MyClass { string _txt; void new(string txt) { _txt=txt; } void delete(void) {} void main(void) { println("I say: ",_txt); } } start { println("---MyClass i=new MyClass j=new println("---}

105 // definir la classe MyClass // // // //

un attribut constructeur destructeur comportement

// initier un traitement // dans l’application block start ----"); MyClass("Hello"); MyClass("World"); block end ----");

start { for(int i=0;i Example.3 is an Example ! Example.2 is an Example ! Example.1 is an Example ! Example.2 is an Example ! 2 --> Example.3 is an Example !

Figure 4.10 : Modification d’une instance

entre la classe et l’instance se fait naturellement par l’usage de l’opérateur de résolution de portée (::). De telles modifications peuvent bien entendu avoir lieu à plusieurs reprises en cours d’exécution. Les fonctionnalités dynamiques exposées ici ne demandent aucune technique ou astuce de programmation particulière dans le sens où il n’y a aucune différence entre la forme du code que l’on rédige hors ligne et celle du code que l’on introduit en ligne dynamiquement. Les règles de réécriture sont les mêmes dans tous les cas. Cela permet notamment d’effectuer la mise au point d’un comportement sur une instance particulière afin de généraliser par la suite ce comportement à toute une classe en changeant simplement la portée du code introduit. La mise à disposition de constantes de type référence sur un objet permet de facilement agir sur une instance quelconque. En effet, si cette forme lexicale n’existait pas, il faudrait impérativement mémoriser une référence sur chaque instance afin de pouvoir s’y adresser au moment jugé opportun. En oRis, l’utilisateur n’a pas à se soucier de ce genre de détail ; si par un moyen quelconque (inspecteur graphique, pointage dans une fenêtre . . .) nous faisons apparaître le nom d’un objet, nous pouvons le réutiliser pour lui faire exécuter des traitements ou pour le modifier.

4.6.3 LA PLATEFORME ARÉVI

La plateforme ARéVi (Atelier de Réalité Virtuelle) est une boîte à outils pour créer des applications de réalité virtuelle distribuée. Les trois premières versions d’ARéVi étaient construites autour de la bibliothèque graphique Open Inventor et n’incluaient pas l’approche multi-agents. A partir de la version 4, oRis a été utilisé pour le développement d’ARéVi. Le noyau d’ARéVi n’est autre qu’oRis, et donc toutes les potentialités décrites précédemment sont disponibles ; il est étendu par du code C++ offrant des fonctionnalités propres à la réalité virtuelle [Duval 97, Reignier 98]. Cette

118

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

plateforme offre un rendu graphique complètement indépendant de celui qui est proposé par oRis. Les objets graphiques sont chargés directement à partir de fichiers au format VRML29 (il est possible de définir des animations et de gérer les niveaux de détails). Des éléments graphiques tels que des textures transparentes ou animées, des sources lumineuses, des lens flares (reflets du soleil sur une lentille) et des systèmes de particules (jets d’eau) sont disponibles. ARéVi introduit aussi des notions de cinématique (vitesses et accélérations linéaires et angulaires), ce qui enrichit les possibilités d’expression des comportements des agents dans un environnement tridimensionnel. Pour ce qui est du domaine sonore, ARéVi propose une sonorisation spatiale et des fonctionnalités de synthèse et de reconnaissance vocale. Cette plateforme gère des périphériques variés tels un gant de donnée, une manette de commande, un volant, des capteurs de localisation, un bras à retour d’effort et un casque de vision stéréoscopique, qui étendent les possibilités d’immersion des utilisateurs dans le système multi-agents. Il est important de noter que les multiples outils qu’ARéVi propose pour le rendu multi-sensoriel du monde virtuel sont des objets oRis tout à fait comme les autres. Ce sont des instances qui interviennent dans l’application et qui peuvent y jouer un rôle actif. Il est donc envisageable de les adapter au sujet traité, voire même de leur donner un comportement évolué répondant aux besoins spécifiques de l’application. Ainsi, quel que soit le sujet applicatif abordé, il est toujours possible d’envisager un moyen de personnaliser les outils de rendu afin de faciliter leur utilisation dans le contexte choisi. Nous pouvons par exemple adapter une fenêtre de rendu de telle sorte qu’elle dégrade automatiquement la qualité de son affichage lorsque la fréquence de rafraîchissement des images devient trop faible. Nous pouvons également associer une zone géographique à une scène et donner à cette dernière un comportement tendant à intégrer les entités entrant dans cette zone et à ne plus soumettre à l’affichage celles qui la quittent. Concernant la répartition des entités graphiques sur différentes machines, les fonctionnalités en matière de commmunication par réseau fournies par oRis ont été utilisées pour mettre en place une communication entre entités distantes et un mécanisme de dead-reckoning [Rodin 00]. Il s’agit, lorsqu’une entité est créée sur une machine, d’en créer des copies ayant un comportement cinématique dégradé sur les autres machines, et de mettre à jour leurs caractéristiques géométriques et cinématiques lorsqu’une divergence trop importante est estimée entre la situation réelle et le situation des copies. oRis est la plateforme sur laquelle les travaux de recherche du Laboratoire d’Informatique Industrielle (LI2) sont menés, ce qui se traduit par le développement de nombreux paquetages de classes. Parmi ceux-ci, citons des paquetages permettant la coordination d’actions selon le Contract Net Protocol, la distribution des agents [Rodin 99], la communication entre agents en utilisant KQML [Nédélec 00], l’utilisation des cartes cognitives floues [Maffre 01, Parenthoën 01], la déclaration de plans d’actions collectifs en utilisant une extension exécutable de la logique temporelle de Allen [De Loor 00], la définition de comportements d’agents sous forme de tendances [Favier 01]. Il a aussi servi en traitement d’images [Ballet 97b], en simulation médicale [Ballet 98b] et en simulation de systèmes manufacturier [Chevaillier 99b].A ce jour, ARéVi a été utilisé dans le cadre du prototypage interactif d’une cellule d’emboutissage [Chevaillier 00] et du développement d’une plateforme de formation pour la sécurité civile [Querrec 01a] (figure 4.11 [Querrec 01b]).

9 VRML

: Virtual Reality Modeling Language [http5]

Autonomie des entités virtuelles

119

Figure 4.11 : Une application ARéVi : plateforme de formation pour la sécurité civile

4.7

RÉFÉRENCES BIBLIOGRAPHIQUES

[Arnaldi 94] [Avouris 92] [Ballet 97b] [Ballet 98b] [Bannon 91]

[Barto 81] [Beer 90] [Benford 95]

[Biocca 01] [Bowman 02]

[Brooks 86] [Brooks 91]

Arnaldi B., Modèles physiques pour l’animation, Document d’habilitation à diriger des recherches, Université de Rennes 1 (France), 1994 Avouris N.M., Gasser L. (éditeurs), Distributed Artificial Intelligence : theory and praxis, Kluwer, Dordrecht, 1992 Ballet P., Rodin V., Tisseau J., A multiagent system to detect concentric strias, Proceedings SPIE’97 3164 :659-666, 1997 Ballet P., Rodin V., Tisseau J., Intérêts mutuels des systèmes multiagents et de l’immunologie, Proceedings CID’98 :141-153, 1998 Bannon L.J., From human factors to human actors : the role of psychology and human-computer interaction studies in system-design, dans [Greenbaum 91] :25-44, 1991 Barto A.G., Sutton R.S., Landmark learning : an illustration of associative search, Biological Cybernetics 42 :1-8, 1981 Beer R.D., Intelligence as adaptive behavior : an experiment in computational neuroethology, Academic Press, San Diego, 1990 Benford S., Bowers J., Fahlen L.E., Greehalgh C., Mariani J., Rodden T., Networked virtual reality and cooperative work, Presence 4(4) :364386, 1995 Biocca F., Inserting the presence of mind into a philosophy of presence, Presence 10(5) :546-556, 2001 Bowman D., Gabbard J., Hix D. A survey of usability evaluation in virtual environments : classification and comparaison of methods, Presence 11(4) :404-424, 2002 Brooks R.A., A robust layered control system for a mobile robot, IEEE Journal of Robotics and Automation 2(1) :14-23, 1986 Brooks R.A., Intelligence without representation, Artificial Intelligence 47 :139-159, 1991

120

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[Bryson 96] [Burdea 93] [Cadoz 94]

[Capin 97]

[Capin 99] [Carlsson 93] [Chevaillier 99b]

[Chevaillier 00]

[Ciancarini 01] [Cliff 93] [Del Bimbo 95]

[De Loor 00] [Demazeau 95]

[Donikian 94]

[Drogoul 93]

[Duval 97]

[Favier 01]

[Ferber 90] [Ferber 95] [Ferber 97]

Bryson S., Virtual reality in scientific visualization, Communications of the ACM 39(5) :62-71, 1996 Burdea G., Coiffet P., La réalité virtuelle, Hermès, Paris, 1993 Cadoz C., Le geste, canal de communication homme/machine : la communication instrumentale, Technique et Science Informatiques 13(1) :31-61, 1994 Capin T.K., Pandzic I.S., Noser H., Magnenat-Thalmann N., Thalmann D., Virtual human representation and communication in VLNET networked virtual environments, IEEE Computer Graphics and Applications 17(2) :42-53, 1997 Capin T.K., Pandzic I.S., Magnenat-Thalmann N., Thalmann D., Avatars in networked virtual environments, John Wiley, New York, 1999 Carlsson C., Hagsand O., DIVE – A platform for multi-user virtual environments, Computers and Graphics 17(6) :663-669, 1993 Chevaillier P., Harrouet F., Reignier P., Tisseau J., oRis : un environnement pour la simulation multi-agents des systèmes manufacturiers de production, Proceedings MOSIN’99 :225-230, 1999 Chevaillier P., Harrouet F., Reignier P., Tisseau J., Virtual reality and multi-agent systems for manufacturing system interactive prototyping, International Journal of Design and Innovation Research 2(1) :90-101, 2000 Ciancarini P., Wooldridge M. (editors), Agent-Oriented Software Engineering, Springer-Verlag, Lecture Notes in AI, Volume 1957, 2001 Cliff D., Harvey I., Husbands P., Explorations in evolutionary robotics, Adaptive Behavior 2(1) :73-110, 1993 Del Bimbo A., Vicario E., Specification by example of virtual agents behavior, IEEE Transactions on Visualization and Computer Graphics 1(4) :350-360, 1995 De Loor P., Chevaillier P., Generation of agent interactions from temporal logic specifications, Proceedings IMACS’00 :, 2000 Demazeau Y., From interactions to collective behaviour in agentbased systems, Proceedings European Conference on Cognitive Science’95 :117-132, 1995 Donikian S., Les modèles comportementaux pour la génération du mouvement d’objets dans une scène, Revue internationale de CFAO et d’infographie 9(6) :847-871, 1994 Drogoul A., De la simulation multi-agents à la résolution collective de problèmes. Une étude de l’émergence de structures d’organisation dans les systèmes multi-agents, Thèse de Doctorat, Université Paris 6 (France), 1993 Duval T., Morvan S., Reignier P., Harrouet F., Tisseau J., ARéVi : une boîte à outils 3D pour des applications coopératives, Revue Calculateurs Parallèles 9(2) :239-250, 1997 Favier P.A., De Loor P., Tisseau J., Programming agent with purposes : application to autonomous shooting in virtual environments, Lecture Notes in Computer Science 2197 :40-43, 2001 Ferber J., Conception et programmation par objets, Hermès, Paris, 1990 Ferber J., Les systèmes multi-agents : vers une intelligence collective, InterEditions, Paris, 1995 Ferber J., Les systèmes multi-agents : un aperçu général, Technique et Science Informatique 16(8) :979-1012, 1997

Autonomie des entités virtuelles [Fikes 71]

[Flach 98] [Fuchs 96] [Fuchs 01] [Gasser 92] [Gaussier 98]

[Georgeff 87] [Grand 98]

[Greenbaum 91] [Guillot 00] [Harrouet 00]

[Harrouet 02]

[Heeter 92] [Herrmann 98]

[Hewitt 73] [Hewitt 77] [Johnsen 71] [Kallmann 99]

[Kodjabachian 98]

[Langton 86] [Le Moigne 77]

121

Fikes R.E., Nilsson N., STRIPS : a new approach to the application of theorem proving to problem solving, Artificial Intelligence 5(2) :189208, 1971 Flach J.M., Holden J.G., The reality of experience : Gibson’s way, Presence 7(1) :90-95, 1998 Fuchs P., Les interfaces de la réalité virtuelle, Les presses de l’Ecole des Mines, Paris, 1996 Fuchs P., Moreau G., Papin J.P., Le traité de la réalité virtuelle, Les presses de l’Ecole des Mines, Paris, 2001 Gasser L., Briot J.P., Object-based concurrent programming and distributed artificial intelligence, dans [Avouris 92] :81-107, 1992 Gaussier P., Moga S., Quoy M., Banquet J.P., From perception-action loops to imitation process : a bottom-up approach of learning by imitation, Applied Artificial Intelligence 12 :701-727, 1998 Georgeff M.P., Lansky A.L., Reactive reasonning and planning, Proceedings AAAI’87 : 677-682, 1987 Grand S., Cli D., Creatures : entertainment software agents with articial life, Autonomous Agents and Multi-Agent Systems 1(1) :39-57, 1998 Greenbaum J., Kyng M. (éditeurs), Design at work : cooperative design of computer systems, Lawrence Erlbaum Associates, Hillsdale, 1991 Guillot A., Meyer J.A., From SAB94 to SAB2000 : What’s New, Animat ?, Proceedings From Animals to Animats’00 6 :1-10, 2000 Harrouet F., oRis : s’immerger par le langage pour le prototypage d’univers virtuels à base d’entités autonomes, Thèse de Doctorat, Université de Bretagne Occidentale, Brest (France), 2000 Harrouet F., Tisseau J., Reignier P., Chevaillier P., oRis : un environnement de simulation interactive multi-agents, Technique et Science Informatique 21(4) :499-524, 2002 Heeter C., Being there : the subjective experience of presence, Presence 1(2) :262-271, 1992 Herrmann H.J., Luding S., Review article : Modeling granular media on the computer, Continuum Mechanics and Thermodynamics 10(4) :189-231, 1998 Hewitt C., Bishop P., and Steiger R., A universal modular actor formalism for artificial intelligence, Proceedings IJCAI’73 :235-245, 1973 Hewitt C., Viewing control structures as patterns of message passing, Artificial Intelligence 8(3) :323-364, 1977 Johnsen E.G., Corliss W.R., Human factors applications in teleoperator design and operation, Wiley, New York, 1971 Kallmann M., Thalmann D., A behavioral interface to simulate agent-object interactions in real time, Proceedings Computer Animation’99 :138-146, 1999 Kodjabachian J.,Meyer J.A., Evolution and development of neural controllers for locomotion, gradient-following, and obstacle-avoidance in artificial insects, IEEE Transactions on Neural Networks 9 :796-812, 1998 Langton C.G., Studying artificial life with cellular automata, Physica D22 :120-149, 1986 Le Moigne J-L., La théorie du système général : théorie de la modélisation, Presses Universitaires de France, Paris, 1977

122

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[Le Moigne 01] [Luciani 00]

[Maffre 01] [Mantovani 99]

[Meyer 91]

[Meyer 94] [Minsky 80] [Morin 77] [Morineau 00]

[Nédélec 00]

[Noser 95] [Parenthoën 01]

[Quéau 93] [Querrec 01a]

[Querrec 01b]

[Reeves 83] [Regenbrecht 02] [Reignier 98]

[Renault 90]

[Reynolds 87] [Rodin 99]

Le Moigne J-L., Le constructivisme : les enracinements, L’Harmattan, Paris (France), 2001 Luciani A., From granular avalanches to fluid turbulences through oozing pastes : a mesoscopic physically-based particle model, Proceedings Graphicon’00 10 :282-289, 2000 Maffre E., Tisseau J., Parenthoën M., Virtual agents’ self-perception in storytelling, Lecture Notes in Computer Science 2197 :155-158, 2001 Mantovani G., Riva G., "Real" presence : how different ontologies generate different criteria for presence, telepresence, and virtual presence, Presence 8(5) :540-550, 1999 Meyer J.A., Guillot A., Simulation of adaptive behavior in animats : review and prospect, Proceedings From Animals to Animats’91 1 :214, 1991 Meyer J.A., Guillot A., From SAB90 to SAB94 : four years of animat research, Proceedings From Animals to Animats’94 3 :2-11, 1994 Minsky M., Telepresence, Omni 6 :45-51, 1980 Morin E., La méthode, Tome 1 : la nature de la nature, Editions du Seuil, Paris, 1977 Morineau T., Context effect on problem solving during a first immersion in a Virtual Environment, Current Psychology of Cognition, 19 :533555, 2000 Nédélec A., Reignier P., Rodin V., Collaborative prototyping in distributed virtual reality using an agent communication language, Proceedings IEEE SMC’00 2 :1007-1012, 2000 Noser H., Thalmann D., Synthetic vision and audition for digital actors, Proceedings Eurographics’95 :325-336, 1995. Parenthoën M., Tisseau J., Reignier P., Dory F., Agent’s perception and Charactors in virtual worlds : put Fuzzy Cognitive Maps to work, Proceedings VRIC’01 :11-18, 2001 Quéau Ph., Televirtuality : the merging of telecommunications and virtual reality, Computers and Graphics 17(6) :691-693, 1993 Querrec R., Reignier P., Chevaillier P., Humans and autonomous agents interactions in a virtual environment for fire fighting training, Proceedings VRIC’01 :57-64, 2001 Querrec R., Chevaillier P., Virtual storytelling for training : an application to fire fighting in industrial environment, Lecture Notes in Computer Science 2197 :201-204, 2001 Reeves W.T., Particle systems : a technic for modelling a class of fuzzy objects, Computer Graphics 17(3) :359-376, 1983 Regenbrecht H., Schubert T., Real and illusory interactions enhance presence in virtual environments, Presence 11(4) :425-434, 2002 Reignier P., Harrouet F., Morvan S., Tisseau J., Duval T., ARéVi : a virtual reality multiagent platform, Lecture Notes in Artificial Intelligence 1434 :229-240, 1998 Renault O., Magnenat-Thalmann N., Thalmann D., A vision-based approach to behavioural animation, Journal of Visualization and Computer Animation 1(1) :18-21, 1990 Reynolds C.W., Flocks, Herds, and Schools : A Distributed Behavioral Model, Computer Graphics 21(4) :25-34, 1987 Rodin V., Nédélec A., oRis : an agent communication language for distributed virtual environment, Proceedings IEEE ROMAN’99 :41-46, 1999

Autonomie des entités virtuelles [Rodin 00] [Rumbaugh 99] [Schloerb 95] [Schuemie 01]

[Schuler 93] [Sheridan 87]

[Sheridan 99] [Simon 81] [Sims 94] [Singh 94] [Slater 94] [Sutherland 63] [Tachi 89] [Terzopoulos 94]

[Thalmann 96] [Thalmann 99]

[Tisseau 98]

[Tisseau 01b] [Tisseau 02]

[Turing 50] [Vertut 85] [Vidal 84] [Wilson 85]

123

Rodin V., Nédélec A., A multiagent architecture for distributed virtual environments, Proceedings IEEE SMC’00 2 :955-960, 2000 Rumbaugh J., Jacobson I., Booch G., The Unified Modelling language Reference Manual, Addison-Wesley, New-York, 1999 Schloerb D.W., A quantitative measure of telepresence, Presence 4(1) :64-80, 1995 Schuemie M., Van der Straaten P., Krijn M., Van der Mast C., Research on Presence in VR : a Survey, Cyberpsychology and Behavior 4(2) :183-202, 2001 Schuler D., Namioka A. (éditeurs), Participatory Design : Principles and Practices, Lawrence Erlbaum Associates, Hillsdale, 1993 Sheridan T.B., Teleoperation, telepresence, and telerobotics : research needs, Proceedings Human Factors in Automated and Robotic Space Systems’87 :279-291, 1987 Sheridan T., Descartes, Heidegger, Gibson, and God : toward an eclectic ontology of presence, Presence 8(5) :551-559, 1999 Simon H. The sciences of the artificial, MIT Press, Cambridge, Massachusetts (USA), 1981 Sims K., Evolving 3D morphology and behavior by competition, Artificial Life 4 :28-39, 1994 Singh G., Serra L., Ping W., Hern N., BrickNet : a software toolkit for network-based virtual worlds, Presence 3(1) :19-34, 1994 Slater M., Usoh M., Steed A., Depth of presence in virtual environments, Presence 3(2) :130-144, 1994 Sutherland I.E., Sketchpad, a man-machine graphical communication system, Proceedings AFIPS’63 :329-346, 1963 Tachi S., Arai H., Maeda T., Robotic tele-existence, Proceedings NASA Space Telerobotics’89 3 :171-180, 1989 Terzopoulos D., Tu X., Grzeszczuk R., Artificial fishes : autonomous locomotion, perception, behavior, and learning in a simulated physical world, Artificial Life 1(4) :327-351, 1994 Thalmann D., A new generation of synthetic actors : the interactive perceptive actors, Proceedings Pacific Graphics’96 :200-219, 1996 Thalmann D., Noser H., Towards autonomous, perceptive and intelligent virtual actors, Lecture Notes in Artificial Intelligence 1600 :457472, 1999 Tisseau J., Reignier P., Harrouet F., Exploitation de modèles et Réalité Virtuelle, Actes des 6èmes journées du groupe de travail Animation et Simulation 6 :13-22, 1998 Tisseau J., Réalité virtuelle : autonomie in virtuo, Habilitation à Diriger des Recherches, Université de Rennes I (France), 6 décembre, 2001 Tisseau J., Nédélec A., Réalité virtuelle : un contexte historique interdisciplinaire, Actes AFIG’01 :81-92, Limoges (France), 28-30 novembre, 2001 Turing A., Computing machinery and intelligence, Mind 59 :433-460, 1950 Vertut J., Coiffet P., Les robots, Tome 3 : téléopération, Hermès, Paris, 1985 Vidal F., L’instant créatif, Flammarion, Paris, 1984 Wilson S.W., Knowledge growth in an artificial animal, Proceedings Genetic Algorithms and their Applications’85 :16-23, 1985

124

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[Witmer 98] [Wooldridge 95] [Wooldridge 01]

[Zahorik 98] [Zelter 92]

[http1] [http2] [http3] [http4] [http5]

Witmer B.G., Singer M.J., Measuring presence in virtual environments : a presence questionnaire, Presence 7(3) :225-240, 1998 Wooldridge M., Jennings N.R., Intelligent agents : theory and practice, The Knowledge Engineering Review 10(2) :115-152, 1995 Wooldridge M., Ciancarini P., Agent-oriented software engineering : the state of the art, à paraître dans Handbook of Software Engineering and Knowledge Engineering, ISBN :981-02-4514-9, World Scientific Publishing Co., River Edge, 2001 Zahorik P., Jenison R.L., Presence as being-in-the-world, Presence 7(1) :78-89, 1998 Zelter D., Autonomy, interaction and presence, Presence 1(1) :127-132, 1992

www.enib.fr/li2 www.enib.fr/~harrouet mitpress.mit.edu www.adaptive-behavior.org/conf www.vrml.org

5

OPENMASK : UNE PLATE-FORME LOGICIELLE OPEN SOURCE POUR LA RÉALITÉ VIRTUELLE

Bruno Arnaldi, Alain Chauffaut, Thierry Duval, Stéphane Donikian

5.1

INTRODUCTION

Les applications des technologies de la réalité virtuelle sont nombreuses et prometteuses. Néanmoins, leur usage reste à ce jour encore relativement limité. Plusieurs raisons expliquent cet état de fait : •

la complexité d’intégration dans un même logiciel de tous les composants logiciels et matériels nécessaires. En effet, pour une application donnée, le savoir faire, et donc le code, provenant de différentes spécialités doit être assemblé sans nuire à la performance globale ;

•

une application de réalité virtuelle doit nécessairement intégrer un ensemble de dispositifs d’interaction servis sur le plan logiciel par la mise en œuvre de métaphores d’interaction (les ALC1 ). Une difficulté essentielle dans la conception de ces applications réside dans le fait qu’il est notoirement difficile de spécifier a priori la nature des dispositifs et des ALC pour une application donnée. Cette difficulté provient du fait que l’homme est dans la boucle et qu’il peut, en tant qu’utilisateur de l’application, accepter ou non le type d’interaction qui lui est proposé. Il en résulte un procédé coûteux de réalisation fondé sur l’essai/erreur ;

•

enfin, le ticket d’entrée, concernant le coût d’équipement, même si une démocratisation est actuellement engagée, reste très élevé, provoquant une limitation naturelle au déploiement de ces technologies.

Sur le plan qualitatif, les utilisateurs des technologies de réalité virtuelle demandent toujours plus de réalisme et d’interactivité parce que les deux promesses de la réalité virtuelle sont celles d’une grande richesse de retour sensoriel et d’outils d’interaction puissants. Cependant, afin d’être utiles, ce retour sensoriel et cette interaction doivent être calculés dans un intervalle de temps contraint, ce qui n’est pas toujours compatible avec le temps de calcul des simulations sous-jacentes. En effet, la réalité virtuelle est souvent utilisée pour interagir avec des simulations qui sont elles-mêmes coûteuses en temps de calcul, ce qui conduit à l’utilisation du parallélisme ou de la distribution pour réduire celui-ci. Ce facteur doit être pris en compte dès la conception d’un environnement pour la programmation et l’exécution d’applications de réalité virtuelle. Enfin, la tendance actuelle, lors de la recherche de puissance de calcul pour des applications de simulation de systèmes complexes, est de développer des solutions fondées sur des cluster de PC. La démocratisation des technologies de la réalité virtuelle passe, dans le futur, par la mise à disposition d’outils sur étagère permettant une intégration et une expérimentation rapide et efficace des composants logiciels et matériels nécessaires à leur mise en œuvre. La plate-forme OpenMASK, issue d’un développement interne sous le nom 1 Aides

Logicielles Comportementales

126

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

GASP, se propose d’être un pas dans cette direction. Littéralement, l’acronyme OpenMASK signifie Open {Multi-threaded | Modular} Animation and Simulation {Kernel | Kit}, ce qui présente la dualité de cette plate-forme concernant sa capacité à permettre un développement modulaire dans un contexte multi-activités. Ce chapitre va donc décrire dans un premier temps les concepts et grandes fonctionnalités de l’environnement OpenMASK. Ensuite, nous présentons les composants fondamentaux et les développements thématiques réalisés grâce à OpenMASK dans le projet Siames 2 . 5.2 PRÉSENTATION GÉNÉRALE D’OPENMASK Les développements autour d’O PEN MASK résultent, d’une part, de la volonté au niveau du projet de recherche Siames de l’IRISA de disposer d’un environnement de démonstration unique, permettant de fédérer l’ensemble des travaux de recherche de l’équipe et, d’autre part, de disposer d’un cadre de développement modulaire, performant et extensible. L’enjeu majeur de cet objectif est d’offrir la capacité de factoriser les développements et de permettre la réutilisation de composants qui une fois spécifiés et réalisés, peuvent être exploités sans connaître le détail de leur mise en œuvre. Récemment, la volonté de placer cet environnement logiciel en Open Source 3 a été motivée par la conviction qu’un tel outil est adapté à une communauté de chercheurs et industriels qui, soit sous la forme d’utilisateurs, soit sous la forme de contributeurs, veulent participer à l’émergence de cette nouvelle forme de développement. Le modèle Open Source est de plus en plus utilisé aujourd’hui bien qu’il ne soit pas exclusif. En effet, rien n’oblige les utilisateurs/contributeurs d’OpenMASK à adhérer à ce modèle. Sur le fond, l’approche conceptuelle de développement retenue dans OpenMASK consiste : •

•

•

•

•

à proposer un cadre modulaire de développement logiciel fondé sur la notion de composant permettant d’atteindre les objectifs d’extensibilité et de composition ; à autoriser, par encapsulation, l’intégration de composants logiciels extérieurs (par exemple des modules en Open Source pour la détection de collision ou le calcul dynamique de composants mécaniques) ; à proposer un framework de développement constitué d’un environnement d’exécution (run time) et d’un environnement de développement ; à proposer un cadre permettant d’atteindre la performance quel que soit le contexte (multi-machine, multi-processeur, multi-OS, cluster de PC), sans créer de dépendance sur le développement des modules ; à proposer une solution logicielle qui doit fonctionner sur des gammes de platesformes matérielles différentes s’adaptant du PC portable à la visualisation immersive sur grand écran cylindrique ou plan de travail virtuel.

Pour atteindre cet objectif, OpenMASK repose sur quatre concepts clés, les trois premiers étant relatifs à l’exécution tandis que le dernier est relatif au développement (figure 5.1) : 2 Projet de recherche de l’IRISA (UMR 6074, unité mixte de recherche INRIA, CNRS, Université de Rennes I et INSA de Rennes), à l’origine d’OpenMASK. 3 http ://www.openmask.org

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

127

Figure 5.1 : Schéma conceptuel d’OpenMASK.

le noyau : comme son nom l’indique, il représente le cœur du système. Il met en œuvre l’ensemble des services de base nécessaires à l’exécution coordonnée d’un ensemble de modules (voir section 5.2.1) et ceci, quel que soit l’environnement d’exécution ; l’objet de simulation : dans OpenMASK, l’unité de modularité est appelée objet de simulation. Il peut servir à décrire aussi bien le comportement et le contrôle du mouvement d’une entité ou d’un objet virtuel qu’un périphérique d’interaction. Cet objet de simulation dispose d’entrées, de sorties et de paramètres de contrôle et est activé régulièrement par le noyau (voir section 5.2.2) ; l’application : avec OpenMASK, concevoir un environnement virtuel revient à choisir (ou programmer) les objets de simulation et à les paramétrer pour les adapter au contexte. De plus, les objets de simulation sont organisés sous la forme d’un arbre de simulation représentant la hiérarchie fonctionnelle de cette application (voir section 5.2.3) ; le framework de développement : il est mis en œuvre sous la forme de classes abstraites permettant un développement rapide et sûr de nouveaux objets de simulation. 5.2.1 LE NOYAU

Afin de rendre indépendant le développement des objets de simulation de l’environnement d’exécution (système d’exploitation, système distribué, machine parallèle), ce noyau peut être vu comme une machine virtuelle d’exécution. En d’autres termes, visà-vis de l’application de réalité virtuelle, il joue le rôle de middleware et se charge

128

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

de transposer les relations qu’un objet de simulation a avec le système d’exploitation ou avec un autre objet de simulation selon l’environnement d’exécution. Une autre manière d’appréhender le noyau d’OpenMASK est de le considérer comme le gestionnaire d’un bus logique sur lequel les objets de simulation viennent se connecter. Ces branchements permettent à la fois l’échange d’information (communication inter module), la synchronisation temporelle des modules et le contrôle, au sens paramétrage, des modules (figure 5.2). La programmation d’un module est réalisée grâce à une API C++ ouverte pour le développement d’objets de simulation et pour l’adaptation des noyaux d’exécution.

Figure 5.2 : OpenMASK : bus logique ou machine virtuelle. Vus d’un objet de simulation, les services offerts par les noyaux représentent les services du bus logique (middleware) ou de la machine virtuelle. Ces services concernent essentiellement : l’accueil des objets de simulation : ce point concerne la création (au démarrage ou dynamiquement) et la destruction des objets de simulation ; le nommage : ce service gère l’accès aux objets de simulation et aux données relatives à ces modules (entrées, sorties et paramètres de contrôle). Il s’occupe, entre autre, du nommage des objets, des attributs et des classes, de la recherche en fonction du nom, en utilisant les relations de filiation de l’arbre de simulation ; l’activation des objets de simulation : chaque objet de simulation doit être activé, au sens de l’exécution, de manière régulière (chaque objet peut avoir sa propre fréquence) et/ou occasionnelle (sur réception d’événements) ; la communication entre les objets de simulation : un fondement du noyau d’OpenMASK concerne sa capacité à permettre l’échange de données et plus généralement d’informations de synchronisation entre les objets de simulation. Selon la nature de ces objets de simulation, plusieurs mécanismes d’échange ont été mis en œuvre : • par chemin de données entre les objets de simulation ; • par diffusion de signaux dans l’environnement ; • par envoi d’événements ; De plus, les échanges de données peuvent être effectués en utilisant les types par défaut ou ceux dédiés à l’application. Enfin, OpenMASK offre un mécanisme

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

129

automatique de gestion de l’adaptation fréquentielle à l’aide d’interpolateurs et d’extrapolateurs. la gestion du temps : vis-à-vis des objets de simulation, le noyau joue le rôle de gestionnaire de temps. De plus, concernant les données produites par les objets de simulation, le noyau s’occupe de la datation automatique de ces données. L’exécution du noyau virtuel est réalisée par un noyau réel. Plus précisément, plutôt que de parler du noyau réel d’OpenMASK, il serait plus logique d’évoquer les noyaux réels d’OpenMASK. En effet, il existe un noyau réel par type de configuration utilisé : par système d’exploitation : actuellement le noyau d’OpenMASK est porté sur plusieurs systèmes d’exploitation (Irix, Linux, Windows, Mac OS X). Sur le plan de la maintenance de ces différentes versions, il faut noter que ces différents exécutables sont créés à partir d’un code source unique. Lors de la réalisation, un effort important de normalisation et de portabilité nous a permis d’atteindre cet objectif ; distribution des calculs : le fonctionnement multi-processus multi-machines d’OpenMASK repose actuellement sur PVM4 . Cette solution autorise l’hétérogénéité des calculateurs et des systèmes d’exploitation lors de cette distribution. Une caractéristique fondamentale d’OpenMASK réside dans la transparence de la distribution, du point de vue du concepteur des objets de simulation. En effet, pour ce concepteur, sur le plan du développement logiciel, OpenMASK est vu comme une machine virtuelle unique. Un objet de simulation développé, sur cette machine virtuelle, fonctionnera de la même manière sur une machine unique ou sous une forme distribuée. Néanmoins, l’application distribuée est contrôlée par l’utilisateur qui associe, dans un fichier de configuration, un module de simulation à un nœud du réseau. De manière transparente pour cet utilisateur, le noyau d’OpenMASK va mettre en œuvre un mécanisme de référentiel (objet de simulation original) et de miroir (copie, sans le code de calcul, dont les données vont être synchronisées avec l’original) pour permettre la communication de cet objet de simulation avec les autres, indépendamment de l’endroit physique (nœud du réseau) où il s’exécute. 5.2.2 L’OBJET DE SIMULATION

L’objet de simulation est l’unité modulaire de développement d’OpenMASK (figure 5.3). C’est au sein de l’objet de simulation que tout le code décrivant l’évolution de l’objet et son interaction avec les autres objets est localisé. Une question se pose lors de la conception d’une application de réalité virtuelle : quelle doit être la granularité de l’objet de simulation ? Dans la pratique, ce choix est à la charge du concepteur/programmeur. En effet, OpenMASK n’impose aucune règle quant au niveau de détail ou de complexité d’un objet de simulation. L’expérience des utilisations actuelles d’OpenMASK montre que la granularité d’un objet de simulation varie d’une application à l’autre et peut représenter un humanoïde virtuel complet avec ses comportements ou une sphère inerte et ce, dans la même application. Pour comprendre la nature précise de l’objet de simulation, il est nécessaire d’examiner, d’une part la manière dont cet objet communique avec l’extérieur (le noyau d’Open4 Parallel

Virtual Machine

130

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 5.3 : L’objet de simulation.

MASK ou un autre objet de simulation) et, d’autre part, la manière dont cet objet est activé (i.e. exécuté). De ces deux éléments déterminants nous déduirons une interface générique pour l’objet de simulation.

5.2.2.1

La communication

Le rôle d’un objet de simulation est de fournir le résultat d’un calcul en fonction de données qui lui seront transmises par d’autres objets de simulation. Il va donc devoir communiquer avec son environnement composé d’autres modules de simulation. Deux modes de communication ont été élaborés : un mode flot de données : certains objets de simulation sont par nature des producteurs de données. Dans certains cas, ces données sont produites avec régularité (simulateur mécanique, dispositif physique d’interaction fonctionnant par requête d’échantillonnage temporel...). De manière duale, certains objets de simulation sont des consommateurs de données qui nécessitent d’être alimentés de manière régulière (visualisation, module logiciel de traitement d’un capteur synchrone...). Dans ce cas, un lien de communication flot de données doit être établi entre ces objets de simulation ; un mode événementiel : d’autres objets de simulation sont sensibles à des données ou événements produits de manière asynchrone (exceptions, signaux de configuration...) par le noyau ou d’autres objets de simulation. Un second mécanisme, fondé sur des événements valués ou non, a donc été introduit dans OpenMASK.

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

131

Un signal est une information émise par un objet (ou par le noyau pour les signaux systèmes) dans l’environnement. Les signaux sont différenciés entre eux par des identifiants (la signature du signal) et il est possible de leur associer une valeur ou un message. Les objets voulant être informés de l’émission d’un signal donné doivent s’enregistrer pour recevoir le signal. Si l’objet ne s’intéresse qu’aux signaux émis par un objet particulier, l’enregistrement a lieu auprès de cet objet, sinon il faut s’enregistrer auprès du contrôleur de la simulation. Lorsqu’un signal est émis par un objet, celui-ci est transformé en événement envoyé à tous ceux qui ont manifesté de l’intérêt pour un signal de cette nature. Ainsi, en utilisant des signaux et des entrées sensibles signalantes, il est possible d’utiliser un mode de programmation réactif pour faire communiquer les objets d’OpenMASK. Pour cadrer avec la philosophie d’OpenMASK, ces deux mécanismes sont les seuls autorisés concernant les relations qu’un objet de simulation entretient avec d’autres objets de simulation. En particulier, ceci implique que l’appel de méthodes entre objets de simulation est à proscrire. La raison de ce choix est que l’exécution multi-activité introduit des problèmes d’intégrité des données. Un noyau tel que celui d’OpenMASK peut gérer ces problèmes en protégeant les données de façon à éviter au programmeur d’objet de simulation de devoir comprendre le paradigme d’exécution multi-activité utilisé. En particulier, l’abstraction offerte sous la forme d’un noyau virtuel décharge le concepteur de la gestion manuelle de cette multi-activité. Le prix à payer, pour bénéficier de la transparence (automatisation par le mécanisme référentiel/miroir) dans la distribution, est de respecter cette règle de conception et de développement. Ce choix constitue le compromis de conception fondamental d’OpenMASK. De ce choix dépend les bonnes propriétés pour le calcul parallèle d’une simulation, mais aussi les quelques contraintes de programmation. D’un point de vue théorique, ce compromis s’exprime de la façon suivante : un objet ne peut avoir son exécution interrompue par l’attente du résultat d’une requête faite auprès d’un autre objet. De plus, il ne peut y avoir deux flots d’exécution actifs simultanément au sein d’un même objet sans être programmés explicitement.

5.2.2.2

L’activation d’un objet de simulation

Le calcul de l’évolution de chaque objet de simulation peut être déclenché de deux manières différentes : •

la première concerne une activation régulière de l’objet de simulation selon une fréquence donnée. Ce type d’activation est typiquement utilisé pour la synchronisation avec le visuel ou pour l’activation de modules de calcul de résolution mécanique d’objets.

•

la deuxième technique d’activation est réalisée sous forme d’activation événementielle. Son usage caractéristique concerne le traitement de dépendances asynchrones entre objets de simulation.

Plus généralement, la politique d’activation des modules de simulation respecte le diagramme des états de la figure 5.4.

132

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 5.4 : Diagramme des états possibles d’un objet de simulation

Concernant la politique d’ordonnancement d’OpenMASK, l’unité minimale d’ordonnancement est le pas de simulation. Toute tâche ordonnancée est exécutée dans les limites d’un pas de simulation. Du point de vue de l’ordonnancement, OpenMASK est un système synchrone. Chaque objet de simulation est activé en respectant le diagramme des états de la figure 5.4, qui montre les états successifs que peut occuper l’objet de simulation.

5.2.2.3

L’interface générique

L’objet de simulation est bâti autour d’une interface simple et d’un code de calcul représenté par des méthodes génériques. L’interface de l’objet de simulation dispose : de sorties : une sortie est utilisée pour rendre public un attribut (une position par exemple) d’un objet de simulation dont la valeur a toujours un sens : quel que soit le moment où cet attribut sera lu, la valeur lue doit avoir un sens. C’est pourquoi l’interpolation et l’extrapolation des valeurs d’une sortie sont légitimes, même si la sémantique de la valeur rendue publique dans la sortie ne se prête pas bien aux méthodes numériques classiques d’interpolation ou d’extrapolation fournies par le noyau d’OpenMASK. Par conséquent, il est possible d’associer un polateur (un objet réalisant l’extrapolation et l’interpolation) dédié à chaque sortie. Il convient de voir la déclaration d’une sortie comme une déclaration d’interface. Alors que les méthodologies de programmation objet recommandent de protéger les données d’un objet et de ne rendre public que ses attributs, avec OpenMASK c’est l’opposé qui est recommandé. Un objet rend publiques certaines de ces données, et protège les méthodes qui sont utilisées pour calculer son évolution. Pour cette raison, la création de sortie ne doit être faite que dans le constructeur de l’objet de simulation, le noyau supposant que l’interface d’un objet est constante après sa création. De plus, cette contrainte garantit que cette interface est totalement préservée par héritage. La construction d’une sortie nécessite 3 paramètres : 1. le type de valeurs de la sortie ; 2. le nom de la sortie ;

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

133

3. un polateur (si aucun polateur n’est spécifié, le polateur par défaut associé au type est utilisé). Le polateur le plus simple est appelé polateur naïf, et est pertinent pour tout les types de données, puisqu’il ne peut calculer que des valeurs de la file de valeurs conservant l’historique de la sortie. Les autres polateurs se servent de cet historique pour calculer les valeurs demandées. La liste de toutes les sorties d’un objet de simulation est stockée dans une table des sorties qui est accessible par tous les autres objets afin de permettre la découverte dynamique des propriétés d’un objet. Cette forme simple de réflexivité est importante pour intégrer dans une même application des objets conçus pour des applications différentes et donc avec des graphes d’héritage indépendants. de paramètres de contrôle : Un paramètre de contrôle est une sortie spéciale pour 2 raisons. La première, c’est que tout objet de simulation peut tenter de changer la valeur d’un paramètre de contrôle, et la seconde est qu’un paramètre de contrôle n’est pas référencé dans la table des sorties mais dans une table annexe, la table des paramètres de contrôle. Cependant, il est tout a fait possible de brancher une entrée à un paramètre de contrôle. Lorsqu’un objet autre que le propriétaire du paramètre de contrôle tente de changer la valeur de celui-ci, un événement valué est envoyé au propriétaire. Cet événement est interprété par défaut par un auditeur d’événement qui va remplacer la valeur du paramètre de contrôle par la nouvelle valeur. Mais il est biensûr possible de changer ce comportement par défaut en surchargeant l’auditeur d’événement. d’entrées : une entrée est utilisée pour établir un chemin de données entre une sortie d’un autre objet et l’objet de simulation propriétaire de l’entrée. Une fois établi, ce chemin de donnée donne accès à la valeur de la sortie à laquelle l’entrée est branchée. Il y a deux types d’entrées : 1. les entrées privées : le branchement de ces entrées aux sorties d’un autre objet peut seulement être fait à la demande du propriétaire de l’entrée ; 2. les entrées publiques : elles ont les même propriétés que les entrées privées, mais acceptent aussi des branchement fait à l’initiative du propriétaire de la sortie sur laquelle elles sont branchés. Par le même mécanisme que celui utilisé pour changer la valeur d’un paramètre de contrôle, lorsqu’une sortie prend l’initiative d’un branchement sur une entrée publique, cela provoque l’envoi d’un événement demandant le branchement qui est par défaut accepté par un auditeur d’événement associé à l’entrée, mais qui peut être surchargé. d’un interpréteur d’événement : un événement est une structure de donnée composée de l’émetteur, du destinataire, de la signature et de la date d’émission de l’événement. Un événement valué est un événement auquel un champ de donnée supplémentaire (de n’importe quel type compatible avec OpenMASK) a été ajouté permettant à un événement de porter une valeur. Le fait pour un objet de simulation de réagir d’une façon prédéterminée à un certain nombre d’événements peut faire partie de son interface, et doit donc être préservé à travers l’héritage et être visible par réflexion. Les auditeurs d’événements sont des objets remplissant ce rôle. Ils encapsulent des fragments de code qui sont associés à certains événements et qui sont automatiquement appelés lorsque ces événements sont reçus par l’objet. En tant qu’éléments de l’interface d’un objet ils doivent être construits dans le constructeur de l’objet de simulation.

134

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

5.2.3 L’APPLICATION

Pour une application donnée, les objets de simulation sont structurés dans un arbre de simulation. L’objet racine de cet arbre est le contrôleur, mais le reste de la sémantique de l’arbre de simulation est laissé au concepteur d’application. Il y a deux fonctionnalités d’OpenMASK dont le comportement change en fonction de la structuration de l’arbre de simulation. 1. la création d’objet, puisque l’interprétation de la chaîne de caractères représentant la classe de l’objet à créer est faite récursivement à partir de l’objet père de l’objet à créer. Les prochaines versions d’OpenMASK pourraient faire la distinction entre le créateur d’un objet et le père de celui ci pour l’interprétation de cette chaîne de caractère, influant sur le type exact de l’objet créé ; 2. les fonctions de recherche d’un objet. L’arbre de simulation permet de faire des recherches globales ou limités à un sous-arbre, aux frères ou encore aux fils dans l’arbre de simulation. Pour finir, il convient de noter que l’arbre de simulation est une notion totalement différente de l’arbre d’héritage ou du graphe de scène. Les objets de simulation d’OpenMASK peuvent être créés soit : 1. statiquement : leur description est faite dans l’arbre de simulation, paramètre du contrôleur à la création ; 2. dynamiquement, à l’initiative du programmeur ; 3. dynamiquement, en fonction des besoins des autres objets. Ceci est vrai en particulier dans le cas de l’exécution distribuée, puisque des objets miroirs sont créés au besoin pour communiquer avec les objets de simulation de référence.

5.2.4 LA DISTRIBUTION DES OBJETS DE SIMULATION

Tout dans la conception d’OpenMASK a été fait pour permettre une distribution aisée des calculs, puisque toutes les interactions entre les objets ont lieu à travers le noyau ou en utilisant des objets construits par le noyau. En particulier, les objets de simulation n’ont pas à être retouchés pour pouvoir être utilisés par un contrôleur distribué, puisque tous les problèmes d’intégrité des données sont à gérer au niveau des outils fournis par le contrôleur. Les principes utilisés [Donikian e.a., 1998, Duval e.a., 2000, Margery, 2001] pour le contrôleur distribué peuvent être résumés en 2 points : 1. chaque fois qu’un objet de simulation a besoin d’accéder aux données publiques d’un objet simulé sur un autre nœud, une copie locale appelée miroir est créée. Elle est alors synchronisée à chaque pas de temps avec la version originale appelée référentiel ; 2. la cohérence et la synchronisation de tous les nœuds sont réalisées à l’aide d’un algorithme original qui permet la parallélisation du calcul d’un pas de simulation et le transfert sur le réseau des informations de mises à jour. Un paramètre de cet algorithme mettant en œuvre une cohérence relâchée contrainte, la latence, permet de borner le nombre de pas de simulation qu’un nœud peut faire sans avoir reçu des informations de mise à jour suffisamment récentes.

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

135

Comme illustré figure 5.5, un objet B d’un processus 2 peut brancher une de ses entrées sur une sortie d’un objet A situé sur un autre processus 1. Le noyau d’OpenMASK va alors créer un miroir de l’objet A sur le processus 2, permettre à l’objet B de brancher son entrée sur la sortie du miroir de A. L’objet B pourra alors demander des valeurs à ce miroir comme s’il s’agissait d’un référentiel, c’est le noyau qui se chargera de faire en sorte que les meilleures valeurs possibles soient disponibles au niveau des sorties de ce miroir. Méthode de calcul set (value)

Sortie : position

Référentiel A Processus 1

propagation de la valeur par le noyau

Méthode de calcul

obtention de la valeur de l’entrée Sortie : position Miroir A Processus 2

Entrée : position

get (dt)

par branchement sur la sortie du miroir

Référentiel B

Figure 5.5 : Le noyau maintient la cohérence entre miroir et référentiel

5.2.5 CONCLUSION

L’État actuel d’OpenMASK, même si de nombreuses améliorations peuvent encore y être apportées, permet de développer de réelles applications traitant de problèmes de dimensions significatives. La stratégie de développement Open Source est de ce point de vue un excellent vecteur pour susciter, de la communauté, des modifications/améliorations.

5.3

LES COMPOSANTS FONDAMENTAUX D’OPENMASK

OpenMASK dispose d’ores et déjà d’un certain nombre de services exploitables pour la réalisation d’applications. Ces services indispensables concernent un objet de simulation dédié à la visualisation et des objets de simulation permettant la mise en œuvre d’expérimentations interactives et coopératives. En particulier, il y a lieu de préciser que le noyau d’OpenMASK est naturellement distribué, le fait d’intégrer un module de visualisation et les mécanismes d’interaction offrant naturellement la capacité de produire des applications coopératives. OpenMASK est, par définition, une plate-forme générique, dans le sens où elle permet le développement et l’exécution de simulations de toutes natures. OpenMASK-3DVis

136

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

et les autres kits d’objets de simulations présentés dans cette section en font une plateforme de réalité virtuelle. Tout comme OpenMASK propose une abstraction de la simulation, son extension aux composants de visualisation et d’interaction propose des abstractions pour la visualisation, l’animation, l’interaction et la collaboration. Ultérieurement, nous compléterons les services de la plate-forme par la gestion des sons spatialisés, de la scénarisation des applications, des niveaux de détails d’animation et de l’interaction haptique.

5.3.1 OPENMASK-3DVIS : KIT LOGICIEL DE VISUALISATION INTERACTIVE

OpenMASK-3DVis fût la première contribution logicielle fournie avec OpenMASK. C’est un ensemble d’objets de simulation, réutilisables et évolutifs, pour la visualisation, la navigation et la désignation dans des environnements virtuels animés. Dans sa version actuelle, OpenMASK-3DVis est basé sur la bibliothèque Performer de SGI. Il est actuellement disponible en Open Source sous Irix et Linux, un portage sur Windows étant envisagé. A court terme, nous avons aussi prévu la réécriture de ce logiciel avec la bibliothèque OpenSG ( http ://www.opensg.org/) dont le développement est supervisé par le Fraunhofer Institute. Ce produit, lui aussi OpenSource, correspond mieux à la politique de diffusion que nous envisageons. Les fonctionnalités offertes par OpenMASK-3DVis sont, bien sûr, l’acquisition et la visualisation d’une scène 3D, mais aussi son animation et la transmission, au reste de la simulation, des actions du ou des opérateurs. Nous proposons, en complément, un mécanisme simple et robuste d’extension des fonctionnalités d’animation du visualiseur générique.

5.3.1.1

Visualisation de la scène 3D

Dans une application de réalité virtuelle simple, le programme de visualisation est souvent le noyau du développement autour duquel se greffent les fonctions d’animation et d’immersion, tandis que dans VR-OpenMASK, ce programme est un objet de simulation spécialisé, appelé visualiseur, avec lequel communiquent certains objets. Le visualiseur est l’instanciation d’une classe générique. Il peut avoir plusieurs instanciations au sein d’une même application. Ainsi nous avons présenté une démonstration de revue de projet automobile, collaborative et distribuée, via le réseau haut-débit VTHD, entre les centres Inria de Rennes et Rocquencourt. Dans ce cas, il y avait deux instances de notre visualiseur, l’une contrôlant la salle immersive de Rennes et l’autre le Plan de Travail Virtuel de Rocquencourt. Deux groupes d’opérateurs distants pouvaient voir et manipuler la même voiture - une Mégane Scenic de Renault. Par simple modification des paramètres associés, chaque instance s’adapte aux trois pipelines graphiques du mur de Rennes ou aux deux pipelines du workbench. De la même façon, l’opérateur peut choisir une vision en relief (stéréovision active) ou plate. S’il ne choisit pas une projection en plein écran, notamment sur une station de bureau, il peut définir une ou plusieurs fenêtres avec des points de vues différents sur la scène. La gestion d’un point de vue s’appuie sur les concepts de caméra et de support de ca-

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

137

méra. L’opérateur ou un objet de la simulation, par l’envoi d’événements, peut contrôler à tout moment, les paramètres d’une caméra ainsi que les changements de support. Les supports peuvent être posés sur le décor ou sur un objet mobile, ce qui ouvre vers tous les effets de mouvements de caméra envisageables. Nous proposons, dans notre kit, une classe “Cameraman” qui, associée au service d’interaction de base, permet à l’opérateur de déplacer une caméra dans toute la scène avec le clavier et la souris. Un autre exemple est un développement en cours dans notre équipe, basé sur des techniques robotiques, qui permettra de disposer d’une caméra sachant se positionner face à une cible ou éviter les obstacles occultant la vision.

5.3.1.2

Acquisition de la scène 3D

La scène est simplement composée d’acteurs placés dans un repère global et observés par des caméras. Le graphe de scène, vu par le visualiseur est donc un simple râteau, où chaque dent modélise un acteur. Il est construit automatiquement par chaque visualiseur et peut être modifié en cours de simulation. Tous les visualiseurs de la simulation contactent certains objets de simulation appelés “partenaires des visualiseurs” afin d’obtenir, pour chacun, le sous-graphe de scène qui définit sa modélisation 3D (ou son acteur). A ce niveau, les modifications du graphe sont simplement l’ajout ou la suppression de sous-graphes en fonction de la création ou de la destruction, en cours de session, de partenaires. Un objet de simulation acquiert la qualité de partenaire en héritant d’une classe générique fournissant l’API de communication avec le visualiseur. Cette classe abstraite ne précise pas la façon de fournir le sous-graphe. Nous proposons donc une première spécialisation qui permet de le transmettre via le nom d’un fichier géométrique. Ce type de partenaire permet donc de décrire son sous-graphe via tous les formats de fichiers externes dont le chargement est supporté par la bibliothèque Performer. Nous proposons aussi, dans ce kit, un partenaire spécialisé pour placer et orienter simplement, dans la scène 3D, des éléments statiques de décor.

5.3.1.3

Animation de la scène 3D

L’animation des acteurs composant la scène est directement gérée par chaque partenaire via une abstraction des modes d’animation que nous proposons. Le principe est que pour chaque acteur, chaque point d’animation est typé, nommé et associé à une sortie du partenaire, de même type et de même nom. A chaque pas de simulation, la valeur de cette sortie fait évoluer le point d’animation. Le lien entre une sortie et son point d’animation est installé automatiquement par le visualiseur lorsqu’il reconnaît une sortie, chez un partenaire, qui dérive en plus d’un type générique approprié. Cette qualification, ainsi ajoutée à la sortie concernée, précise le gestionnaire d’animation à instancier et le type de la donnée de communication. Toutes les fonctions d’animation sont donc programmées dans ces gestionnaires.

138

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Nos applications traitant principalement d’humanoïdes ou de véhicules, les gestionnaires que nous fournissons actuellement concernent surtout la mise à jour des degrés de liberté d’articulations. Nous avons aussi des commutations de modélisation (choix conditionnel d’une sous-arborescence).

5.3.1.4

Interactions basiques via la scène 3D

Le propre de la réalité virtuelle est d’intervenir dans la simulation en agissant directement sur les objets de la scène 3D. Pour cela, il faut notamment pouvoir désigner un acteur ou une partie d’acteur. Le visualiseur propose, aux autres objets de simulation, deux services de désignation : • désignation 2D : à partir d’un point dans les coordonnées de la fenêtre de visualisation, le visualiseur rend une liste de noms d’acteurs (ou parties d’acteur) qui se trouvent sous ce point ; • désignation 3D : à partir d’un axe défini dans le repère global de la scène, le visualiseur rend la liste des noms d’acteurs (ou parties d’acteur) traversés par ce rayon. Le visualiseur propose aussi un service de transmission, aux objets abonnés, des événements clavier-souris captés dans une fenêtre de visualisation lorsqu’elle détient le focus. Nous proposons, par exemple, une classe basée sur ce service d’interprétation des touches du clavier et de la souris pour piloter une ou plusieurs caméras.

5.3.1.5

Extensions des fonctions d’animation

Les types de partenaires et les modes d’animation que nous fournissons constituent la base du visualiseur interactif, mais ils restent fortement inspirés par nos applications de validation. Aussi nous proposons, en plus, un mécanisme simple d’extension des possibilités du visualiseur, par spécialisation de classes abstraites. Il suffit de définir un nouveau type de partenaire et de programmer le gestionnaire associé, ou de définir de nouveaux modes d’animation et de programmer l’effet souhaité dans les gestionnaires associés. 5.3.2 INTERACTION : ADAPTATEURS ET INTERACTEURS

Un kit d’interactivité est fourni avec OpenMASK. Ce kit, décrit dans [Duval e.a., 2002], est une bibliothèque de classes C++ qui propose des mécanismes pour automatiser la transformation d’un objet de simulation, qui s’y prête, en un objet interactif. La méthode s’appuie sur l’interface publique d’un objet de simulation (ses entrées, paramètres de contrôle et sorties) et propose une approche générique de l’interaction. Elle consiste à faire apprendre automatiquement aux objets concernés le protocole d’interaction grâce à deux classes d’outils : •

des adaptateurs génériques à réutiliser pour rendre interactif un objet de simulation : ils vont d’une part lui apprendre le protocole de communication avec les interacteurs, et d’autre part permettre de surcharger tout ou partie de son comportement, à l’aide de nouvelles entrées, en donnant de nouvelles valeurs à certains de ses paramètres de contrôle et à certaines de ses sorties ;

Openmask : une plate-forme logicielle open source pour la réalité virtuelle •

139

des interacteurs génériques à réutiliser pour réaliser l’interface entre un pilote de périphérique et un objet interactif : ici encore ils vont apprendre au pilote le protocole de communication avec les objets interactifs, et ils vont lui définir de nouvelles sorties qui permettront aux entrées des objets interactifs d’obtenir des données.

Métaphore d’interaction

Orientation

Interacteur

Position Position

Position

Orientation

Orientation

Orientation

Position

Orientation

Position

Ceci a pour but d’éviter une trop grande dépendance entre les objets interactifs des univers virtuels 3D et les outils qui permettront de les manipuler. Le déplacement d’un objet doit pouvoir être indépendant de la nature de l’outil d’interaction utilisé pour exprimer ce déplacement : à partir du moment où un objet de simulation est déclaré déplaçable, il doit donc pouvoir être déplacé à l’aide d’outils virtuels aussi variés qu’un rayon virtuel, une main virtuelle, un curseur 3D, ou encore tout simplement à l’aide d’une souris 2D classique. Ainsi, en évitant qu’un objet qui deviendra manipulable ne connaisse la nature des interacteurs qui le manipuleront, il sera possible de le manipuler à l’aide d’un grand nombre d’outils.

Position

Objet technique

PositionInteracteur

PositionInteracteur

OrientationInteracteur

OrientationInteracteur

Orientation

Adaptateur

Figure 5.6 : Classes génériques encapsulant les objets initiaux. De manière symétrique, un dispositif virtuel d’interaction doit pouvoir être utilisé selon plusieurs modes. Par exemple, un rayon virtuel peut être utilisé de nombreuses façons différentes, selon qu’il serve à déplacer un objet, à le sélectionner, à modifier sa géométrie ou encore à le détruire. Ici encore, une instance d’un tel dispositif virtuel d’interaction sera indépendante de tout type d’interaction. Le dispositif apprendra ainsi a posteriori un protocole d’interaction à l’aide d’un interacteur, et se verra ainsi doté de nouvelles fonctionnalités ainsi que de nouvelles sorties. Ceci revient à utiliser des mécanismes qui permettront à un objet quelconque d’apprendre un protocole d’interaction, c’est-à-dire de rendre interactif un objet qui ne l’était pas. Un objet virtuel peut donc être conçu indépendamment des protocoles d’interaction qu’il apprendra à utiliser ultérieurement (figure 5.6). De nombreuses possibilités d’interactions s’offrent alors : •

•

il est possible de réutiliser les objets à manipuler et les supports d’outils pour les encapsuler respectivement dans de nouveaux adaptateurs et de nouveaux interacteurs qui définissent de nouveaux protocoles de dialogue pour l’interaction ; il est aussi possible de créer de nouveaux adaptateurs par héritage pour changer le comportement associé aux objets adaptés tout en gardant la connaissance du protocole d’interaction ;

140 •

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

symétriquement, on peut créer de nouveaux interacteurs par héritage pour changer le comportement associé aux outils d’interaction, en gardant le même protocole de dialogue mais en changeant le mode de contrôle des objets manipulés.

Parmi les adaptateurs permettant de rendre interactifs des objets de simulation, notons la présence d’adaptateurs permettant d’exprimer des contraintes cinématiques et de les faire respecter lors des interactions. Ces adaptateurs ont été développé dans le contexte de la plate-forme RNTL PerfRV. 5.3.3 COOPÉRATION

5.3.3.1

Partage d’univers virtuels

La version distribuée d’OpenMASK, permet de mettre en œuvre des applications coopératives locales ou distantes, en autorisant plusieurs participants à interagir au sein d’un même environnement 3D, avec les éléments de cet univers (figure 5.7). En effet, OpenMASK permet de définir un environnement virtuel sous la forme d’un ensemble d’objets de simulation en interaction, en particulier des visualiseurs 3D (voir la section 5.3.1). Cette coopération va donc être obtenue très naturellement, en instanciant plusieurs visualisations interactives et en les répartissant sur des machines différentes grâce au noyau distribué d’OpenMASK. Il devient ainsi possible de partager des univers virtuels 3D entre différents utilisateurs travaillant sur des machines distinctes reliées par un réseau.

Figure 5.7 : Travail coopératif sur deux portables en réseau local. Contrairement à des univers massivement coopératifs [Damer e.a., 2000] comme ceux d’«Avatars», dans lesquels beaucoup de personnes peuvent se rencontrer mais ne peuvent pas produire grand chose dans l’univers virtuel, OpenMASK vise plutôt des univers partagés par un petit nombre de personnes qui vont pouvoir coopérer finement sur des objets dans le but de produire un résultat tangible. Ces objets partagés, de grande technicité, peuvent être issus de milieux industriels variés (aéronautique, automobile,

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

141

énergétique) et peuvent nous imposer des contraintes métiers exigeantes pour les interactions (comme indiqué dans la section 5.3.2).

5.3.3.2

Perception des autres et de leurs actions

Pour une interaction efficace, les participants doivent avoir une perception explicite des possibilités d’interactions offertes d’une part par les objets de l’univers, comme dans [Kallmann e.a., 1999], et d’autre part par les outils d’interaction mis à leur disposition. Enfin, comme les participants d’une session coopérative de travail peuvent être situés sur des sites distants, ils doivent avoir la possibilité de percevoir de façon explicite, en plus de leurs propres actions, celles des autres utilisateurs, comme dans [Fraser e.a., 1999, Hindmarsh e.a., 1998] pour rendre la coopération plus efficace et plus facile à comprendre. Cette explicitation des actions des autres nous semble particulièrement importante comme le montrent de nombreux travaux du domaine [Fraser e.a., 2000, Gutwin e.a., 1999, Gutwin e.a., 1998]. C’est pourquoi nous souhaitons ici renforcer encore la prise de conscience des actions de l’utilisateur et celles des autres au cours d’une session de travail coopérative. Comme OpenMASK permet de partager une session de travail en environnement virtuel sur différentes machines, à travers un réseau, il a été décidé d’associer à chaque point de vue interactif d’une visualisation (donc à chaque utilisateur potentiel) une représentation de cet utilisateur sous la forme d’un avatar qui se déplace dans l’univers partagé. C’est un premier niveau de perception de la coopération (figure 5.8). Dans cet exemple, on perçoit également les outils d’interactions de l’autre utilisateur (des rayons virtuels situés devant son avatar).

Figure 5.8 : Un autre utilisateur est visualisé sous forme d’un avatar Ceci ne suffit pas toujours à faire clairement percevoir aux autres utilisateurs de l’univers les actions de cet utilisateur, et ce plus particulièrement lorqu’il utilise un interacteur sans représentation 3D dans l’univers (comme le clavier et la souris). C’est pourquoi nous offrons des mises en évidences supplémentaires pour les interactions coopératives via un service ajouté au module de visualisation interactive, qui représente d’une façon différente les interactions locales (celles associées à un interacteur lié à la visualisation locale) et les interactions distantes (celles liées aux interacteurs associés

142

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

aux autres visualisations, sur les autres machines). Nous permettons donc à chaque utilisateur de percevoir aussi les actions des autres utilisateurs, avec qui il peut alors plus facilement coopérer. Pour faire prendre conscience à un utilisateur qu’il contrôle un tel objet, nous avons ici choisi d’associer un maillage en fil de fer lors de l’interaction, affiché d’une certaine couleur à l’écran lorsque l’on voit l’objet dans la visualisation associée à l’utilisateur, et de lui afficher d’une autre couleur lorsque l’on voit l’objet dans une visualisation associée à un autre utilisateur (figure 5.9). Pour lever toute ambiguïté nous pouvons également décider de placer le nom de l’utilisateur près de l’objet manipulé, ce qui n’est pas visualisé ici.

Figure 5.9 : Mise en évidence des interactions de chaque utilisateur Pour des interactions coopératives synchrones, nous avons également développé des adaptateurs permettant à plusieurs utilisateurs d’agir simultanément sur un même objet, en adaptant la mise en évidence des interactions sur ces objets. Comme le nombre d’utilisateurs simultanés sur un même objet peut ne pas être limité, nous n’affichons pas systématiquement les noms des utilisateurs en interaction pour ne les afficher que sur requête explicite d’un utilisateur, et ce de façon locale pour ne pas induire de surcharge visuelle chez les autres utilisateurs. Nous jouons encore ici sur des codes de couleurs : un objet partageable en interaction se verra associé à une couleur si l’utilisateur est l’un de ceux qui contrôlent l’objet, et sera d’une autre couleur sinon. Pour donner une information minimale, c’est le nombre d’utilisateurs en interaction avec l’objet qui sera systématiquement visualisé.

5.4 LES DÉVELOPPEMENTS THÉMATIQUES OpenMASK est actuellement utilisé dans différents cadres applicatifs liés à la simulation interactive de systèmes complexes. Ces exemples qui ont essentiellement pour vocation de démontrer les caractéristiques internes de la plate-forme sont aussi des travaux ayant pour objectif de développer de nouvelles fonctionnalités internes d’OpenMASK, en particulier dans un soucis de mise à disposition de modules de service.

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

143

5.4.1 LES HUMANOÏDES VIRTUELS

La notion d’humanoïde virtuel est actuellement un sujet de recherche très développé dans la communauté internationale. Représenter et animer en temps réel un être humain synthétique non discernable d’un humain réel, aussi bien lors d’action ou lors de communication avec un autre humain (virtuel ou réel), est un objectif que se sont fixés certains chercheurs depuis plusieurs années. Il existe un nombre croissant de domaines industriels applicatifs, tels que les effets spéciaux au cinéma (animation de milliers de figurants synthétiques dans un film comme le seigneur des anneaux), l’animation par ordinateur et les jeux vidéo, le secteur de la confection (mannequin virtuel adaptable à la morphologie du client pour l’essayage de vêtements sur des sites de vente en ligne), internet (les assistants personnalisés pour l’aide à la navigation et le commerce électronique), l’art électronique et interactif (acteurs virtuels, performance mélangeant danseurs réels et virtuels), la formation assistée par ordinateur (maintenance industrielle), ou encore l’entraînement à des situations d’urgence (sécurité civile). Modéliser l’humain nécessite d’intégrer des travaux de recherches complémentaires tels que : • modèles de corps humain (rigides, déformables, multicouches) ; • recueil et adaptation de données morphologiques ; • animation de vêtements ; • rendu photo réaliste du corps humain ; • modèles de mouvement humain (cinématique et dynamique, directe et inverse) ; • analyse et traitement de mouvements capturés ; • coordination, synchronisation et contrôle de mouvements ; • modèles de comportement (réactif, cognitif, hybride) ; • les niveaux d’autonomie et de contrôle ; • modèle de rendu des expressions faciales et corporelles et coordination de la gestuelle avec la parole. L’objectif de cette section est de montrer, à titre d’exemple, les développement existant autour d’OpenMASK concernant ces humanoïdes virtuels. Dans ce contexte, ces travaux sont plutôt orientés sur la production de modules (ou objets de simulation) exploitant le noyau d’OpenMASK. En particulier, la modélisation de l’humanoïde sera représentée par plusieurs modules traitant, d’une part, de la locomotion (GFMC) et, d’autre part, du comportement autonome (HPTS) et de la scénarisation (SLuHrG). OpenMASK se charge de la synchronisation temporelle et de la communication de ces différents modules. De plus, l’environnement de développement dédié aux humanoïdes virtuels est constitué de plusieurs outils de haut niveau dont le rôle est de produire les objets de simulation assemblés sous OpenMASK. Nous allons décrire maintenant brièvement ces différents outils.

5.4.1.1

GFMC : contrôle et mélange des mouvements

GFMC5 [Menardais, 2003] est une chaîne logicielle permettant de réaliser l’animation d’humanoïdes synthétiques à partir de mouvements issus d’un système d’acquisition. Une méthode automatisant le traitement des mouvements acquis a été proposée, permettant ainsi de diminuer le temps de production (figure 5.11). Les éléments traités sont : 5 Global

Framework for Motion Control

144

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 5.10 : Architecture d’une application intégrant plusieurs humanoïdes virtuels.

Identification et correction des confusions entre marqueurs ; • Interpolation des trajectoires lors des occlusions de marqueurs ; • Détermination des positions des centres articulaires à partir des marqueurs externes ; • Calcul des trajectoires articulaires ; • Association de paramètres normalisés et de contraintes aux données articulaires. L’ensembles des mouvements ainsi traités sont intégrés au sein d’un moteur d’animation d’un squelette synthétique. Les caractéristiques du moteur sont : • API unifiée pour tous les mouvements élémentaires, intégrant la possibilité d’accéder, à tout moment, à la posture globale du personnage et de spécifier les contraintes devant être prises en compte ; • Composition des mouvements élémentaires afin d’obtenir des mouvements plus complexes ; • Synchronisation des mouvements entre eux à partir des événements liés aux phases de support, permettant d’éviter les discontinuités et le glissement des pieds en contact avec le sol ; • Adapatation des mouvements aux paramètres anthropomorphiques du squelette synthétique et à l’environnement dans lequel il évolue. •

5.4.1.2

HPTS : modélisation du comportement

HPTS6 [Lamarche e.a., 2002] est un formalisme proposé pour la spécification de la partie décisionnelle d’un acteur autonome. Il offre un ensemble de paradigmes de programmation qui permettent de modéliser des hiérarchies de comportements concur6 Hierarchical

Parallel Transition System

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

145

Figure 5.11 : L’outil de traitement des différents mouvements capturés.

rents. Un langage dédié a été proposé[Donikian, 2001] et un générateur de code permet de transformer une description dans ce langage en un code C++ équivalent. Il est utile d’offrir un mécanisme permettant de dérouler des comportements en parallèle sans que l’utilisateur n’ait à synchroniser " à la main " leur exécution, et sans qu’il lui soit nécessaire, au moment de la description, d’avoir la connaissance de l’ensemble des autres comportements susceptibles de s’exécuter en même temps. Pour ce faire, trois nouvelles notions ont été introduites au sein du modèle HPTS : •

ressources : par l’exclusion mutuelle sur l’utilisation de ces données (parties du corps, par exemple), cela permet de définir à tout moment l’ensemble des comportements compatibles et donc coordonnables ;

•

priorité (importance d’un comportement dans un contexte donné) : il s’agit d’un coefficient d’adéquation (activation) ou d’inadéquation (inhibition) entre le comportement et le contexte. Elle peut être définie dynamiquement et évoluer au cours du temps ;

•

degré de préférence (valeur numérique associée à chaque transition d’un automate) : cette valeur permet de décrire la propension de l’automate à utiliser cette transition lorsqu’elle est franchissable.

En combinant ces nouvelles notions, il devient possible d’obtenir un ordonnanceur tentant de respecter au mieux l’allocation des ressources en fonction des priorités associées aux automates [Lamarche e.a., 2002].

5.4.1.3

SLuHrG : langage de scénario

Le langage compilé, intitulé SLuHrG est le résultat du travail de thèse de Frédéric Devillers [Devillers, 2001]. La sémantique de ce langage a été spécifiée en utilisant une extension du modèle HPTS pour le séquencement des instructions et la gestion des branchements, et la logique d’Allen pour l’ensemble des contraintes temporelles sur

146

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 5.12 : Coordination de plusieurs comportements.

les scénarios et les séquences d’actions. Les divers points caractéristiques du langage sont : • des instructions permettant la gestion de l’évolution du scénario au cours du temps, d’une part entre sous-scénarios et d’autre part à l’intérieur d’un scénario. Le parallélisme entre scénarios et à l’intérieur d’un scénario est donc possible ; • un système de dialogue avec les acteurs. L’information est véhiculée dans les deux sens sous forme d’événements. Ils permettent aux scénarios d’envoyer des demandes aux acteurs et de recevoir de leur part des comptes rendus ; • une notion d’interface qui représente la vision que le module de scénario a d’un acteur. Cet aspect, lié à la communication, peut cependant être considéré séparément parce qu’il permet la généricité du langage de scénario. SLuHrG n’est pas lié à un domaine d’application particulier. Pour l’adapter à un nouveau domaine, il suffit d’écrire les interfaces des acteurs liés à ce domaine ; • des instructions de réservation d’acteur. Un scénario peut réserver un acteur avant de l’utiliser. En effet, les interventions concurrentes de scénarios parallèles pourraient amener de graves incohérences de comportements. Nous avons réalisé plusieurs applications avec ce langage. Elles nous ont permis d’illustrer le spectre de scénarios exprimables avec SLuHrG. Un scénario, en particulier, nous a permis de réaliser des études comparatives entre l’interaction dans un contexte visuel immersif ou non. L’utilisateur doit réaliser une action simple : dans un musée virtuel , il doit déplacer une statuette d’un point à un autre (cf figure 5.13). Pour cela il est doté d’un dispositif d’interaction composé de cinq boutons et d’un capteur magnétique lui permettant de naviguer : le rayon jaune représente la direction de déplacement contrôlée par quatre boutons (gauche, droite, avant, arrière). Les six degrés de liberté du capteur magnétique contrôlent la position et l’orientation du rayon bleu qui permet de prendre et relâcher un objet lorsque celui-ci est intersecté par le rayon. Lors du déplacement de l’utilisateur dans la scène, plusieurs scénarios sont déclenchés suivant un ordonnancement préétabli et grâce à l’observation du passage de l’utilisateur dans des zones particulières du musée. Des groupes de visiteurs virtuels sont ainsi chargés par les différents sous-scénarios de venir gêner l’utilisateur (mais pas trop) dans sa tâche de navigation. Un robot manipulateur réalise une action comparable, pour donner une référence temporelle. Ici le moteur de l’action est l’utilisateur : le scénario se charge d’adapter les comportements des acteurs virtuels au comportement de chaque utilisateur afin d’assurer la gêne quelle que soit la vitesse de déplacement et la trajectoire empruntée par l’utilisateur.

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

1

2

3

4

5

6

147

Figure 5.13 : Séquence d’images issues d’une expérimentation scénarisée. 5.4.1.4

Cinématographie virtuelle

Un module de cinématographie virtuelle [Courty, 2002] a été développé afin de permettre de déterminer au mieux la manière de filmer une scène comprenant un ou plusieurs acteurs autonomes. Ce module intègre à la fois des notions de cadrage et de montage, mais à la différence du cinéma, il ne s’agit pas d’effectuer a posteriori un montage à partir de plusieurs prises de vue cadrées, mais de s’adapter en temps réel aux évolutions ayant lieu au sein du monde virtuel. Nous avons établi comment réaliser des tâches élémentaires de positionnements cinématographiques, ainsi que les mouvements de caméra associés et connecter le module décisionnel au système d’animation, dans le but de définir un système réalisant automatiquement le tournage et le montage de scènes dynamiques (figure 5.14).

Figure 5.14 : Dialogue filmé en temps réel entre deux personnages autonomes.

148

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

5.4.1.5

Conclusion

Il y a un gain indéniable à pouvoir mutualiser au sein d’OpenMASK les codes résultant de ces différents outils dédiés et à les factoriser avec des objets de simulation développés spécifiquement pour des applications particulières. Des applications significatives ont déja permis de tester et valider cette chaine logicielle dans différents contextes : • réalisation d’un musée virtuel pour l’exposition permanente sur l’image de la cité des sciences et de l’industrie [Devillers e.a., 2002] ; • réalisation d’une fiction interactive sur le village de l’innovation lors de la conférence Imagin@’02 en février 2002 à Monaco ; • réalisation d’un simulateur de maquettes numériques de villes intégrant plusieurs centaines de piétons et de véhicules dans le cadre du projet RNTL DynamiCité. 5.4.2 RETOUR D’EFFORT

Le traitement du retour d’effort est, pour les applications de réalité virtuelle, un domaine en plein essor. En effet, de plus en plus de dispositifs haptiques sont actuellement disponibles sur le marché et de nombreuses sociétés de l’industrie manufacturière expérimentent de tels dispositifs dans des applications de prototypage virtuel telles que le montage ou le démontage virtuel. Dans ce contexte nous avons fait l’acquisition d’un bras haptique à six degrés de liberté, le V IRTUOSE 6D conçu par la société H APTION (figure 5.15). Nous travaillons sur ce domaine dans le cadre du projet PERF-RV (chapitre PERF-RV) à l’étude du montage virtuel dans le contexte automobile. A ce titre, nous avons proposé une architecture générique permettant la mise en œuvre du retour d’effort dans OpenMASK. Cette architecture générique a été conçue en exploitant les caractéristiques modulaires et de distribution d’OpenMASK [Meyer e.a., 2002]. En particulier, les caractéristiques essentielles de cette étude concernent : •

l’exploitation de la structure d’objets de simulation et de communication d’OpenMASK permettant de définir une structure modulaire contenant l’ensemble des ingrédients nécessaires à l’application : • module d’interaction ; • module de visualisation ; • module de détection de collision ; • module de simulation mécanique ; • module de calcul d’un effort virtuel.

•

l’exploitation de la structure d’objets de simulation pour permettre l’encapsulation de simulateurs différents capable de coopérer pour résoudre un même problème. En effet, compte tenu de la diversité des natures d’objets à simuler pour une application réaliste, plusieurs simulateurs peuvent être nécessaires pour traiter l’ensemble des objets d’une scène. Actuellement nous démontrons des simulations faisant intervenir, en simultané, trois simulateurs (figure 5.16). Chaque bras de robot est simulé par des simulateurs différents, un troisième simulateur gère le parallélépipède porté par les deux bras. Dans cet exemple, la difficulté réside dans le couplage qui existe entre les trois simulateurs [Meyer e.a., 2002]. Les trois simulateurs sont des objets de

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

Figure 5.15 : Bras à retour d’effort Virtuose6D.

149

150

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 5.16 : Simulation multi-simulateurs.

simulation OpenMASK, il sont donc, de fait, totalement indépendants. Néanmoins, l’usage d’un module de couplage virtuel fait en sorte que ces trois simulateurs coopèrent lors de la manipulation interactive du parallélépipède pour, par exemple, le faire suivre la surface du sol. Pour cet exemple précis, les trois simulateurs sont : • • • •

le simulateur Dynamo [Barenbrug, 2000] ; le simulateur SMR [Andrade, 2000] ; le simulateur et détecteur de collision Contact [Redon, 2002].

l’exploitation de la distribution d’OpenMASK est actuellement en cours d’étude. Elle sera utilisée à deux niveaux : pour l’augmentation des performances et pour le traitement haptique coopératif.

Exploité dans un contexte de visualisation immersive (figure 5.17, le retour d’effort offre des qualités perceptives indéniables pour la crédibilité des applications. OpenMASK est utilisé dans ce contexte, d’une part, comme un outil d’intégration permettant de réaliser l’interopérabilité des simulateurs de modèles physiques et, d’autre part, comme plate-forme d’accueil orientée réalité virtuelle permettant la visualisation immersive et l’interaction avec le monde virtuel 5.5 CONCLUSION Dans cet article, nous avons présenté un survol d’OpenMASK, une plate-forme pour la conception modulaire d’applications d’animation et de simulation pouvant utiliser plusieurs noyaux d’exécution, dont un noyau distribué, disponible en téléchargement. Sans

Openmask : une plate-forme logicielle open source pour la réalité virtuelle

151

Figure 5.17 : Visualisation immersive et retour d’effort.

se substituer à un manuel de référence ou un manuel d’utilisation, cette présentation a pour objectif de dessiner les contours de cet environnement logiciel de développement d’applications de réalité virtuelle. Cette plate-forme cherche à combiner abstraction, performance, distribution et réutilisation de composants logiciels dans le domaine de la réalité virtuelle, sans limiter le domaine d’applications. Nous croyons qu’OpenMASK représente un compromis intéressant entre performance et capitalisation du savoir-faire, puisqu’il est déjà largement utilisé comme plate-forme logicielle pour différents programmes de recherche. Ces programmes incluent des applications de réalité virtuelle coopérative, d’interaction utilisateur en environnement virtuel, de retour haptique, de simulation comportementale, de capture de mouvement et de contrôle de mouvement. OpenMASK est en particulier utilisé au sein de Perf-RV. 5.6

REMERCIEMENTS

La plate-forme OpenMASK est le résultat de plusieurs années de recherche réalisée par une équipe nombreuse. La liste des contributeurs effectifs dépasse donc de très loin la liste des auteurs de ce chapitre. Nous tenons donc à remercier vivement ces contributeurs, pas si anonymes que çà puisqu’ils se retrouvent de-ci de-là au détour des cartouches de commentaire des fichiers source de la plate-forme OpenMASK. Néanmoins, nous addressons notre reconnaissance particulière à Guillermo Andrade, Frédéric Devillers, Richard Kulpa, Christian Le Tenier, David Margery, Tangi Meyer et Mickael Rouillé pour leurs contributions essentielles. 5.7

RÉFÉRENCES BIBLIOGRAPHIQUES

[Andrade, 2000] [Barenbrug, 2000]

[Courty, 2002] [Damer e.a., 2000]

G. Andrade. Modélisation et adaptation du mouvement de robots toutterrain. Thèse de doctorat, Université de Paris 6 (2000). D. Barenbrug. Designing a Class Library for Interactive Simulation of Rigid Body Dynamics. Thèse de doctorat, Technische Universiteit Eindhoven (2000). N. Courty. Animation référencée vision : de la tâche au comportement. Thèse de doctorat, Université de Rennes 1 (2002). B. Damer, S. Gold, J. de Bruin, et D.-J. de Bruin. Conferences and trade shows in inhabited virtual worlds : A case study of avatars98 & 99. In

152

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines Proceedings of the Second International Conference on Virtual Worlds (VW’2000) (july 2000), pages 1–11, Paris, France. Springer LNCS/AI.

[Devillers, 2001]

F. Devillers. Langage de scénario pour des acteurs semi-autonomes. Thèse de doctorat, University of Rennes I (2001).

[Devillers e.a., 2002]

F. Devillers, S. Donikian, F. Lamarche, et J. Taille. A programming environment for behavioural animation. Journal of Visualization and Computer Animation, 13 :263–274 (2002).

[Donikian, 2001]

S. Donikian. HPTS : a behaviour modelling language for autonomous agents. In Fifth International Conference on Autonomous Agents (2001), Montreal, Canada. ACM Press.

[Donikian e.a., 1998]

S. Donikian, A. Chauffaut, T. Duval, et R. Kulpa. Gasp : from modular programming to distributed execution. In Computer Animation’98, IEEE, Philadelphia, USA (june 1998), pages 79–87.

[Duval e.a., 2000]

T. Duval et D. Margery. Using gasp for collaborative interactions within 3d virtual worlds. In Proceedings of the Second International Conference on Virtual Worlds (VW’2000) (2000), Paris, France. Springer LNCS/AI.

[Duval e.a., 2002]

T. Duval et C. L. Tenier. Interactions 3d coopératives en environnements virtuels avec openmask pour l’exploitation de données techniques. In Actes du colloque Virtual Concept 2002 (2002), pages 116– 121, Biarritz, France. ESTIA.

[Fraser e.a., 1999]

M. Fraser, S. Benford, J. Hindmarsh, et C. Heath. Supporting awareness and interaction through collaborative virtual interfaces. In Proceedings of UIST’99 (1999), pages 27–36, Asheville, USA. ACM.

[Fraser e.a., 2000]

M. Fraser, T. Glover, I. Vaghi, S. Benford, C. Greenhalgh, J. Hindmarsh, et C.Heath. Revealing the realities of collaborative virtual reality. In Proceedings of the Third International Conference on Collaborative Virtual Environments (CVE’2000) (September 2000), pages 29–37, San Francisco, USA. ACM.

[Gutwin e.a., 1998]

C. Gutwin et S. Greenberg. Design for individuals, design for groups : Tradeoffs between power and workspace awareness. In Proceedings of CSCW’98 (1998), pages 207–216, Seattle, USA. ACM.

[Gutwin e.a., 1999]

C. Gutwin et S. Greenberg. The effects of workspace awareness support on the usability of real-time distributed groupware. ACM Transactions on Computer-Human Interaction, 6(3) :243–281 (september 1999).

[Hindmarsh e.a., 1998] J. Hindmarsh, M. Fraser, C. Heath, S. Benford, et C. Greenhalgh. Fragmented interaction : Establishing mutual orientation in virtual environments. In Proceedings of CSCW’98 (1998), pages 217–226, Seattle, USA. ACM. [Kallmann e.a., 1999]

M. Kallmann et D. Thalmann. Direct 3d interaction with smart objects. In Proceedings of VRST’99 (1999), pages 124–130, Lisbon, Portugal. ACM.

[Lamarche e.a., 2002]

F. Lamarche et S. Donikian. Automatic orchestration of behaviours through the management of resources and priority levels. In Autonomous Agents and Multi Agent Systems (2002), Bologna, Italy. ACM.

[Margery, 2001]

D. Margery. Environnement logiciel temps-réel distribué pour la simulation sur réseau de PC. Thèse de doctorat, Université de Rennes 1 (2001).

[Menardais, 2003]

S. Menardais. Fusion et adaptation temps réel de mouvements acquis pour l’animation d’humanoïdes synthétiques. Thèse de doctorat, Université de Rennes 1 (2003).

Openmask : une plate-forme logicielle open source pour la réalité virtuelle [Meyer e.a., 2002]

[Redon, 2002]

153

T. Meyer, G. Andrade-Barroso, et B. Arnaldi. Une architecture pour le retour d’efforts. In Quinzièmes journées de l’Association Francaise d’Informatique Graphique (2002), Lyon, France. AFIG. S. Redon. Algorithmes de simulation dynamique interactive d’objets rigides. Thèse de doctorat, Université d’Évry (2002).

154

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Troisième partie

Les applications de la réalité virtuelle

6

APPLICATIONS INDUSTRIELLES : LA PLATE-FORME FRANÇAISE DE RÉALITÉ VIRTUELLE PERF-RV

Bruno Arnaldi et le collectif PERF-RV

6.1

OBJECTIFS DU PROJET

6.1.1 INTRODUCTION

PERF-RV est un projet de plate-forme RNTL (Réseau National des Technologies Logicielles) labellisé en juin 2000. Ce projet est financé par le Ministère de la Recherche pour une durée de trois ans. Ce document présente les objectifs et motivations du projet, les différents partenaires, les règles d’ouverture à d’autres partenaires, les actions concrètes menées dans le cadre de PERF-RV et les principaux résultats actuels du projet. Le consortium initial du projet est composé de laboratoires de recherche et d’industriels : • • • • • • •

• • • • • • • • •

l’Institut National de Recherche en Informatique et Automatique (INRIA) ; le Commissariat à l’Energie Atomique (CEA-LIST) ; l’École des Mines de Paris (ENSMP) ; l’Institut de l’Image de Chalon sur Saône (ENSAM) ; Le Laboratoire Bordelais de Recherche en Informatique (LABRI) ; le Laboratoire de Robotique de Versailles (LRV) ; le Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSICNRS) ; l’ADEPA ; European Aeronautic Defence and Space Company (EADS CCR) ; l’Institut Français du Pétrole (IFP) ; Le Centre Lavallois de Ressources Technologiques (CLARTÉ) ; Dassault Aviation ; Électricité de France (EDF) ; Giat Industries ; PSA Peugeot Citroën ; Renault.

6.1.2 MOTIVATIONS

La nécessaire réactivité des entreprises sur un marché de plus en plus concurrentiel conduit à réduire le temps de développement (Time to market), le coût de l’industrialisation des produits à commercialiser, ainsi que les coûts de formation et de maintenance

158

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

associés (cost effectiveness). Cette réactivité ne peut se développer qu’au moyen de systèmes informatiques connectés en réseau et intégrant, de façon incrémentale, le monde sur lequel ces entreprises veulent agir. L’évolution des outils informatiques, en matière de rapidité de traitement et de capacité de mémorisation, permet d’envisager la création d’environnements virtuels de plus en plus réalistes, représentant des systèmes manufacturés, anthropomorphes ou naturels, dont le comportement se rapprochera de celui du monde réel. Cette demande de réalité virtuelle s’exprime de façon de plus en plus forte dans les secteurs industriels porteurs que sont l’automobile, l’aéronautique, le transport, l’énergie mais aussi dans l’architecture, la culture et le médical par exemple. Il est apparu nécessaire dans ces conditions de mettre en place une activité de recherche et de développement procurant les nouvelles technologies capables de répondre aux besoins industriels mentionnés plus haut et donc de permettre de faire évoluer les méthodes de travail des utilisateurs finaux grâce à des interfaces plus naturelles et plus avancées. Nous avons donc proposé de créer une structure de centre d’expérimentation en réalité virtuelle sur la thématique du Bureau d’Étude du futur. Cette plate-forme est destinée à soutenir un programme scientifique sur les trois thèmes suivants : •

modélisations et simulations numériques ;

•

interfaces et communications homme-machine ;

•

méthodes, usages et perceptions.

Ces trois thèmes concourent à définir des méthodes, outils et interfaces communs aux différents domaines d’application mentionnés précédemment. Les défis scientifiques qui sont liés au développement de systèmes de prototypage virtuel sont nombreux et l’on peut citer parmi les plus importants : •

la simulation réaliste en temps réel, qui doit s’appuyer sur de nouvelles méthodes de modélisation numérique ;

•

l’interaction physique (geste et retour d’effort), imposant l’étude d’interfaces matérielles innovantes ;

•

le travail coopératif : interaction multi-utilisateurs en environnement immersif dans un contexte multi-métiers et sur des systèmes immersifs distants ;

•

l’ergonomie des interfaces.

Les dispositifs de visualisation haut de gamme permettant de réaliser des expérimentations en réalité virtuelle sont en forte progression en France, tant dans la communauté de recherche que chez les industriels. Cette progression se fait avec un certain retard sur nos voisins européens et sur les États-Unis qui développent ces techniques depuis une dizaine d’années. Cependant, l’usage dans un contexte industriel de ce type de dispositif pose encore de nombreux problèmes et, sans que cette liste soit exhaustive, nous pouvons soulever les questions suivantes : •

sur quel type de système de visualisation l’application industrielle est-elle la plus pertinente du point de vue de l’utilisateur ?

•

quelle est la bonne métaphore de présentation des données ?

•

avec quel mode d’interaction l’utilisateur va-t-il devoir dialoguer avec ces données et résultats ?

•

avec quel dispositif d’interaction va-t-il agir sur ces données ?

•

dans quelle mesure le travail coopératif va-t-il permettre d’optimiser et de rationaliser la tâche de l’utilisateur ?

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

159

Compte tenu de la diversité des solutions possibles, seule l’expérimentation permet aujourd’hui de répondre à ces questions. Ces expérimentations concernent des problèmes industriels concrets qui, dans le cadre de ce réseau, sont confrontées aux utilisateurs des applications industrielles à des fins de validation. 6.1.3 OBJECTIFS DU PROJET

L’objectif de ce projet de Plate-forme RNTL est d’offrir un cadre permettant d’apporter des réponses aux questions évoquées précédemment. Les principaux avantages mis en avant par ce réseau sont : • mettre en commun les ressources humaines et expérimentales de différents laboratoires et partenaires industriels ; • offrir différentes plates-formes matérielles (salle immersive, plan de travail virtuel...) ainsi que de nombreux dispositifs d’interaction permettant réellement de mener des expérimentations concrètes en réalité virtuelle ; • fournir un site d’évaluation technologique concernant l’exploitation d’applications interactives, de réalité virtuelle et de réalité augmentée ; • offrir les moyen humains permettant de tester les solutions innovantes issues de la coopération des partenaires ; • être ouvert en cours de fonctionnement à des partenaires académiques et industriels souhaitant rejoindre le réseau ; • factoriser et partager sur les différents sites l’expérience acquise à travers le réseau. Ce partage sera mis en œuvre par des développements coordonnés et partageables permettant de capitaliser temporellement et géographiquement les ressources. Ce projet présente un lien fort avec le projet VTHD (projet de plate-forme RNRT) concernant les réseaux à très haut débit, en particulier à travers le lien Rennes – RhôneAlpes à 2,5 Gb/s. Ce lien qui pourra s’étendre à d’autres partenaires permettra le développement et l’expérimentation de matériels, logiciels et méthodes adaptés aux enjeux de l’ingénierie distribuée du futur (voir action A3 du sous-projet 2 ci-dessous). 6.2

ORGANISATION DU PROJET

PERF-RV est porté par un ensemble de partenaires représentant des acteurs du secteur industriel et des laboratoires de recherche. La complémentarité de ce consortium est un des éléments déterminants dans la capacité du projet à atteindre ses objectifs. 6.2.1 INRIA

L’INRIA intervient dans PERF-RV à travers deux de ses unités de recherche : Rennes et Rhône-Alpes (ex Roquencourt).

Unité de Recherche INRIA de Rennes Le projet Siames de l’Unité de Recherche de Rennes développe depuis de nombreuses années un environnement logiciel pour la réalité virtuelle. Cet environnement Open-

160

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.1 : Interaction et visualisation immersive à l’INRIA de Rennes.

MASK (Open Modular Animation and Simulation Kernel) est une plate-forme logicielle pour l’animation et la simulation. OpenMASK est orienté objet et permet la simulation et la visualisation immersive (Figure 6.1) en temps-réel d’entités, autonomes ou pilotées par un utilisateur, évoluant au sein d’univers complexes. Des techniques d’extension d’objets de simulation ont été développées pour rendre interactifs ces objets afin qu’un utilisateur puisse les diriger, et ce de façon transparente pour les développeurs des objets initiaux. Des expérimentations d’interactions collectives ont ainsi pu être menées avec OpenMASK. Ces interactions sont basées sur les notions d’entrées et de sorties des objets de simulation, ainsi que sur les possibilités d’envoi de messages et d’événements. De plus, OpenMASK1 est actuellement disponible en Open Source. Par ailleurs, l’INRIA Rennes possède une longue expérience dans le domaine de la téléopération assistée par ordinateur (incluant par le passé plusieurs projets en collaboration avec le CEA), et a mis en évidence dans ce contexte les rôles essentiels joués par deux sous-systèmes : les systèmes d’imagerie numérique/synthétique d’une part, et l’ensemble des fonctions de pilotage à retour d’effort d’autre part. Basé sur cette expérience et selon une approche pluridisciplinaire, un axe de recherche mené actuellement à l’INRIA Rennes vise à promouvoir le rôle des systèmes d’interactions à retour d’effort (interfaces haptiques) comme extension innovante et justifiée dans le cadre des systèmes de réalité virtuelle. Les concepts et architectures génériques sont destinés à plusieurs domaines d’applications actuellement très porteurs (montage virtuel en IAO, simulateurs, téléchirurgie, multimédia).

Unité de recherche INRIA Rhône-Alpes L’équipe i3D de l’INRIA Rhône-Alpes (ex Roquencourt) focalise ses recherches autour de l’interaction 3D et des environnements virtuels. Ses travaux s’appuient notamment sur les dispositifs de visualisation immersive (grands écrans) et à retour haptique. Dès 1999, i3D a fait le choix d’une configuration de réalité virtuelle sur laquelle sont basés la plupart de ses travaux : un plan de travail virtuel à deux écrans (Workbench), le premier installé en France (Figure 6.2). Ce choix a été motivé par les très fortes 1 http

://www.openMASK.org

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

161

Figure 6.2 : Plan de travail virtuel de l’Inria/i3D

potentialités de cette configuration en terme d’interaction dues entre autre à la manipulation en directe du modèle virtuel. Dans le cadre de ses recherches, i3D intervient de façon complémentaire à plusieurs niveaux : (1) étude et conception de paradigmes ou métaphores d’interaction, (2) interactions haptiques, (3) évaluation de périphériques ou de techniques d’interaction et facteurs humains. Un des objectifs du groupe i3D est d’enrichir le plan de travail virtuel (et plus généralement les configurations de réalité virtuelle) de paradigmes d’interaction et de retours sensoriels (comme le retour d’effort) supplémentaires. Dans le cadre de PERF-RV, un dispositif à retour d’effort, le SPIDAR, sera installé sur le plan de travail virtuel. Il permettra une interaction en directe et avec retour d’effort du modèle virtuel. i3D a aussi proposé et évalué plusieurs paradigmes d’interaction et réalise régulièrement des tests psychophysiques en collaboration avec des psychologues.

6.2.2 CEA-LIST

Depuis 1993, le CEA-LIST s’intéresse aux organes haptiques de faibles coûts et a déposé de nombreux brevets concernant des poignées haptiques et des bras maîtres. Il a réalisé en 1999 un bras maître VIRTUOSE 3D (Figure 6.3), comportant 3 axes à retour d’effort pour les applications de l’haptique en environnement virtuel et le bureau d’étude du futur. Dans PERF-RV, le CEA-LIST développe de nouveaux outils et des méthodes d’interaction homme-machine : interfaces haptiques, rendus haptiques, téléprésence et présence. Les domaines d’applications visés concernent la maintenance téléopérée, le prototypage virtuel pour la simulation de montage /démontage et la maintenance, ainsi que la formation aux gestes techniques. Des retombées sur les domaines grand public (parc à thème, jeu et culture), sont aussi attendues. Le rôle du CEA-LIST dans le consortium, en parallèle de l’activité de recherche ci-dessus mentionnée, est de constituer un pôle de transfert industriel en assurant le lien entre les laboratoires de recherche et les applications industrielles. En particulier le CEA-LIST prendra en charge l’intégration des différentes technologies développées par les partenaires pour réaliser des prototypes fonctionnels innovants, ceci dans le respect des règles de la qualité (management de projet) et en assurant un niveau de propriété industrielle et de confidentialité contractualisé.

162

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.3 : Bras maître VIRTUOSE 3D.

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

163

6.2.3 ÉCOLE DES MINES DE PARIS

Figure 6.4 : In Virtuo, premier magasin virtuel d’expérimentation commerciale. L’équipe RV&RA ( Réalité Virtuelle et Réalité Augmentée) a acquis ses compétences dans le domaine de la réalité virtuelle depuis 1992 (Figure 6.4), grâce à des projets de recherche menés en collaboration avec des partenaires comme le CEA, EDF, la SNCF, Renault, PSA PEUGEOT CITROËN, etc. Les domaines de recherche portent sur les points suivants : • •

•

les interfaces visuelles et la vision en relief ; les interfaces comportementales entre l’utilisateur et l’environnement virtuel. Il s’agit d’une approche centrée sur l’homme plutôt que sur la technique. Les questions à se poser lors de la conception portent sur les schèmes comportementaux et sur les métaphores ; la méthodologie de conception des systèmes virtuels, centrée sur l’immersion naturelle.

Certaines applications développées par l’équipe RV&RA de l’École des Mines de Paris sont présentées par exemple dans le chapitre deux du volume 1. 6.2.4 INSTITUT DE L’IMAGE DE CHALON SUR SAÔNE

La compétence en relation avec le projet PERF-RV s’identifie à travers les différents travaux de transferts technologiques (Figure 6.5) et les nombreux contacts industriels en cours. Quelques exemples de réalisation situent leurs centres d’intérêts par rapport à la réalité virtuelle :

164

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.5 : Simulateur d’abattage ARVESTER

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

165

•

réalisation d’un logiciel de conception de planche de bord, permettant de modéliser celle-ci de façon simple et rapide, en plaçant différents instruments (partenaire : PSA PEUGEOT CITROËN) ;

•

étude pour évaluer un outil de prototypage virtuel afin de définir les composants logiciels à mettre en œuvre pour intégrer des interfaces matérielles de réalité virtuelle (partenaire : EADS SURESNES).

6.2.5 LABRI

Figure 6.6 : Simulation d’endoscope. Le LABRI travaille sur la construction d’environnements 3D : il s’agit de produire, le plus simplement possible, des modèles 3D que l’on utilise par la suite dans des applications de réalité virtuelle. En effet, de façon complémentaire aux méthodes classiques basées sur une description quasi exhaustive des objets à l’aide d’un modeleur (modèles précis mais coûteux), le LABRI a développé une technologie produisant une description 3D à partir de plusieurs vues planaires (photos, croquis) et de quelques interventions simples de l’opérateur. Naturellement, le contexte d’utilisation (rendu interactif) fournit des contraintes de construction de ces modèles. Dans le domaine médical, afin de réduire les inconvénients des examens de type endoscopie (Figure 6.6), des chercheurs ont proposé de simuler cet acte en utilisant des techniques de réalité virtuelle. Premièrement, il est nécessaire de construire un modèle tridimensionnel de la partie du corps étudiée à partir de données anatomiques fournies par exemple par une IRM ou un scanner. Ensuite, l’utilisateur visualise interactivement ce modèle par l’intermédiaire d’un casque ou de lunettes et s’y déplace en utilisant des capteurs de mouvement. Le LABRI travaille sur ce thème, d’abord en optimisant des algorithmes de reconstruction de modèles 3D pour augmenter la qualité des maillages produits (taille, homogénéité), ensuite en mettant au point des interfaces qui soient réellement exploitables par les praticiens dans leur pratique courante. Le LABRI a ainsi développé un simulateur offrant une navigation de type vol aérien et une détection de collision par l’intermédiaire d’un joystick à retour d’effort. Il mène un projet mettant en oeuvre des techniques de réalité virtuelle dans le domaine du géomarketing (utilisation de supports géographiques pour présenter des informations stratégiques). Il s’agit tout d’abord de reconstruire des modèles 3D géographiques (villes) puis de naviguer dans cet environnement en y su-

166

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

perposant des données économiques, financières, démographiques que l’utilisateur a sélectionnées au préalable. 6.2.6 LABORATOIRE DE ROBOTIQUE DE VERSAILLES

Le laboratoire de Robotique de Paris, développe un savoir-faire en réalité virtuelle en abordant particulièrement les points suivants : •

• •

• • •

la téléopération longue distance de robots (PICS CNRS : téléprésence World Experiment avec le MITI au Japon) ; le prototypage virtuel de mécanismes ; les interfaces haptiques pour l’endoscopie, poste d’assemblage manuel dans le monde virtuel (programme Franco-Israélien : usine du futur) ; l’évaluation d’interfaces haptiques (avec British Aerospace) ; la conception d’interfaces haptiques (avec le CEA) ; la problématique de l’assemblage virtuel (avec EADS CCR et l’INRIA).

6.2.7 LIMSI-CNRS

Figure 6.7 : Application ADN-viewer. L’équipe Geste et Image a pour problématique fédératrice : l’interaction 3D pour la réalité virtuelle ou augmentée. Dans le cadre du projet PERF-RV, l’activité de cette équipe porte principalement sur l’interaction multi-modale dans le contexte de dispositifs de réalité virtuelle potentiellement distribués voire coopératifs. Sur l’expérience acquise à travers la réalisation d’une des premières interfaces multi-modales graphiques et vocales pour modeleurs géométriques (MIX3D : Multimodal Interactions in a X environment with a 3D virtual world), cette équipe a mis au point depuis octobre 98 un serveur d’évènements (EVserveur) pour la gestion distribuée de multiples périphériques utilisables en réalité virtuelle ou augmentée. Outre une implication naturellement forte dans les problématiques relatives aux interactions multi-modales ou coopératives, l’équipe

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

167

se propose aussi de contribuer aux actions relatives à la capture, à l’analyse et au traitement des mouvements et des gestes de l’utilisateur : système CapRe (pour la Capture et le suivi du Regard), projet européen Chameleon (pour l’interprétation de gestes de désignation), système ARGo (pour l’Analyse et la Reconnaissance de Gestes), ou encore système HCnav (pour le contrôle des navigations virtuelles). Dans le cadre des recherches actuelles, l’équipe propose aussi de participer aux actions relatives aux dispositifs interactifs non intrusifs. La validation informatique de l’activité de recherche de l’équipe Geste et Image converge depuis octobre 98 sur EVI3d (système expérimental développé au LIMSI-CNRS pour la conception d’environnements virtuels et l’étude des interactions 3d associées). Ce système sert à tous les développements en réalité virtuelle ou augmentée du LIMSI-CNRS. C’est dans cet environnement logiciel qu’a été conçu l’EVserveur et que se poursuit l’étude de différents paradigmes d’interaction 3D. A ce jour, trois applications pilotes et deux démonstrateurs tournent déjà sous le système EVI3d, dont en particulier les applications Mécanique des Fluides et ADN-viewer (Figure 6.7), ainsi que le démonstrateur Logo multimodal (voir section 6.5.2). 6.2.8 ADEPA

L’ADEPA joue le rôle d’animateur du groupe industriel d’utilisateurs. Dans ce cadre elle doit permettre : •

•

• •

•

•

d’identifier les besoins des industriels, notamment des entreprises médianes, et les nouvelles applications à travers des enquêtes ; ces enquêtes permettront d’orienter la R&D dans le projet ; de participer à l’étude du marché sur les prototypes en cours de développement dans le cadre du projet ; de définir les expérimentations avec les industriels et de valider les résultats ; de communiquer, promouvoir et diffuser les résultats du projet à travers des présentations, des expositions, des démonstrations, des conférences etc.. ainsi que l’organisation des séminaires du groupe d’industriels utilisateurs ; d’ouvrir le groupe d’industriels du projet en intégrant des PME françaises voire européennes ; d’accompagner les partenaires dans le développement de projet au sein du 5ème et 6ème Programme Cadre de Recherche et Développement (5ème et 6ème PCRD), EUREKA, LEONARDO, FSE...

6.2.9 EADS CCR

Plusieurs travaux de recherches ont abouti à des applications (à base de réalité virtuelle ou de graphique 3D interactif) mises en exploitation dans le cadre des programmes Airbus ou des programmes spatiaux (Ariane 5, ATV) : • •

•

visualisation temps réel de missions spatiales ; navigation interactive dans les données produit multimédia, à base de technologies Internet ; conception rapide interactive de configurations système (ex : routage de tuyauteries).

168

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Ces travaux permettent d’apporter au projet PERF-RV une base solide en terme de compétences et d’éléments matériels et logiciels. Ils permettront également d’apporter au projet des besoins industriels complémentaires. Une thèse, engagée début 99 avec l’INRIA et le LRP, sur l’utilisation d’interfaces haptiques pour le montage/démontage a été soutenue fin 2001 [Lécuyer, 2001]. Un certain nombre de résultats sont disponibles (état de l’art, étude sur les interfaces pseudo-haptiques) et sont apportés au projet.

6.2.10 IFP

Figure 6.8 : Explorium de l’IFP. L’Institut Français du Pétrole s’est équipé, à Rueil Malmaison, d’un espace de visualisation 3D, à l’image de la majorité des compagnies pétrolières. Cet outil, baptisé Explorium a été conçu pour répondre à un nombre croissant de besoins dans l’industrie, la recherche et l’enseignement. Dans ces trois domaines, l’IFP est confronté à la complexité et au volume des données à analyser et à diffuser. L’Explorium (Figure 6.8), opérationnel depuis avril 2001, est équipé d’un écran courbe de onze mètres de large sur trois mètres de haut, de trois vidéoprojecteurs hautes-performances et de moyens de calcul et de rendu graphique avancés. Cette configuration sera amenée à évoluer au fur et à mesure de l’accroissement des besoins. Les domaines d’application possibles sont l’exploration-production pétrolière et gazière, l’automobile, l’offshore pétrolier, l’industrie pharmaceutique, la chimie, la chirurgie, la médecine, la biologie, l’aménagement du territoire, le prototypage virtuel et la CAO au sens large, le design, le bâtiment, l’architecture, les projets liés au tourisme, la valorisation et la préservation du patrimoine, la formation, la plasturgie. Les autres axes de recherche intéressant l’IFP, au même titre que les centres de recherche des compagnies pétrolières avec lesquels l’IFP travaille, sont les suivants :

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV •

•

169

la manipulation 3D directe plus naturelle avec les données d’une étude (étude de menu 3D) ; la visioconférence immersive (travail collaboratif distant entre équipements immersifs).

6.2.11 CLARTE

Figure 6.9 : SAS Cube. Dans le cadre de la mise en place d’une technopole à vocation haute technologie, l’agglomération Lavalloise, après avoir décidé l’implantation d’une école d’ingénieur en informatique-électronique-automatisme en 1994 (l’ESIEA), a décidé la création d’un pôle réalité virtuelle (Figure 6.9). Les différentes approches prises en considération dans l’analyse prospective qui a été menée en associant l’ensemble des partenaires institutionnels peuvent se décliner comme suit : •

•

une recherche d’identité scientifique et technologique par le développement de compétences ; une volonté d’ouverture à la communauté culturelle, éducative et scientifique par la mise en place de partenariats associant laboratoires de recherche, entreprises publiques et privées et établissements de cultures scientifiques et techniques.

6.2.12 DASSAULT AVIATION

Le service Méthodes et Outils de Dassault Aviation a en charge les outils et les méthodes pour le bureau d’étude. A ce titre, il mène des activités de prospection sur la

170

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

simulation d’activité humaine au sein d’une maquette entièrement numérique. Il a participé dans ce domaine au projet européen CEDIX (avec une démonstration de RV) et a effectué des recherches sur le sujet de la simulation d’activité humaine. Ce nouveau projet s’inscrit dans la continuité des précédents. Récemment, Dassault Aviation s’est équipé d’une salle de visualisation immersive permettant la visualisation stéréoscopique sur grand écran de modèles informatiques (revues d’aménagement, démonstrations...). Le couplage de cet outil avec d’autres moyens de simulation (interface haptique, motion capture) est en cours d’analyse.

6.2.13 EDF

Figure 6.10 : Visite virtuelle de centrale nucléaire (Photo EDF). L’équipe d’ingénieurs-chercheurs en réalité virtuelle du département SINETICS (Simulation Numérique, Technologie de l’Information et Calcul Scientifique) de la division R&D d’EDF se concentre sur les applications-cœur de la réalité virtuelle dans le domaine de l’énergie. En favorisant l’émergence et le développement des technologies de Scanning 3D d’installations industrielles, EDF s’est montré un acteur innovant de la recherche dans ce domaine ; son parti pris d’installations mobiles et de plates-formes de développement issues du monde du jeu vidéo 3D font d’EDF un des premiers industriels à démocratiser cette technologie auprès du grand public : visite virtuelle de centrale nucléaire (Figure 6.10), auprès de ses agents, pour la formation et la préparation des interventions à risques (en centrale ou sur le réseau électrique) assurant ainsi la mission d’information et l’effort constant de transmission du savoir-faire du groupe EDF.

6.2.14 GIAT INDUSTRIES

Afin de répondre à de nouveaux besoins et à de nouvelles exigences et étant donné la diversité des clients et leurs besoins spécifiques, des études utilisant les technologies

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

171

Figure 6.11 : Image relative au projet CIM (Photo Giat Industries).

de la RV sont menées (Figure 6.11) par l’équipe Recherche et Développement du département de Soutien Logistique depuis 1995. Giat Industries a en outre participé à un projet innovant, le projet TRAIMWE européen (TRAining in Industry Multiple sites and multiple users Without Equipment frame) subventionné par la Commission Européenne et dont les participants sont : Giat Industries (France), Institut Fraunhofer - IFF (Allemagne), Eurocopter (France), MAN Roland (Allemagne), Robotiker (Espagne), Université Technique de Crete, TUC (Grèce). Ce projet a pour objectif principal de développer un nouvel outil pédagogique dédié à la formation à la maintenance (celleci prend en compte l’inspection, le diagnostic, l’échange, la réparation, le réglage et la vérification de la remise en état du système) de systèmes industriels complexes et de définir une nouvelle méthodologie et une pédagogie d’apprentissage. D’autres projets sont envisagés dans les domaines de la conception, la production, le soutien, la robotique, le marketing...

6.2.15 PSA PEUGEOT CITROËN

PSA PEUGEOT CITROËN, comme l’ensemble de l’industrie automobile, doit faire face aux exigences du marché qui réclame un renouvellement plus rapide de la gamme, l’intégration de nouveaux services et de nouvelles innovations, dans un contexte économique compétitif. La mondialisation et l’implication de partenaires (autres constructeurs et équipementiers) très tôt dans le cycle de développement induisent de nouveaux processus : co-conception et travail en environnement d’entreprise étendue. La CAO, la maquette numérique, le calcul et la simulation sont devenus les outils indispensables des bureaux d’études. Les technologies de la réalité virtuelle permettent d’envisager de nouvelles pistes pour la réduction des cycles de développement et la maîtrise des

172

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.12 : Simulateur de conduite avec cabine physique (Photo PSA PEUGEOT CITROËN).

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

173

dépenses, en favorisant les prises de décision anticipées et en réduisant le nombre des prototypes physiques. Dans le groupe PSA PEUGEOT CITROËN, les domaines d’utilisation (déjà abordés ou potentiels) de la RV concernent :

•

la conception des véhicules et des organes mécaniques : visualisation réaliste de pièces et ensembles, revue de projet, restitution de résultats de calcul ;

•

la conception des moyens de production : faisabilité des opérations de montage, simulation de postes de travail et ergonomie, implantations industrielles ;

•

les interventions en service après-vente ;

•

l’aide à la vente.

En plus des systèmes existants, d’autres équipements de visualisation en grande dimension seront déployés dans le Centre de Design de Vélizy. Des projets sont engagés pour évaluer l’apport des systèmes à retour d’effort. Dans le cadre de PERF-RV, les efforts de PSA PEUGEOT CITROËN ont été engagés en direction de l’évaluation de la technologie de visualisation immersive.

6.2.16 RENAULT

Pour répondre aux besoins du marché et à la concurrence, Renault diminue son cycle d’étude des projets véhicule tout en intégrant des innovations. RENAULT mène une politique d’entreprise étendue pour intégrer ses partenaires dès l’amont de l’étude des projets, et pour répondre aux problèmes de dispersion géographique des différents sites. Le bureau d’études et les méthodes utilisent actuellement tous les outils IAO (CAO, calcul, simulation...) qui ont apporté un gain en temps et en coût. Les outils de maquette numériques ne répondent pas à l’ensemble des besoins du bureau d’étude et méthodes. L’immersion de l’opérateur permet d’aller plus loin dans la levée des risques. La réalité virtuelle permet d’augmenter la réactivité des décisions pour diminuer le cycle d’étude et le coût en diminuant le nombre de maquettes physiques. Cette technologie couplée avec un système haptique permet de prendre en compte en amont de l’étude le montage et le démontage des pièces. Nous avons commencé une étude sur le montage virtuel pour répondre aux besoins :

•

des architectes pour la visualisation en contexte ;

•

du montage en mettant l’opérateur en contexte usine ;

•

du démontage pour l’après vente.

6.3

FONCTIONNEMENT DU RÉSEAU

La plate-forme PERF-RV fonctionne comme un réseau, tant dans le partage de ressources que dans la réalisation de recherche et de développements innovants. De ce fait elle hérite de la notion de plate-forme élaborée par le RNTL une capacité à s’ouvrir à d’autres acteurs français de la réalité virtuelle.

174

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

6.3.1 RÈGLES D’OUVERTURE DE LA PLATE-FORME

Les objectifs essentiels de la plate-forme PERF-RV concernent d’une part la mutualisation d’un ensemble de configurations matérielles pour la réalité virtuelle (reality center, plan de travail virtuel, systèmes d’interaction haptiques...), et d’autre part la factorisation multidisciplinaire de l’étude de problèmes génériques en réalité virtuelle dans des secteurs applicatifs différents et complémentaires (automobile, défense, recherche pétrolière). Nous devons donc envisager l’ouverture de la plate-forme à plusieurs niveaux. La notion d’auditeur libre (partenaire rejoignant PERF-RV sans financement) va permettre de mettre en œuvre l’ouverture de la plate-forme.

6.3.2 USAGES DES RESSOURCES MATÉRIELLES

De part le consortium qui le compose et les objectifs de PERF-RV, l’ensemble des partenaires a pour vocation, dans le cadre de cette plate-forme, de développer un parc matériel de premier plan, tant sur le plan des calculateurs que sur celui des dispositifs d’interaction et de visualisation, nécessaire pour permettre de développer des applications en réalité virtuelle en contexte industriel. Les éléments de ce parc matériel représentent souvent des investissements très lourds effectués par les membres du consortium. L’originalité et la complétude de ce parc va entraîner nécessairement une demande d’accès de partenaires extérieurs au consortium PERF-RV, cette demande émanant probablement de PME/PMI ou de laboratoires de recherches qui ne peuvent financer sur leurs fonds propres les investissements nécessaires à l’acquisition d’un tel parc.

6.3.3 USAGE DES RESSOURCES LOGICIELLES

A travers l’ensemble des sous-projets et des actions concrètes de recherche et développement menées dans PERF-RV, l’objectif est d’exploiter le couplage rechercheindustrie pour réfléchir et innover sur le plan logiciel. Cette innovation sera mise en œuvre par l’étude en commun de problèmes industriels caractéristiques et par l’élaboration de solutions logicielles permettant de résoudre ces problèmes. Un des objectifs de PERF-RV est la factorisation dans les développements logiciels, cette factorisation sera mise en œuvre, dans la mesure du possible, par des développements sur des platesformes logicielles communes (permettant les échanges entre partenaires). Pour mettre en évidence les innovations logicielles proposées dans les actions de PERFRV, l’INRIA-Rennes propose une plate-forme logicielle de simulation, OpenMASK, multi plate-forme matérielle : SGI/IRIX, SGI/Linux, PC/Linux, distribuée en Open Source. Cet élément peut devenir un des éléments de factorisation concrète des développements novateurs réalisés dans le cadre de PERF-RV. Concernant les interfaces haptiques, le CEA-LIST mettra de même à disposition des partenaires une bibliothèque ouverte de rendu haptique permettant de contrôler les interfaces haptiques utilisées sur la plate-forme. La diffusion de l’information concernant la mise à disposition de bibliothèques ou outils résultants de l’activité de PERF-RV sera réalisée sur le site WEB de PERF-RV2 . 2 http

://www.perfrv.org

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

175

6.3.4 DIFFUSION DES RÉSULTATS

L’ADEPA à travers son réseau de 20 antennes régionales, diffusera les résultats du projet PERF-RV à grande échelle sur le plan national. Différents moyens seront mis en place dans la stratégie de diffusion. A des stades avancés des différents sous-projets, l’ADEPA organisera des séminaires dans les régions, regroupant des industriels, spécialement des PME, pour présenter les expérimentations et les activités R&D et leurs résultats. Les résultats issus directement des activités de recherche dans le cadre du projet PERF-RV ne seront pas accessibles tout de suite au monde des PME. L’un des premiers points de blocage pour introduire ces technologies dans les PME est l’aspect très innovant, le deuxième étant inévitablement le coût. Les PME doivent être sensibilisées et préparées à l’intégration de ces technologies qui seront accessibles à grande échelle sur le marché dans quelques années (4 à 8 ans). Le consortium PERF-RV s’est fixé comme objectif de nouer des relations étroites avec les centres de recherche en réalité virtuelle européens, dans le but de favoriser les échanges et de fédérer les travaux scientifiques, mais aussi de travailler plus étroitement et de manière coordonnée avec les organismes de normalisation et de standardisation actifs dans les domaines techniques concernés. Des contacts ont été pris dans ce sens avec la Commission Européenne qui est prête à soutenir cette initiative, qui s’inscrit dans sa stratégie de promotion et de diffusion de la Recherche Technologique en Europe, et qui pourrait apporter son soutien financier pour constituer un réseau d’Excellence Européen. 6.4

SOUS-PROJETS ET ACTIONS DE PERF-RV

PERF-RV est organisé en quatre sous-projets thématiques qui sont eux-même décomposés en actions. Chaque action est ciblée vers un objectif scientifique ou technologique et est portée par un nombre limité de partenaires. De plus, dans chaque sousprojet une action particulière vise à animer un groupe de travail dont les missions, pour les quatre sous-projets, concernent : •

•

•

•

•

la définition des attentes techniques de chaque industriel concernant les applications du couplage des interfaces haptiques et de la visualisation immersive ; la définition des contraintes industrielles liées à la mise en place de ces applications et le savoir-faire nécessaire ; la réalisation d’une synthèse de ces besoins et contraintes pour spécifier le cadre expérimental (test case) permettant la mise en œuvre des différentes solutions technologiques, leur utilisation, test et validation. Compte tenu des secteurs industriels représentés (aérospatiale, automobile, défense...) dans ce sous-projet plusieurs cadres expérimentaux seront définis ; l’accompagnement des industriels dans les expérimentations, la validation et l’évaluation du potentiel d’applications dans leur domaine ; l’aide des industriels et des partenaires de R&D pour le montage de projets européens.

La suite de cette section présente de manière synthétique le contenu et les objectifs de chacune des actions de PERF-RV.

176

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

6.4.1 SOUS-PROJET 1 : INTERFACES HAPTIQUES ET VISUALISATION IMMERSIVE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - Démonstrateur interface haptique et visualisation immersive : Cette action du sous-projet SP1 vise à développer un cadre d’expérimentation concernant le couplage des interfaces haptiques et de la visualisation immersive en relation et support avec des applications industrielles. L’enjeu de cette action concerne essentiellement la réalisation d’un ensemble expérimental, suffisamment générique, devant démontrer l’apport des interfaces haptiques (périphériques à retour d’effort) dans le contexte de systèmes de réalité virtuelle (système de visualisation immersive). L’analyse d’applications de référence issues des sous-projets SP3, SP4, permettra d’identifier les exigences fonctionnelles et les contraintes associées. Action A3 - couplage haptique-visuel : Le succès de l’immersion est en particulier relié à la capacité de générer à partir du monde virtuel les mêmes signaux sensoriels que ceux qu’un homme reçoit d’un monde réel. Or ce monde réel s’adresse à l’ensemble de nos sens et on ne sait pas bien, sinon pas du tout, comment le système perceptif global de l’homme fonctionne véritablement, en particulier dans la coopération entre sens et dans la substitution de sens. Néanmoins on sait que pour toute réalisation de tâche physique par un homme, l’usage de la vision et du sens haptique assurent un rôle essentiel. L’objectif consiste donc à trouver quelques indications sûres sur les rapports entre ces deux sensations dans l’efficacité d’action et l’efficacité du sentiment d’immersion. Action A4 - Conception et revue de projet immersives dans un MoveTM : PSA PEUGEOT CITROËN a souhaité engager des évaluations approfondies d’une salle immersive sur des projets à dimension industrielle. Les métiers visés sont ceux du design (marketing produit + style + technique automobile), de la conception véhicule et de la conception des moyens industriels : faisabilité du process, ergonomie des postes de travail, implantations industrielles. Les objectifs sont de mesurer concrètement l’intérêt technique et économique d’une salle immersive pour les processus de développement, de préciser l’intérêt d’en doter le centre de design, de préparer les conditions d’appropriation par les équipes de conception, d’engager la courbe d’apprentissage au plus tôt. Action A5 - Retour d’effort pour les études d’ergonomie : L’objectif est de pouvoir valider l’ergonomie d’un poste de conduite à l’aide de la seule maquette numérique. Cette action vise à développer un cadre d’expérimentation concernant le couplage des interfaces haptiques et de la visualisation immersive, avec visiocasque ou avec rétroprojection, dans un contexte d’applications ergonomiques des postes de conduite du domaine automobile et des autres moyens de transport (train par exemple). L’enjeu de cette action concerne donc l’évaluation opérationnelle du couplage de l’interface haptique et du système de visualisation pour répondre à une immersion et une interaction fonctionnelle en ergonomie : la ou les solutions retenues devront répondre aux besoins et être confrontées aux contraintes opérationnelles des applications industrielles en ergonomie. Action A6 - Intégration de la RV dans le processus de conception de produits : L’objectif de cette action est d’identifier l’intégration des techniques de réalité virtuelle dans le processus de conception et de développement de produits. En

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

177

fait chacune des techniques traitées dans le projet PERF-RV (immersion, système haptique, coopération...) ont plusieurs types d’application possible. Dans le cadre d’un développement d’un produit à plusieurs étapes nous avons des besoins de simulation numérique et de validation (conceptuel, design, fonctionnel, ergonomie d’utilisation, de packaging...). Les techniques de RV peuvent contribuer dans ces différentes phases à faciliter la validation et à accélérer la prise de décision. L’intégration de la RV dans le processus de conception permettra donc de réduire le temps nécessaire à la mise sur le marché d’un produit (time to market).

6.4.2 SOUS-PROJET 2 : INTERFACE MULTIMODALE ET COOPÉRATIVE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - Serveur distribué d’événements pour dispositifs de RV : Cette action vise à évaluer et généraliser l’architecture logicielle d’un serveur distribué d’évènements (EVserveur) conçu et développé au LIMSI-CNRS depuis quelques années. L’intérêt fondamental de l’EVserveur est la gestion de diverses modalités. Au demeurant, il a par nature vocation à gérer tout type de communication, puisqu’il est utilisable dans tout développement logiciel (applications graphiques ou non) qui requiert l’usage d’un ensemble hétéroclite de matériels et de systèmes d’exploitation (Windows, Linux, Unix, FreeBSD...). L’enjeu de cette action sera d’évaluer à grande échelle l’apport et la fiabilité de l’architecture logicielle de ce serveur pour la réalité virtuelle. L’évaluation à grande échelle permettra de s’assurer de la fiabilité et des qualités génériques de ce serveur, visà-vis de nos partenaires utilisateurs des sous-projets SP3 et SP4. Action A3 - Interactions coopératives locales et distantes : Cette action vise à développer un cadre d’expérimentation concernant les interactions coopératives de plusieurs utilisateurs proches et/ou distants, immergés dans un même environnement virtuel 3D. Chaque site immersif regroupant des utilisateurs possédera son propre point de vue sur cet environnement, qui sera alors partagé par tous les utilisateurs de ce site. L’enjeu principal de cette action est d’étudier de nouveaux paradigmes de coopération, pouvant être basés par exemple sur de nouveaux dispositifs physiques d’interaction et d’évaluer les différentes coopérations possibles entre utilisateurs selon qu’ils sont sur un même site ou sur des sites distants. Plusieurs utilisateurs immergés dans un environnement virtuel 3D et partageant un même point de vue sur cet environnement vont pouvoir communiquer en parallèle avec une même application, cela va donc pouvoir être assimilé à de l’interaction multimodale, d’autant plus que chaque utilisateur peut avoir la possibilité d’utiliser simultanément plusieurs types de dispositifs physiques d’interaction.

6.4.3 SOUS-PROJET 3 : SIMULATION D’ASSEMBLAGE ET DE MONTAGE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - simulation d’assemblage et montage : Cette action s’intéresse à l’assemblage manuel et dans une phase postérieure à l’assemblage dont certaines étapes peuvent profiter d’outillages manuels. Avec

178

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

ces hypothèses, le but de la simulation est de fournir des indications réalistes sur ce que seront assemblage et montage dans la réalité. De ces indications on devrait pouvoir déduire des techniques de montage réelles à forte efficacité et rentabilité. L’assemblage ou le montage sont dépendants d’un grand nombre de paramètres que la simulation virtuelle permet de faire varier en un clin d’œil. Sans être exhaustif, citons : le volume de travail, la position et configuration de l’homme vis-à-vis du poste de travail, l’agencement des pièces à assembler sur le poste avant l’opération, leur visibilité, leur orientation vis-à-vis d’une saisie utile aboutissant ensuite à leur insertion dans l’ensemble visé. Action A3 - Extraction d’éléments de simulation d’assemblage et de montage : Cette action vise à spécifier et prototyper des solutions techniques permettant d’extraire des résultats des simulations effectuées dans un contexte de réalité virtuelle pour des opérations d’assemblage et montage. Cette action vise à évaluer différentes possibilités techniques d’extraction de résultats de simulation pour une opération industrielle donnée de type assemblage. L’opération type, qui sera prise en compte, consiste à effectuer une revue d’aménagement d’une zone contenant différents équipements et pour laquelle la simulation portera sur une activité de vérification d’accessibilité pour un être humain à un équipement dans une zone et au démontage de cet équipement. Les spécifications et les évaluations porteront en particulier sur la capacité de la simulation pour juger de la faisabilité et du réalisme des actions d’assemblage. Action A4 - Simulation réalité virtuelle d’un assemblage aéronautique : Cette action vise à évaluer différentes possibilités de simulation en réalité virtuelle d’une opération industrielle donnée de type assemblage. L’opération type, qui sera spécifiée en détail, consiste à intégrer un équipement dans un environnement complexe (ex : insertion d’une tuyauterie hydraulique dans un mât de réacteur Airbus). L’enjeu de cette action consiste à proposer une solution optimale qui répond à un problème significatif posé par le monde de l’atelier numérique aéronautique. L’objectif en terme industriel est de maîtriser et d’anticiper les évolutions technologiques et de préparer l’introduction d’une solution innovante dans le processus de conception. Pour cela les évaluations finales seront faites sur un panel très large d’opérationnels des filiales EADS et de Dassault Aviation intervenant à différentes étapes dans le cycle de développement des produits. Action A5 - Revue d’application montage virtuel dans le domaine automobile : La présente action a pour but de définir dans un premier temps les applications typiques concernant le montage virtuel dans le domaine automobile, puis dans un deuxième temps d’évaluer les besoins nécessaires pour réaliser une revue de montage virtuel. Ces besoins concernent différents domaines : •

le domaine d’application : déterminer les cas et les limites d’utilisation ;

•

le domaine matériel : quel type de matériels peut-on utiliser pour réaliser une revue de virtuel en ayant soin de minimiser le coût des équipements ;

•

le domaine logiciel : identifier les logiciels utiles à partir des principales fonctionnalités que nous aurons déterminées ;

•

le domaine utilisateur : ce domaine est important pour l’appropriation de l’outil par l’utilisateur et la formation ;

•

le domaine intégration dans le système IAO : pour la récupération des données et le transfert pour d’autres applications y compris robots et outils d’assistance.

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

179

6.4.4 SOUS-PROJET 4 : FORMATION AU GESTE TECHNIQUE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - Forum des métiers : Cette action se propose d’étudier et de tester le concept de didacticiel métier en mettant l’Homme (l’élève, le candidat) au centre de la réflexion. L’objectif est essentiellement constitué par l’étude de l’interaction humaine en environnement immersif. Le réalisme du modèle sera préféré à l’exactitude de la simulation des différents objets constitutifs de la maquette virtuelle, le problème nous concernant étant essentiellement de mettre l’individu en situation en supprimant les perturbations environnementales qui modifient son comportement et ses réactions face à une situation donnée. Les interactions temps réel et l’utilisation de systèmes à retour d’effort favorisant le réalisme et la mise en situation réelle seront étudiées et évaluées, là encore avec un objectif d’amélioration du réalisme de la situation plutôt que par souci d’exactitude avec le contexte réel. 6.5

PERF-RV : PRINCIPAUX RÉSULTATS

Depuis son lancement la plate-forme PERF-RV a produit de nombreux résultats, tant par l’organisation de réunions régulières des groupes de travail que par l’activité de chacune de ses actions. En particulier, les groupes de travail des quatre sous-projets ont contribué à : •

•

• •

•

présenter les actions respectives des partenaires industriels et chercheurs afin de définir les conditions initiales du projet ; établir la liste des points clés qui conditionnent la réussite ou l’échec d’une application de réalité virtuelle : définir les caractéristiques fonctionnelles des applications RV ciblées et éclairer les axes de recherche où un effort particulier devra être réalisé ; structurer l’état de l’art, de l’offre et de la demande ; détecter les actions factorisables dans le sous-projet, et finalement entre les sousprojets tant au niveau recherche qu’au niveau des synergies industrielles ; ouvrir le projet à de nouveaux partenaires qui ont activement participé au groupe en tant qu’auditeur et contributeur libre.

De plus, l’expression du besoin et des contraintes, matérialisée par un volumineux rapport sur l’analyse des besoins et l’état de l’art a mis en exergue les points suivants : •

•

•

la continuité du champ applicatif de la RV tout au long du cycle de vie du produit (bien ou service), depuis l’étude la plus amont des biens et services jusqu’à la formation en aval des différents utilisateurs. Un travail de classification et de hiérarchisation des spécifications des systèmes RV est en cours ; la continuité de la chaîne numérique est une condition sine qua non à la viabilité et à l’inter-opérabilité des applications RV avec leur environnement logiciel (standards des formats, bande passante...) ; la nécessité d’une personnalisation des applications RV au public ciblé (expert, décideur, opérateur, grand public...) fait ressentir le besoin d’un langage de scénarisation de haut niveau. Ceci mérite d’être cité (même si le projet actuel ne couvre pas cet axe).

180

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

6.5.1 SOUS-PROJET 1 : INTERFACES HAPTIQUES ET VISUALISATION IMMERSIVE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - Démonstrateur interface haptique et visualisation immersive : Le développement de cette action a suivi dans un premier temps une phase de formalisation et de spécification et dans un deuxième temps une phase de prototypage. Nous avons renforcé et synthétisé les acquis des partenaires INRIA et CEA dans le domaine des systèmes haptiques. A ce titre, les activités principales ont porté sur la préparation d’un état de l’art et la coordination avec la revue des applications. Ce rapport, conçu comme un état de l’existant et une synthèse comparative, est basé sur une documentation très étendue. Les systèmes haptiques sont abordés dans leur globalité, à la fois sous l’aspect matériel et logiciel. L’état de l’art présente le panorama complet et détaillé des périphériques de commande à retour d’effort, leur principe, leur architecture, leur classification, leurs caractéristiques. Les interactions haptiques quant à elles, orientent vers un état de l’art de modules logiciels tels que : logiciels de détection de collision et de simulation physique, adaptés pour les calculs en temps réel. Les activités de spécification ont été menées sous forme d’identification des besoins et de vérification de faisabilité, devant conduirent à la préparation des spécifications d’un prototype de périphérique haptique à retour d’effort, destiné aux salles immersives. Ces travaux intègrent les analyses menées en commun avec l’action SP3/A5 sur le thème montage virtuel dans le domaine automobile, comprenant : sélection de cas dimensionnants, identification des exigences fonctionnelles, estimation des performances, prise en compte des contraintes. Parallèlement, nous avons établi les spécifications de l’architecture logicielle, modulaire et distribuée, nécessaire à l’intégration du dispositif haptique dans les applications évoluées de réalité virtuelle liées aux objectifs de PERF-RV. L’IRISA développe le logiciel OpenMASK qui sera le support de nos applications car il favorise la modularité et dispose des couches nécessaires au calcul distribué pour la réalité virtuelle. Sur ce support nous avons implémenté plusieurs prototypes des modules indispensables aux applications haptiques. Ainsi, nous disposons des algorithmes de détection de collision et de modélisation du contact, nous disposons aussi des modules de calcul de trajectoires des mécanismes articulés complexes. Action A3 - couplage haptique-visuel : Le CEA/LIST a mis en place une plate-forme logicielle et matérielle permettant de simuler le scénario de montage fourni par EADS CCR. Cette plate-forme utilise le bras à retour d’effort Virtuose 6D (voir figure 6.13) commercialisé par la société HAPTION3 . Ce bras fournit des retours d’effort en translation (forces) et/ou en rotation (couples). Des développements logiciels ont été réalisés par le CEA/LIST pour intégrer le bras et pour simuler le montage de manière réaliste. Les travaux d’intégration et de couplage au Virtuose ont été fortement factorisés avec ceux de l’action SP3A2 et SP3A4. Des ajustements ont été ensuite réalisés pour adapter le retour haptique au scénario de montage complexe proposé (réglage de la profondeur de pénétration tolérée, ajustement des gains en effort, valeurs minimale et maxi3 http

://www.haption.com/

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

Figure 6.13 : Simulation de montage sur la plate-forme du CEA/LIST.

181

182

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

male des couples, etc). Au final la simulation propose des fonctionnalités telles que : détection de collision temps réel, simulation dynamique réaliste, sélection de pièce par critère de proximité, possibilité de manipulation avec décalage, recalage du bras, manipulation d’une pièce de géométrie quelconque avec retour d’effort 6 axes, blocage de degrés de liberté, etc.

Figure 6.14 : Essai de manipulation. Les activités de formalisation concernent la modélisation de scènes graphiques pour la perception de tâches de manipulation virtuelle. Cette perception s’accompagne d’un retour d’effort sur les bouts des doigts. Le poids et l’inertie des pièces sont aussi simulés et permettent une sensation plus complète des objets manipulés. L’opérateur immergé dans les scènes graphiques doit avoir la possibilité de reconnaître les formes géométriques des pièces par simple retour d’effort, sans faire appel aux autres sens. Mais la reconnaissance des objets manipulés peut aussi se faire par combinaison du retour d’efforts et de la sensation du poids, ou par combinaison du retour haptique et du retour visuel (Figure 6.14). Les activités de spécification ont consisté à évaluer l’exosquelette CyberGrasp et le bras à retour d’effort CyberForce. Cette évaluation a été faite sur la base de la restitution du retour sensoriel lors de l’exécution d’une tâche d’assemblage. La participation aux expériences de manipulation et de perception de formes géométriques et de pièces mécaniques avec retour d’effort ont permis d’apprécier l’ergonomie du matériel, de recueillir les impressions des utilisateurs et de faire connaître les nouvelles technologies en matière d’interaction homme-machine. Action A4 - Conception et revue de projet immersives dans un MOVETM : Le MOVETM a été mis en service en mars 2002 (Figure 6.15). De fourniture SGI/BARCO, c’est une salle immersive reconfigurable 4 faces pouvant supporter des configurations cube de trois mètres, cube réduit, forme en L, théâtre et mur de neuf mètres. Un ensemble d’expérimentations a été conduit sur des projets en cours de développement. Les problématiques abordées concernent : •

l’aménagement intérieur du véhicule ;

•

l’aménagement des postes de travail, l’aide au montage et l’implantation d’installations industrielles.

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

183

Figure 6.15 : Travail dans le MOVETM (Photo PSA PEUGEOT CITROËN).

L’expérimentation a permis d’illustrer et de confirmer la spécificité de ce type de système par rapport aux autres systèmes numériques utilisés dans le Groupe. La technologie MOVETM offre à la fois : • •

•

•

•

une représentation à l’échelle 1 ; un caractère immersif, donné en particulier par une vision stéréoscopique à 180 degrés ; de l’interactivité, qui permet une simulation " à la première personne " en temps réel ; une interface intuitive autorisant de ce fait une gestuelle naturelle, n’exigeant quasiment pas d’apprentissage et donc accessible à tous ; une capacité à supporter des retours multi sensoriels : son et retour d’effort.

L’homme se trouve ainsi placé au centre de l’environnement virtuel, il n’est plus spectateur, il est acteur et de ce fait sa perception et son jugement sont au plus près de ceux de l’utilisateur final. Les utilisateurs ont donc jugé que le domaine d’utilisation de l’environnement immersif se situe lorsque l’on souhaite "se mettre dans la peau" (Figure 6.16) de l’utilisateur, c’est-à-dire en tant que client à l’intérieur d’un véhicule, ou alors en tant qu’opérateur sur un poste de travail, et que l’on ne dispose pas pour des raisons de coûts ou de délais des moyens physiques permettant de le faire. Action A5 - Retour d’effort pour les études d’ergonomie : Deux principaux travaux de spécification ont été menés : le simulateur d’effort d’un bouton de commande et l’interface haptique anthropomorphique. Simulateur d’effort d’un bouton de commande : PSA PEUGEOT CITROËN a fourni 6 types de boutons de commande de la planche de bord que le futur démonstrateur devra pouvoir simuler. Ce travail est en cours de réalisation. Voici quelques ordres de grandeur concernant la physiologie des doigts humains :

184

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.16 : Expérimentation avec un conducteur (Photo PSA PEUGEOT CITROËN).

•

•

•

• •

force maximale applicable avec l’index : 60 N pour un homme et 45 N pour une femme ; bande passante maximale avec laquelle on peut exercer une force confortablement : 10 Hz ; bande passante de perception des efforts appliqués sur l’index : 50 à 100 Hz ; bande passante de perception tactile : 0 à 400 Hz ; raideur maximale perceptible : 100 000 N/m.

Les paramètres déterminants pour le dimensionnement de l’interface haptique ont déjà été évalués. Et on a déduit de l’étude précédente les spécifications de l’interface haptique à retour d’effort, qui détermine principalement le choix du moteur linéaire : idéalement, l’actionneur doit être tel qu’il n’oppose aucune résistance au déplacement lorsqu’il est à l’arrêt (transparence). Pour atteindre cet objectif, il faut minimiser les frottements secs du moteur et l’inertie de sa masse mobile. Considérant notre application, il semble plus adapté de choisir un moteur linéaire, qui offre une meilleure précision et répétabilité à basse vitesse. Ce travail est réalisé et les premiers tests montrent que l’interface pourrait simuler les efforts des boutons réels. Des tests supplémentaires se dérouleront ultérieurement et les résultats seront analysés et discutés entre les trois partenaires. Interface haptique anthropomorphique : Parallèlement aux travaux sur le simulateur d’effort d’un bouton de commande, nous nous sommes intéressés à la réalisation d’une interface haptique anthropomorphique. Cette interface doit permettre les études ergonomiques des instruments de commande de la voiture, mise en situation avec visualisation du modèle virtuel de la

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

185

planche de bord. Elle sera réalisée au cours de la deuxième année du projet PERF-RV et testée au cours de la troisième année. L’organe haptique doit pouvoir être exploité pour la manipulation d’une commande ou d’un accessoire avec trois conditions : • •

•

ne pas supprimer la visibilité de la commande ; permettre l’évaluation de l’accessibilité de la commande, tout en détectant d’éventuels obstacles sur la trajectoire ; simuler l’action mécanique et le confort subjectif associé sur la commande.

Deux solutions ont été proposées pour l’interface haptique anthropomorphique : •

•

un système complet de type exosquelette pour tout le bras et les 2 doigts de la main ; un système partiel utilisant 2 doigts pour la simulation de la préhension et couplée à l’interface haptique Virtuose 6D du CEA (6 ddl pour le Virtuose + les x ddl des 2 doigts à définir).

Figure 6.17 : Exosquelette à deux doigts. Dans le cadre du projet, la deuxième solution a été choisie. L’exosquelette est en cours de fabrication (Figure 6.17). Il a 7 ddl aux 2 doigts (3ddl à l’index et 4ddl au pouce) et la première version aura 1ddl motorisé par doigt. Une deuxième version ayant 2ddl motorisés par doigt peut être envisagée, selon les résultats de l’évaluation de la première version. Action A6 - Intégration de la RV dans le processus de conception de produits : Les travaux entrepris dans cette action ont conduit à proposer la démarche suivante : •

•

études de cas industriels (Renault, EADS) avec analyse des évolutions du processus de conception dans ces industries manufacturières ; reprise des activités du processus de conception pour la partie recherche de concept et service support, formation ;

186

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines •

•

•

•

•

positionnement de la réalité virtuelle dans le processus et apport de la RV : premières réflexions et présentation au groupe GT4 ; consensus sur les étapes génériques du cycle de conception vis-à-vis des approches aéronautiques et automobiles ; cadrage du modèle global du système d’information industriel PDM/ERP/CRM dans lequel les applications RV liées à la conception produit/procédé devront s’intégrer ; document de synthèse des attentes des 4 groupes de travail pour les difficultés et attentes non satisfaites de la réalité virtuelle dans le cycle de conception ; première définition des activités liées à la réalité virtuelle à chaque étape principale d’un projet d’étude.

6.5.2 SOUS-PROJET 2 : INTERFACE MULTIMODALE ET COOPÉRATIVE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - Serveur distribué d’événements pour dispositifs de RV : La version initiale de l’EVserveur n’offrant pas une distribution robuste, une grande partie des travaux de formalisation menés par le LIMSI-CNRS portèrent sur ces problèmes. L’un des axes prometteurs des recherches dans le domaine des IHM pour la RV, est de pouvoir disposer de traitements avancés sur les différentes modalités interactives (reconnaissance vocale, reconnaissance gestuelle, fusion ou fission de modalités...). De tels traitements s’appuient sur une vision événementielle de l’IHM. Au demeurant, les ressources calculatoires qu’impliquent ces traitements (tels que ceux à base de processus de reconnaissance), mais aussi les limitations des ports des machines (quantité insuffisante, connectivité non standard), ou encore les incompatibilités des pilotes (drivers) avec les versions de certains systèmes d’exploitation (OS), sont autant de facteurs qui imposent une architecture logicielle distribuée. Cependant, la gestion multimodale de l’interaction suppose une datation fiable des événements. Cette précision est d’autant plus nécessaire que certains de ces événements ont une latence propre qui résulte des processus de reconnaissance qui les génèrent. De fait, pour que des événements issus de ressources distribuées possèdent une telle fiabilité temporelle, l’EVserveur doit lui-même être distribué sur le réseau des machines impliquées par un dispositif de RV (pour que les datations se fassent localement sans délai), tandis que les modules qui composent l’EVserveur doivent être synchronisés (pour avoir une datation homogène des événements) et multi OS (pour décharger le programmeur d’application du portage des drivers sous tel ou tel système d’exploitation). En conséquence, l’activité de spécification du LIMSI-CNRS a tout d’abord porté : • • • •

sur la distribution de l’EVserveur en un réseau de nœuds ; sur la transparence de cette distribution vis-à-vis des clients ; sur la synchronisation temporelle des nœuds de l’Evserveur ; sur l’implantation de ces nœuds sur différents OS (Windows, Linux et IRIX).

Elle a porté ensuite : •

sur la définition d’un pilote générique à partir duquel les pilotes de la version initiale de l’EVserveur devaient pouvoir être spécialisés ;

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV •

187

sur la spécialisation, dans ce contexte générique, de 7 nouveaux pilotes de périphériques.

En parallèle, le LIMSI-CNRS a bien entendu mené un travail de spécification sur l’extension de la hiérarchie des événements gérés par l’EVserveur en fonction de l’adjonction de ces différents périphériques. Enfin, dans le contexte de l’action VENISE (Virtualité et Environnement Immersif pour la Simulation et l’Expérimentation) transversale à l’ensemble du LIMSI-CNRS4 , ce laboratoire a spécifié le dispositif µse (multi-user stereoscopic environment), composé de deux plans verticaux rétro-projetés de 2 mètres de côté. Le LIMSI-CNRS a donc développé sous Windows, Linux et IRIX : •

•

les modules utiles à la distribution multi OS de l’EVserveur sur un réseau (10 base/T Ethernet) de machines (PC sous Windows ou Linux, stations O2, Indigo2, Onyx et Onyx2 sous IRIX), avec un objectif d’optimisation des temps de transfert des événements ; les modules chargés de la synchronisation temporelle des nœuds de l’EVserveur pour garantir une datation fiable des événements dès leur production.

Par ailleurs, divers modules ont été développés à des fins de tests ou d’évaluations de cette version distribuée multi OS de l’EVserveur.

Figure 6.18 : Démonstrateur Logo Multimodal sur le dispositif immersif µse. Sur la base de ces développements, le LIMSI-CNRS a créé le démonstrateur Logo Multimodal (Figure 6.18). Celui-ci est aujourd’hui la preuve de faisabilité la plus avancée de la partie EVserveur de notre architecture distribuée. Il montre par exemple, pour le bénéfice d’une application qui tourne sur une station SGI Onyx 2, comment l’EVserveur gère de façon unifiée bien que distribuée via un réseau standard : un système de reconnaissance de la parole (situé sur un PC avec Windows), un système de reconnaissance de gestes et ses périphériques (situé sur une station Indigo2), un capteur des mouvements de la tête (lui-même situé sur une station Linux). Ce dernier capteur est utilisé par le calculateur graphique pour gérer, d’une part la stéréoscopie adaptative sur les deux écrans du 4 http

://www.limsi.fr/Recherche/ActionVenise/

188

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

dispositif µse, d’autre part le contrôle mains libres des navigations virtuelles à l’aide du système HCnav (voir paragraphe suivant relatif à l’action A3). Cette version du démonstrateur Logo Multimodal n’intégre à l’heure actuelle qu’un moteur élémentaire de fusion multimodal des événements. Nos travaux en cours visent d’une part à généraliser ce module multimodal et portent sur l’interface de l’EVserveur avec OpenMASK. Enfin, sur la base des développements logiciels réalisés, différentes actions de vulgarisation scientifique ont pu être menées. En particulier, le LIMSI-CNRS a animé en octobre dernier, à l’occasion de la Fête de la Science 2002, un stand de réalité virtuelle dans les jardins du Ministère de la Recherche à Paris. Ce stand a permis de recevoir pendant trois jours tous les quarts d’heure des groupes d’une quinzaine de visiteurs sur le dispositif immersif mobile du CNRS. Constitué d’un système stéréoscopique rétro-projeté de 2 mètres de coté, ce dispositif était alimenté par cinq calculateurs en réseau sous Windows et Linux, de capteurs de mouvements électromagnétiques, d’un gant numérique et de systèmes de reconnaisance de la parole et des gestes. Trois démonstrations de réalité virtuelle ont ainsi été présentées en continu au public : •

•

•

exploration virtuelle du génome, basée sur l’application ADN-viewer (Figure 6.7) ; visite d’une cité virtuelle de la Renaissance, montrant l’usage du système HCnav (voir actions A3 ci-après) sur une partie de la base de données "Renaissance City" du "MultiMegaBook", dans le cadre d’une coopération du LIMSICNRS avec F.A.B.R.I.CATORS (Milano) et EVL (Chicago) ; interaction "naturelle" en réalité virtuelle, ou comment agir dans un monde virtuel en combinant parole et geste (basé sur le démonstrateur Logo Multimodal, voir figure 6.18).

Il est à noter que ces trois démonstrations tournaient sous le système EVI3d du LIMSI-CNRS dont une composante majeure est l’EVserveur (voir ci-dessus). Action A3 - Interactions coopératives locales et distantes : Dans le cadre de l’établissement d’un état de l’art relatif au sous-projet 2 : •

•

•

•

•

le LaBRI a fourni une introduction à cet état de l’art en précisant nos définitions communes, et un aperçu des dispositifs physiques ; l’INRIA/i3D a fourni un état de l’art sur l’interaction en environnements virtuels 3D ; l’INRIA Rennes a fourni un état de l’art sur la coopération en environnements virtuels 3D ; EDF a fourni un mémorandum sur deux exemples d’application de réalité virtuelle avec travail coopératif et collaboratif ; Le LIMSI-CNRS a fourni un tour d’horizon sur les environnements virtuels, les principaux dispositifs et leurs outils logiciels.

EDF a fourni un document présentant ses attentes vis-à-vis de cette action, en décrivant deux exemples d’applications pouvant mettre en œuvre des techniques d’interaction coopératives en environnements virtuels 3D. Renault a également fourni un document présentant ses attentes vis-à-vis de la coopération dans le cadre de la simulation de montage et de vérification de la compatibilité d’un poste de montage avec un nouveau véhicule. L’INRIA Rennes a exploré les métaphores de navigation 3D adaptées à des dispositifs “ semi ” immersifs (comme les salles immersives et les plans de travail

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

189

Figure 6.19 : Manipulation directe, le curseur virtuel, utilisé pour manipuler les objets, est proche de la main.

Figure 6.20 : Manipulation à distance, le curseur est à distance de la main.

190

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

virtuel, par opposition à des dispositifs totalement immersifs comme des visiocasques), permettant d’embarquer des outils d’interaction 3D. L’INRIA Rennes a également étudié les possibilités de contraindre de façon générique des objets interactifs à respecter des mécanismes de type liaisons mécaniques, ou encore à éviter les inter-pénétrations suite à des détections de collisions. Partant de la constatation que les systèmes basés sur des grands écrans permettent à plusieurs utilisateurs d’être immergés dans un environnement virtuel, mais qu’il n’existe pas d’interacteur spécialement conçu pour que plusieurs utilisateurs puissent interagir dans un environnement virtuel généré à partir de projections sur grands écrans, le LaBRI a décidé, pour combler ce manque, d’étudier le développement d’un nouvel interacteur : la table d’interaction. Ce périphérique sera un outil de collaboration, non contraignant et simple d’utilisation. Il permettra de réaliser de nombreuses tâches d’interaction 3D. Ainsi, la spécification de ce périphérique est achevée et la fabrication d’un prototype a débuté en collaboration avec le laboratoire LMP de l’Université Bordeaux I.

Figure 6.21 : Travail coopératif sur la Scenic (Données Renault). Le développement d’applications de réalité virtuelle coopératives supposent une bonne connaissance des configurations et interfaces matérielles employées et de la façon de les employer pour un résultat optimal. Dans le cadre des travaux sur les paradigmes d’interaction autour de la métaphore du rayon virtuel, de nombreux tests, sur le plan de travail virtuel, avec des utilisateurs novices ont montré une tendance quasiment systématique à interagir à distance (avec la main à environ 1 mètre du modèle à manipuler) alors qu’une interaction en direct (avec la main très proche du modèle utilisé), voir figure 6.19 et figure 6.20, semble plus aisée. I3D a réalisé des tests psychophysiques pour évaluer l’influence de la distance de manipulation sur les performances en terme de temps et de précision. Les résultats vont à l’encontre des tendances des utilisateurs. Ils ont montré que les performances sont meilleures si la distance de manipulation est inférieure à 20cm. Ils ont aussi montré qu’elles sont meilleures s’il n’y a pas de facteur d’échelle introduit lors de la manipulation. L’INRIA Rennes a développé des démonstrations coopératives (Figure 6.21) permettant la validation des modules OpenMASK prototypés, couplant les dispositifs logiques aux drivers de périphériques physiques. Le LaBRI a prototypé des techniques d’interaction reposant sur l’utilisation de pointeurs laser. De tels pointeurs offrent de nouvelles perspectives à travers des optimisations induites (pointage 2D, plusieurs utilisateurs simultanés) et par le traitement vidéo nécessaire (optimisation dans l’utilisation des informations, déplacements possibles). Actuellement, plusieurs pointeurs sont utilisables par plu-

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

191

sieurs personnes de manière alternative et la fonctionnalité clic est réalisée à l’aide d’une souris sans fil. Le LaBRI a développé une application de démonstration permettant de manipuler un modèle 3D fourni par Renault (le véhicule Scenic) à l’aide de pointeurs laser (Figure 6.22). Dans ce démonstrateur, les utilisateurs ont la possibilité de changer de point de vue, pointer/sélectionner, déplacer des objets, placer des curseurs 3D, prendre des mesures entre ces curseurs... Ces fonctionnalités sont disponibles de manière coopérative par alternance. Une vidéo d’une dizaine de minutes présente ce type d’utilisation.

Figure 6.22 : Manipulation d’un modèle 3D grâce à un laser. De son côté, le LIMSI-CNRS a développé sous l’EVserveur (voir action SP2.A2) un démonstrateur du HCnav, son système de contrôle des navigations virtuelles. Basé sur l’association d’un paradigme de volant 6 DoF avec une métaphore de véhicule, ce système est utilisable par tout dispositif matériel de RV (visiocasque, plan de travail virtuel, salle immersive...). Dans le cadre de cette action, nous commençons à utiliser la capacité qu’a le dispositif µse de permettre la perception de deux reliefs exacts (voir paragraphe précédent sur l’action A2) en particulier pour étudier les paradigmes et métaphores utiles aux interactions coopératives in situ, c’est-à-dire lorsque deux utilisateurs mènent des tâches plus ou moins collaboratives au sein d’un même dispositif.

6.5.3 SOUS-PROJET 3 : SIMULATION D’ASSEMBLAGE ET DE MONTAGE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - simulation d’assemblage et montage : Le CEA/LIST a mis à disposition une plate-forme logicielle et matérielle permettant de simuler le scénario de casse-tête de l’évaluation (Figure 6.23). Cette plate-forme propose la possibilité de choisir différentes pièces du casse-tête à assembler et de les manipuler avec retour d’effort sur 1 ou 2 mains. Elle utilise

192

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

pour cela les 2 bras à retour d’effort Virtuose 6D-RV (main dominante) et Virtuose 3D-RV (main non dominante) commercialisés par la société HAPTION 5 .

Figure 6.23 : Exécution d’une tâche d’assemblage en utilisant une souris 3D et retour haptique par la manipulation de modèles des pièces réelles. Les bras Virtuose proposent des retours d’effort en translation (forces) et/ou en rotation (couples). Des développements logiciels ont été menés pour intégrer les deux bras et pour simuler l’assemblage du casse-tête de manière réaliste. Ces travaux ont été fortement factorisés avec ceux des actions SP3A4 et SP1A3. Des travaux d’ajustements ont été réalisés pour adapter le retour haptique au scénario du casse-tête : essentiellement pour s’adapter à la présence de 2 bras à retour d’effort, donc pour simuler des prises possibles des pièces avec les deux mains. Les activités de spécification visent à déterminer les effets des facteurs inhérents à la simulation de la tâche d’assemblage sur la durée de l’exécution et la planification de la tâche. La démonstration mise en œuvre dans ce cadre consiste en l’assemblage d’un système de transmission mécanique (Figures 6.24 et 6.25). L’interface d’interaction utilisée est une souris 2D puis une souris 3D. Action A3 - Extraction d’éléments de simulation d’assemblage et de montage : Cette action a nécessité la définition d’un exemple significatif en terme de dimensionnement du problème : définition d’un modèle de données (Unité de Puissance Auxiliaire sur avion d’affaire (APU)) (Figure 6.26), assemblage de modèles CATIA fournis par DASSAULT AVIATION. Ce modèle a été fourni au CEA, à l’INRIA/i3D et CLARTÉ. Une analyse des besoins de DASSAULT AVIATION dans le domaine du montage/démontage a été réalisée dans le cadre de l’état de l’art. Les scénarios mentionnés ci-après s’inscrivent dans ce cadre. Deux scénarios de manipulation ont été spécifiés : Scénario 1 - remplacement du filtre à carburant : ce scénario est effectué à travers une porte d’inspection. Il s’agit d’une action de montage/démontage du filtre avec évitements d’obstacles. La phase de montage/démontage est précédée du placement d’un réceptacle de récupération de carburant sous 5 http

://www.haption.com/

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

Figure 6.24 : Manipulation de l’environnement virtuel.

Figure 6.25 : Manipulation de modèle géométrique complexe.

193

194

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.26 : Modèle APU FALCON (Données DASSAULT AVIATION).

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

195

le filtre. La simulation de cette opération de montage/démontage tiendra compte en particulier des contraintes liées au placement des opérateurs par rapport à l’APU, du fait des contraintes opérationnelles. Scénario 2 - montage / démontage de l’APU : ce scénario plus complexe comporte des phases de différentes natures : • • •

montage/démontage de tuyaux ; déconnexion de contacts électriques ; déplacement de structures avec évitement d’obstacle.

Ces différentes phases permettent de prévoir une évaluation plus exhaustive des outils de simulation grâce aux degrés de complexité variables qui leur sont attachés. On tiendra également compte des contraintes de positionnement des opérateurs par rapport à l’APU. On visera, avec l’apport des interfaces à retour d’effort VIRTUOSE et des mannequins numériques, à simuler le maximum de phases de ces scénarios. Le CEA/LIST a prototypé différents modules d’une plate-forme logicielle permettant de simuler et d’animer un mannequin virtuel réaliste dans un environnement immersif de type I-Space de la société BARCO. Le système global doit permettre d’acquérir puis de suivre les mouvements de l’utilisateur grâce au dispositif de suivi optique ACTIRIS de la société ActiCM qui utilise 16 caméras et 32 points de mesure sur le corps (Figure 6.5.3). Le système doit ensuite animer un avatar virtuel de l’utilisateur dans la simulation (le mannequin) dans un environnement doté d’un comportement physique réaliste. L’analyse des scénarios d’étude (en commun avec l’action A4, voir ci-après) au Virtual Reality Center de Dassault Aviation est également à l’étude. Action A4 - Simulation réalité virtuelle d’un assemblage aéronautique : Les travaux, dans cette action, ont mené à : •

•

•

•

•

la spécification de scénarios utilisateurs et des contraintes industrielles associées ; la spécification d’un outil de simulation interactif de montage/démontage en aéronautique en terme de fonctionnalité, performance et ergonomie. l’étude et le développement par l’INRIA/i3D d’une plate-forme logicielle de montage/démontage intégrant les bibliothèques de détection de collisions et gestion des contraintes Contact développées en interne. le développement par l’INRIA/i3D d’un démonstrateur basé sur la plate-forme logicielle et présentant un scénario de montage/démontage d’un mât de A340 fourni par Airbus (Figure 6.28) ; l’intégration par l’INRIA/i3D du bras Virtuose dans la plate-forme logicielle de montage/démontage précédente.

Action A5 - Revue d’application montage virtuel dans le domaine automobile : Dans cette action, les activités de formalisation ont permis de préciser : •

•

•

la sélection de scénarios de montage, et activités préparatoires pour l’analyse des tâches opératoires ; la définition des besoins pour une revue de montage/démontage dans le domaine automobile ; le suivi de l’état de l’art des systèmes haptiques en liaison avec l’action SP1A2 (INRIA Rennes et CEA).

196

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.27 : Suivi de mouvement dans la salle immersive du CEA/LIST.

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

197

Figure 6.28 : Démonstrateur INRIA/i3D : démontage d’une pièce d’un mât de réacteur d’A340 d’Airbus (Données AIRBUS).

Le CEA/LIST et l’INRIA ont testé plusieurs logiciels permettant de convertir les données CAO fournies par Renault (format IGES) en données utilisables pour le rendu visuel et haptique. Le CEA/LIST a réalisé les 3 scénarios spécifiés par Renault. Ce logiciel a pour but de visualiser en stéréoscopie et de manipuler avec rendu haptique les données fournies par Renault (Figure 6.29). 6.6

SOUS-PROJET 4 : FORMATION AU GESTE TECHNIQUE

Action A1 - Groupe de Travail : Cette action a pour objectif la concertation sur le thème entre les partenaires. Action A2 - Forum des métiers : Présenté dans le cadre du document général sur l’état de l’art établi par l’ensemble des partenaires PERF-RV, ce travail de balayage méthodologique a été décomposé en deux parties complémentaires : •

•

la première propose de décrire l’intérêt pédagogique de la réalité virtuelle, ainsi que les concepts spécifiques associés à la notion de formation. L’impact structurant des objectifs pédagogiques dans une application basée sur la réalité virtuelle y est fortement développé ; la seconde propose une amorce de typologie permettant de classer dans le contexte spécifique de la réalité virtuelle les différents concepts pédagogiques mis en œuvre, ceci afin d’identifier et de situer une application par rapport à ces référents.

Cette phase indispensable d’état de l’art nous a permis de situer les objectifs définis dans notre projet par rapport aux développements existants et d’affiner les objectifs de cette action en fonction d’un cadre référentiel pertinent dans ce domaine d’application de la réalité virtuelle. Afin d’identifier un contexte métier pertinent et réaliste au regard des technologies de la RV (et en particulier des interfaces haptiques), nous nous sommes

198

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.29 : Scénario Renault sur la plate-forme PHARE du CEA/LIST (Données Renault).

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

199

Figure 6.30 : Utilisation du simulateur de formation.

associés les compétences d’experts dans ces deux domaines (formation et systèmes haptiques) : •

•

L’Association Professionnelle de la Formation pour Adultes (AFPA) qui apporte sa connaissance de l’ingénierie pédagogique liée aux formations techniques et qui, de plus, s’est déjà positionnée autour du contexte de la réalité virtuelle avec une activité de développement d’un dispositif de soudage utilisant cette technologie. La confrontation de ces experts à des interrogations pédagogiques réelles et quotidiennes leur permet d’apporter des réponses originales et de participer à la définition d’un contexte métier réaliste ; SIMTEAM, société spécialisée en développement d’application mettant en œuvre des interfaces haptiques.

Le secteur de l’usinage est un secteur clé au niveau des métiers de la production industrielle. Par ailleurs, il s’agit aussi d’un pré-requis dans divers domaines de formation et en particulier pour les techniciens ayant en charge la conception de moules dans le domaine de la plasturgie. Or un nombre non négligeable de stagiaires ne possède pas ce pré-requis. Aujourd’hui l’initiation se fait par l’utilisation de machines manuelles. Un environnement virtuel permettant de mettre en relation directe la sensibilité d’un apprenant avec les forces engendrées par les systèmes afin de réaliser cette sensibilisation de façon directe en évitant d’avoir recours à des équipements anciens en voie de disparition permettrait aussi de généraliser des systèmes de sensibilisation à des formations connexes où la compréhension de ces processus est importante tels qu’en plasturgie pour les concepteurs de moule. CLARTE, l’AFPA et la société SIMTEAM ont développé un prototype de simulateur de fraiseuse (Figure 6.30 et figure 6.31). Il est constitué : •

d’une base informatique de type PC bi processeur équipé d’une carte graphique wildcat 4210 ;

200

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 6.31 : Simulateur de formation.

•

d’un écran sur lequel est projeté le monde virtuel constitué d’un atelier reconstitué en 3D avec une fraiseuse virtuelle dont la tête est asservie au bras à retour d’effort ;

•

d’une maquette en matériau composite de la table de fraiseuse qui supporte une interface à retour d’effort.

L’ensemble est ici manipulé par un stagiaire en cours d’apprentissage à l’AFPA. Par ailleurs le CEA/LIST et l’Institut National de Recherche et de Sécurité (INRS) ont réalisé un prototype de simulateur de presse plieuse afin d’évaluer l’intérêt de tels développements dans le champ de la prévention des risques professionnels. L’application consiste à simuler le fonctionnement de la presse et à effectuer un pliage virtuel en manipulant des deux mains une pièce de tôle réelle (Figure 6.32). L’opérateur engage dans la machine la pièce à plier, déclenche physiquement les actions de pliage et doit faire face à des situations potentiellement dangereuses. De tels outils devraient permettre d’évaluer le degré de complexité des opérations de pliage - certains cycles s’avérant parfois techniquement impossibles à réaliser - et l’adéquation des mesures de sécurité associées - ce type de machine demeurant difficile à sécuriser.

6.7 CONCLUSION ET PERSPECTIVES Le bilan de l’activité de la plate-forme PERF-RV montre une montée en puissance de travaux fondamentaux dans le domaine, une forte composante de développement innovant et une grande cohérence dans les collaborations Recherche / Industrie. Les perspectives de recherche et développement de chacune des actions à court et moyen terme constituent une liste assez longue de travaux. Synthétiser cette présentation en les

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

201

Figure 6.32 : Simulateur de presse plieuse.

regroupant par sous-projet, permet seulement de donner un éclairage partiel montrant néanmoins les grandes lignes de la suite de PERF-RV. De manière générale sur les deux sous-projets 1 et 3, les travaux futurs vont conduire à suivre les pistes suivantes : •

•

•

•

préparation de l’intégration des deux interfaces à retour d’effort Virtuose 6D-RV dans la salle immersive pour la manipulation des objets à deux mains : positionnement préférentiel des Virtuoses 6D-RV, définition de la structure matérielle pour les intégrer, caractéristiques des retours d’effort associés ; en corollaire à l’évaluation des tâches de montage/démontage, ces activités conduiront à une spécification de mannequin numérique pour les simulations de montages/démontages aéronautiques ; affinage des simulations : formalisation des prises de pièces par la prise en compte des mains avec ou sans accessoires, puis montée en puissance des prototypes sur des bases de données de plus en plus complexes fournies par les industriels du domaine ; formalisation d’une configuration d’interaction (matérielle et logicielle) en immersion totale avec retour haptique, répondant au mieux aux critères ergonomiques et permettant la meilleure association du retour haptique et du retour visuel. Formalisation des techniques d’interaction avec des couplages visuel-haptique appropriés à chaque type de tâche.

Les équipes impliquées dans le sous-projet 2 envisagent la suite de leur travail sous deux aspects principaux : d’une part, les architectures logicielles permettant de mettre en œuvre des schémas d’interaction, et d’autre part la conception et l’étude de nouvelles techniques d’interaction. •

dans le premier axe, deux environnements sont plus particulièrement appelés à se développer : OpenMASK développé par l’IRISA et le système EVI3d proposé par le LIMSI-CNRS. Parmi les évolutions envisagées pour OpenMASK figurent une adaptation automatique entre les interacteurs et les objets, la prise en compte de phénomènes haptiques et la gestion de menus 3D. Pour ce qui est du système EVI3d, dont

202

•

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

l’architecture distribuée s’appuie sur l’EVserveur, les travaux futurs porteront, d’une part sur la coopération de ce canal "événementiel" avec un canal de type "flux de données", d’autre part sur les relations avec les autres applications en terme d’architecture et sur une réflexion sur l’étude de l’interaction coopérative "in situ" dans le contexte de la multi-stéréo dont est doté le dispositif immersif µse. Par ailleurs, une réflexion sur les convergences entre les deux systèmes est en cours, de façon à mettre en place d’ici la fin du projet PERF-RV une interface entre OpenMASK et l’EVserveur ; dans le deuxième axe, le travail sur l’évaluation des techniques d’interaction va se poursuivre. L’IFP va mener une analyse encore plus poussée des besoins utilisateurs et de l’ergonomie des solutions proposées. I3d se concentre notamment sur la gestion des contraintes et la prise en compte de facteurs humains dans le contrôle d’applications. Le LIMSI-CNRS, qui vient de finaliser un premier démonstrateur de "CAO immersive à interactions multimodales" l’a présenté pour la première fois au public sur un stand à VRIC 2003 à Laval. Dans ce contexte, il recherche actuellement des partenariats avec différents éditeurs de logiciels de CAO. Enfin, le LaBRI continue le développement de nouvelles interactions basées sur des rayons laser et une interface matérielle expérimentale baptisée «table d’interaction» et aborde l’utilisation de geste pour le pilotage d’applications.

Les axes de développement présentés ici s’inscrivent dans une réflexion globale liée au sous-projet 4, à savoir réalité virtuelle et formation aux gestes techniques. Il s’agit en l’occurrence : •

•

de la caractérisation et de la mise en place de méta-outils insérés dans un ensemble de type atelier logiciel mis à la disposition du concepteur de formations techniques. Cette approche permettra de replacer l’ingénierie de la formation au cœur de la démarche pédagogique ; de mener des pré-études techniques et des réflexions sur l’approche économique des systèmes à retour d’effort et de sensation. En effet, il apparaît indispensable de lever rapidement le verrou économique lié aux applications de formation (utilisant des outils de réalité virtuelle) qui, par leur nature même, sont amenées à être dupliquées. Une étude de nouveaux dispositifs de faible coût et en meilleure adéquation avec les objectifs pédagogiques sera à prévoir à la suite ou en parallèle à ce projet PERF RV.

La diffusion des technologies, résultat de l’activité de PERF-RV, est prévue en deux temps. Dans la phase actuelle la diffusion se fait à travers des logiciels libres , comme OpenMask. Ensuite les résultats des années 2 et 3 seront diffusés en partenariat avec les grands éditeurs de logiciels CAO. Le prototype de montage/démontage réalisé par l’Inria est en train d’être industrialisé dans le logiciel Mockup de PTC, par le biais d’un projet privé, Samira. Celui-ci, développé conjointement entre EADS et Airbus, est confié à la société Ondim. Haption, Dassault Systèmes et le CEA/LIST travaille à l’intégration des bras Virtuose dans CATIA V5, sur la base d’un scénario Dassault Aviation. Le CEA/LIST travaille en collaboration avec la société ACTICM au développement de nouveaux systèmes de capture de mouvement pour la commande de tout ou partie d’un avatar représentant un opérateur de montage sur la base d’un scénario Dassault Aviation et EADS/CCR. Le CEA, l’INRIA et l’École des Mines de Paris développent avec Haption de nouvelles interfaces haptiques et des API standards adaptées aux besoins des industriels de Perf RV. L’AFPA en collaboration avec Simteam et Clarté a développé un simulateur de fraisage avec retour d’effort destiné au marché de la formation professionnelle.

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV

203

Enfin PERF-RV représente un outil attractif pour les laboratoires et industriels français, attesté par les demandes de participation extérieure, au titre des règles d’ouverture, citons en particulier l’AFPA, Haption, l’INRS, l’Université d’Orléans et ALSTOM Transport qui viennent ainsi de rejoindre le réseau. En outre, le futur de PERF-RV passe nécessairement par l’Europe et tout particulièrement par le sixième PCRD pour lequel nous examinons des propositions de montage de projet. 6.8

RÉFÉRENCES BIBLIOGRAPHIQUES

Les publications suivantes sont exclusivement issues des équipes travaillant dans le projet PERF-RV, sur la période d’activité de PERF-RV et sur les sujets de PERF-RV. Elle représentent donc une part importante de l’activité de la plate-forme et participent grandement à la diffusion des connaissances liées au projet. [Benali-Khoudja, 2001] M. Benali-Khoudja (2001). Facteurs humains et étude d’ergonomie pour les planches de bord automobiles. Technical report, Rapport de Stage de DEA Réalité Virtuelle & Maîtrise de Systèmes Complexes. [Bourdot e.a., 2001] P. Bourdot et D. Touraine. A hierarchical server to manage multimodal and collaborative interactions within virtual environments. In IASTED, editor, AI’2001, International Conference on Applied Informatics (2001), Innsbruck (Austria). [Bourdot e.a., 2002] P. Bourdot et D. Touraine. Polyvalent display framework to control virtual navigations by 6dof tracking. In I. V. 2002, editor, IEEE Virtual Reality Conference 2002 (2002), Orlando, Florida (US). [Ciccotelli, 2002] J. Ciccotelli. Réalité virtuelle, une aide à la decision pour la conception de systèmes sûrs. In European Safety and Reliability Conference “Decision Making and Risk Management” (2002), Palais des congrès, Lyon. [Coiffet e.a., 2001a] P. Coiffet et S. Garbaya. Using vr techniques for product life-cycle evaluation in the design stage. In International IFIP Conference on Feature Modelling and Advanced Design for the life cycle systems (2001a), pages 12 – 14, Valenciennes, France. [Coiffet e.a., 2001b] P. Coiffet et S. Garbaya. Virtual reality bases in manufacturing. In International NAISO Congress on INFORMATION SCIENCE INNOVATIONS (ISI’2001) (2001b), pages 17 – 21, American University in Dubai, U.A.E. [Devillers, 2001] F. Devillers. Langage de scénario pour des acteurs semi-autonomes. Thèse de doctorat, université de Rennes I (2001). [Dumont e.a., 2001] G. Dumont, G. Andrade, et C. Kühl. Le prototypage virtuel comme outil de conception : Application à un prototype d’endoscope actif. In quatrièmes journées du pôle microrobotique (2001), INSA Lyon. [Duval e.a., 2002] T. Duval et C. Le Tenier. Interactions 3d coopératives en environnements virtuels avec openmask pour l’exploitation de données techniques. In Virtual Concept’2002 (2002), Biarritz, France. [Fuchs, 2002] P. Fuchs. chapitre Retours visuels du livre Télé-opération et Télérobotique. ISBN 2-7462-0448-7. éditions Hermès (2002). [Fuchs e.a., 2001a] P. Fuchs et G. Moreau. Articles Techniques de l’ingénieur : Réalité virtuelle : concepts et outils. vol. TE 5900. Encyclopédie des Techniques de l’ingénieur, section Télécommunications (2001a). [Fuchs e.a., 2001b] P. Fuchs, G. Moreau, et J. Papin. Le traité de la réalité virtuelle. les Presses de l’Ecole des Mines de Paris, ISBN 2-911762-34-7 (2001b).

204

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[Garbaya e.a., 2001a]

S. Garbaya, P. Coiffet, et P. Blazevic. Integrating computerised assembly planning with virtual assembly environment. In Virtual Reality in Mechanical and Production Engineering (VR-Mech’01) (2001a), Royal Military Academy, Brussels, Belgium. [Garbaya e.a., 2001b] S. Garbaya, P. Coiffet, P. Blazevic, et E. Zussmann. Shared assembly planning in virtual environment. In International NAISO congress on Information Science Innovations (ISI’2001) (2001b), American University in Dubai, U.A.E. [Gelin e.a., 2002] R. Gelin, C. Andriot, C. Montadon, et L. Joussemet. Multi-modal immersion within the phare platform. In IARP Joint Coordination Forum (2002), Frascati, Rome, Italy. [Joussemet e.a., 2003] L. Joussemet, C. Andriot, et J. Perret. 6 dof haptic assembly by screw approach. In Haptic symposium 2003, IEEE virtual reality 2003 (2003), Los Angeles. [Lécuyer, 2001] A. Lécuyer. Contribution à l’étude des retours haptique et pseudohaptique et de leur impact sur les simulations d’opérations de montage/démontage en aéronautique. Thèse de doctorat, thèse de doctorat de l’Université Paris XI, réalisée en collaboration avec EADS CCR, INRIA, LRP et Université Paris XI (2001). [Lécuyer e.a., 2001a] A. Lécuyer, J. Burkhardt, S. Coquillart, et P. Coiffet. Boundary of illusion : an experiment of sensory integration with a pseudo-haptic system. In IEEE International Conference on Virtual Reality (2001a), pages 115–122, Yokohama, Japan. [Lécuyer e.a., 2001b] A. Lécuyer, A. Kheddar, S. Coquillart, L. Graux, et P. Coiffet. A haptic prototype for the simulations of aeronautics mounting/unmounting operations. In IEEE Int. Workshop on Robot-Human Interactive Communication (2001b), Bordeaux et Paris. [Lécuyer e.a., 2002a] A. Lécuyer, A. Kheddar, S. Coquillart, L. Graux, et P. Coiffet. A haptic prototype for the simulations of aeronautics mounting/unmounting operations. In IEEE International Workshop on Robot-Human Interactive Communication (2002a), Bordeaux et Paris. [Lécuyer e.a., 2002b] A. Lécuyer, C. Mégard, J. Burkhardt, T. Lim, S. Coquillart, P. Coiffet, et L. Graux. The effect of haptic, visual and auditory feedback on an insertion task on a 2-screen workbench. In Immersive Projection Technology (IPT) Symposium (2002b), Orlando, US. [Lourdeaux, 2001] D. Lourdeaux. Réalité virtuelle et formation : conception d’environnements virtuels pédagogiques. Thèse de doctorat, Thèse de l’Ecole des Mines de Paris (2001). [Lourdeaux e.a., 2001] D. Lourdeaux, P. Fuchs, et J.-M. Burkhardt. An intelligent tutorial agent for training virtual environments. In 5th world multiconference on Systemics, Cybernetics and Informatics SCI’01 (2001), Orlando, Floride. [Lourdeaux e.a., 2002] D. Lourdeaux, P. Fuchs, J. M. Burkhardt, et F. Bernard. Relevance of an intelligent tutorial agent for virtual reality training systems. International Journal of Continuing Engineering and Life-Long Learning, 2(1-4) :p 214–230 (2002). [Margery, 2001] D. Margery. Environnement logiciel temps-réel distribué pour la simulation sur réseau de PC. Thèse de doctorat, Université de Rennes 1 (2001). [Margery e.a., 2002] D. Margery, B. Arnaldi, A. Chauffaut, S. Donikian, et T. Duval. Openmask : Multi-threaded or modular animation and simulation kernel or kit : a general introduction. In S. Richir, P. Richard, et B. Taravel, editors, Virtual Reality International Conference 2002, VRIC 2002 (2002), Laval, France.

Applications industrielles : la plate-forme française de réalité virtuelle Perf-RV [Maïssa e.a., 2002]

205

S. Maïssa, J. Frachet, J. Lombardo, M. Bourdeaux, et S. Soubra. Regulation checking in a virtual building. In distributed knowledge in building CIB W78 (2002), Aarlborg, Denmark. [Moreau e.a., 2001] G. Moreau et P. Fuchs. Virtual reality in the design process : from design review to ergonomic studies. In European Simulation Symposium 2001 (2001), pages pp 123–130, Marseille. [Moreau e.a., 2002a] G. Moreau et P. Fuchs. Stereoscopic displays for virtual reality in the car manufacturing industry : application to design review and ergonomic studies. In SPIE Stereoscopic Displays and Virtual Reality Systems, volume 4660 (2002a), San José, CA. [Moreau e.a., 2002b] G. Moreau, P. Fuchs, P. Stergiopoulos, et M. B. Khoudja. Introducing virtual reality for ergonomic studies in the car manufacturing industry. In ITEC 2002 (2002b), Lille. [Paljic e.a., 2002] A. Paljic, J. Burkhardt, et S. Coquillart. A study of distance of manipulation on the responsive workbench. In IPT’2002 Symposium (Immersive Projection Technology) (2002), Orlando, US. [Redon e.a., 2001] S. Redon, A. Kheddar, et S. Coquillart. Contact : arbitrary in-between motions for collision detection. In IEEE ROMAN’2001 (2001), Bordeaux et Paris. [Redon e.a., 2002a] S. Redon, A. Kheddar, et S. Coquillart. Fast continuous collision detection between rigid bodies. In Eurographics’2002 (2002a). [Redon e.a., 2002b] S. Redon, A. Kheddar, et S. Coquillart. Gauss’ least constraints principle and rigid body simulations. In International Conference on Robotics and Automation (2002b). [Redon e.a., 2002c] S. Redon, A. Kheddar, et S. Coquillart. Hierarchical back-face culling for collision detection. In IEEE/RSJ International Conference on Intelligent Robots and Systems (2002c). [Stergiopoulos e.a., 2002] P. Stergiopoulos, G. Moreau, D. Lourdeaux, et P. Fuchs. Collision detection for haptic interaction with solid models and virtual prototypes. In S. Richir, P. Richard, et B. Taravel, editors, Virtual Reality International Conference 2002, VRIC 2002 (2002), Laval, France. [Touraine e.a., 2001] D. Touraine et P. Bourdot. Veserver : a manager for input and haptic multi-sensorial devices. In 10th IEEE International Workshop on Robot-Human Interactive Communication, IEEE ROMAN 2001 (2001), Bordeaux et Paris. [Touraine e.a., 2002] D. Touraine, P. Bourdot, Y. Bellik, et L. Bolot. A framework to manage multimodal fusion of events for advanced interactions within virtual environments. In International Eurographics Workshop on Virtual Environments, EGVE 2002 (2002), Barcelona (Spain).

206

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7

LA CONCEPTION DES ENVIRONNEMENTS VIRTUELS POUR L’APPRENTISSAGE

Jean-Marie Burkhardt, Domitile Lourdeaux, Daniel Mellet d’Huart

7.1

INTRODUCTION

Utiliser la réalité virtuelle pour l’apprentissage présente-t-il un intérêt ? Quelles méthodes et quels aspects clefs envisage-t-on aujourd’hui pour le développement de cette technologie dans une perspective d’apprentissage ? Le présent chapitre tente d’apporter des premiers éléments de réponses à ces questions, sans avoir la prétention d’y répondre de façon exhaustive et complète. Le domaine de la réalité virtuelle appliquée à l’apprentissage est en effet complexe du fait de multiples facteurs : convergence de disciplines qui n’ont pas toujours l’habitude de coopérer de façon étroite, nouveauté des usages, originalité des problèmes, démarches et résultats sur des apprentissages encore peu documentés, etc. D’autre part, un recensement exhaustif et précis des recherches et des approches du domaine se situe en dehors de l’objet de ce traité.

7.1.1 DÉVELOPPER LA RÉALITÉ VIRTUELLE POUR L’APPRENTISSAGE

Le développement actuel et futur de la réalité virtuelle dans les secteurs de l’éducation et de la formation est fortement conditionné par le modèle économique propre à ces secteurs. Le modèle économique des secteurs de la formation et de l’éducation est spécifique du fait que les besoins en postes de formation se comptent souvent en centaines, en milliers, voire d’avantage. Les mondes de l’éducation et de la formation ont souvent besoin d’équipements à moindre coût et généralement en grand nombre pour les apprenants. Depuis que les premiers systèmes de simulation à base d’environnements virtuels ont été développés par l’armée et l’industrie aérospatiale, les dispositifs nécessaires pour générer la réalité virtuelle sont devenus plus puissants et plus accessibles. Les secteurs de l’éducation et de la formation professionnelle commencent ainsi à considérer la réalité virtuelle comme une solution intéressante pour résoudre les difficultés pédagogiques qu’ils rencontrent. S’il fallait en retenir deux, les idées fortes concernant les perspectives de développement de la réalité virtuelle en formation seraient les suivantes. La première idée est que les technologies de la réalité virtuelle introduisent une flexibilité originale dans les possibilités de présenter l’information à l’apprenant selon de multiples formats et points de vue, avec un mode interactif. La manipulation de la complexité et du degré de réalisme des situations sous-tendant les exercices en environnements virtuels devrait ainsi amener une nouvelle articulation entre les approches globales (simulation) et les approches analytiques de la conduite des apprentissages professionnels. En effet, la simulation de l’environnement d’une tâche à apprendre permet de préserver une forte proximité avec la situation réelle de travail. Dans le même temps, certains des inconvénients inhérents à l’apprentissage sur le tas sont éliminés (processus non systématique, non méthodique, non contrôlable, qualité pédagogique aléatoire selon le tuteur), tandis qu’une certaine programmation dans l’apprentissage

208

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

est rendue possible. En particulier, il est possible de jouer sur l’ordre de présentation de situations de travail réelles en les hiérarchisant des plus simples aux plus complexes [Bisseret, 1969]. L’intérêt réside alors dans la minimisation du transfert de la situation d’apprentissage vers la situation réelle de travail et dans le fait que les connaissances acquises ont toutes les chances d’être structurées de façon opérationnelle [Bisseret, 1969]. A l’inverse, l’approche analytique suppose que "le travail, objet de l’apprentissage, soit analysé en unités élémentaires, chacune de celles-ci étant apprise de façon indépendante puis jointe aux autres unités" [Bisseret, 1969]. L’intérêt de cette approche réside évidemment dans la réduction de la complexité pour l’apprenant, et concomitamment dans une meilleure adaptation aux formats des dispositifs informatiques de formation de moindre coût [Eberts, 1997, p 837]. La seconde idée forte est que ces technologies réintroduisent la perception et la motricité dans la conduite des interactions médiatisées à visée pédagogique, à travers la recherche d’une forme de sensori-motricité "naturelle". De surcroît, l’usage combiné de différentes configurations de modalités sensorielles et d’interactions motrices proposées à l’utilisateur apparaît de plus en plus comme une approche prometteuse pour faciliter l’apprentissage. Des travaux ont montré empiriquement l’effet de l’ajout d’information des autres modalités sensorielles à l’environnement virtuel, en plus de l’information délivrée visuellement. Par exemple, l’ajout d’une information haptique supplémentaire dans l’environnement virtuel Newton World [Dede, 1996] s’accompagne d’une meilleure compréhension des notions de cinématique comme l’accélération et la vitesse, mais d’une capacité moindre à prédire les comportements de mobiles, par comparaison aux groupes ayant l’information visuelle seule ou enrichie du son. Une étude portant sur un environnement virtuel similaire appliqué aux phénomènes électriques suggère (Maxwell World [Dede, 1996]) que la présentation d’information sur plusieurs modalités sensorielles permet d’améliorer la compréhension de la distribution des forces dans un champ électrique. Pour les auteurs, l’information délivrée par les autres modalités haptiques et sonores pourrait avoir guidé l’attention des apprenants vers les comportements et les relations importants de façon plus efficace que ne le fait la seule information visuelle. On notera que l’ajout d’information multi-sensorielles semble également avoir un rôle dans l’utilisabilité et l’intelligibilité de l’environnement virtuel. Les mêmes auteurs observent ainsi que les utilisateurs jugent dans ce cas l’environnement plus simple à utiliser et que le référentiel égocentrique est mieux compris, par comparaison avec le groupe ayant l’information visuelle seule.

7.1.2 DES ÉCUEILS À ÉVITER

Il convient enfin d’éviter certains réflexes communs quant à l’approche des technologies de la réalité virtuelle pour l’éducation et la formation, en focalisant la conception sur les aspects réellement critiques : •

l’esthétique et le degré de réalisme graphique ne constituent pas le point essentiel pour une application de la réalité virtuelle à l’apprentissage. Le cas échéant, la question du réalisme1 doit être précisée (réalisme de quoi, par rapport à quelle situation, objet et description de références) et argumentée (pour quels objectifs). En effet, les objectifs cruciaux concernent la fidélité des comportements d’apprentissage attendus de la part de l’utilisateur et l’atteinte des objectifs de formation. C’est seulement en 1 Ce

problème du réalisme est discuté et approfondi dans le chapitre 2 du volume 1.

La conception des environnements virtuels pour l’apprentissage

•

•

•

209

dernier objectif que l’on pourra souhaiter une certaine esthétique du réalisme des scènes et des objets ; il faut éviter de se focaliser uniquement sur l’apprenant ; les formateurs sont des utilisateurs privilégiés pour lesquels les fonctionnalités et la prise en compte des usages sont des points également critiques pour le développement de ces technologies ; le prétexte de la nouveauté technologique ne doit pas amener à faire l’impasse sur les travaux plus anciens qui peuvent s’avérer directement pertinents dans le cadre des applications de formation : en didactique, en ergonomie, en informatique pédagogique, etc. ; l’apprentissage est un processus complexe qui n’est pas réductible à la simple exposition à un contenu et un environnement, soient-ils virtuels. Par conséquent, il est nécessaire de définir des hypothèses concernant ce processus et les différents composants de la situation d’usage. Il est aussi nécessaire de se munir d’une méthode pour accompagner et valider les choix, tout au long de la conception.

7.1.3 CONTRIBUTIONS DES DISCIPLINES À LA CONCEPTION DES ENVIRONNEMENTS VIRTUELS POUR L’APPRENTISSAGE

Le développement des environnements virtuels d’apprentissage nécessite la synergie de compétences et de disciplines très différentes à l’intérieur des équipes projets : ingénierie technologique, ingénierie pédagogique, ergonomie, futurs utilisateurs du système (formateurs, et apprenants). La seule compétence en matière de technologies et d’interactions humain-environnement virtuel n’est en effet pas suffisante pour garantir l’utilité, l’efficacité et la pérennité d’un environnement virtuel pour l’apprentissage. Il en découle deux conséquences principales. D’une part, il est souhaitable d’adopter une configuration de projets où ces compétences complémentaires sont représentées dès les étapes amonts du processus de conception et durant tout le long du projet. A la spécificité des applications de formation près, ce point renvoie à l’adoption d’une démarche orientée vers l’utilisateur [Norman, 1986 ; Mayhew, 1999] en complément de la méthodologie décrivant les étapes du processus de conception des environnements virtuels, proposée en chapitre deux du volume un. D’autre part, il en découle la nécessité pour l’ensemble des acteurs de partager une certaine connaissance mutuelle de leurs champs, méthodes et paradigmes, en particulier ceux pertinents dans le champ de l’éducation et de la formation. C’est dans cet esprit qu’a été rédigée la première partie de ce chapitre. L’ingénierie pédagogique propose des méthodes pour la conception, la mise en place et l’évaluation de ressources et de démarches pédagogiques. Un environnement virtuel d’apprentissage constitue une ressource pédagogique. Son objet est de faciliter les apprentissages. Il faut construire cette ressource et en prévoir les usages. Pour cela, l’ingénierie pédagogique organise et met en cohérence les données issues : • •

•

•

de l’analyse des modes d’apprentissage des publics cibles ; de la structuration des contenus à partir de démarches d’analyse de la tâche ou d’approches didactique ; de choix pédagogiques et d’anticipation d’usage dans des contextes éducatifs ou de formation particuliers ; de tests réalisés auprès d’apprenants.

210

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

L’ergonomie apporte notamment des connaissances sur les caractéristiques de la perception et de la cognition. Elle apporte aussi des méthodologies adaptées pour : •

la conduite de projets avec des utilisateurs ;

•

l’analyse du travail, de l’activité des utilisateurs et des interactions ;

•

l’évaluation et la conception de dialogues plus simples et efficaces pour les utilisateurs.

Pour une présentation plus circonstanciée de l’implication de l’ergonomie dans la conception des nouvelles technologies pour la formation et l’éducation, voir par exemple Burkhardt et Wolff [Burkhardt, 2002]. L’ingénierie technologique complète ce panorama en apportant des méthodologies et des compétences liées à la spécification et l’implantation des solutions dans le cadre d’une démarche centrée sur les utilisateurs. Elle contribue ainsi notamment à : •

définir précisément l’ensemble des spécifications de l’environnement virtuel d’apprentissage ;

•

assurer l’articulation et la cohérence entre les besoins exprimés par les autres disciplines et les solutions envisagées ;

•

garantir l’implantation des solutions tout au long de l’évolution du projet.

7.1.4 PRÉAMBULE À LA LECTURE DU CHAPITRE

Dans ce chapitre, nous parlons d’environnements virtuels pour l’apprentissage, plutôt que d’environnements virtuels pour la formation ou d’environnements virtuels éducatifs. Ce choix est motivé par deux raisons principales : la première est que, quelque soit le contexte institutionnel (institutions de l’éducation versus institutions de la formation professionnelle), l’utilisation de l’environnement virtuel vise à faire apprendre ; la seconde est que nous souhaitons mettre les processus psychologiques et sociaux liés à l’apprentissage2 au centre de la démarche de conception, et proposer par la même un point de vue plus général que celui du contexte scolaire ou professionnel de la formation. Pour développer des environnements virtuels de formation bien adaptés aux besoins du monde industriel et professionnel, il importe que les défauts constatés aujourd’hui sur de nombreux systèmes de cette première génération soient considérés autrement que sous le seul angle du problème technique ou algorithmique. Les défauts de méthodes et l’absence de démarche précise dans l’analyse de la situation et des utilisateurs jouent un rôle majeur dans les échecs recensés. D’une part, ces défauts entretiennent le flou dans la définition des projets et de leurs objectifs en termes de situation à atteindre. Le résultat est alors souvent un outil éloigné des contraintes et des besoins réels. D’autre part, dans une perspective d’application, les critères de choix et d’évaluation de la 2 Précisons tout de suite que le terme apprentissage tel que nous l’utilisons dans ce chapitre, ne fait pas référence à l’usage courant ou à la signification institutionnelle du terme, comme par exemple dans la formule "apprentissage en alternance", mais bien aux acceptions développées dans le champs des études sur l’apprentissage en psychologie, en ergonomie, en pédagogie et en didactique.

La conception des environnements virtuels pour l’apprentissage

211

solution risquent d’hypothéquer tout bénéfice réel s’ils se limitent à la seule faisabilité technique. Parallèlement aux développements réalisés, il apparaît nécessaire d’entreprendre des recherches pour déterminer comment améliorer le transfert d’apprentissage à travers les environnements virtuels de formation. D’une part, les résultats expérimentaux et les procédures mises en œuvre pour étudier l’apprentissage en environnement virtuel sont parcellaires et demeurent difficiles à interpréter au sein d’un cadre commun. D’autre part, les seules caractéristiques de l’environnement virtuel et de son interfaçage sont insuffisantes pour garantir l’efficacité de l’apprentissage. Une piste d’amélioration passe ainsi par la détermination des tâches les plus appropriées à ce type d’outil [Stanney,1998]. Plus généralement, la manière dont les environnements virtuels sont concrètement utilisés en formation semble constituer le déterminant majeur de l’efficacité et de la qualité de l’apprentissage. C’est pour répondre notamment à ces défis qu’il nous est apparu important de présenter et discuter la méthodologie de développement exposée dans ce chapitre (partie Démarche et outils pour la conception). Cette méthodologie s’appuie sur l’analyse des besoins, la formalisation d’hypothèses, l’évaluation et la validation au moyen d’indicateurs objectifs de comportement.

7.2

LES ENVIRONNEMENTS VIRTUELS D’APPRENTISSAGE : NOTIONS, ORIGINE ET PRINCIPAUX APPORTS

7.2.1 QUELQUES NOTIONS ET DÉFINITIONS

Le grand public tend à confondre les notions de formation, d’éducation et d’apprentissage. Dans les milieux de l’éducation et de la formation, en revanche, il est coutumier d’opposer, d’un côté, les institutions s’occupant de l’éducation et du public scolaire et, de l’autre, les institutions et les organismes s’occupant de la formation professionnelle. Au-delà des particularités de ces deux grandes institutions, le monde de l’éducation et le monde de la formation ont en commun de s’appuyer sur des démarches, des techniques et des méthodes pédagogiques afin d’orienter, guider et faciliter la mise en place d’apprentissages pour leurs publics et objectifs respectifs. A partir de ce constat, nous avons souhaité organiser ce chapitre autour des deux notions d’apprentissage et de formation, la première étant définie au sens où l’entendent les disciplines qui s’intéressent à l’apprentissage, et la seconde étant précisée dans un sens opératoire ne se référant pas à la distinction institutionnelle classique. Trois disciplines sont plus directement concernées par l’étude des mécanismes liés à l’apprentissage : la pédagogie, la psychologie et la didactique. La pédagogie peut se définir par son centre d’intérêt essentiellement focalisé sur les procédés, les techniques et les manières de faciliter l’apprentissage, là où la psychologie s’intéresse plutôt aux mécanismes fondamentaux associés à l’acquisition de nouvelles réponses, de nouveaux comportements ou de nouvelles compétences. En d’autres termes, le psychologue s’intéresse plutôt à l’acquisition en soi, alors que le pédagogue s’intéresse à trouver des solutions pour faire acquérir plus vite ou mieux. Enfin, plus centrée sur le contenu, la didactique s’intéresse aux difficultés particulières d’apprentissage liées à la nature de l’objet de l’apprentissage pour un public donné. Récemment, la didactique profession-

212

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

nelle a émergé. Son objectif vise la compréhension et l’action sur les processus qui relèvent de la transmission et l’acquisition des domaines de savoirs, en vue de les améliorer (voir par exemple [Samurcay, 1998]). Bien que caricaturale, la distinction entre pédagogie, psychologie et didactique souligne aussi leur profonde interdépendance.

7.2.1.1

Apprentissage

Dans un sens large, l’apprentissage peut se définir comme le regroupement de différents mécanismes par lesquels un sujet humain modifie sa conduite avec l’expérience, de façon à la rendre plus adaptée aux exigences de la situation. Cela repose sur des processus de maturation biologique (en particulier chez l’enfant), sur des processus physiologiques, sur des processus cognitifs et sur des processus sociaux, dans le cadre de la confrontation du sujet à l’environnement. On retrouve ainsi plusieurs modèles de l’apprentissage en psychologie. Parmi les principaux courants : •

•

•

•

les modèles béhavioristes, notamment le conditionnement et l’apprentissage opérant (voir Thorndike et Skinner, par exemple) ; les modèles piagétiens et néo-piagétiens du développement et de l’acquisition des schèmes (voir Piaget) ; les approches cognitives de l’apprentissage (voir, par exemple, Anderson, Merrill, Sweller) ; les théories sociales ou socioculturelles de l’apprentissage (voir par exemple Vigotsky, Bruner, Bandura).

Plusieurs de ces théories fournissent des sources d’inspiration, à des degrés divers, pour le développement des technologies de l’information et de la communication appliquées à l’apprentissage. On peut noter ainsi : •

•

•

l’Enseignement Assisté par Ordinateur (EAO), fortement inspiré à ses débuts par l’enseignement programmé et la psychologie béhavioriste ; les approches cognitives, qui ont inspiré les stratégies mises en œuvre dans de nombreux tuteurs intelligents ; les outils pour la coopération, la communication et la formation des communautés virtuelles, qui se réclament de façon récurrente des approches sociales ou cognitivosociales.

Malgré quelques exceptions, l’usage de ces théories dans le domaine des technologies pour la formation et l’éducation se restreint trop souvent au préambule ou à la justification de tel ou tel produit technologique, alors qu’elles devraient en même temps servir à leur mise à l’épreuve expérimentale. Les travaux psychologiques sur l’apprentissage ont, en effet, l’intérêt de proposer des hypothèses explicites reliant certaines propriétés du sujet et de l’objet de l’apprentissage, certaines caractéristiques de la situation d’apprentissage, et les résultats attendus en termes de modification du comportement. Ces recherches ont en outre permis d’identifier des variables ayant un effet majeur sur la performance dans les situations d’apprentissage. Deux exemples : la connaissance des résultats par l’apprenant a généralement pour effet d’accélérer la réussite ; l’exercice sous contrainte temporelle permet d’automatiser les modes opératoires. Pour une synthèse, le lecteur pourra se référer, par exemple, à [Patrick, 1992] et à [Leplat, 2002].

La conception des environnements virtuels pour l’apprentissage

7.2.1.2

213

Formation

Chez les professionnels de la formation, le terme de formation est souvent compris comme la référence aux institutions de la formation professionnelle, par opposition au terme d’éducation qui renvoie plutôt à l’institution scolaire. Dans le sens que nous lui donnons dans cet ouvrage, le terme de formation (ou probablement plus justement de processus de formation) fait référence aux techniques et aux méthodes mises en œuvre dans la perspective de guider et de faciliter un apprentissage donné. Dans cette acception valable aussi bien pour le secteur éducatif que le secteur de la formation professionnelle, la formation se définit comme un ensemble limité et spécifique de ressources (tuteur, documents, planning, salle, ordinateur, simulateur, scénario, etc.), associé à des objectifs circonscrits, alloué à l’apprenant à travers un contrat plus ou moins formel. Il s’agit d’un processus borné dans le temps et l’espace qui permet en outre de réaliser un certain contrôle sur les apprentissages effectivement réalisés. Tant les contenus que les démarches dépendent fortement de l’expérience de l’apprenant, de sa position sociale actuelle ou à venir ainsi que du contexte institutionnel et social, historique, géographique et culturel dans lequel il se situe. Il existe par exemple un poids des traditions et de la culture propre à chacune des institutions : méthodes plutôt expositives du fait de groupes comportant de nombreux apprenants dans le cadre scolaire, méthodes plutôt structurées à partir de situations professionnelles et de l’activité du travail, dans le cadre de la formation professionnelle. Cependant, il doit être clair que cette distinction institutionnelle n’implique pas une différence de nature dans l’apprentissage et, qu’en conséquence, les méthodes de formation devraient fondamentalement différer entre les deux publics.

7.2.1.3

Méthodes et ressources pédagogiques

Il est classique de distinguer deux grandes approches en pédagogie : les méthodes traditionnelles et les méthodes actives. Parmi les méthodes traditionnelles, on trouve les méthodes affirmatives encore appelées méthodes expositives ou dogmatiques [Goguelin, 1987]. Les deux modes de réalisations typiques en sont l’exposé magistral et la démonstration. Dans le premier, qui concerne plutôt les savoirs et les savoir-faire intellectuels, l’exposé et les explications sont très largement utilisés. Dans le second, qui concerne plutôt les savoir-faire manuels, le formateur présente, montre et démontre. L’autre grande classe de méthodes traditionnelles correspond aux méthodes interrogatives, inspirées de la maïeutique de Socrate. Elles ont pour principe général de guider l’apprenant à travers un cheminement pré-établi de questions traduisant la structure du raisonnement à apprendre. Ces méthodes permettent de rendre l’animation de la formation plus vivante, mais peuvent induire l’illusion, chez l’apprenant, que le raisonnement a été découvert et acquis dans son ensemble, alors qu’il est en réalité "soufflé" par le formateur. Dans leur acception la plus large, les méthodes actives regroupent une variété de courants, comme la pédagogie du projet, la simulation, l’étude de cas, la pédagogie du laboratoire, l’apprentissage expérimental, etc. Le lecteur intéressé pourra en trouver une description dans Legendre [Legendre, 1983] par exemple. Une méthode est dite active lorsque le stagiaire progresse et apprend grâce à sa propre activité : il découvre par lui-même [Goguelin, 1987]. Cet auteur insiste sur le fait qu’une méthode n’est pas

214

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

active au seul motif que l’apprenant fait, interagit ou réalise une action : par exemple, des exercices de manipulation en chimie dont l’ordonnancement est donné à l’élève ressortent des méthodes dites affirmatives. Pour Goguelin [Goguelin, 1987], le rôle du formateur est de faire prendre conscience du cheminement de sa pensée au stagiaire, et pour cela de la reformuler synthétiquement devant lui. De façon générale, on opère en groupe auquel un problème - généralement concret et emprunté au quotidien - est posé. A chaque pas de solution proposé par le groupe, le formateur reformule clairement ce qui vient d’être fait. Le groupe doit tenter alors de justifier et d’expliquer ce dont il vient de prendre conscience. Si la justification est fausse, le formateur propose une situation concrète, cohérente avec les justifications données, pour que le groupe découvre son erreur. Si la justification est bonne, le formateur l’accepte et la résume, rendant ainsi l’auto-progression du groupe claire pour l’ensemble de ses membres. A la fin, chaque groupe doit rendre compte de son résultat et le formateur opère une synthèse - ou fait opérer cette synthèse par l’un des apprenants. Quelle que soit la méthode choisie, le formateur s’appuie généralement sur des aides telles que des documents, des objets ou d’autres outils. Le terme de ressource pédagogique fait référence à ces moyens physiques conçus de façon à faciliter, pour un contexte pédagogique donné (présentiel, tutorat à distance, auto-formation etc,.), les apprentissages pour l’apprenant, d’une part, et la conduite de l’interaction didactique pour le formateur, d’autre part. Dans le domaine éducatif, les ressources pédagogiques consistent essentiellement en des manuels, cahiers d’exercices ou autres fiches, en des dispositifs spécifiques pour les disciplines expérimentales et les sciences de la vie (circuits électriques, cartes électroniques, nécessaire de préparation, etc.), et enfin, de plus en plus, en des ressources multimédias. Les environnements virtuels, dans ce contexte, sont encore rares, et sont plutôt des prototypes de laboratoire. Les ressources développées pour la formation professionnelle constituent un champ généralement plus varié que celui de l’éducation. Notamment, on procède souvent à des adaptations de parties de l’environnement de travail, de façon à outiller les formateurs et l’apprenant en ressources plus utilisables et plus efficaces pédagogiquement que les outils réels, ou la mise sur un poste de travail réel. Par exemple, un moteur de véhicule coupé en deux verticalement, dont les composants restent mobiles, peut constituer une ressource de formation très pertinente. D’autres ressources, comme les simulateurs ou les environnements virtuels, peuvent se justifier dans la mesure ou les coûts de développement puis d’exploitation restent en deçà des coûts de la formation traditionnelle, pour une efficacité au moins aussi bonne. On retiendra que les environnements virtuels constituent un type particulier de ressources issues des avancées de la technologie. En ce sens, ils doivent faciliter l’activité d’apprentissage, en même temps que, du point de vue du formateur, respecter le principe de faciliter la tâche et ne pas représenter de difficultés d’usage.

7.2.1.4

Acteurs et rôles dans les processus de formation en éducation et en formation professionnelle

Les métiers et les acteurs de la formation au sens large sont multiples et ont souvent des caractéristiques très spécifiques selon leur institution d’appartenance (éducation versus formation professionnelle), l’entreprise, le secteur professionnel, le degré de professionnalisation (occasionnel versus non-occasionnel), etc. On distingue :

La conception des environnements virtuels pour l’apprentissage

215

•

les apprenants : ce terme générique désigne l’ensemble des publics (élèves, stagiaires, formés, etc.) entrant dans un processus de formation à un instant donné ;

•

les formateurs ou les animateurs de la formation : il s’agit des intervenants qui contrôlent le face-à-face pédagogique avec les apprenants. Dans le cadre éducatif, ce sont les enseignants, maîtres et professeurs tandis que dans la formation professionnelle, on parlera plutôt de formateurs, d’instructeurs, de tuteurs ou encore de référents ;

•

les concepteurs de la formation : ce sont des formateurs ayant la fonction d’ingénieurs de formation qui maîtrisent la construction des actions de formation. D’autres métiers peuvent être associés : ergonomes, professionnels experts du domaine, spécialiste des technologies utilisées, etc.

Une personne peut endosser simultanément plusieurs de ces rôles dans une même action de formation, ou successivement lors de différentes actions de formation.

7.2.2 ORIGINES TECHNOLOGIQUE ET INFORMATIQUE DE LA RÉALITÉ VIRTUELLE POUR L’APPRENTISSAGE

Dans les années 80, l’usage de la micro-informatique s’est développé dans l’éducation pour donner naissance à l’Enseignement Assisté par Ordinateur (EAO). Les logiciels s’inspirent alors des théories comportementales de l’apprentissage, et de l’application qui en avait été faite, quelques années auparavant, à travers l’enseignement programmé (pour une présentation de ces aspects psychologiques, voir [Leplat, 2002] ; pour une approche plus informatique, voir [Bruillard, 1997]). Avec l’adjonction de techniques issues des domaines de l’Intelligence Artificielle (IA) et de l’Interaction Humain-Machine (IHM), ce courant a évolué vers l’Enseignement Intelligemment Assisté par Ordinateur (EIAO) puis vers la dénomination plus actuelle d’Environnements Interactifs pour l’Apprentissage Humain (EIAH). Dans les années 90, d’autres outils d’apprentissage fondés sur le multimédia et l’hypertexte ont adopté une approche plus illustrative : faire voir, illustrer, organiser des relations, montrer et nommer des concepts. Ces outils s’appuient sur l’hypothèse qu’une certaine individualisation du rythme et des cheminements des apprenants amène une meilleure efficacité des apprentissages. Toutefois, l’absence de guide et d’organisateurs pour les utilisateurs-apprenants a rapidement montré les limites de cette approche en termes d’usage et d’efficacité. Récemment, aussi, des recherches sur les tuteurs intelligents (ITS : Intelligent Tutoring Systems) ont développé des outils visant à simuler des compétences tutorales dans la conduite d’interaction avec les apprenants. Cherchant à reproduire les interactions observées entre un enseignant ou un formateur et un apprenant, ou encore les interactions existant entre apprenants à l’intérieur d’un binôme, ces systèmes s’appuient sur des modèles interprétatifs des réussites et des erreurs de l’apprenant afin de rendre chaque apprentissage le plus performant possible. Si la réalité virtuelle est aujourd’hui encore à ses débuts, elle est en grande partie héritière des technologies de la simulation, mais également des autres technologies de l’informatique pour l’éducation et la formation. Dans ce sens, il est souhaitable de s’appuyer sur cet héritage pour aborder le développement des environnements virtuels d’apprentissage.

216

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.2.2.1

Simulation, simulateurs et réalité virtuelle

Le recours à la simulation est probablement l’une des techniques de formation les plus anciennes. A l’origine, la simulation renvoie à deux mécanismes fondamentaux dans l’apprentissage qui sont l’imitation, et l’art de "faire comme si". Schématiquement, l’imitation renvoie au fait d’agir ou de se comporter comme agirait et se comporterait le modèle que l’on se donne ; dans l’apprentissage d’un métier ou d’une compétence professionnelle, le modèle est généralement l’expert. De l’autre côté, "faire comme si" signifie accepter que la situation simulée ne soit pas la situation réelle, l’objectif n’étant pas tant d’y croire que de s’en saisir et l’exploiter comme un soutien à l’apprentissage. Dans le domaine de la formation, le terme de simulation renvoie à toute situation pédagogique où des apprenants doivent tenir un rôle et agir en conséquence, dans le cadre d’un scénario extrait généralement du monde réel. Dès le départ, des outils et des éléments variés de l’environnement, voire des objets réels, ont été utilisés comme une aide pour mettre les apprenants en situation et comme un soutien au déroulement de la simulation. Aujourd’hui, la simulation se fonde aussi sur l’usage de simulateurs, c’est-à-dire de dispositifs électroniques et informatiques particuliers visant à reproduire certains aspects de l’environnement ou de la situation de travail tels qu’ils se présentent dans le monde réel. Par exemple, les simulateurs de vol pleine-échelle qui utilisent de vrais cockpits répondent à l’objectif de placer l’apprenant dans une situation proche du vol réel. Le simulateur est alors supposé réagir comme le système réel qu’il figure, de façon à procurer à l’apprenant certains aspects de l’expérience qu’il pourrait tirer de ses actions dans la situation réelle. Les simulateurs informatiques ont constitué historiquement les premières applications des technologies informatiques qui ont donné naissance aux environnements virtuels d’apprentissage. L’une des principales valeurs ajoutées commune à ces systèmes réside dans la possibilité de changer les contextes de pratique pour l’apprentissage et d’engendrer des évènements comme des perturbations externes, des dysfonctionnements ou des pannes. Les variables de situation sont contrôlées par les instructeurs. Les simulations sont, à ce titre, bien plus flexibles que les situations réelles. Les premières générations de simulateurs n’étaient pas véritablement dotées de fonctionnalités pédagogiques, l’apprentissage étant assimilé à l’apprentissage "sur le tas", en situation de travail. L’expérience issue de l’interaction avec un environnement simulé n’est pas suffisante en termes d’apprentissage, puisqu’une étape supplémentaire de prise de conscience est généralement nécessaire pour aboutir à des formes conceptualisées des compétences acquises à travers l’expérience du simulateur. En outre, les propriétés de nos organes sensoriels limitent la perception à un certain champ. Par exemple, le spectre visible des longueurs d’onde est borné, comme est bornée la sensibilité auditive. La perception et l’action sont aussi influencées par les pratiques et l’expérience. Par exemple, suivant les cultures, on ne recense pas le même nombre de couleurs différentes. De même, après un apprentissage, l’homme est capable de discriminer entre deux stimuli des différences de qualité très faibles, alors que de telles différences ne seraient pas perçues dans la vie courante. En effet, l’expertise correspond à la mise en place de processus de sélection des indicateurs les plus pertinents pour l’action, parmi la multitude d’informations accessibles dans l’environnement. Pour ces raisons, entre autres, la formation sur simulateur a développé assez rapidement la pratique de séances préparatoires et de séances de debriefing pour encadrer le moment

La conception des environnements virtuels pour l’apprentissage

217

du passage sur simulateur. Il en découle aujourd’hui de nouveaux besoins en fonctionnalités pédagogiques pour le formateur, dont certains commencent à être implantés sur les nouvelles générations de simulateur : fonctions permettant le développement d’exercices et le suivi des progrès de l’apprenant, fonctions d’enrichissement de l’environnement et d’assistance à l’apprenant, fonctions permettant la sélection et la vision de certaines parties de la simulation pour assister le debriefing ou l’analyse des erreurs, etc. On note enfin que faire "comme si" n’est toutefois pas "faire dans le monde réel". La simulation permet essentiellement à l’apprenant de se préparer en s’entraînant à des comportements nouveaux et en étant face à des évènements à traiter, en dehors des risques et des contraintes du poste de travail réel. Certes la simulation permet la reproduction plus ou moins réaliste d’aspects du monde réel, mais elle permet aussi de proposer des alternatives à l’environnement tel qu’il est perçu en temps normal. Cette possibilité "d’augmentation" des représentations et des moyens d’actions offerts à l’apprenant nous paraît constituer l’une des lignes importantes de développement des applications de la réalité virtuelle.

7.2.2.2

La réalité virtuelle pour l’apprentissage

Les premiers développements d’environnements virtuels dédiés à l’apprentissage remontent aux années 90. Il est possible de les séparer en deux grandes catégories. La première grande catégorie d’environnements virtuels correspond à ceux dont le cycle de conception aboutit à un produit complet dont la finalité est d’être utilisé tel quel par l’apprenant et (éventuellement) les formateurs. Cette catégorie, que l’on peut qualifier d’environnements virtuels clef en main, est numériquement la plus représentée aujourd’hui. Elle recouvre à notre connaissance l’ensemble des applications actuelles développées pour la formation professionnelle, et correspond à la grande majorité des applications offertes pour le monde éducatif. Ces dernières ciblent de façon équivalente les niveaux scolaires depuis le collège élémentaire jusqu’a l’université et se repartissent entre les domaines des arts/humanités (archéologie, culture, etc.), les sciences, ainsi que quelques applications pour des populations à besoins spécifiques : difficultés d’apprentissage, autisme et certaines incapacités physiques [Mellet d’Huart, 2001b]. L’autre grande catégorie correspond aux mondes virtuels résultant d’une activité de conception par les apprenants eux-mêmes. S’inscrivant dans la lignée de la pédagogie active et du constructivisme, les apprenants sont mis par groupe en situation de devoir être concepteur d’un projet. L’hypothèse sous-jacente est que l’apprentissage provient moins de l’immersion et de l’interaction avec un environnement virtuel déjà développé que des interactions entre apprenants et des activités menées pour parvenir à la résolution du problème posé. Cette catégorie d’environnements virtuels a été développée uniquement dans le monde éducatif, et dans une proportion très faible relativement à la première catégorie. Des stratégies pour développer les usages et les technologies de la réalité virtuelle pour l’apprentissage ont été mises en œuvre dans plusieurs pays, de façon plus ou moins systématique. Aux Etats-Unis, par exemple, plusieurs programmes dans le domaine éducatif, ont fourni à des élèves et des enseignants l’opportunité de visiter des mondes virtuels et de les exploiter pour leurs objectifs scolaires. On peut citer pêle-mêle les programmes :

218

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

•

"US WEST Virtual Reality Roving Vehicle program /Washington" : création du HITL - Human-Interface Technology Laboratory - de l’Université de Washington ; dans le cadre de ce programme, plus de 1200 élèves ont pu expérimenter la réalité virtuelle [Winn, 1997] ;

•

"Virtual Reality Roving Vehicle program/Nebraska” ; un programme équivalent développé dans l’état de Nebraska ;

•

"Mobile Aeronautics Education Laboratory", programme qui débuta en 1997.

La réalité virtuelle fait aussi partie des ressources financées dans les programmes d’éducation scientifique de la National Science Foundation (NSF). Par exemple, il existe une collaboration entre enseignants et chercheurs du NCSA (National Center for Supercomputer Application) de l’Université d’Illinois [Youngblut, 1998] [Mellet d’Huart, 2001b]. En Europe, le domaine de la réalité virtuelle a fait l’objet d’un fort soutien essentiellement dans le domaine de la conception et de l’industrie (voir, par exemple, le chapitre sur la plate-forme française Perf RV dans ce volume du traité), moins en ce qui concerne les applications éducatives, même si des applications ont été développées ici et là dans des laboratoires reconnus (Université de Teeside, VIRART - Université de Nottingham, etc.). Des applications significatives pour l’apprentissage ont été démontrées dans le domaine industriel ces dernières années. A titre d’exemple, on peut citer les formations développées depuis la fin des années 90 par la recherche d’EDF, en collaboration avec ses services de formation. Initialement, cela concernait la maintenance et le diagnostic de pannes sur les robinets industriels en centrale. L’environnement virtuel conçu s’appuyait alors sur un dispositif conçu avec un grand écran, utilisable par un formateur et un groupe d’apprenants. Il est encore actuellement utilisé comme support à l’explication, comme support à la discussion, et comme support à l’application de la méthode de diagnostic à acquérir. Aujourd’hui, l’environnement virtuel présente un robinet industriel enrichi de fonctions d’assistance et d’animations où les acquis du multimédia éducatif sont intégrés. Par exemple, le robinet est démontable pièce par pièce, le nom des pièces peut apparaître, des schémas de fonctionnement additionnels peuvent être affichés, des effets de transparence permettent de visualiser des positions ou des évènements normalement inaccessibles à l’exploration, des phénomènes invisibles peuvent être figurés, tels que la circulation des fluides, la température, l’augmentation de la pression, etc. Cet environnement virtuel a été comparé avec le précédent [Frejus, 1999]. Ce travail a montré, d’une part, l’amélioration du niveau de compétences des apprenants pour la préparation de l’intervention de diagnostic et, d’autre part, la diminution d’environ 30% du temps requis pour la formation [Thibault, 2002]. D’autres applications ont été développées depuis, ou sont en cours de développement, comme par exemple un environnement virtuel pour la formation des opérateurs en centrale à la conduite de ponts polaires. Dans le domaine ferroviaire, un démonstrateur a été développé à partir du milieu des années 90 pour la formation à l’intervention en ligne sur aiguille pour les conducteurs de TGV [Lourdeaux, 2001]. L’une des particularités de ce dispositif FIACRE est d’être couplé à HAL, un système de tuteur intelligent fondé sur la notion d’agent, de façon à permettre une gestion flexible de l’assistance à l’apprentissage. Ce prototype utilisant un grand écran et divers interfaces est maintenant en cours d’industrialisation par la SNCF, dans le cadre du projet FIACRE. Dans le domaine de la sécurité industrielle, des travaux sur la programmation d’agents autonomes ont débouché sur la reconstitution virtuelle d’un site industriel à risque classé SEVESO où des avatars représentant des équipes de secours sont susceptibles

La conception des environnements virtuels pour l’apprentissage

219

d’interagir avec les utilisateurs apprenants [Querrec, 2002]. Cet environnement virtuel SécuRéVi (voir la fiche correspondante en annexe de ce chapitre), développé pour les pompiers du Finistère, est destiné à être utilisé pour la reconnaissance de site, la formation à l’application de procédure et à la prise de décision. Parmi les exemples intéressants, on notera enfin STEVE (Soar- Training Expert for Virtual Environments, [Johnson, 1999] [Rickel, 1999]) fondé sur l’architecture et le langage d’Intelligence Artificielle SOAR dont la vocation est de simuler le fonctionnement cognitif (voir [Newell, 1990][ Laird, 1987]. STEVE (voir la fiche) a la particularité d’être un agent virtuel, représenté sous la forme d’un humanoïde, et doté d’une architecture qui lui permet d’apprendre des procédures, de les démontrer une fois apprises, de guider, surveiller et assister des apprenants en expliquant les étapes de la procédure et leur justification. Le premier environnement virtuel exploitant STEVE représentait de façon réaliste certaines parties des bâtiments de l’US Navy, afin de former des ouvriers qualifiés aux tâches procédurales de maintenance des compresseurs [Johnson, 1999]. Des développements en cours [Rickel, 2001] visent à intégrer STEVE dans des environnements pour l’apprentissage de missions de maintien de la paix. Ces travaux sont menés en collaboration avec des professionnels du cinéma. Ils visent à pourvoir STEVE de nouvelles capacités langagières et mettent l’accent sur la scénarisation et l’utilisation d’effets spéciaux pour engendrer des émotions chez les utilisateurs/spectateurs [Marsella, 2001] [Randall, 2003].

7.2.2.3

Limites des premières approches

A part quelques exemples, dont certains cités plus haut, plusieurs aspects sensibles pour ce type de projets ont été sous-estimés jusqu’à présent [Burkhardt, 1999 ; Burkhardt, 2003]. On retrouve notamment les principaux problèmes évoqués dans le cadre plus général de la conception et l’utilisation des EV : utilisabilité, désorientation associée à la navigation, fatigues visuelles et physiques variées, troubles associés à la simulation du mouvement, etc. Un premier ensemble de facteurs regroupe les limites techniques ayant une influence directe sur l’utilisabilité et l’ergonomie des dialogues en EV. L’immaturité des techniques explique en partie les défauts d’utilisabilité des systèmes. Des tâches a priori simples comme la manipulation "naturelle" d’objets virtuels peuvent constituer des tâches difficiles pour l’utilisateur du fait de la qualité de l’interaction et du manque de retour d’efforts. La perception est également partielle, caractérisée par des incohérences entre les informations traitées par les différents systèmes récepteurs. De surcroît, les sources d’information liées à l’environnement réel de l’utilisateur se superposent, voire entrent en conflit, avec l’information délivrée par le système. Dans le cadre d’un environnement pour la formation, il faut y porter une attention particulière, à la fois pour les aspects de transfert entre situations virtuelles et monde réel et pour les aspects d’assistance à l’utilisateur. Il s’agit d’éviter que des difficultés d’utilisation n’induisent une surcharge cognitive néfaste pour l’apprentissage. Pour Morineau [Morineau, 2000], cette surcharge expliquerait le fait que des adultes immergés pour la première fois dans un environnement virtuel exhibent globalement des performances cognitives analogues à celles caractérisant la pensée prélogique. Ils retrouvent néanmoins leurs capacités après plusieurs immersions. Si l’utilisabilité est un aspect sensible pour toute application, la sensibilité est ici ren-

220

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

forcée du fait du contexte de l’usage en formation qui se caractérise par des utilisations ponctuelles pour l’apprenant, peu suivies, sur des temps brefs entrecoupés de périodes souvent longues. Parmi les limites techniques, les boites à outils des concepteurs contraignent aussi en partie la forme et la qualité des interactions qu’il est possible de réaliser en environnement virtuel [Burkhardt, 1999 ; Willans, 2001]. A titre d’exemple, l’architecture des systèmes focalisés sur le réalisme (essentiellement visuel) est souvent peu flexible, avec une scène de base où la gestion se fait pour l’essentiel objet par objet, de façon inerte. Les problèmes dus à la structure d’héritage et aux contraintes régissant les liens entre objets viennent s’ajouter. Un autre exemple concerne les primitives d’affichage ou de dialogue qui ne sont pas toujours adaptées aux besoins qu’engendre la gestion d’une interaction intelligente entre l’utilisateur et le système. Dans le même ordre d’idées, la lourdeur de bon nombre d’applications actuelles engendre souvent des modes d’interactions limités de type visite, navigation ou déambulation. Cette lourdeur est consécutive notamment au poids du calcul graphique ou à la gestion des données associées aux interfaces de retour d’effort et à la simulation du mouvement. Des limites tant théoriques que méthodologiques sont également remarquables. Ainsi, le manque d’usage et de précédents a eu pour effet de minimiser l’utilité des environnements virtuels dans la mesure où les fonctionnalités de tels systèmes sont encore imparfaitement cernées. De surcroît, l’absence de démarche de conception réellement orientée vers l’utilisateur agit comme un frein à l’anticipation et à la capitalisation des connaissances sur ces usages. Une limite importante réside dans les méthodologies de conception mises en œuvre jusqu’à présent. Ainsi les modèles explicites et précis de la tâche à accomplir et de l’utilisateur semblent souvent absents de la démarche de conception des environnements virtuels actuels, remplacés par un modèle tridimensionnel de la réalité à reconstruire virtuellement. La conception est ainsi essentiellement orientée vers des systèmes et des interfaces utilisateurs reconstruisant une stimulation isomorphe à celle du monde réel. Or pour concevoir un environnement virtuel efficace et adapté, il est aussi nécessaire de définir deux autres composants dès l’étape conceptuelle. Le premier est un modèle précis de la tâche à remplir (définition des fonctionnalités). Le second est l’élaboration d’un modèle explicite de l’utilisateur et de son comportement (optimisation de l’interface et des dialogues). Une autre limite réside dans le peu d’attention porté aux connaissances déjà acquises dans des technologies proches comme les simulateurs, dans le domaine de la conception d’IHM (Interface Humain-Machine), de l’ergonomie des logiciels interactifs, etc. En effet, les connaissances actuelles sont non négligeables, même si de nombreux aspects du problème ne trouvent pas encore de réponse éprouvée, notamment du fait de la jeunesse relative du domaine. Enfin, une majorité de travaux abordent l’homme sous l’angle de la perception comme un récepteur passif et non sous l’angle de la cognition [Frejus, 1996]. Le manque de compréhension du fonctionnement cognitif des utilisateurs constitue une faiblesse théorique, avec en particulier une méconnaissance des processus liés à l’apprentissage et au développement des compétences. En outre, certains questionnements théoriques n’apparaissent pas reliés à un enjeu réel en termes d’utilisabilité et d’efficacité pour l’apprentissage. Par exemple, la notion de "présence" est abondamment présentée comme centrale dans le domaine de la réalité virtuelle. La recherche d’un degré élevé de présence caractérise en effet l’orientation de nombreux travaux dans le domaine, notamment avec l’idée que la performance ou l’apprentissage en seraient facilités. Toutefois, l’hypothèse de son effet sur l’apprentissage reçoit un soutien mitigé du fait du caractère contradictoire des résultats dans la littérature, voire de l’absence de résultats. Notre avis est que cette dimension n’apporte pas, au regard des résultats actuels et des perspectives ouvertes par la recherche, une dimension intéressante du point de vue de l’apprentissage. D’une part, il n’existe pas de définition claire et partagée

La conception des environnements virtuels pour l’apprentissage

221

de cette dimension : en effet, la modélisation cognitive de cette dimension de présence constitue encore une question de recherche, même si plusieurs approches sont déjà proposées (voir [Draper, 1998 ; Regenbrecht, 1998 ; Verna, 1998 ]. D’autre part, aucun lien théorique convaincant n’est proposé avec les théories et les principes existants dans le domaine de la pédagogie, ni même encore avec les travaux sur l’apprentissage et le développement cognitif humain. A tout cela s’ajoute souvent une certaine faiblesse méthodologique concernant le recueil, l’analyse et l’interprétation des données sur le comportement humain.

7.2.3 UN CADRE POUR SYNHTÉTISER LES APPORTS

De plus en plus, les chercheurs et praticiens sont convaincus que les technologies de la réalité virtuelle ouvrent des perspectives pour faciliter les apprentissages [Mellet d’Huart, 2001b ]. Les intérêts potentiels des environnements virtuels pour l’apprentissage sont toutefois peu traités de façon systématique à travers la littérature. Les potentialités ou intérêts évoqués ressemblent en fait plus à un catalogue de cas rassemblés de manière opportune qu’à des lignes de recherches claires fondées sur une approche théorique et pratique constituée. Pour certains auteurs, c’est l’aptitude de la réalité virtuelle à faciliter les apprentissages selon une approche constructiviste [Vigotsky, 1978], voire constructioniste [Papert, 1981] qui est fondamentale [Winn, 1993]. D’autres privilégient les possibilités qu’a la réalité virtuelle d’offrir des formes alternatives d’apprentissage, en soutenant les différents styles d’apprentissage des apprenants (auditifs, visuels, etc.) ou en proposant des points de vue inédits sur les objets et les connaissances [Osberg 1997 ; Roussos, 1999]. D’autres encore voient, pour des apprenants et des formateurs, la possibilité de collaborer entre eux au sein de groupes ou de classes virtuels qui dépassent le cadre géographique du présentiel. Il nous a paru par conséquent utile de proposer un cadre permettant de rendre compte de façon structurée et synthétique de l’éventail des potentialités et des intérêts à considérer lorsque l’on veut concevoir des environnements virtuels pour l’apprentissage. Les intérêts qui sont présentés à la suite s’appuient en partie sur une analyse récente de la littérature [Lourdeaux, 2001 ; Mellet d’Huart, 2001 ; Burkhardt, 2003]. Considérer les apports des environnements virtuels pour l’apprentissage amène tout d’abord à souligner les avantages historiquement rattachés à l’informatique et à la simulation utilisées à des fins pédagogiques. Nous verrons ensuite que faute de données et d’études, d’autres intérêts, plus spécifiques aux environnements virtuels pour l’apprentissage traduisent plus souvent des hypothèses que des résultats validés empiriquement.

7.2.3.1

Les apports de la simulation

L’usage de la simulation pour la formation est déjà ancien, de sorte qu’il existe une documentation conséquente concernant ses avantages [Patrick, 1992, pp 497-502], [Leplat, 1997], [Grau 1998]. Il s’agit, d’une part, d’avantages associés au recours à la situation simulée, proche de la réalité par construction, mais sans les contraintes du terrain réel : •

mettre en situation quand la réalité ne le permet pas, parce qu’elle n’est pas accessible (espace...), trop coûteuse (pilotage...), trop dangereuse (situations extrêmes, réacteurs

222

•

•

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

dans le nucléaire...) ou parce qu’elle n’existe pas encore (plate-forme off-shore en construction, nouveau véhicule...) ; simuler des scénarios et des conditions rares (incidents techniques, situations limites, accidents...), afin de permettre aux apprenants d’acquérir une certaine expérience et de développer des automatismes en vue de l’activité future ; contrôler précisément certains paramètres de la situation, les faire varier, voire les modifier à volonté (terrains, conditions climatiques, introduction de dysfonctionnements...).

Il s’agit d’autre part de propriétés dues à la situation et de fonctionnalités intéressantes à développer du point de vue de l’apprentissage : •

•

•

•

simplifier et segmenter les apprentissages pour les faciliter (apprendre à passer les vitesses avec une boîte à palier sans être perturbé par le trafic routier, par exemple voir la fiche TRUST) ; donner à l’erreur un statut pédagogique réel, en permettant d’en faire observer les conséquences et en soutenant plusieurs façons de les expliquer ; intervenir à tous moments afin d’exploiter didactiquement le contexte et le comportement de l’apprenant : fonctions de gel de la situation (figer les états et la dynamique d’une situation-problème à un moment donné, par exemple pour poser des questions ou recevoir une explication avant de reprendre le cours de la session), de rejeu (par exemple en vue d’analyser les difficultés et les stratégies, d’expliquer les erreurs), de synthèse automatique des résultats et/ou comportements, etc. ; répéter la même situation de façon inter ou intra-individuelle, à des fins d’observation, d’entraînement ou d’évaluation.

7.2.3.2

Les apports de l’informatique pédagogique

Les fonctionnalités développées dans le cadre de l’utilisation des technologies informatiques à des fins éducatives (enseignement assisté par ordinateur, environnements interactifs pour l’apprentissage humain, systèmes tutoriels intelligents, etc.) sont encore relativement peu implantées dans les environnements virtuels pour l’apprentissage. L’interactivité est le premier apport principal des technologies de l’informatique à l’apprentissage. La notion d’interactivité revêt plusieurs sens dans le domaine de l’informatique pédagogique et de la réalité virtuelle, depuis le déclenchement de l’étape suivante dans l’exposition d’une consigne, jusqu’au contrôle par l’apprenant des paramètres d’une simulation pour en comprendre les règles de fonctionnement, ou bien encore l’établissement de dialogues avec d’autres entités virtuelles. Cette notion d’interactivité ne doit pas être confondue avec le mode d’interaction, lequel reflète les choix particuliers de dispositifs d’action et d’affichage. Parler en général d’un quelconque bénéfice de l’interactivité sur l’apprentissage n’est pas possible ; là aussi, il est nécessaire de préciser le type d’interactivité dont il s’agit. Il convient en particulier de distinguer, dans les dialogues interactifs entre l’apprenant et le système, la part de l’interactivité liée à l’utilisation et la navigation à l’intérieur de l’outil, avec la part de l’interactivité explicitement associée à la mise en place d’un apprentissage. Cette dernière correspond aux interactions impliquant des habiletés sensori-motrices ou cognitives propres à la tâche à apprendre (simulation) ou encore propres au processus d’apprentissage lui-même

La conception des environnements virtuels pour l’apprentissage

223

(expérimentation, guidage, explication, jeu). Cette distinction n’est d’ailleurs pas spécifique aux environnements virtuels d’apprentissage, des formulations similaires ayant été proposées par exemple dans le domaine du multimédia pour la formation. Ainsi, une revue récente concernant l’usage de l’animation [Bétrancourt, 2000] conclut que l’interactivité liée à la navigation dans l’outil ne semble pas améliorer l’efficacité. A l’inverse, l’interactivité de l’apprenant avec les variables sous-tendant la simulation serait favorable pour l’apprentissage, ce que tendent à montrer diverses études (par exemple [Byrne, 1996]). L’effet positif de l’interactivité sur l’apprentissage n’est ainsi pas systématique, car elle peut s’accompagner [Stanney, 1998] d’une augmentation de la charge de travail de l’utilisateur, laquelle peut avoir pour effet d’empêcher l’apprentissage et l’amélioration de la performance. On notera que dans le cas des environnements virtuels, Lourdeaux et col [Lourdeaux, 2002] distinguent en outre deux niveaux d’interactivité offerte à l’apprenant : les interactions liées à l’utilisation des dispositifs propres à la technologie du virtuel, et les interactions associées à l’apprentissage. Sans chercher à être exhaustif, on peut noter ensuite les apports/fonctions suivantes qui nous semblent intéressantes à intégrer lors de la conception d’environnements virtuels : •

utilisation du même équipement pour d’autres formations, voire d’autres usages (conception, analyse de l’activité, évaluation, etc.) ;

•

adaptabilité des scénarios en fonction des styles et du rythme d’apprentissage, ainsi que des progrès, difficultés ou stratégies passées de l’apprenant ;

•

programmation et ajustement de l’environnement selon les objectifs pédagogiques ;

•

exploitation des possibilités de représentations offertes par les différents médias (image, son, texte, animations, schémas, hyper-structures, etc.) ;

•

réversibilité de certaines actions (i.e. autoriser l’apprenant à revenir sur une action particulière ou une étape précédente) permet, par exemple, de remettre en cause une stratégie et d’examiner l’impact d’une nouvelle sur les états du système [Burkhardt, 2003] ;

•

suivi des apprenants à travers plusieurs sessions en enregistrant certaines données du scénario et la manière dont il a été exécuté ;

•

intégration d’un système de tuteur intelligent pour le contrôle et l’assistance pédagogique.

Aujourd’hui les prémices de l’intégration des apports de ce champ aux environnements virtuels d’apprentissage se traduisent par l’ajout de modules logiciels pour des paramètres d’apprentissage très localisés. L’enjeu pour l’avenir est l’intégration véritable de fonctionnalités pédagogiques au cœur même de l’environnement virtuel.

7.2.3.3

Les apports spécifiques de la réalité virtuelle

La réalité virtuelle apporte des possibilités sans doute intéressantes pour l’apprentissage, bien que la majorité d’entre elles se situent plus au stade de l’hypothèse que du principe démontré par la recherche. Les avantages qui y sont associés sont les suivants :

224 •

•

•

•

•

•

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

induction d’une motivation forte chez les apprenants, notamment du fait des aspects ludiques et attrayants associés à la réalité virtuelle et à son usage dans le grand public ; plus grand réalisme3 , moyen d’approcher le réel sans risque, à moindre coût, de façon plus flexible et plus efficace en multipliant les "terrains d’apprentissages" numériques ; adaptation statique et/ou dynamique du niveau de fidélité des environnements et des informations présentées [Lourdeaux, 2002] ; articulation de perspectives multiples et de cadres de référence, offrant une grande variété de points de vue et de stratégies possibles au cours de l’interaction avec un monde virtuel ; information visuelle pouvant être présentée en trois dimensions, procurant d’une part une dimension supplémentaire pour structurer l’information comparativement aux écrans en deux dimensions, et d’autre part facilitant la présentation d’une plus grande quantité d’informations ; utilisation d’un espace limité par rapport à un simulateur pleine-échelle ou une maquette à l’échelle 1.

Une catégorie particulière d’avantages concerne l’usage de modes d’interactions et d’assistance impossibles dans le monde physique, comme moyen d’approcher différemment l’apprentissage ; cet intérêt peut se lire selon le plan de la motivation (l’inédit, l’impossible, etc.) ou de l’accès à des formes d’interactions mieux adaptées à certaines formes de questionnement didactique (examiner une molécule à l’échelle de cette molécule, etc). Sur ce dernier plan, on poursuit les objectifs suivants : •

•

•

•

•

modifier l’échelle (sizing) des tailles relatives de l’apprenant et des objets figurés dans l’environnement virtuel [Winn, 1993]. Par exemple, un apprenant pourrait entrer dans un atome, l’examiner, ajuster des électrons dans leurs orbites et de ce fait modifier la valence de l’atome et sa capacité à se combiner aux molécules ; réifier4 , c’est-à-dire présenter à l’apprenant, sous une forme concrète et intelligible, un concept, une abstraction (l’idée de liberté, une équation mathématique, le courant électrique). Un procédé partiellement analogue est celui de la transduction [Winn, 1993] qui consiste à utiliser des affichages pour présenter une information normalement hors du champ perceptif humain. Par exemple, des variations de l’intensité des signaux auditifs ont pu être employées pour dépeindre des niveaux de rayonnement électromagnétique. De même, la couleur a pu être utilisée pour montrer le mouvement de l’oxygène dans un environnement ; limiter les capacités d’action de l’apprenant en lui interdisant certaines opérations en contraignant les degrés de liberté [Verna, 1998a] ; superposer une information d’assistance aux scènes de l’environnement virtuel : flèches, sons, clignotement, par exemple ; faire intervenir un formateur réel ou virtuel pouvant interagir avec l’élève au moyen de la voix, d’un texte surimposé, ou par l’intermédiaire d’un avatar représentant un personnage. Il pourrait tenir différents rôles [Johnson, 2000] comme un tuteur virtuel, un entraîneur virtuel, un pair virtuel, ou un adversaire virtuel. Ces rôles peuvent être

3 Les résultats sont mitigés concernant cet aspect, ne serait-ce que du fait de l’absence de définition claire de la notion de réalisme ; voir la discussion générale sur la notion de réalisme (chapitre 2 du volume 1). 4 Les termes réifier ou réification ne sont pas toujours compris de la même façon suivant les auteurs.

La conception des environnements virtuels pour l’apprentissage

225

ajustés suivant le contexte et suivant les options pédagogiques prises pour une situation particulière. Chan et Baskin [Chan, 1990] ont développé un compagnon d’étude simulé, qui agit en tant que pair. Chan [Chan, 1996] a étudié d’autres types d’interactions entre les apprenants et les systèmes informatiques, comme des concurrents ou des précepteurs réciproques. Frasson et al. [Frasson, 1996] ont exploré l’utilisation d’un "fauteur de troubles" automatisé, un compagnon d’étude qui fournit parfois des informations incorrectes afin de contrôler, et améliorer, la confiance en soi de l’apprenant. Enfin l’agent virtuel STEVE [Johnson, 2001] peut prendre la place d’un collègue afin de terminer une activité avec un utilisateur ou fournir des conseils à l’apprenant. Un autre avantage est l’immersion de l’apprenant au moyen de rétroactions simultanées sur les modalités visuelles, auditives, haptiques, etc. comme agent catalyseur de l’acte d’apprentissage. L’immersion est en effet souvent mentionnée comme une propriété nécessaire pour l’apprentissage [Malik, 2001]. Le terme est souvent pris dans des acceptions peu rigoureuses (voir la discussion générale à ce sujet dans le chapitre 2 du volume 1, et ses relations avec la notion de réalisme). L’hypothèse habituelle associant immersion et performance en termes d’apprentissage et de transfert est la suivante : l’immersion dans un environnement similaire à celui de la future tâche doit s’accompagner d’un meilleur apprentissage car la connaissance acquise serait ainsi structurée d’une façon proche de la structure requise par la tâche [Stanney, 1998]. Le même argument a déjà été proposé pour expliquer l’intérêt de l’approche globale en formation (simulation et apprentissage sur le tas, voir par exemple [Bisseret, 1969]). Quelques études expérimentales ont cherché à évaluer l’effet de systèmes immersifs (généralement constitués de systèmes de visualisation en 3D, souvent au moyen d’un visio-casque ou de lunettes stéréoscopiques) en termes d’efficacité pour l’apprentissage, par comparaison avec d’autres environnements non immersifs (généralement de type micro-ordinateur présentant des images en 2 dimensions, voire des modes plus traditionnels d’enseignement). Dans ces études [Byrne, 1996 ; Gay, 1994 ; Merickel, 1994], le bénéfice de l’immersion n’a pas réellement de confirmation empirique. De surcroît, l’immersion dans l’environnement virtuel peut distraire l’attention des apprenants au détriment du contenu, au moins dans les premières immersions [Gay, 1994]. A notre connaissance, la seule étude faisant état d’un effet bénéfique de la condition immersive est celle d’Adams et Lang [Adams,1995]. Toutefois, l’explication pour cette meilleure performance résiderait dans une motivation plus grande des stagiaires en environnements virtuels immersifs qui consacreraient ainsi plus de temps à leur formation. Une dernière particularité prometteuse des environnements virtuels pour l’apprentissage réside dans la mise à disposition de modes d’interactions multimodaux pour améliorer et/ou repenser l’apprentissage. Les premiers résultats d’études [Dede, 1996] suggèrent en effet des gains intéressants associés à l’introduction de la sensori-motricité ou de la redondance entre modalités sensorielles, par rapport à des environnements d’apprentissage fondés sur le visuel seul. Plusieurs hypothèses et directions de recherches sont actuellement envisageables de façon à définir clairement des principes pour la conception d’environnements virtuels d’apprentissage. Nous en distinguons deux principales. La première est directement liée à la notion de fidélité perceptive (voir le chapitre 2 du volume 1) : le développement de la dimension multisensorielle correspond alors à la recherche d’une fidélité perceptive la plus proche des situations de référence dans le monde réel. La seconde approche consiste à utiliser une ou plusieurs autres modalités sensorielles pour attirer l’attention des apprenants sur l’information réellement importante à l’intérieur de la scène visuelle, et ainsi renforcer l’apprentissage. Dans ce

226

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

cas, la fidélité perceptive n’est pas l’objectif, puisque l’on s’en éloigne. Dans le même ordre d’idée, l’exploitation du canal visuel pour assister le traitement et l’apprentissage sur d’autres canaux sensoriels est évidemment aussi envisageable.

7.2.3.4

Conclusions sur les apports

Des validations expérimentales et des études de terrains avec de véritables utilisateurs devront rapidement apporter confirmation des principes et des cadres explicatifs soutenant les différentes pistes évoquées, faute de quoi l’efficacité et l’utilité des environnements virtuels pour l’apprentissage pourraient ne progresser que marginalement dans les années à venir. Dans les développements à venir, il ne faudrait pas non plus sous-estimer l’héritage des fonctions développées dans les générations précédentes de technologies utilisées pour l’apprentissage. Un certain nombre de fonctionnalités utiles issues de ces différents contextes seraient probablement à intégrer dans le cahier des charges initial de tout environnement virtuel d’apprentissage. De manière générale, également, les outils de formation doivent respecter des qualités propres à l’usage de la formation (respects des objectifs pédagogiques, facilité d’utilisation, efficacité pédagogique, etc.). Enfin, les hypothèses qui ont été évoquées jusqu’à présent ne sont probablement pas les seules qu’il est possible de formuler dans le cadre d’un développement spécifique d’environnement virtuel pour l’apprentissage : elles devraient être formulées explicitement au moment de la conception et donner lieu systématiquement à des évaluations scientifiques en laboratoire et sur le terrain.

7.3 DÉMARCHE ET OUTILS POUR LA CONCEPTION Cette partie présente une contribution à l’élaboration d’une méthodologie pour la conception d’environnements virtuels d’apprentissage centrés sur les utilisateurs et les processus d’apprentissage. Il s’agit là de l’une des originalité de la démarche proposée, relativement à des approches précédentes plus centrées sur le développement technologique [par exemple Kalawski, 1996], ou focalisées sur l’enseignement et l’éducation [par exemple, Pantelidis, 1996 ; Winn, 1997]. La conception d’un environnement virtuel est similaire par de nombreux aspects à la conduite de projets touchant à la mise en place des technologies de l’informatique. Elle s’en distingue, d’un côté, du fait de questions et d’aspects particuliers liés au caractère innovant et aux spécificités de ce domaine technologique récent et, de l’autre, du fait de questions émanant du champ de l’apprentissage. Des questions propres concernent par exemple : •

la formulation d’hypothèses psychologiques et pédagogiques précises sur l’apprentissage ;

•

le lien avec le monde réel et avec le contenu à apprendre ;

•

le développement d’interfaces pour l’interaction sensori-motrice ;

•

le rôle du formateur, etc.

La conception des environnements virtuels pour l’apprentissage

227

Les connaissances et les compétences nécessaires pour traiter de ces différentes questions amènent à souligner le caractère primordial de la constitution d’une équipe pluridisciplinaire associant, dès le début du processus de réflexion et de travail : • • •

•

des spécialistes de la pédagogie (pédagogues, formateurs, enseignants) ; des spécialistes du contenu (experts métier, didacticiens) ; des spécialistes des facteurs humains et de l’analyse du comportement (ergonomes, psychologues, physiologistes) ; des spécialistes des technologies (informaticiens, spécialistes des interfaces, développeurs).

Après avoir présenté le déroulement et la démarche d’un projet, nous proposons des guides et des outils méthodologiques pour la conception d’environnements virtuels depuis les phases initiales jusqu’au cycle de développement. Ces outils intègrent des éléments issus de l’ingénierie pédagogique, de l’ergonomie et de l’ingénierie technique des environnements virtuels. Dans le contexte de la conception d’un environnement d’apprentissage, il est à noter que toutes les fonctions et tous les dialogues ne concernent pas l’interaction d’un utilisateur avec l’environnement virtuel à proprement parler. Ainsi, par exemple, ceux concernant le formateur sont généralement assez classiques pour ce qui est de la planification, du contrôle et du debriefing des sessions avec les apprenants. Dans ce cas, le recours à une méthodologie centrée sur l’utilisateur est évidemment souhaitable (voir [Norman, 1986], [Mayhew, 1999], [Bastien, 2002 et 2003]). 7.3.1 DÉMARCHE GÉNÉRALE DU PROJET DE CONCEPTION

La démarche dans un projet de conception d’environnements virtuels d’apprentissage admet, de façon classique, trois grandes étapes : •

•

•

l’étape initiale s’appuie sur l’analyse des besoins et l’étude de faisabilité pour décider de l’opportunité du projet et de son dimensionnement ; la seconde étape est celle de la conception proprement dite, avec l’itération entre la spécification, le développement et l’évaluation, pour déboucher sur un environnement virtuel répondant aux critères et aux objectifs fixés par le projet ; la dernière étape est celle de l’industrialisation ou l’implantation éventuelle sur le terrain lorsqu’il s’agit d’un projet à finalité éducative ou de formation professionnelle. Cette phase est plus rare dans les projets orientés vers la recherche.

7.3.1.1

De l’idée initiale à la décision de lancement

L’analyse des besoins et l’étude de faisabilité consiste à : • •

préciser la démarche et les hypothèses envisageables en termes d’apprentissage ; définir le ou les publics visés ;

228 • •

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

vérifier la faisabilité technologique et son espérance d’intégration pour ce public ; estimer le coût et l’intérêt économique de ce développement.

Cette première période comprend le recueil, la mise en forme et l’intégration de données préliminaires dans les domaines pertinents pour la conception d’un environnement virtuel d’apprentissage. Ces données concernent les éléments pédagogiques, technologiques et économiques, ainsi que les informations relatives à la connaissance des utilisateurs et du terrain. Il nous semble important de souligner le danger qu’il y a à restreindre l’analyse précise aux aspects technologiques ou économiques, en s’en tenant uniquement à des idées de sens commun pour ce qui est de l’apprentissage et des scénarios d’utilisation possibles. Le développement d’un environnement virtuel d’apprentissage est un processus d’autant plus long et coûteux que la conscience et la prise en compte des spécificités liées à l’apprentissage, à son contexte et aux caractéristiques des utilisateurs sont tardives. Ainsi, deux autres contributions importantes pour cette étape concernent : 1) l’identification et la formalisation du problème d’apprentissage à traiter, qui peut être : •

•

•

nouveau du point de vue de la technique, du contenu de l’apprentissage et de la pédagogie : par exemple la formation à la manipulation d’un télescope spatial avant son lancement effectif. Notons que ce cas est en fin de compte assez rare ; nouveau du point de vue de la technique, mais relativement bien connu du point de vue de l’apprentissage et de la pédagogie : par exemple, la formation à l’intervention en ligne pour les conducteurs de trains à grande vitesse. Le fait qu’un problème soit "bien connu" ne signifie pas forcément qu’une réponse satisfaisante ait été trouvée. Par exemple, la formation au soudage (voir la fiche WAWE en annexe de ce chapitre) reste difficile et coûteuse alors que de nombreuses solutions et études sont réalisées depuis des années. Il s’agit probablement à l’heure actuelle du cas le plus courant ; connu, mais l’on souhaite apporter une amélioration à un système de formation existant.

2) le contexte, les utilisateurs et l’analyse ergonomique préalable à la réalisation du projet. Comprendre le fonctionnement psychologique (cognitif, conatif, perceptif et moteur) sous-jacent aux situations d’apprentissage visées ne peut se faire que par une analyse fine des comportements, également des apprenants. Ce type d’analyse passe généralement par des études de terrain concernant la situation et les difficultés d’apprentissage. La formalisation des résultats de telles analyses par la modélisation est une des conditions de l’efficacité de l’environnement virtuel d’apprentissage [Bastien, 1984, 1988] [Tiberghien, 1988], [Richard, 1988, 1990], [Denis, 1993] [Hoc, 1993]. Les résultats de l’analyse concourent à l’élaboration des hypothèses formulées afin de résoudre le problème rencontré. Ces hypothèses sont ensuite traduites en comportements attendus, avec en parallèle l’explication des tâches correspondantes à réaliser pour l’apprenant. D’autres résultats ou techniques contribuent à la question : • •

les réflexions en cours concernant de nouvelles approches possibles ; le recueil d’avis d’experts (formateurs, opérateurs experts dans la tâche, ergonome, etc.) ;

La conception des environnements virtuels pour l’apprentissage •

229

l’examen de travaux scientifiques ou de la référence à un champ théorique ; les données issues d’un état de l’art et/ou de la veille sectorielle, technologique et financière.

Au final, le dimensionnement du projet, la décision d’opportunité et la convergence vers une solution technologique particulière doivent se faire sans précipitation. La réalité virtuelle peut permettre de mettre en œuvre des solutions nouvelles et originales. Il est donc utile de formuler sans censure toutes les hypothèses pouvant répondre au problème d’apprentissage posé. La partie précédente décrit différentes hypothèses à propos de l’apprentissage et des fonctions pouvant être intégrées dans l’environnement virtuel pour l’apprentissage. On peut s’appuyer sur ces hypothèses, entre autres, pour élaborer les différents scénarios possibles, incluant le cas échéant des technologies moins coûteuses. Il s’agit d’examiner notamment avec soin : • • • • •

•

les caractéristiques du problème d’apprentissage à traiter ; les publics d’apprenants et de formateurs ciblés ; les contextes réels existants et la façon dont ce problème s’y trouve déjà traité ; les qualités de la solution proposée sur le plan de l’apprentissage et de la formation ; la plus-value explicite des technologies de la réalité virtuelle, notamment par rapport à d’autres alternatives technologiques ; les implications économiques, financières, sociales et organisationnelles du projet.

7.3.1.2

Le cycle itératif spécification - développement - évaluation

Le développement d’un environnement virtuel d’apprentissage relève d’une démarche itérative. Deux éléments sont élaborés en parallèle : l’environnement virtuel lui-même, en tant qu’artefact technique, et l’utilisation qui en est faite par les apprenants (les tâches d’apprentissage) et les formateurs. Le modèle I2 (voir le chapitre 2 du volume 1 ; voir aussi plus loin) offre un guide pour assister la spécification fonctionnelle puis détaillée de l’environnement virtuel. Son adaptation à la conception d’environnements pour l’apprentissage reprend les trois niveaux préconisés pour l’analyse, la spécification et l’évaluation : • • •

immersion et interaction fonctionnelles, notées I2 Fonctionnelle ; immersion et interaction cognitives, notées I2 Cognitive ; immersion et interaction sensori-motrices, notées I2 sensori-motrice.

De façon analogue à un cycle de conception en V, chaque niveau correspond à un sousensemble des spécifications, partant du niveau fonctionnel pour aller progressivement jusqu’au détail de la réalisation. Chaque niveau fournit en retour les critères permettant l’évaluation de la pertinence, du suivi et de l’efficacité des choix opérés durant la conception. Dans ce sens, chaque niveau a un versant spécification et un versant évaluation. D’autres outils sont utiles en complément, pour fournir des modèles et des arguments à la conception, en ce qui concerne les utilisateurs (profils utilisateurs), les tâches et comportements d’apprentissage (modèles des tâches) et enfin les hypothèses sur l’apprentissage et la pédagogie. On peut évoquer brièvement les principaux composants développés durant cette période.

230

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Les situations d’apprentissage Dans la perspective de la formation professionnelle, l’élaboration méthodique des situations d’apprentissage repose notamment sur les démarches d’analyse du travail et d’analyse de la tâche. Dans le champ de l’enseignement, l’élaboration de ces situations se fonde plutôt sur l’analyse didactique de la matière. Des recueils d’expertises peuvent être menés auprès d’experts de la tâche, de la pédagogie, de tuteurs [Lourdeaux, 2001], afin de contribuer à la description de situations de référence et d’apprentissage. L’analyse des difficultés d’apprentissage contribue à l’élaboration d’un modèle du fonctionnement de l’apprenant, ce qui a un intérêt pour spécifier l’assistance et les dispositifs pédagogiques à proposer. Des analyses complémentaires sont menées tout au long du processus de conception au moyen d’études de terrain, mais aussi au moyen de maquettes et de prototypes. Les choix de logiciels et de matériels Les choix de logiciels et de matériels portent spécifiquement sur la technologie exploitée : choix des plates-formes informatiques, des langages de programmation, de l’architecture et des composants, du mode de gestion du temps réel, des modèles de scènes et des objets, etc. ; Les spécifications fonctionnelles de l’environnement virtuel Les fonctions spécifiquement associées à l’interaction dans l’environnement virtuel relèvent du niveau fonctionnel dans le modèle I2 (I2 fonctionnelle). Dans le cadre d’une application pour l’apprentissage, ce niveau est la traduction des situations d’apprentissage envisagées en termes de spécifications fonctionnelles pour la conception. Les spécifications comprennent en particulier : (a) les objectifs de l’apprentissage, les indicateurs permettant l’évaluation de ces objectifs, les profils d’utilisateurs sélectionnés, et les critères d’efficacité attendus ; (b) les fonctionnalités pédagogiques spécifiques en direction des apprenants : système de tutorat intelligent, stratégies de guidage au niveau des situations d’apprentissage, aide à la compréhension des phénomènes, guidage au niveau de la tâche, etc. ; (c) les tâches précises retenues pour la formation ; (d) les fonctionnalités individuelles en direction des formateurs : aide à la création d’exercices, suivi des parcours de formation, gestion des sessions, aide à la compréhension des erreurs, etc. ; e) les fonctions facilitant l’animation de la formation. Les fonctions envisageables sont multiples : synchrones, ou asynchrones, à l’initiative de l’apprenant ou du formateur, etc. Elles sont liées aux choix pédagogiques. Elles permettent par exemple : • •

de piloter l’environnement virtuel et visionner les images de la scène virtuelle ; de suivre et contrôler les activités d’apprentissage de l’apprenant, etc.

La conception des environnements virtuels pour l’apprentissage

231

Les spécifications détaillées Les spécifications détaillées concernent principalement les deux autres niveaux I2 Cognitive et I2 Sensori-motrice pour la partie dédiée à l’apprenant, c’est-à-dire généralement l’environnement virtuel à proprement parler. Les interfaces à l’attention des tuteurs sont, quant à elles, souvent plus traditionnelles, utilisant généralement un clavier, un écran et une souris. Les évaluations du système et des usages Les évaluations constituent une activité centrale du développement. Fondées sur des maquettes puis des prototypes de plus en plus proches fonctionnellement de l’environnement virtuel final, les évaluations permettent de confronter les hypothèses à des données objectives issues du comportement des utilisateurs dans des situations écologiques. Les résultats des évaluations successives contribuent à faire évoluer le projet afin de gagner en qualité et en efficacité. L’évaluation finale vise à confirmer la validité des hypothèses faites et mesurer l’apport effectif du système en termes de facilitation de l’apprentissage. Selon notre expérience et les exemples les plus courants, deux générations de prototypes sont nécessaires avant l’industrialisation. Lorsqu’il s’agit de recherche, le développement d’un prototype et son évaluation finale en vue de répondre aux hypothèses initiales constituent - en général - le terme du projet.

7.3.1.3

De l’industrialisation à la mise en service

Le niveau des technologies actuelles de la réalité virtuelle autorise maintenant le développement de projets préindustriels ou industriels avec une méthodologie centrée sur l’utilisateur et les processus d’apprentissage. Les environnements conçus sont destinés à une utilisation régulière dans le cadre éducatif ou de la formation professionnelle. Lorsqu’il y a industrialisation et mise en service de l’environnement virtuel d’apprentissage sur un site, les aspects complémentaires à l’implantation sont importants : •

préconisations d’usage et des situations d’apprentissage : exercices, scénarios, mises en situations, procédure de maintenance, mise à jour etc. ;

•

documentation ;

•

formation des futurs utilisateurs (formateurs ou enseignants) de l’environnement virtuel.

L’arrivée de l’environnement virtuel d’apprentissage sur le site de formation entraîne une nouvelle phase pour les formateurs : celle de la réorganisation de la situation de formation pour intégrer cette nouvelle ressource et pour tenir compte des contraintes sur la logistique, le matériel, les modes d’usage et les intervenants.

7.3.2 OUTILS POUR L’ORIENTATION DU PROJET

Le produit de cette étape contribue à définir des options sur la forme finale du projet. Les paragraphes qui suivent se proposent de présenter des repères ciblés afin de guider

232

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

le travail d’analyse des besoins et d’étude de faisabilité. Ils portent sur les dimensions pédagogiques, ergonomiques et sur les caractéristiques d’ensemble du système.

7.3.2.1

Comment faciliter l’apprentissage : élaboration d’hypothèses

Une question initiale concerne l’élaboration d’un modèle de l’apprentissage. Pour cela on regarde les processus d’apprentissage identifiés et les hypothèses envisageables sur les façons de les faciliter. Les usages des environnements virtuels d’apprentissage se préparent à travers la formulation d’hypothèses ; celles-ci découlent notamment de références à des pratiques, des théories ou à des méthodes pédagogiques. Dans un troisième temps, nous évoquerons une approche qui émerge récemment dans le domaine des environnements virtuels d’apprentissage. Le cycle ternaire de la séquence de formation : avant(préparer), pendant(former), après (revenir sur l’apprentissage, évaluer) La formation peut schématiquement être considérée à deux niveaux d’échelle. Le niveau global correspond à la définition du parcours de formation pour l’apprenant. Plus directement lié à la conception d’une ressource pédagogique telle qu’un environnement virtuel de formation, le niveau de détail se concentre sur la ou les séquences d’apprentissage où l’environnement virtuel intervient. Quelles que soient la méthode pédagogique et l’approche choisie, on retrouve - sous une forme plus ou moins formalisée un cycle ternaire pour toutes les séquences du processus de formation. AVANT : préparer la séquence Cette étape vise à : •

•

•

•

positionner l’apprenant, i.e. vérifier ces connaissances initiales en regard des prérequis pour la séance ; introduire la séquence de formation, présenter les objectifs de la séquence, situer la séquence dans le cadre plus large des objectifs de la formation ; vérifier l’état de compréhension par l’apprenant de la situation d’apprentissage et des objectifs ; présenter la tâche, la consigne, le déroulement précis, etc.

PENDANT : la séquence de formation La séquence de formation peut être orientée vers l’acquisition de nouvelles connaissances ou de compétences. Ou elle peut être orientée vers le renforcement, l’automatisation et le transfert des connaissances, des compétences déjà acquises. Ces dernières privilégient généralement des mises en situations diversifiées proches des caractéristiques de la situation cible. La situation cible peut être une situation réelle, intermédiaire ou de référence. La majeure partie des outils et méthodes abordée dans ce chapitre concerne cette étape, dans la mesure où il s’agit de la partie la plus spécifique de l’ingénierie d’une ressource pour l’apprentissage.

La conception des environnements virtuels pour l’apprentissage

233

APRES : le retour sur l’apprentissage et l’évaluation Le retour sur l’apprentissage et les activités réflexives, essentiel pour la prise de conscience des acquisitions et des erreurs chez l’apprenant, consiste à le guider dans l’analyse de la tâche réalisée et l’explication de ce qu’il a retenu à travers son expérience de la séquence de formation. Les environnements virtuels peuvent, par exemple, intégrer les fonctionnalités de type re-jeu (actif, passif, conditionnel) particulièrement intéressantes dans cette perspective. D’autres approches sont à développer. L’évaluation peut être de type formative ou sommative. La première a pour objectif d’évaluer le niveau et la qualité de l’apprentissage à un instant donné, en vue de fournir un retour à l’apprenant et ré-orienter en conséquence le déroulement de la séquence de formation. La seconde a pour seul objectif de mesurer les acquis à l’issue d’une étape donnée, généralement en référence à des normes ou des critères externes pré-définis. De plus en plus, les fonctions d’évaluation visent à atteindre une qualité "labellisable" qui permettrait d’utiliser les environnements virtuels pour la certification ou la validation des acquis professionnels. Elle doivent alors satisfaire à des spécifications strictes et obtenir des mesures de performances valides par comparaison avec les performances observées dans la situation réelle. Il est utile de réfléchir assez tôt à l’insertion de l’environnement virtuel dans l’une et l’autre des étapes de la séquence de formation. Une synthèse des fonctions suivant les étapes et les objectifs est donnée ci-après (Tableau 7.1). Approches pédagogiques : quelques repères concernant les situations d’apprentissage avec un environnement virtuel Le choix d’une approche pédagogique particulière détermine les hypothèses envisageables sur la ou les situations d’apprentissages avec un environnement virtuel d’apprentissage. Pour faciliter la réflexion à cette étape initiale, puis par la suite le travail associé à la conception, nous proposons ici une synthèse des principales approches pédagogiques, de leurs implications et d’exemples empruntés à des environnements virtuels d’apprentissage existants. L’approche active ou traditionnelle, aura des implications sur le rôle et l’activité de l’apprenant, la position et l’intervention du formateur, et au final les propriétés de l’environnement virtuel en tant que ressource pédagogique possible. Parfois, plusieurs méthodes sont mises en œuvre dans un environnement virtuel, voire de nouvelles sont développées. Le lecteur intéressé peut se référer aux fiches en annexe pour un exposé plus large des considérations pédagogiques. Les méthodes traditionnelles puis les méthodes centrées sur l’activité sont abordées à la suite. Les méthodes pédagogiques traditionnelles (Tableaux 7.2, 7.3 et 7.4) se fondent essentiellement sur l’organisation des connaissances à apprendre pour structurer le contenu à délivrer et les interactions avec les apprenants. L’apprentissage est basé sur la mémorisation volontaire et la répétition. Ces méthodes familières sont utilisées dans les contextes d’apprentissage scolaires. Le rôle de l’apprenant est souvent qualifié de "passif", par opposition aux approches dites "actives". Plus justement, l’apprenant est en position d’observation et d’assimilation du contenu proposé, y compris par imitation. Suivant la méthode choisie, la conduite de l’interaction, les fonctions de l’environnement virtuel et les rôles respectifs assignés aux apprenants et aux formateurs diffèrent. Une synthèse est présentée dans les tableaux 7.2, 7.3 et 7.4.

234

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Avant

Objectifs

Exemples et illustrations

Introduction de la séquence de formation

Animation Introductive

Positionnement (optionnel)

Evaluation a priori, scénarios de test, éventuellement orientation ou adaptation de la séquence en fonction du profil initial, etc ;

Présentation générale

Présentation et illustration des objectifs, visite guidée, panorama du déroulement, etc.

Présentation de la tâche Pendant Acquisition

Après

Délivrance de la consigne, mise en situation, etc. Variable selon les choix pédagogiques, le domaine d’apprentissage, la configuration de la situation d’apprentissage, etc. Il en existe trois groupes : 1 - les fonctions liées à la réalisation des tâches demandées 2 - l’assistance pédagogique 3 - le suivi et l’interaction avec le formateur

Renforcement, automatisation, transfert Retour sur l'apprentissage

Augmentation progressive du niveau de performance attendu, variation des situations présentées, agent perturbateur, etc. Re-jeu, synthèse spécifique des résultats, apport d’information contextuelle, etc.

Evaluation

Evaluations à visée formative, sommative ou de certification

Tableau 7.1 : Les trois temps de la séquence de formation : objectifs, exemples et illustrations pour la conception des environnements virtuels

La conception des environnements virtuels pour l’apprentissage

235

Méthodes AFFIRMATIVES de type EXPOSITIVES /MAGISTRALES ROLE & ACTIVITE DU FORMATEUR

ROLE & ACTIVITE DE L’APPRENANT

Avant : Organiser le contenu et mettre en forme l'exposé

Avant : éventuellement préparer

Support à l'intervention du formateur Illustration Organisateur Synthèse Apport d’information

La majorité des dispositifs développés dans le champs des TICE relève encore de cette approche.

Pendant : Exposer le contenu, expliquer Encourager Evaluer la compréhension éventuellement

Pendant : écouter voir noter mémoriser éventuellement interroger

Support à l’interaction formateur/apprenant : questionnement, évaluation

Formation / information sur le fonctionnement d'une centrale nucléaire à EDF.

Après : Après : Eventuellement réviser intégrer évaluer le apprendre niveau d'acquisition

PROPRIETES OU FONCTIONS TYPIQUES DE L’ENVIRONNEMENT VIRTUEL

EXEMPLES OU COMMENTAIRES

Répétiteur, mise en pratique

Tableau 7.2 : Méthodes pédagogiques traditionnelles affirmatives expositives : synthèse pour la conception des environnements virtuels pour l’apprentissage

236

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Méthodes AFFIRMATIVES de type DEMONSTRATIVES ROLE & ACTIVITE DU FORMATEUR

ROLE & ACTIVITE DE L’APPRENANT

Avant : Idem expositives

Avant : Idem expositives

Pendant : démontrer expliquer superviser les activités des apprenants

Pendant : observer faire ou refaire la procédure montrée ou demandée imiter éventuellement, coopérer avec un pair (binôme) voire plus (équipe)

Après : corriger évaluer le résultat du travail des apprenants

Après : critiquer la réalisation comprendre les erreurs, écarts, points forts

PROPRIETES OU FONCTIONS

EXEMPLES OU

TYPIQUES DE L’ENVIRONNEMENT VIRTUEL

COMMENTAIRES

Décomposition et mise en exemple des gestes ou comportements à reproduire Simulation des objets ou des outils pour réaliser la démonstration Simulation du formateur ou de l’expert qui réalise Donner à l’apprenant le choix de plusieurs points de vue pour observer

Apprentissage de procédures avec le système STEVE

Tableau 7.3 : Méthodes pédagogiques traditionnelles affirmatives démonstratives : synthèse pour la conception des environnements virtuels pour l’apprentissage

La conception des environnements virtuels pour l’apprentissage

237

Méthodes AFFIRMATIVES de type INTERROGATIVES ROLE & ACTIVITE DU FORMATEUR Avant : Idem méthodes affirmatives et démonstratives

ROLE & ACTIVITE DE L’APPRENANT Avant : Idem méthodes affirmatives et démonstratives

PROPRIETES /

EXEMPLES OU

FONCTIONS TYPIQUES

COMMENTAIRES

Idem méthodes affirmatives et démonstratives

Scénariser le questionnement Pendant : Faire découvrir le raisonnement étape par étape au moyen de questions Evaluer la compréhension Expliquer Après : Eventuellement, évaluer les acquisitions

Pendant : Idem méthodes affirmatives Répondre aux questions Expliquer et justifier son raisonnement Eventuellement interroger Après : réviser approfondir

rend l’animation plus vivante ; l’inconvénient est d’induire l’illusion, chez l’apprenant, de la découverte et de l’acquisition du raisonnement dans son ensemble, alors qu’il est en réalité « soufflé » par le formateur

Autre mode d’utilisation possible de l’environnement pour la formation au diagnostic de pannes dans les robinets en centrale nucléaire à EDF

Tableau 7.4 : Méthodes pédagogiques traditionnelles interrogatives : synthèse pour la conception des environnements virtuels pour l’apprentissage

238

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Les méthodes centrées sur l’activité à apprendre ou l’activité d’apprentissage (Tableaux 7.5, 7.6 et 7.7) mettent essentiellement en avant deux aspects, qui les opposent aux méthodes traditionnelles : •

l’apprentissage est une activité auto-dirigée, autonome ;

•

l’apprentissage est fondé sur une activité d’exploration et de découverte.

Une nouvelle approche plus cognitive Une approche plus cognitive émerge dans le domaine de la conception des environnements virtuels [Johnson, 2001][Burkhardt, 1999]. Cette approche prend appui sur des travaux issus de la psychologie et de l’ergonomie cognitive et des travaux sur l’apprentissage. En particulier, les travaux menés sur l’expertise fournissent une description des modèles mentaux de l’expert et des connaissances qui le caractérisent. Les travaux complémentaires menés en didactique professionnelle s’intéressent aux difficultés et aux représentations élaborées au cours de l’apprentissage du domaine. Cette approche n’est pas nouvelle [voir par exemple Leplat, 2001], de même que son application à des systèmes pour l’apprentissage ; par exemple [Bisseret, 1969], [Anderson, 1989 ], [Jonson, 1985 ], [Burkhardt, 1998], [Samurcay, 1998], [Betrancourt, 2000] [Boucheix, 1999]. Plus récente dans le contexte des environnements virtuels pour l’apprentissage, cette approche met l’accent sur l’étude et la spécification de modes puissants et originaux de présentation et de structuration de l’information. Par exemple, des travaux de recherches sont en cours pour développer un environnement virtuel d’apprentissage dans le champ de l’usinage (voir la fiche de VTT en annexe de ce chapitre et le chapitre Perf-rv). Le système modélise une fraiseuse dont l’apprenant déplace l’outil de coupe avec la main. Grâce à un dispositif à retour d’effort, il peut alors sentir les efforts fournis par la machine pour usiner le métal compte tenu des réglages machine retenus, de la nature du métal à usiner, de l’outil de coupe choisi. L’hypothèse est que le codage sensori-moteur des plages optimales et limites réelles d’utilisation de la machine peut concourir à élaborer un modèle mental efficace pour l’usage des fraiseuses à commande numérique. L’investigation et l’application de principes concernant le lien entre cognition, action et sensori-motricité constituent l’une des perspectives importantes de cette approche aujourd’hui. Cette approche met particulièrement l’accent sur, d’une part, les résultats des analyses psychologiques de la tâche [Annet, 1967] [Patrick, 1992] et des situations d’apprentissage [Durey, 1960] et, d’autre part, les résultats concernant l’effet de l’interactivité et des propriétés de l’interfaçage sur le transfert et la construction de nouvelles connaissances.

7.3.2.2

Études préliminaires avec les utilisateurs

Les études préliminaires avec les utilisateurs poursuivent deux objectifs principaux. Le premier est de recueillir les informations les plus précises sur la population d’utilisateurs potentiellement concernée par un projet d’environnement virtuel pour l’apprentissage. Le second est d’obtenir le maximum d’informations sur les situations concernées par le projet de conception : d’une part, les tâches ou compétences à acquérir, et d’autre part, les situations et les caractéristiques de l’apprentissage.

La conception des environnements virtuels pour l’apprentissage

239

Méthodes centrées sur l’ACTIVITE à apprendre ou d’apprentissage (GENERALITES) ROLE & ACTIVITE DU ROLE & ACTIVITE DE PROPRIETES OU EXEMPLES OU FORMATEUR L’APPRENANT FONCTIONS TYPIQUES COMMENTAIRES DE L’ENVIRONNEMENT VIRTUEL

Nombreuses interactions avec les apprenants :

Apprentissage « actif », i.e. par soimême, développant l’autonomie et des compétences plus proches du « terrain »

- soutien à l’activité des apprenants (environnement recréé, contexte à l’expérimentation, etc.)

Le terme « actif » est souvent interprété à tort comme « toute méthode, technique ou outil où il y a action de la part de l’apprenant ».

- reformuler les raisonnements - synthétiser ou Les interactions entre - l’environnement est argumenter au lui-même l’objet de moyen de scénarios apprenants sont souvent vues comme l’activité (conception concrets et de cas de situations réelles une partie intégrante par les apprenants) et essentielle de ou réalistes l’apprentissage (socio- faire prendre constructivisme) conscience, - etc. Méthodes centrées sur l’ACTIVITE fondées sur le laboratoire / l’expérimentation ROLE & ACTIVITE DU ROLE & ACTIVITE DE PROPRIETES / EXEMPLES OU FORMATEUR L’APPRENANT FONCTIONS TYPIQUES COMMENTAIRES Simulateur pour Avant : Avant : l’organisation des -Eventuellement, -construire interventions dans préparer la session scénarios et des zones à risque situations (Sécurivi) d'expérience Par exemple : Pendant : Pendant : -Variables accessibles Différents types de -Endosser le rôle de -Mettre les médias et de et simples à l'investigateur apprenants en supports sont -Elaborer et expliciter manipuler/ instancier situation souvent utilisés : des hypothèses -Expliciter si -Mettre à l’épreuve les - Effet manifeste de la - séquences vidéo nécessaire les de démonstration manipulation hypothèses principes de - textes (manipuler des l’expérimentation - liens hypertextes -Métaphore explicite variables) -Aider les ou non (micro-monde) - etc. -Observer l’effet apprenants du laboratoire. Après : Après : -Conclure et -Corriger -Aider à généraliser formaliser la connaissance acquise et formaliser

Tableau 7.5 : Les méthodes centrées sur l’activité en pédagogie : synthèse pour la conception des environnements virtuels pour l’apprentissage

240

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Méthodes centrées sur l’ACTIVITE : Méthodes fondées sur l’expérience ( apprentissage sur le tas, mises en situations, entraînement sur simulateur, études de cas…) PROPRIETES OU EXEMPLES OU ROLE & ACTIVITE DU ROLE & ACTIVITE DE FORMATEUR L’APPRENANT FONCTIONS TYPIQUES COMMENTAIRES DE L’ENVIRONNEMENT VIRTUEL

Avant : - Préparer et scénariser les situations - Introduire, expliquer, donner la consigne

Remarque : la ressemblance avec un environnement réel peut se situer à un plan perceptif (fidélité perceptive), au plan des phénomènes simulés - Contextes d’activité Pendant : (réalisme de Pendant : -superviser les construction) ou au -Activités variées liées et environnements reconstitués dans le activités des plan du à la tâche à réaliser but de ressembler à la comportement et de apprenants -Elaborer les intervenir (aider, l’activité de stratégies permettant situation réelle - Assistance expliquer, réorienter, le succès dans ces l’apprenant (fidélité pédagogique etc.) psychologique). Les tâches; supplémentaire -évaluer le résultat trois niveaux n’ont éventuelle pas de lien directe (cf. chapitre 2). Exemples : Simulations anatomiques Après : Après : correctes et réalistes -Collecte, re-jeu et -corriger -Prendre conscience (fidélité perceptive) synthèse des -faire prendre -Expliciter la comportements et des pour la chirurgie. conscience de compréhension et la performances l’apprentissage « rationalité » de ses Le robinet virtuel propres actions industriel d'EDF -Expliciter ses (fiche) pour appliquer difficultés, ses une méthode de incompréhensions, etc diagnostic à un cas. Avant : Eventuellement se préparer et rechercher l'information et les connaissances utiles pour la situation

L'idée est de mettre l'apprenant en position d'agir comme s'il est face à la tâche.

Le système FIACRE ( fiche) pour les procédures en ligne SNCF TGV.

Tableau 7.6 : Les méthodes centrées sur l’activité en pédagogie : synthèse pour la conception des environnements virtuels pour l’apprentissage (suite)

La conception des environnements virtuels pour l’apprentissage

241

Méthodes centrées sur l’ACTIVITE : Méthodes fondées sur la construction des connaissances ROLE & ACTIVITE DU ROLE & ACTIVITE DE PROPRIETES OU EXEMPLES OU FORMATEUR L’APPRENANT FONCTIONS TYPIQUES COMMENTAIRES DE L’ENVIRONNEMENT VIRTUEL

Avant : -Idem précédente + - Préparer les ressources offertes

Avant : -définir la situation ou le problème ;

Pendant : - Laisser les apprenants agir et s'organiser - Eventuellement apporter les informations nécessaires ; -Eventuellement cadrer les objectifs à atteindre ; -Eventuellement préciser les critères pour évaluer la progression ;

Pendant - coopérer avec les autres : argumenter, négocier, arbitrer, répartir, décider

Après : -assister la prise de conscience des apprentissages -assister la prise de conscience de la démarche d'apprentissage

Après : - Idem précédente + - Formaliser les connaissances acquises

- élaborer des procédures et stratégies à développer

Généralement répartis en petits groupes, les apprenants ont à résoudre un problème. Cela est parfois présenté comme un projet à mener à bien.

L’environnement NICE (voir fiche) permet à des apprenants de créer des plantes. Ils peuvent observer et construire progressivement les lois du développement à partir de leurs actions dans cet environnement.

Tableau 7.7 : Les méthodes centrées sur l’activité en pédagogie : synthèse pour la conception des environnements virtuels pour l’apprentissage (fin)

242

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Entamer la connaissance du profil des utilisateurs potentiels Les utilisateurs-apprenants et les utilisateurs-formateurs constituent souvent les deux premières catégories d’utilisateurs auxquelles on pense, au moins dans un premier temps. Il est parfois intéressant de déterminer d’autres catégories d’utilisateurs selon que : •

des populations contrastées coexistent à l’intérieur d’une même catégorie, par exemple : les utilisateurs apprenant en formation initiale, et les utilisateurs apprenant en maintien de compétences ; les formateurs animant la formation et ceux intervenant sur la définition des exercices et scenarii, etc.

•

d’autres catégories de personnes exercent une activité en lien avec la mise en place et l’utilisation du système ; la prise en compte de ces catégories particulières d’utilisateurs (comme par exemple les opérateurs de la maintenance) peut alors constituer un atout supplémentaire pour la définition d’un environnement utile, efficace et pratique.

Dès l’initiation du projet, les caractéristiques collectées sont regroupées à travers un document évolutif constituant le profil utilisateur pour chacune des catégories ciblées d’utilisateurs. La liste suivante n’est pas exhaustive : •

caractéristiques physiques de la population d’utilisateurs : paramètres ou contraintes morphologiques et mécaniques, zones de confort, espaces d’accessibilité et de visibilité, cinématique corporelle, déficits perceptifs ou moteurs recensés dans la population cible, etc.

•

caractéristiques cognitives : modèle de l’apprenant, compétences et modes opératoires favoris dans le métier, expérience dans le métier ou le contenu à apprendre, niveau de qualification, niveau d’expertise dans l’usage de l’informatique et des jeux vidéo, etc. ;

•

le style d’apprentissage qui permet de caractériser la manière dont un individu se comporte habituellement dans une situation d’apprentissage [Chartier, 2000]. Il existe de nombreuses théories ou approches des styles d’apprentissage qui portent tant sur des dimensions cognitives (prédominance analytique ou synthétique), affectives (prédominance plus ou moins grande des émotions) que physiologiques (prédominance d’une modalité sensorielle). Cependant, si l’on sait diagnostiquer un style d’apprentissage à partir d’une théorie de référence, on sait actuellement peu mettre en œuvre des pédagogies permettant de prendre en compte ces différences ;

•

données démographiques et culturelles (distribution des âges, des sexes, etc.) ;

•

motivation et attitudes (envers la formation, les technologies utilisées, ces propres capacités à apprendre, etc.).

Plus on peut recueillir d’informations précises, plus il est probable que les caractéristiques critiques pour l’orientation de la conception seront identifiées plus tôt dans le processus, voire dès la phase d’analyse des besoins. Cela permet de ne pas attendre de les découvrir au moment des premières évaluations, voire encore plus tardivement, au moment de l’introduction sur le terrain (il est alors trop tard pour que ces caractéristiques soient véritablement prises en compte, les choix de conception étant majoritairement figés sans qu’il soit possible de les remettre en cause).

La conception des environnements virtuels pour l’apprentissage

243

Chaque profil utilisateur est enrichi et précisé continuellement tout au long du processus de conception au fur et à mesure du recueil de nouvelles données, par exemple celles issues des observations de terrain. Les relations entre choix de conceptions et caractéristiques du profil y sont documentées, autant que possible, de façon notamment à permettre la mémoire de la logique de conception. En outre, lors des évaluations, le profil des utilisateurs fournit l’information centrale pour la constitution et le recrutement d’échantillons représentatifs. Commencer à esquisser les tâches et les contraintes sur la situation d’apprentissage Très tôt, il est intéressant de commencer à recenser les informations et les données sur l’objet et les contraintes de la situation d’apprentissage envisagée. Pour cela, il est utile d’avoir recours à plusieurs sources complémentaires : •

les analyses du travail d’experts ainsi que les analyses ergonomiques des situations actuelles de formation ; ce traité n’est pas le lieu pour exposer la méthodologie de recueil de données propre à l’étude des activités humaines finalisées. Le lecteur intéressé pourra consulter les chapitres concernés dans [Patrick, 1992], [Falzon, à paraître] ;

•

l’expertise des opérateurs de terrain (formation professionnelle), des didacticiens, pédagogues (domaine éducatifs), susceptibles de participer au projet ;

•

les documents internes et la littérature scientifique, dans la mesure où ils sont précis, valides et à jour.

On en restera généralement à une description sommaire des contraintes et des types de situations rencontrées. Cette première étape est prolongée, dès qu’il y a opportunité et lancement du projet, par les analyses et descriptions complémentaires portant sur les tâches et situations de référence.

7.3.2.3

Six dimensions pour caractériser le projet

Les six dimensions suivantes ont pour objectif, à partir des options pédagogiques envisagées, et des premiers éléments concernant les situations et les utilisateurs potentiels, de guider la définition et cadrer l’envergure d’un projet d’environnement virtuel (Tableau 7.8). Ces dimensions sont en partie adaptées d’une précédente typologie concernant l’usage des environnements virtuels d’apprentissage [Mellet d’Huart, 2001c]. Finalité du projet (dimension 1) La finalité d’un projet de recherche est de comprendre et améliorer les processus d’apprentissage, ou encore de contribuer au progrès technologique. Les critères de réussite portent sur la formalisation des hypothèses, la méthodologie et les données recueillies ; ils portent moins sur le degré de finalisation de l’environnement virtuel pour l’apprentissage, lequel constitue au mieux une illustration ou un support à l’expérimentation. A l’autre extrémité, lorsque la finalité est de produire un environnement virtuel d’apprentissage utilisable à grande échelle (par exemple WAVE), l’accent est mis sur la facilitation des apprentissages ou l’optimisation des moyens de formation.

244

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

I. Finalité et critères de succès du projet

a) recherche b) Recherche appliquée et réalisation d'un produit test c) produit final industriel ou éducatif

2. Configurations d’utilisateurs envisageables

a) mono-utilisateur/ multi-utilisateur apprenant b) avec / sans formateur c) avec / sans interactions entre les utilisateurs

3. Dimensionnement physique et géographique possible

a) Implantation sur site unique b) Système transportable c) Configuration distante d) Utilisation nomade

4. Types de matériels et de développements envisagés

a) Réalité Virtuelle b) Réalité Augmentée c) Configuration de type bureautique ou autre

5. Degré d’intervention prévu de l’apprenant sur l’environnement virtuel

a) utilisation et interaction dans le cadre des tâches prévues b) paramétrage et ajout d’éléments à l’intérieur de l’environnement c) spécification et construction du monde virtuel

6. Composition envisagée avec d’autres médias

a) Environnement virtuel seul b) Environnement virtuel intégrant d’autres ressources hypermédias c) Environnement textuel ou multimédia intégrant des ressources de réalité virtuelle (par exemple, MUD)

Tableau 7.8 : Six dimensions pour orienter la réflexion initiale concernant la définition et l’envergure matérielle du projet

La conception des environnements virtuels pour l’apprentissage

245

Configurations d’utilisateurs envisageables, caractéristiques physique et géographique (dimensions 2 et 3) L’envergure du projet dépend aussi en grande partie des configurations envisagées, au niveau global de la situation d’apprentissage, et ultérieurement de la médiatisation éventuelle des interactions entre les utilisateurs. Les situations sont aujourd’hui majoritairement de type mono-apprenant, sur un seul poste (par exemple TRUST, FIACRE, VTT) ou sur plusieurs postes (par exemple WAVE), éventuellement avec un formateur présent ou distant. D’autres configurations se fondent sur la coopération présentielle entre plusieurs utilisateurs et éventuellement un formateur (par exemple NICE, STEVE, le Robinet Virtuel EDF). Les dimensions structurantes sont le caractère mono ou multiutilisateur, l’intervention ou non du formateur, et l’existence ou l’absence d’interactions entre ces différents utilisateurs. En parallèle, cette dimension doit être cohérente avec les caractéristiques physique et géographique de l’environnement virtuel. Par exemple, l’implantation sur site unique facilite les interactions en groupe et en présentiel, ce que soutient moins directement l’usage nomade de petits dispositifs de type PDA ou autres. Types de matériels et de développements envisagés (dimension 4) Le dimensionnement du projet passe aussi par un premier choix, au moins dans les grandes lignes, du type de matériels et de développements ciblés : par exemple, la réalité virtuelle, ou encore la réalité augmentée souvent vue comme "plus légère" et plus facile à amener jusqu’au terrain. A l’autre extrémité, l’adaptation de configurations légères de type micro-informatique de bureau permet de produire des systèmes économiques, souvent avec un degré d’innovation moindre. Le plus important est probablement de caractériser le projet sur cette dimension, d’une part, en regard de la finalité du projet et, d’autre part, de la nature du problème d’apprentissage à traiter. Degré d’intervention prévu de l’apprenant sur l’environnement virtuel (dimension 5) L’environnement virtuel d’apprentissage à concevoir peut se présenter sous différentes formes allant de la version "clé en main" au "prêt à construire". Si les environnements virtuels "fermés", où seules des variables portant sur des propriétés de l’environnement peuvent être modifiées, sont majoritaires aujourd’hui (par exemple FIACRE 5 ou WAVE), d’autres approches sont envisageables également, où les apprenants construisent tout ou partie de l’environnement. Composition avec d’autres médias (dimension 6) On peut cibler trois grandes catégories de projets, selon la façon dont est organisée l’intégration de l’environnement virtuel à d’autres ressources médiatiques issues des TIC. Les premiers sont les environnements virtuels indépendants d’autres ressources et médias pédagogiques (par exemple STEVE). Les seconds sont les projets où l’environnement virtuel, média principal, intègre et articule néanmoins des ressources pédagogiques complémentaires issues d’autres médias, souvent par l’intermédiaire de mécanismes de type hyper-lien (par exemple WAVE). Les troisièmes sont les environnements virtuels s’appuyant sur une interface textuelle ou multimédia multi-fenêtrée pour offrir l’accès à des fonctionnalités de communication et d’interaction aux utilisateurs d’une communauté connectée à travers un réseau. On peut prendre comme 5 Voir

la fiche de présentation correspondante en annexe de ce chapitre

246

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

exemples les environnements de type MUD (Multi-User Dungeons/Domains), MOO (MUD Object-Oriented) ou MUSH (Multi-User Shared Hallucination) plus spécifiquement développés dans le domaine éducatif jusqu’à présent.

7.3.3 SPÉCIFICATION - DÉVELOPPEMENT- ÉVALUATION : OUTILS ET MÉTHODES

L’étape initiale débouche sur la décision de mener à bien le projet. Il s’agit à présent de s’engager dans le processus de conception proprement dit. Dans cette partie, nous passons en revue les trois niveaux de spécifications et les évaluations correspondantes (Figure 7.1). La majorité des illustrations proposées est issue des projets SOFI et FIACRE. Ces projets ont été développés par la SNCF [David, 2001]. Il a été décrit en détail dans la thèse de D. Lourdeaux [Lourdeaux, 2001]. FIACRE fait suite au projet SOFI dont les objectifs étaient d’étudier les apports de la réalité virtuelle pour la formation. FIACRE a été développé pour former des conducteurs de TGV à l’intervention sur les voies ferrées et à la manœuvre de certains appareils de voies. Une fiche résumée est proposée en annexe. Suite à l’étude de faisabilité, le développement débute par une analyse fonctionnelle détaillée de la formation. Cette analyse permet de spécifier les objectifs d’apprentissage majeurs et les scénarios pédagogiques.

SITUATIONS D’APPRENTISSAGE Objectifs et scénarios d’apprentissage

I 2 Fonctionnelles

Tests pédagogiques PRIMITVES COMPORTEMENTALES VIRTUELLES (tâche)

I 2 Cognitives tâche

Tests comportementaux MODES D’INTERACTION INTERFACES COMPORTEMENTALES DIALOGUES D’UTILISATION (dialogues)

I 2 Cognitives interfaces

Tests d’utilisabilité PARAMETRES SENSORI-MOTEURS DES INTERFACES

I 2 Sensori -motrices

Figure 7.1 : Schéma de conception basée sur les 3 niveaux du modèle I2

7.3.3.1

Niveau de la spécification fonctionnelle : situations d’apprentissage et I2 fonctionnelle

Deux éléments principaux sont précisés à cette étape. Il y a d’un côté la ou les situations d’apprentissages envisagées et, de l’autre côté, leur traduction en termes de spécifications fonctionnelles pour la conception.

La conception des environnements virtuels pour l’apprentissage

247

Analyser et définir précisément les situations d’apprentissage envisagées Cette composante fait suite aux hypothèses élaborées lors de l’étude initiale préparant le projet. Elle consiste essentiellement à décrire de façon précise : a) les caractéristiques de la situation de référence ou du domaine de connaissance pris comme cible pour les objectifs d’apprentissage. On se basera généralement sur l’analyse de trois familles de tâches / situations de référence dans le cadre de la conception d’environnements pour l’apprentissage : •

•

•

la tâche (ou le sous-ensemble de la tâche pertinent) que les futurs apprenants devront être capables de mener à bien sur le terrain réel, que nous désignerons par le terme de tâche de référence à apprendre, et à propos de laquelle les connaissances peuvent être élaborées à partir de l’analyse du travail des experts. C’est dans ce sens que l’on peut parler aussi de tâche de l’expert, ce qui présuppose qu’il est possible de décrire la situation actuelle de référence, telle qu’elle peut être trouvée dans le monde réel, au moyen de techniques développées par la psychologie (notamment cognitive) et, à partir de l’expérience de ceux qui la mènent à bien ; la tâche d’apprentissage actuelle correspondant à la situation d’apprentissage actuellement exploitée, mettant en jeu notamment les deux catégories d’acteurs que sont les apprenants et les formateurs, et que nous désignerons par le terme de tâche formative de référence. Une analyse précise, dans la situation de formation préexistante, de l’apprentissage, de sa dynamique et de ses difficultés, apporte une information riche pour la prédiction des usages futurs et la confrontation des hypothèses pertinentes sur l’apprentissage ; la tâche actuelle du formateur, dont les propriétés constituent une donnée objective pouvant contribuer à établir de façon prospective ce que sera (plus exactement pourrait être) sa future tâche et les fonctionnalités les plus à même de l’assister (tableau 7.9).

L’analyse se fonde, entre autres, sur les techniques d’analyse de l’activité et autres méthodes déjà mentionnées dans le cadre de l’orientation du projet. Les descriptions seront toutefois généralement plus complètes et détaillées que celles recherchées lors de l’étude de faisabilité et d’opportunité. De nouvelles analyses seront d’ailleurs fréquemment menées, de façon à tenir compte des orientations décidées pour le projet. Lorsqu’il s’agit d’analyser, décrire ou définir la tâche d’un opérateur humain, les éléments suivants sont à expliciter : •

la structure (généralement hiérarchique) de buts ou d’objectifs poursuivie : c’est un résultat assez classique, en psychologie, de montrer que l’activité humaine peut être expliquée par une décomposition de l’objectif général de la tâche en un ensemble de sous-buts à atteindre. Par exemple, si l’objectif d’un touriste écossais est de découvrir Paris, la tâche correspondante pourrait se décliner à travers quatre sous-objectifs encore généraux : 1) planifier le voyage, 2) se rendre à Paris, 3) visiter la ville, et 4) rentrer à Glasgow. Chacun de ces sous-buts peut, à son tour, être décomposé selon le même principe, jusqu’à atteindre un niveau considéré par l’analyste comme élémentaire (comme par exemple lever le pied pour monter la première des 1665 marches de l’escalier de la tour Eiffel). Lorsqu’il s’agit de décrire une situation "naturelle",

248

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Etre capable de : a) s'équiper pour effectuer la vérification de l'appareil

b) s'orienter au pied de la cabine et de déterminer l'itinéraire le plus adapté (…)

Ce qu'il faut retenir / tour de main -Lampe la nuit ou par brouillard -Carré de Berne -Crayon ou stylo -Manuel de procédure de communication -Carnet de poche -Chiffon ou papier pour s'essuyer -Vêtements non flottant et fermés et parapluie interdit!

Penser à s'orienter au pied de la cabine, voire avant de descendre mais surtout avant de partir (…)

Support

Performance exigée

Transparent N°T9701/03a

Aucune erreur

Photos et diapos : -Point Km, Hecto -Traversée piéton

Aucune erreur de sécurité du personnel

(…)

(…)

Tableau 7.9 : Extrait des objectifs de la formation ciblée par le projet FIACRE

•

•

•

un objectif ou sous-objectif considéré peut souvent être atteint de plusieurs façons, ce dont la description doit pouvoir également rendre compte de façon explicite. Dans l’exemple précédent, se rendre à Paris est une tâche qui peut donner lieu à plusieurs sous-tâches alternatives : 2.1) par train, 2.2) par bateau, 2.3) par avion, etc. Le principe est analogue pour une tâche professionnelle (le pilotage d’un avion, ou encore la régulation à un poste de contrôle aérien), et évidemment dans le cadre d’une tâche d’apprentissage (par exemple [Patrick, 1992]) ; le déroulement temporel de la tâche : il s’agit, à un niveau très élémentaire, de l’ordre dans lequel les opérations sont réalisées, et à un niveau plus complexe, de l’ordre dans lequel est parcourue la décomposition en buts et sous-buts, selon les alternatives possibles et les contraintes respectives des différentes tâches sur l’ordonnancement. Classiquement en effet, des tâches peuvent être ordonnées strictement à l’intérieur d’une séquence, être parallèles voire indépendantes, avoir différents niveaux de priorité, etc. ; les objets (matières, outils, produits, information prélevée dans l’environnement, etc.), les propriétés et le comportement de ces objets, et les évènements impliqués dans la tâche ; les objets sont ceux présents, utilisés, modifiés, supprimés ou créés par la tâche ; les rôles, lorsque plusieurs personnes sont impliquées dans la tâche : cette dimension collective des tâches est reconnue comme une variable de plus en plus importante pour la sécurité et l’efficacité des systèmes. Sa prise en compte dans le contexte de la formation peut apporter un bénéfice considérable en temps, en résultat et en coût.

b) les traductions possibles de cette situation de référence en tâches d’apprentissage, avec éventuellement les scénarios technologiques envisageables dans le cadre d’un environnement virtuel pour l’apprentissage.

La conception des environnements virtuels pour l’apprentissage

249

Traduire ces situations en spécifications fonctionnelles pour la conception Les choix retenus sont formalisés sous la forme de spécifications fonctionnelles. Quatre groupes de spécifications sont en particulier retenus, qui concourent aux scénarios pédagogiques : (a) les spécifications générales. Elles incluent au moins : • • •

•

les objectifs d’apprentissage ; les indicateurs permettant l’évaluation de ces objectifs ; les profils d’utilisateurs sélectionnés, généralement enrichis par rapport aux informations recueillies dans la phase initiale ; les critères d’efficacité attendus.

(b) l’approche choisie et les choix de fonctionnalités pédagogiques spécifiques en direction des apprenants : système de tutorat intelligent, stratégies de guidage au niveau des situations d’apprentissage, aide à la compréhension des phénomènes, guidage au niveau de la tâche, etc. On peut choisir : •

•

•

une approche pédagogique de type traditionnelle, par exemple démonstrative, et prévoir un agent virtuel pour montrer et expliquer à l’apprenant comment réaliser la tâche ; une approche pédagogique centrée sur l’activité, par exemple au moyen d’une enquête en groupe sous la supervision d’un formateur, etc. Dans FIACRE, l’approche pédagogique retenue est fondée sur l’expérience et la mise en situation ; une approche plus cognitive, où le choix de la méthode pédagogique s’articule avec un travail de construction et de validation d’hypothèses sur les propriétés de l’expertise ciblée, les processus d’apprentissage et les propriétés de flexibilité et d’interfaçage sensori-moteur offertes par la réalité virtuelle.

(c) les tâches précises retenues pour la formation, qui comprennent les sous-tâches à réaliser par les apprenants pour acquérir les connaissances et les compétences ciblées, ainsi que les scénarios de mise en situation et la façon dont le formateur envisage de les organiser durant la formation. Pour simplifier, on peut lister deux options principales et non exclusives : •

•

la tâche est en grande partie imaginaire : en général, il s’agit d’une situation et d’une tâche qui répondent à un objectif didactique ou pédagogique particulier. Par exemple, la tâche peut consister en la construction d’un système planétaire stable, ou la poursuite de cibles rapides dans un espace à trois dimensions (par exemple NICE) ; la situation à transposer dans les tâches d’apprentissage correspond à une situation extraite du quotidien du travail : l’orientation vers telle ou telle situation particulière peut être liée à des objectifs de formation, à l’organisation d’un cursus, etc. Il peut s’agir d’une situation nominale, habituelle, ou bien d’une situation "critique" au sens de Flanagan [Flanagan, 1954], c’est-à-dire les cas où les compétences, considérées

250

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

comme souhaitables pour un poste ou un métier, sont fortement sollicitées et mises en valeur. La sélection de ces situations est réalisée au moyen d’une forme particulière d’entretien [Flanagan, 1954 ; Bisseret, 1999]. La situation peut aussi correspondre à une sélection de situations limites, voire à un mode dégradé, avec l’objectif de fournir aux apprenants une préparation à des conditions d’exercice de l’activité difficiles et risquées à travers l’environnement virtuel. La transformation à visée didactique et pédagogique de situations (de travail, de la vie quotidienne, etc) est une question ancienne dans les études ayant porté sur la simulation à visée de formation ; en particulier en ergonomie, des études ont porté aussi bien sur du travail à forte dimension cognitive (par exemple la formation des contrôleurs de la navigation aérienne [Bisseret, 1969], que sur un travail impliquant une forte dimension corporelle et gestuelle (par exemple, la formation des peintres aéronautiques [Aubert, 1999]). La définition des tâches d’apprentissage n’est pas un processus algorithmique. Toutefois, nous proposons ici quelques directions pour guider cette étape de la transposition de tâches dans l’environnement virtuel. La transposition d’une situation de référence en plusieurs situations d’apprentissage dans un environnement simulé numériquement peut s’analyser à travers plusieurs aspects : •

•

•

segmenter et découper la tâche ou les connaissances à apprendre en unités d’apprentissage ; concevoir ces unités de façon à ce que les connaissances acquises soient similaires à celle forgées par l’expérience ou exigées par la confrontation à la situation réelle ; faciliter l’acquisition des connaissances et le traitement de l’information par les apprenants, c’est-à-dire limiter la charge cognitive à l’apprentissage et non à l’accès aux informations utiles ;

La segmentation des situations de référence peut être réalisée sur la base de plusieurs logiques, éventuellement combinées entre elles [Samurcay, 1998] : •

•

•

un découpage purement chronologique de la tâche : chaque étape de la procédure -ou chaque partie de la connaissance à apprendre - délimite une unité potentielle ; un découpage fondé sur les pré-requis à l’acquisition : on découpe et on ordonne les unités de façon à présenter d’abord les compétences ou habiletés nécessaires à l’acquisition d’unités plus complexes par la suite de l’apprentissage ; un découpage fondé sur le découplage - rendu possible par la simulation - entre, d’une part, la forme et les propriétés générales de l’information dans l’environnement et, d’autre part, la logique d’utilisation de ces mêmes informations par l’expert en fonction de son activité [Bisseret, 1969]. Cette méthode permet de recourir à des modes d’affichage et à des re-codifications des données en fonction de leur utilisation, selon une progression allant d’un statut opératif vers leur aspect réel. Cela permet notamment de minimiser l’influence de l’absence d’expertise de l’apprenant, ainsi que la surcharge cognitive consécutive aux traductions multiples et aux nécessaires mémorisations qu’il est obligé d’opérer, au contraire de l’expert.

La tâche et son environnement peuvent être modifiés dans le cadre de l’approche pédagogique retenue. Les dimensions les plus classiques pour la simulation et la réalité virtuelle sont rappelés dans les tableaux 7.10 et 7.11.

La conception des environnements virtuels pour l’apprentissage

Dimensions

Type de modification possibles - statique

1. Structure temporelle régissant le comportement des - chronologie réelle objets et des évènements de l’environnement - accélération / décélération virtuel de certaines phases - chronologie recomposée

251

remarques - situation réelle figée à un instant - le scénario et la tâche préservent la séquence réelle - permet d’observer ou de manipuler à une autre échelle de temps -les scénarios utilisent des opérations partielles, sans que la succession corresponde à une succession réelle

- scénarisation, storytelling 2. Structure spatiale

3. Structure informationnelle

- agrandissement / réduction d’échelle - modes de déplacement modifiant le rapport à l'espace - préservée

- « sizing »

- fidélité de construction, fidélité perceptive, fidélité psychologique ; présente un ensemble de données proches du flux réel

- simplifiée

- restriction aux informations nécessaires (filtrage)

- déformée

- représentations non réalistes (déformations opératives caractérisant les représentations de l’expert ) - Transparence, colorisation, coupe etc. - Transduction - Substitution entre modalités sensorielles

- enrichie

- Redondance entre modalités sensorielles - Substitution métaphorique - Représentation symbolique - Réification de concepts ou des relations - Superposition d’une information d’aide ou de guidage : flêche, diagrammes, son, etc

Tableau 7.10 : Six dimensions classiques de transformation des tâches et des situations dans les simulations et les environnements virtuels

252

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Dimensions 4. Structure de réponse et du comportement attendu

5. Point de vue de l’apprenant

Type de modification possibles - allègement de la réalisation de la tâche - contrainte temporelle sur la réalisation de la tâche

- observateur externe - metteur en scène, « marionnettiste »

- acteur

6. Agents présents dans l’environnement

remarques - automatisation d’aspects de la tâche - les tâches peuvent être en rythme libre, en rythme réel, ou en rythme imposé (on impose un temps artificiel, généralement plus contraignant que le rythme réel, en vue d’un apprentissage par la vitesse) - point de vue extérieur sans possibilité d’action - point de vue simultanément extérieur et intérieur du fait de l’avatar à manipuler - point de vue centrée sur l’action et la position dans l’environnement virtuel

- autres ou mixtes - aucun - objets dotés de - permettent essentiellement comportements « intelligents » d’animer le décor de la tâche ( autonomes véhicules, machines, animaux, piétons, foule etc.) - objets contribuant - humanoïdes endossant le rôle d’un « intelligemment » au scénario autre opérateur ou d’un partenaire, ou à la tâche machines, etc. - agents pédagogiques

- tuteur, entraîneur, fauteur de trouble, compagnon

Tableau 7.11 : Six dimensions classiques de transformation des tâches et des situations dans les simulations et les environnements virtuels (suite)

La conception des environnements virtuels pour l’apprentissage

253

On définit donc en parallèle les propriétés de l’environnement relatives aux tâches de formation et aux comportements probables ou possibles des apprenants. On s’appuie pour cela sur la description détaillée de la tâche, en particulier ce qui concerne les objets et l’environnement lui-même : •

topographie, objets présents : par exemple, les outils disponibles (clef de Bernes, lampe, carnet), la position du train par rapport aux aiguilles sur lesquelles intervenir, etc ;

•

propriétés variables des objets, des entités ou de l’environnement plus largement : par exemple, les conditions climatiques sont modifiables ;

•

évènements à gérer, et conditions de leur déclenchement : par exemple, la survenue d’un train, la simulation d’une panne, etc.

(d) les fonctionnalités en direction des formateurs : aide à la création d’exercices, suivi des parcours de formation, gestion des sessions, aide à la compréhension des erreurs, configuration a priori des paramètres d’un scénario etc. Les fonctions liées à l’animation de la session de formation, comprennent aussi, le cas échéant [Lourdeaux, 2001][Riguet, 2000] : •

piloter l’environnement virtuel et visionner les images de la scène virtuelle. Le choix et la manipulation de données et d’images relatifs au comportement des apprenants au cours de la session concerne le retour sur l’apprentissage. Par exemple, reprendre un extrait dans le but de faire réfléchir les apprenants sur une difficulté ou un risque précis [Riguet, 2000] ;

•

bénéficier d’informations sur le déroulement du scénario. Dans FIACRE, par exemple, l’observation de situations réelles d’apprentissage [Riguet, 2000] montre entre autres que le formateur a besoin de voir selon la même perspective que l’apprenant (voir ce qu’il voit), mais aussi d’identifier plus globalement le comportement de l’apprenant dans l’environnement, d’être averti dans le cas où une erreur est commise ;

•

intervenir en cours de formation (Tableau 7.12). Les types d’intervention envisageables peuvent être fondés sur la transposition des interventions observées dans la tâche d’apprentissage actuelle, sur les interventions que les formateurs souhaiteraient pouvoir réaliser dans l’idéal, nonobstant les contraintes de temps, de sécurité, du nombre d’apprenants et enfin sur l’extrapolation à des interventions rendues possibles grâce à l’utilisation de la réalité virtuelle. Par exemple, deux types ont été distingués dans FIACRE (Figure 7.2) [Riguet, 2000] : les interventions visant à modifier en temps réel des aspects du scénario (planification et gestion d’évènements du scénario tels que pannes, condition météorologique etc.) et les interventions d’assistance ou de guidage (fonctions telles que suggérer où l’apprenant peut trouver l’information, expliquer une règle, montrer la conséquence anticipée d’un choix ou d’une erreur, etc. ).

7.3.3.2

Le niveau de la tâche et des dialogues (I2 COGNITIVES)

Deux composantes sont définies à cette étape :

254

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Nom d’intervention Afficher Brouillard

Type et propriété Sur scénario : en ligne a priori (offline)

Visualiser Zone dangereuse

Assistance et guidage

déclenchement

Justification/ logique de la fonction par le formateur aider les apprenants à prendre conscience du danger développer de meilleurs comportements de sécurité forcer l’adaptation de la procédure à la situation de mauvaise visibilité par le formateur montrer la conséquence d’une erreur de sécurité suite erreur ou visualiser la zone comportement dangereuse, au moyen d’une inadéquat de colorisation l’apprenant

Tableau 7.12 : Extrait des fonctions d’intervention identifiées dans FIACRE

Figure 7.2 : Visualisation en rouge (partie de la voie en gris foncé sur l’image) d’une zone dangereuse dans l’environnement virtuel du projet FIACRE

La conception des environnements virtuels pour l’apprentissage •

•

255

celle concernant la tâche d’apprentissage : il s’agit de spécifier les comportements de base pour l’utilisateur (PCV : Primitives Comportementales Virtuelles) et les fonctionnalités nécessaires à implémenter dans l’environnement virtuel (objets statiques, comportements des objets dynamiques, spécificités de l’architecture logicielle). celle concernant l’utilisation des interfaces : il s’agit de spécifier les modes d’interaction, i.e. les comportements exploités pour chaque PCV (de type schèmes ou métaphores) et de spécifier les dialogues d’utilisation des interfaces.

Définition des comportements de base (PCV) à soutenir dans l’environnement La spécification des primitives comportementales virtuelles doit permettre de déterminer les comportements de base utiles dont on souhaite permettre la reproduction dans l’environnement virtuel pour soutenir les raisonnements et les activités nécessaires à l’apprentissage. Au niveau le plus général , il y a quatre familles de PCV : • • • •

celles relatives aux activités de déplacement ; celles relatives aux actions sur l’environnement virtuel ; celles relatives à la prise d’information (observation) ; celles relatives aux communications interpersonnelles.

En pratique, cela consiste à partir des comportements attendus ou possibles des utilisateurs dans la situation d’apprentissage, pour : •

•

lister les comportements de base susceptibles d’être exploités en environnement virtuel ; choisir et associer chacun des comportements recensés aux primitives comportementales virtuelles correspondantes.

Les différentes configurations et alternatives de primitives comportementales virtuelles à privilégier sont déterminées en fonction de critères tels que la priorité, l’intérêt pédagogique, les difficultés techniques ou financières. Les questions à se poser pour choisir les primitives comportementales virtuelles sont variées (Tableau 7.13). Le lecteur trouvera cet aspect plus longuement détaillé dans ce traité (chapitre 2 du volume 1). Dans le contexte des environnements virtuels pour l’apprentissage, le choix s’appuie sur l’analyse préalable qui a pu montrer si la reproduction de certaines contraintes apportent des informations importantes pour l’apprentissage ou pour la réalisation de la tâche, ou si elles favorisent seulement le réalisme esthétique (Tableau 7.14). Chaque primitive comportementale virtuelle est généralement étudiée en tant que telle et également dans le cadre de sa combinaison avec les autres. En parallèle, il est important de s’interroger aussi systématiquement sur les contraintes de l’activité et la façon dont l’une ou l’autre des primitives pourrait être mise à profit (Tableau 7.15). Dans ce sens, il s’agit de croiser le questionnement préconisé par la méthode I2 avec un questionnement prenant cette fois pour base l’activité des utilisateurs.

256

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Primitives Comp. Virt. Prise d’information (observation)

Sous-catégories Visuelle

Tactilokinesthésique

l’observation de l’environnement apporte-elle des informations essentielles pour se déplacer, manipuler des objets ? le bruit, des sons ou les signaux de parole sont-ils importants pour la régulation de l’activité de l’utilisateur ? le poids et la sensation tactile renseignent-ils l’utilisateur pour l’assemblage d’objets ?

Observation & déplacement

l’orientation dans l’environnement est-elle un aspect important de l’activité ?

Manipulation & Déplacement ( …)

Doit-on se déplacer avec des objets ?

Auditive

Combinaisons des primitives

Exemples de question envisageable

Tableau 7.13 : Quelques exemples de questions pour guider l’analyse en termes de primitives comportementales virtuelles Primitives Comp. Virt.

Prise d’informati on

Souscatégories Visuelle ++

Activité, contraintes à respecter Circulation sur la voie

Les éléments importants :

Tactilokinesthésique -

- la sécurité (trains en approche) - Champs visuel suffisant - l’identification, la localisation Visibilité au loin des cibles - Repères kilométriques - l’orientation dans l’environnement, - Avertissement, roulement - l’estimation des distances (les des trains aiguilles à cœur mobile couvrent une centaine de mètres) -Fatigue liée à la marche

Cheminement ++

Atteinte des installations cible

- évaluer le temps nécessaire pour la tâche, notamment le temps de déplacement

Auditive -

Déplacement

- Restitution du temps et de l’effort

- évaluer le coûts des erreurs (mauvaise direction, oublis)

Point à point -Poursuite -Retour d’effort ++

Manœuvre du levier : résistance forte position du geste





Manipulation

- acquérir une représentation de la difficulté et de la grande force qu’elle requiert réellement - un retour d’effort faible pourrait entraîner une mauvaise représentation de cette difficulté de la tâche - technologie généralement coûteuse (--)

Tableau 7.14 : Extrait des PCV analysées dans le cadre du projet FIACRE

La conception des environnements virtuels pour l’apprentissage Caractéristiques importantes de l’activité Les déplacements ( liés au dépannage des aiguilles).

Alternatives envisageables et PCV candidates la fatigue ressentie lors de l’effort de marche (PCV déplacement) Pour l’apprentissage, le le temps nécessaire pour déplacement apporte une réaliser la tâche (PCV information importante qu’il déplacement) faut essayer de traduire. l’indication de la distance à parcourir/parcourue (PCV prise d’information) L’orientation (liée au les informations visuelles, dépannage des aiguilles). sonores, tactiles, etc. de l’environnement (prise Dans l’environnement réel, d’information) ? quels sont les éléments les informations fournies nécessaires qui vont l’aider à au système vestibulaire de acquérir ces compétences l’oreille interne (déplacement) ? un plan, un guide (prise d’information, ou communication) ?

257 Remarques La fatigue peut être intéressante à reproduire car elle aide, voire motive les apprenants à adapter un comportement plus efficace

Les informations visuelles stables sont simples à fournir et peuvent être systématiquement exploitée avec succès (repères kilométriques sur les supports caténaires, indices divers pour identifier les appareils de voie tels que numéro du moteur, etc.)

Tableau 7.15 : Extrait de l’analyse croisée entre les activités, les types de supports et les PCV envisagés dans FIACRE

Analyse et sélection des modes d’interaction exploitables avec les PCV envisagées On en déduit la liste des PCV les plus intéressantes parmi celles en concurrence et pouvant être développées de façon à être évaluées par des tests. Il s’agit dans le même temps de spécifier les modes d’interaction associés à chacune d’elle (Tableau 7.16). Pour chaque primitive comportementale virtuelle, plusieurs modes d’interaction peuvent être exploités. En cohérence avec le modèle I2, les comportements les plus proches de l’action réalisée dans l’environnement réel sont désignés par la notion de schèmes habituels. D’autres modes d’interactions plus éloignés sont également exploitables : les métaphores, qui exploitent des conventions d’usage et les habiletés développées dans d’autres domaines et, enfin, les substitutions sensori-motrices. On entend par substitutions sensori-motrices l’exploitation d’autres modalités sensorielles que celles utilisées dans l’environnement réel de référence, l’information donnée ou l’action étant substituée à un autre "canal". A partir de la liste des modes d’interactions, les interfaces comportementales adéquates sont spécifiées. Dans le cadre de la formation, l’utilisation d’un schème habituel doit faciliter la correspondance entre l’environnement réel et l’environnement virtuel pour se concentrer sur l’apprentissage de la tâche (contrairement à un environnement virtuel non dédié à la formation où il peut être intéressant de créer d’autres schèmes). Néanmoins, des limites technologiques de l’interface peuvent rendre son utilisation difficile et accroître la charge cognitive de l’apprenant. Il est donc important à ce stade d’étudier en quoi les conséquences de l’utilisation de ce schème sont négatives sur l’apprentissage. Les métaphores peuvent être des solutions intéressantes, même si leur compréhension dépend également des connaissances et de l’expérience des utilisateurs. Le choix d’une métaphore peut être fait si son apprentissage est minime par rapport à l’apprentissage

258

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Souscatégories de PCV retenues

Prise d’information Visuelle ++

Solutions

Remarques, concurrence éventuelle avec d’autres contraintes

visiocasque

- présente encore des temps de latence importants - entraîne une perte d’information concernant la compréhension et l’activité des apprenants - risques en cas de port prolongé ou de mauvais réglage

grand écran ++ salle immersive - coûteuse - peu flexible pour alterner différentes ressources et approches pédagogiques - ne rend pas compte des distances à parcourir Télé-portation - exclut les mécanismes d’orientation et d’identification (métaphore) d’appareil de voie ; - envisageable dans une phase où l’objectif pédagogique est uniquement de montrer les étapes ou revenir à une étape précédente

Déplacement et Joystick orientation (métaphore) Cheminement Tapis roulant ++ ++ (plus proche du schème habituel de la marche ) Manipulation Interface haptique ++ Retour d’effort ++ Interface pseudohaptique

- ne permet pas de reproduire la fatigue de la marche. - nécessite peu d’apprentissage (+). - reproduction de la fatigue de marche. - codage kinesthésique du déplacement - pas de retour au niveau de l’oreille interne - peu poser des problèmes d’orientation - incompatible avec un visiocasque - proche +/- du schème de manipulation habituel (+) - aucune capable de reproduire la force nécessaire à la manœuvre du levier (-) - Interface à développer, encore du domaine de la recherche

Levier réel

- pose des problèmes de recalage d'images avec virtuel

Découplage pédagogique réel/virtuel :

- apprenant manipule ultérieurement sur un moteur réel - métaphore utilisable + substitution sensori-motrice éventuelle pour l’effort à fournir ( son proportionnel à l’effort à fournir, et/ou image d’un personnage virtuel fournissant un effort important, etc). - tuteur doit insister sur les différences entre la tâche en environnement réel et en environnement virtuel (retour d’effort et geste différents)

Tableau 7.16 : Extraits des analyses réalisées pour le choix des modes d’interactions de l’apprenant dans FIACRE

La conception des environnements virtuels pour l’apprentissage

259

d’un schème. Les métaphores les plus courantes sont en effet souvent choisies pour leur simplicité et leur efficacité [Burkhardt, 1999]. Choisir une interface comportementale simple à utiliser pour chaque primitive comportementale virtuelle ne garantit pas qu’il soit facile de les utiliser toutes ensembles. Chaque primitive comportementale virtuelle (et donc chaque interface) doit être considérée dans son ensemble et dans le contexte général. La coordination de chacune doit être étudiée. Quelques conseils pratiques pour le choix des interfaces comportementales Le choix des interfaces comportementales retenues à l’attention des apprenants peut s’appuyer sur les principes suivants :

•

les objectifs d’apprentissage : a priori, la façon de reproduire ou non certains aspects de la tâche ne doit pas être décidée en fonction de problèmes ou d’attraits technologiques, mais parce que ceux-ci sont jugés utiles pour atteindre l’objectif d’apprentissage désiré selon des modalités pédagogiques particulières. Ainsi, le choix d’un déplacement instantané de type "clic de souris" sur l’endroit où l’utilisateur désire se rendre est un mode à la fois métaphorique et économique de déplacement mais il ne permet pas d’apprendre à se diriger ni à s’orienter. Parfois, au contraire, certaines fonctionnalités ne doivent pas être reproduites pour ne pas surcharger l’apprenant d’informations et lui permettre de se concentrer sur sa tâche ;

•

les limitations technologiques et économiques : certaines interfaces ne sont pas réalisables techniquement ou présentent un coût trop élevé par rapport au contexte économique dans lequel on se situe et au regard des usages de l’application et de ses objectifs ;

•

le coût d’apprentissage de l’utilisation de l’interface : les interfaces de réalité virtuelle cherchent à permettre l’utilisation de schèmes habituels. Bien sûr, toute transposition conduit à une perte de "naturel". Parfois, l’exploitation d’un schème habituel nécessite un temps d’apprentissage important, comme par exemple, l’utilisation d’un tapis roulant afin de reproduire la marche naturelle [Lourdeaux, 2001]. Néanmoins, ce coût d’apprentissage de l’usage de l’interface doit être considéré par rapport à l’objectif poursuivi. Si ces inconvénients sont jugés trop important, il peut être intéressant d’utiliser une approche plus métaphorique ;

•

l’expérience des utilisateurs dans d’autres domaines : selon le public rencontré et son expérience, certaines interfaces pourront plus facilement être exploitées. Par exemple, si les utilisateurs connaissent l’univers des jeux vidéo, le joystick peut facilement être intégré par les utilisateurs (avec un coût d’apprentissage faible).‘

La spécification des dialogues et des Aides Logicielles Comportementales Pour chacune des interfaces comportementales choisies, les dialogues d’utilisation sont spécifiés (Tableau 7.17). Des problèmes d’utilisation, d’estimation des distances ou autres peuvent accroître la charge mentale des utilisateurs. En général, le but des environnements virtuels n’est pas d’apprendre à se servir des interfaces mais de se concentrer sur la tâche. Ainsi, des aides logicielles comportementales peuvent être implantées afin de faciliter l’utilisation des interfaces.

260

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

avancer Déplacement

reculer pivoter sur place pivoter en se déplaçant se déplacer latéralement se baisser

Manipulation

Coordination

orienter sa main Prendre Lâcher Maintenir

Gant et Tapis roulant L'utilisateur avance sur le tapis, la vitesse est alors asservie à sa marche [David, 2001] Fonctionnalité impossible avec le tapis. Un capteur de position sur la nuque permet des petits déplacements. L'utilisateur utilise un joystick L'utilisateur utilise un joystick en marchant sur le tapis. Ce joystick est mobile pour suivre l’utilisateur sur le tapis. Fonctionnalité impossible avec le tapis. Un capteur de position sur la nuque permet des petits déplacements. L’utilisateur doit s’accroupir physiquement. . Mouvement pris en compte par un capteur de position sur la tête Mouvement 3D (orientation réelle de la main) L'utilisateur referme sa main sur un objet L'utilisateur ouvre la main L'utilisateur garde sa main fermée Le déplacement et la manipulation ne peuvent pas être effectués en parallèle. Lorsque l’utilisateur lâche le joystick, il passe en mode manipulation et vice-versa.

Tableau 7.17 : Dialogues d’interaction (tapis roulant et gant de données) définis à partir de tests d’utilisabilité dans le cadre de FIACRE

Afin de proposer certaines aides logicielles comportementales, il est souvent utile de détecter les intentions des utilisateurs. Par exemple, pour positionner automatiquement l’utilisateur à un endroit précis, il faut être sûr que celui-ci veuille bien s’y rendre. On détectera, par exemple, non pas l’entrée dans une zone, mais l’arrêt avec une orientation donnée dans la zone. Des travaux sur la détection d’intention en environnement virtuel par modélisation cognitive ont été menés par Verna [Verna, 2000]. Une autre piste réside dans le suivi et l’interprétation des comportements de l’apprenant au moyen d’un modèle de ces buts [Burkhardt, 2003]. Pour réaliser les différentes manœuvres de voies, les conducteurs doivent emmener différents objets comme la clé de berne (clé spécifique employée à la SNCF), les clés moteurs, etc. Une Aide Logicielle Comportementale a été proposée et validée expérimentalement sous la forme d’une poche virtuelle (Figures 7.3 et 7.4) permettant aux apprenants de stocker les objets virtuels. S’il est simple de se positionner devant un objet pour le saisir en environnement réel, cette manipulation n’est pas aussi évidente en environnement virtuel. Cette difficulté est due d’une part aux interfaces de déplacement difficiles à utiliser et d’autre part aux interfaces de visualisation qui posent des problèmes d’estimation des distances. Plusieurs Aides Logicielles Comportementales ont été proposées pour pallier ces difficultés. Suite à des tests itératifs, la solution la plus appropriée et surtout la plus simple a été retenue : le positionnement automatique. Ce positionnement est réalisé suite aux intentions précisées de l’apprenant [Lourdeaux, 2001].

La conception des environnements virtuels pour l’apprentissage

Figure 7.3 : La boite réelle de la poche virtuelle

Figure 7.4 : Le menu affiché pour la poche virtuelle

261

262

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.3.3.3

La spécification détaillée des paramètres sensori-moteurs des interfaces comportementales (I2 sensori-motrice)

Cette étape est en réalité menée en parallèle à l’étape de définition des interfaces et des dialogues. Elle correspond à la spécification des interfaces comportementales, i.e. les paramètres sensori-moteurs des dispositifs avec lesquels l’utilisateur va agir et percevoir l’environnement virtuel (Figures 7.5, 7.6, 7.7, 7.8). Certaines caractéristiques métrologiques des interfaces sont très importantes comme la précision, la sensibilité et le temps de réponse. Si certains sens ou réponses motrices ne sont pas reproduits correctement, des incohérences sensori-motrices peuvent être induites et provoquer des problèmes d’apprentissage. Certaines interfaces ne permettent d’ailleurs pas de reproduire parfaitement certains sens, voire pas du tout. La spécification de ce niveau est en partie contrainte par les caractéristiques physiques et anthropologiques de la population particulière des utilisateurs. Il y a une grande diversité des dimensions humaines, laquelle s’oppose à l’unicité classique des matériels. Ce niveau peut s’exprimer au moyen d’un modèle de l’utilisateur tiré de l’analyse de la population cible dont la synthèse est fournie dans le profil utilisateur élaboré au cours du processus de conception. L’objectif est l’adaptation à ce jeu de contraintes. Le lecteur trouvera une revue extensive concernant cet aspect du développement dans les chapitres traitant des interfaces dans le premier volume de ce traité, ainsi que la discussion sur l’acception orientée-métrologie de la notion d’immersion (chapitre 2 du volume 1).

Figure 7.5 : Gant de données pour manipuler des objets

7.3.3.4

Des évaluations correspondant à chacun des niveaux

L’évaluation a au moins deux fonctions principales dans la conception. La première est d’informer de la qualité actuelle de la solution sur des dimensions très variées (le poids, la solidité, la faisabilité, l’utilisabilité, la compatibilité etc.) pour en déduire les aménagements, les choix à affiner et les prochaines étapes du processus de conception.

La conception des environnements virtuels pour l’apprentissage

Figure 7.6 : Manipulation d’objets au sol (s’accroupir)

Figure 7.7 : Joystick

263

264

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 7.8 : Tapis roulant 1D et guidon

Cette fonction de l’évaluation est centrée sur le produit en cours d’élaboration dont elle cherche à permettre la mesure de dimensions particulières. La seconde fonction est d’établir une évaluation par référence à la qualité d’une situation externe au projet. Cette fonction "comparative" de l’évaluation est importante à faire expliciter dans la mesure où le choix de la (ou des) situation(s) de référence oriente fortement l’évaluation et le type de validation à réaliser, par exemple : • • •

améliorer les conditions de formation par rapport au mode traditionnel de formation ; remplacer toute ou partie d’une formation existante ; offrir une formation qui n’existe pas, etc.

Chaque niveau de spécification donne lieu à des évaluations. On distingue ainsi, dans l’ordre chronologique inverse de la spécification : •

•

•

niveau 1 - I2 Sensori-motrice : évaluation de l’utilisabilité élémentaire des dispositifs d’interaction sensori-moteurs, à partir de maquettes ou de prototypes simplifiés ; niveau 2 - I2 Cognitive : évaluation des dialogues et des fonctions implantées sur un prototype, sur la base de scénarios proches de l’utilisation en situation, avec des utilisateurs représentatifs ; niveau 3 - I2 Fonctionnelle : évaluation de l’efficacité de l’environnement virtuel en termes d’apprentissage, à partir de situations réelles.

Les trois niveaux sont en général progressivement évalués durant la conception de l’interaction avec l’environnement virtuel (du coté des apprenants et éventuellement du coté des formateurs, si ces derniers peuvent interagir). A l’inverse, les composants du

La conception des environnements virtuels pour l’apprentissage

265

système qui utilisent un paradigme d’interaction plus traditionnel (WIMP, ou encore langage de commande) ne nécessitent généralement que des tests de niveaux 2 et 3. L’approche générale que nous préconisons pour l’évaluation repose sur la mise en situation et l’observation d’utilisateurs réalisant une tâche au moyen de toute ou partie du système à évaluer. Le lecteur intéressé peut aller voir en annexe 1 sur l’évaluation avec des utilisateurs : •

•

•

pour des considérations méthodologiques sur l’analyse du comportement humain, par exemple Rossi [Rossi, 1997] et [Bisseret, 1999] ; pour les évaluations ergonomiques dans la conception logicielle [Mayhew,1999], [Bastien, 2002] et [Bastien, 2003] ; pour l’évaluation des dimensions d’immersion, de réalisme et de présence, voir le chapitre 2 du volume 1 de ce traité.

Pour faire bref et schématique tout en gardant à l’esprit que l’évolution du niveau 1 vers le niveau 3 est progressive et continue : •

•

•

au niveau 1 : la mise au point des dispositifs d’interaction élémentaire ne nécessite pas de fonder l’évaluation sur des sujets forcément très représentatifs de la profession et du rôle. Il est à l’inverse souhaitable que les sujets ne soient pas trop éloignés des caractéristiques perceptives et physiques de la population cible d’utilisateurs. L’objectif de cette étape est de mettre au point un ou plusieurs paradigmes d’interaction acceptables du point de vue de l’utilisateur, c’est-à-dire qui n’induisent ni perturbation ni charge dans la conduite de l’interaction. Les tâches utilisées sont généralement simples (se déplacer dans l’environnement virtuel, prendre des objets, poursuivre une cible etc.), correspondant essentiellement à l’objectif d’évaluation des alternatives en termes de dispositifs et dialogues pour les "primitives comportementales virtuelles" (il est cependant parfois intéressant de regrouper ces tâches élémentaires sous la forme d’un scénario proche de la situation de formation, cela permet d’anticiper sur d’éventuelles interactions entre les paradigmes choisis et la situation future) ; au niveau 2 : les évaluations portent sur des indicateurs concernant le raisonnement et le comportement effectif de l’utilisateur dans des scénarios significatifs extraits de la tâche d’apprentissage. Les tests ne sont plus dirigés principalement vers l’évaluation de l’utilisabilité de tel ou tel dispositifs d’interaction, mais vers l’utilité et la mise en œuvre de l’environnement dans le cadre des tâches pour l’apprentissage. Du point de vue de l’apprenant, l’objectif est de voir si l’évaluation des risques est faite de la même manière en environnement virtuel et en environnement réel, s’il utilise les mêmes règles de résolution de problèmes, s’il utilise les mêmes modes opératoires, etc. Ce type de tests permet aussi de valider un modèle du comportement de l’utilisateur dans l’environnement virtuel. Du point de vue du formateur, des tests analogues peuvent être réalisés. Lorsque l’on dispose d’un prototype suffisamment opérationnel, il peut être envisagé de combiner les deux catégories d’utilisateurs dans les scénarios d’évaluation. Dans ce cas, il est nécessaire d’anticiper sur des moyens adaptés de recueil et d’analyse des comportements. Les moyens nécessaires s’avèrent en effet souvent plus importants que pour les évaluations menées avec une seule catégorie d’utilisateurs. Néanmoins, l’intérêt consiste à fonder alors l’évaluation sur une situation écologiquement plus proche de la situation réelle de formation ; au niveau 3 : ce niveau correspond à l’évaluation fonctionnelle de l’environnement virtuel d’apprentissage dans sa configuration prévue : il s’agit d’évaluer in fine l’efficacité de l’environnement virtuel en termes d’apprentissage. Les évaluations sont

266

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

généralement réalisées lors de formations réelles ou de simulations de ces formations avec l’environnement virtuel d’apprentissage. Lorsqu’une situation externe de référence existe (par exemple une formation de même type préexistante), il est intéressant de procéder à une évaluation comparative. En ce qui concerne les formateurs, l’objectif est d’évaluer le soutien fourni par l’outil à leur activité de formation, par exemple de quantifier et de qualifier les apports de l’outil et/ou les problèmes rencontrés par les formateurs pour tenir leur discours pédagogique. En ce qui concerne les apprenants, l’objectif est de voir si l’apprenant acquiert les compétences lui permettant de réaliser la tâche réelle, c’est-à-dire s’il peut transférer ses acquis de l’environnement virtuel vers l’environnement réel, et avec quels résultats. Ce type d’évaluation nécessite évidemment, pour être mené, que le système soit considéré comme optimal du point de vue de son utilisabilité et du point de vue cognitif et comportemental. En dehors des méthodes fondées sur l’observation et le recueil de données concernant les comportements de l’utilisateur, d’autres méthodes d’évaluation existent, par exemple celles basées sur la vérification de critères de l’interface ou sur l’analyse des étapes du dialogue pour réaliser les tâches typiques. La préparation, la passation et l’analyse des données recueillies au cours des évaluations sont encadrées généralement par l’ergonome, en forte coopération avec les autres intervenants du projet. D’autres informations complémentaires sont données en annexe de ce chapitre dans la fiche de FIACRE. 7.4 CONCLUSIONS ET PERSPECTIVES Le domaine des nouvelles technologies et en particulier de la réalité virtuelle est propice au développement d’idées fausses, de représentations erronées voire de fantasmes qu’il est important de combattre pour construire un projet dans les meilleures conditions. Le risque joue d’ailleurs dans les deux sens : aussi bien, les espoirs infondés sur la technologie que le rejet systématique de cette même technologie sont des obstacles à court et long termes du développement d’une technologie adaptée et acceptée. Le présent chapitre a tenté de fournir un éclairage plus complet et argumenté sur les intérêts, la conception et les perspectives envisagées pour l’apprentissage. Utiliser la réalité virtuelle pour l’apprentissage présente-t-il un intérêt ? Au niveau le plus général, nous avons identifié deux intérêts majeurs. Le premier est de contribuer à résoudre des problèmes d’apprentissage et à améliorer des situations de formation existantes. Le second est d’offrir un instrument d’investigation original pour la recherche sur deux thématiques conjointes : l’apprentissage et le comportement humain, d’une part, et les technologies pour l’apprentissage, d’autre part. En ce qui concerne les moyens qu’apporte la technologie des environnements virtuels, pour améliorer l’apprentissage, plusieurs pistes d’intérêts ont été évoquées. Par exemple, la réalité virtuelle permet de : •

•

multiplier les possibilités de présentation de l’information, offrir des points de vue inédits sur les objets et les connaissances ; mettre l’apprenant en action et élargir ses possibilités de manipulation au-delà de ce qui serait possible en situation réelle ;

La conception des environnements virtuels pour l’apprentissage

267

•

lier des situations de pratique à des niveaux d’information plus conceptuelle ;

•

intégrer grâce à l’intelligence artificielle des modes de suivi et d’accompagnement des apprentissage, etc.

Toutefois, il faut garder à l’esprit que cet ensemble de vertus et d’avantages potentiels nécessite d’être examiné, sélectionné et élaboré dans le cadre d’un projet méthodique et rigoureux pour pouvoir être un outil efficace et adapté au terrain. Par exemple, la prise en compte des caractéristiques des utilisateurs, qu’il s’agisse des apprenants ou des formateurs, des conditions de leur activité et de leurs objectifs est, de ce point de vue, particulièrement sensible pour ce qui est des choix et des spécifications techniques. L’analyse complémentaire des tâches à apprendre, et la formulation d’hypothèses précises sur l’apprentissage dans l’environnement virtuel sont aussi des déterminants importants de la qualité des environnements virtuels produits. En outre, la prise en compte d’aspects sensibles tels que l’utilisabilité, les fatigues visuelles et physiques variées, les troubles associés à la simulation du mouvement apparaît souhaitable. La conception des environnements virtuels d’apprentissage constitue ainsi un champ pluridisciplinaire nouveau qui est en train d’émerger et qui a besoin de se construire en impliquant l’ingénierie technologique, l’ergonomie et les disciplines traitant de l’apprentissage et de la formation. Des situations d’usage et des formes multiples On rappellera qu’il n’y a pas une façon unique d’utiliser un environnement virtuel dans un cadre éducatif ou de formation. On peut en effet fonder la construction d’un environnement virtuel sur une pédagogie démonstrative, sur une démarche pédagogique à guidage forte ou faible, sur une pédagogie de la découverte et de l’exploration libre, sur une pédagogie du dysfonctionnement. Il est aussi possible de mettre l’apprenant dans la situation de co-constructeur de l’environnement virtuel. On peut enfin réfléchir et tenter de formaliser d’autres approches pédagogiques qui seraient propres à l’utilisation des environnements virtuels d’apprentissage. A ce titre, les techniques et paradigmes propres à d’autres technologies de formation constituent une voie à entretenir pour l’enrichissement des environnements virtuels pour l’apprentissage, ainsi que, d’une façon générale, les travaux de conception et d’évaluation dans d’autres champs de la technologie éducative. Par exemple, un environnement virtuel d’apprentissage peut être appréhendé de façon complémentaire comme un multimédia. Il constitue alors le média principal qui supportera les liens hypermédia permettant de déclencher des séquences développées sur un autre média. Les projets développés récemment en France exploitent aussi largement ce type d’enrichissement (par exemple EDF). La rencontre entre des courants issus de la simulation, du multimédia éducatif, des environnements interactifs pour l’apprentissage humain et la réalité virtuelle est aujourd’hui riche de potentialités et de promesse. Quelles méthodes et quels aspects clefs pour le développement de cette technologie dans une perspective d’apprentissage ? La démarche de conception, les outils et les repères proposés dans ce chapitre constituent un premier guide pour faciliter le travail de conception. Ils vont depuis la phase d’analyse des besoins jusqu’au développement. Des éclairages sont proposés tant sur les dimensions pédagogiques (définition des objectifs pédagogiques, instrumentation d’une méthode, évaluation des acquis) que sur l’apprentissage et les caractéristiques d’ensemble de l’environnement virtuel (ergonomie, technologie). L’utilisation d’un

268

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

environnement virtuel d’apprentissage doit, en effet, satisfaire aux exigences d’efficacité et de facilitation de l’activité pour les apprenants comme pour les formateurs. Cependant, nous ne sommes pas encore au stade d’une ingénierie stable et complète de conception des environnements virtuels d’apprentissage, c’est-à-dire [Tchounikine, 2002] "un ensemble de connaissances (et éventuellement d’outils) capitalisés qui guident le processus de conception, de réalisation, d’évaluation et d’expérimentation du système". Il ne faudrait toutefois pas sous-estimer le chemin qui a été parcouru ces dernières années avec, en premier plan, la prise de conscience que la nécessité d’une approche pluridisciplinaire doit se traduire effectivement sur le terrain, à l’intérieur même de l’équipe de conception (ce qui n’est pas forcément le cas dans tous les champs des nouvelles technologies et de l’interaction homme-machine). On ajoutera qu’il est un certain nombre d’aspects faisant pencher vers l’optimisme quant à des développements vers plus d’efficacité : il y a d’abord l’expérience qui s’accumule autour de nouveaux développements et de nouveaux usages de la réalité virtuelle pour l’apprentissage, de plus en plus sur des terrains industriels, et pour répondre à des besoins réels. Il y a également la poursuite importante de travaux de recherches et de développements méthodologiques à propos des environnements virtuels, en ergonomie, en informatique et dans le domaine des technologies pour l’apprentissage. Perspectives Une approche pédagogique encore peu formalisée émerge, fortement ancrée dans les modèles et les travaux en psychologie cognitive, en didactique et en ergonomie. Nous avons souligné dans l’introduction de ce chapitre, les deux perspectives nous apparaissant comme fortes aujourd’hui. La première concerne l’exploitation de la flexibilité offerte par les technologies de la réalité virtuelle en termes d’interaction et de présentation de l’information selon de multiples formats et points de vue. La seconde concerne la réintroduction du corps, de la perception et de la motricité dans la conduite des interactions médiatisées à visée pédagogique. Des validations expérimentales et des études de terrain avec des véritables utilisateurs devront confirmer et enrichir les principes et les cadres explicatifs soutenant ces deux pistes, ainsi que toutes les autres, variées, évoquées dans cet article. En effet, faute de données et d’études, les intérêts des environnements virtuels pour l’apprentissage pourraient fort bien demeurer au rang d’hypothèses. A l’inverse, il nous semble qu’il y a là une voie de recherche et un terrain d’application majeur de la réalité virtuelle pour les années à venir.

La conception des environnements virtuels pour l’apprentissage

7.5

269

ANNEXES

7.5.1 ANNEXE 1 : L’ÉVALUATION AVEC DES UTILISATEURS

Sur le plan de la méthodologie, il est souhaitable de privilégier le recueil de données à partir des comportements d’utilisation d’utilisateurs auxquels on donne la consigne de réaliser une tâche particulière. Trois principes généraux caractérisent cette phase dans le processus de conception : 1. Les indicateurs retenus pour l’analyse des comportements des utilisateurs sont généralement systématiquement enregistrés, afin d’être traités et analysés pour informer les prises de décision en matière de conception et d’évolution de l’environnement virtuel. Ils sont précisément définis sur la base de plusieurs types de contraintes dont la pondération diffère suivant le moment de la conception et l’objectif : contraintes de contrôle expérimental, nature des hypothèses conduisant l’évaluation, sujets disponibles, outils de recueil et d’analyse des données utilisables, etc. D’une façon générale, les indicateurs retenus permettent de satisfaire un ou plusieurs des critères parmi ceux assez classiques de l’évaluation ergonomique : (a) l’utilité, (b) l’efficacité, (c) la facilité d’utilisation, (d) la facilité de mémoriser une commande, (e) la durée nécessaire à l’apprentissage, etc. Le recueil d’attitudes ou d’opinions à travers des questionnaires, sur la satisfaction par exemple, complète utilement ce type d’évaluation fondé sur le comportement. 2. Les sujets recrutés pour participer aux évaluations n’ont pas n’importe quelles caractéristiques et celles-ci doivent être précisées. En pratique, travailler avec des sujets représentatifs de la population d’utilisateurs (apprenants comme formateurs) représente une contrainte qui augmente avec le niveau 1, 2 ou 3 de l’évaluation. Au moment de l’évaluation fonctionnelle, il est ainsi fortement souhaitable que les sujets soient représentatifs ou typiques de la population des futurs utilisateurs. Le profil utilisateur précédemment élaboré permet de spécifier les caractéristiques des sujets participant à l’évaluation. 3. La ou les tâches construites pour l’évaluation sont généralement de plus en plus proches des situations d’utilisation futures. De même que pour les sujets, il est fortement souhaitable que les tâches soient représentatives ou critiques par rapport à la situation future envisagée. Les évaluations réalisées dans le cadre d’un projet d’environnement virtuel d’apprentissage ont un intérêt qui ne se limite pas à la fin du projet en question. Ce type de démarche se révèle en effet primordial à documenter, tant pour la recherche sur les environnements virtuels, que pour la capitalisation des connaissances concernant l’ingénierie des nouvelles technologies d’apprentissage. Des questions concernent notamment les types de tâches, de connaissances et de compétences qu’il est possible d’acquérir en environnement virtuel et les modalités de leur transfert à l’environnement réel. Certaines tâches à apprendre comme la localisation dans l’espace ou l’apprentissage des procédures posent des problèmes différents de celles impliquant par exemple des gestes très précis ou un retour d’effort sensible. Il est donc nécessaire de continuer très largement à entreprendre des travaux et des évaluations rigoureuses des solutions proposées pour contribuer à améliorer l’efficacité et l’utilité de ces nouvelles générations d’outils pour l’apprentissage.

270

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Difficultés de l’évaluation comparative dans le contexte de l’apprentissage La difficulté liée à la comparaison de méthodes d’instruction différentes est un questionnement récurrent dans le domaine de la formation, transcendant le simple développement technologique. L’analyse de la littérature permet de suggérer quelques repères concernant la mise en œuvre d’évaluations comparatives [Burkhardt, 2002]. Ces points sont résumés à travers les trois paragraphes suivants : L’origine des performances observées d’apprentissage : il est souvent difficile de déterminer si l’échec observé en termes d’apprentissage provient d’un mauvais contenu à apprendre ou de la technologie utilisée [Eberts, 1997, p 828], ou encore d’une inadéquation entre le contenu et la technologie utilisée. A l’inverse, le choix d’une tâche ou d’un contenu trop simple peut induire une absence d’effet d’apprentissage, même s’il y a réussite. En outre, la diversité des facteurs en jeu rend peu probable l’apparition d’un effet opposant des différences très locales entre les situations ; tout éventuel effet notable serait d’ailleurs généralement difficile à expliquer. Les mesures et indicateurs utilisés pour la comparaison : l’utilisation de la seule mesure de l’apprentissage débouche souvent sur des gains et des différences décevant par leur faiblesse. Plusieurs études sur les nouvelles technologies de formation font apparaître que c’est le niveau initial de connaissances de l’apprenant qui explique la très grande partie des différences de performances observées à l’issue des conditions comparées d’apprentissage [Boling, 1999]. Eberts [Eberts, 1997, page 829] souligne que le gain réel se trouve souvent dans la réduction du temps en formation pour les apprenants - et pour les formateurs. Sur la base d’une revue de plusieurs études menées entre 1977 et 1993, l’auteur observe ainsi des proportions allant de 17% à 64% de réduction en temps d’instruction, du fait de l’individualisation liée à l’introduction d’un EAO, par comparaison avec la situation de cours conventionnelle, en présence. Toutefois, d’autres chiffres suggère que ce gain de temps peut parfois disparaître avec des systèmes plus complexes de type tuteur intelligent. La construction expérimentale : comparer l’effet de médias différents (animation, texte et environnement virtuel) rend généralement impossible le maintien d’une équivalence de tous les facteurs entre les conditions [Bétrancourt, 2000]. L’application stricte des principes de l’expérimentation rencontre ici certaines de ses limites. En effet, la simplification des situations expérimentales, comme le maintien de conditions expérimentales trop strictes, peut rendre difficile toute conclusion sur l’efficacité pratique et la pérennité d’un outil / d’une technologie dans le domaine de la formation. Souvent en effet, les consignes ou contraintes posées par l’expérimentation vont à l’encontre des comportements "naturels" ; les résultats obtenus avec de telles contraintes ont-ils réellement une chance d’être prédictifs de ce que l’on observerait sur le terrain ? Par exemple, les méthodologies issues de l’expérimentation forcent souvent l’apprenant à un examen standardisé du matériel ; dans ce contexte, si une supériorité de l’un ou l’autre des outils est rapportée, cette supériorité ne sera pas forcément transférée dans les situations d’auto-formation où l’on sait que la motivation et le parcours entier d’un document ne se fera pas forcement de la même façon. Quelques conseils pratiques Pour améliorer le transfert des résultats sur le terrain, nous retiendrons qu’il est souhaitable :

La conception des environnements virtuels pour l’apprentissage •

•

•

•

•

•

271

d’opérer la distinction explicite entre des objectifs d’évaluation poursuivis aux différentes étapes d’un projet (utilisabilité, efficacité et adaptation au terrain) ; de favoriser l’approche in situ ou proche de la situation d’usage envisagée (sujets, contexte, etc.) ; d’avoir recours à des analyses fines des comportements et usages, sur des petits groupes pour pallier au "coût" relatif de cette méthode par rapport à des indicateurs de performance plus simples à recueillir tels que temps, nombre d’erreurs et jugements subjectifs. Il semble en effet que les verrous ne soient pas toujours associés à une caractéristique de l’interface, d’où la nécessité de pouvoir formuler d’autres hypothèses sur la base d’observations objectivables ; de disposer d’outils dans leur version opérationnelle pour l’évaluation avec les utilisateurs. L’évaluation d’outils existants, comme l’intégration de l’ergonomie dans la démarche de conception fondée sur l’analyse de performances et de comportements d’utilisateurs repose en effet sur le postulat (souvent peu visible de l’extérieur de l’ergonomie) que l’artefact ou son prototype est opérationnel et exempte de défauts de fiabilité qui en obèrent la simple utilisation ; de définir des dialogues et interfaces optimaux en regard du paradigme d’interaction et de la situation d’usage, avant d’aborder l’évaluation de l’efficacité et notamment de l’apprentissage chez les utilisateurs ; de planifier une évaluation des effets sur le long terme, en même temps que la constitution d’un retour d’expériences.

L’évaluation de la question du réalisme Cette question a déjà été discutée dans le chapitre 2 du volume 1. Parmi les critères d’évaluation qui déterminent les dimensions variées du comportement des utilisateurs dans un environnement virtuel d’apprentissage, trois en particulier sont souvent mentionnés : •

•

•

la fidélité des propriétés physiques, structurelles, et fonctionnelles de la simulation, relativement à la situation et aux objets ; cette fidélité concerne l’information décrivant la scène et les objets virtuels (espace, poids, temps, raideurs, ombre, reflets, etc.) ainsi que l’information engendrée et mise à jour par les dispositifs d’interaction (information visuelle, sonore, tactile, haptique et idiothétique). Des propriétés et des comportements différents de ceux du monde réel sont clairement envisageables, mais une attention devra être portée sur les possibles implications en termes de transfert d’apprentissage ; la fidélité des tâches, incluant les objectifs, les contraintes associées, et les moyens mis à disposition pour leur réalisation. Il s’agit là d’une propriété qui est liée majoritairement au contexte d’utilisation de l’environnement virtuel par l’apprenant, et non uniquement à l’environnement lui-même ; la fidélité psychologique [Leplat, 1997, p. 173], [Patrick, 1992, p. 487], c’est-à-dire soit la proportion selon laquelle le simulateur induit un comportement de l’utilisateur semblable à celui exigé dans la situation réelle ou exigé, soit la proportion dans laquelle la tâche réalisée avec le simulateur engendre une activité psychologique identique à celle de la tâche réelle, cette activité étant traduite en objectifs pédagogiques. La fidélité psychologique ne dépend pas uniquement des deux composantes précédentes, puisque viennent s’ajouter l’effet des caractéristiques de l’utilisateur et la tâche choisie dans le cadre des objectifs assignés à l’usage de l’environnement virtuel.

272

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.2 ANNEXE 2 : LES MÉTHODES PÉDAGOGIQUES : SYNTHÈSE, EXEMPLES ET REMARQUES

Méthodes démonstratives

Méthodes magistrales

Présentation de la méthode Les méthodes affirmatives reposent sur une démarche de transmission de contenus allant généralement de la théorie vers la pratique et du simple au complexe. L'apprentissage est basé sur la mémorisation volontaire et la répétition. Elles permettent l'exposition d'un savoir à un auditoire.

Elles reposent sur l'utilisation d'exemples, d'expériences ou sur la mise en scène d'actions permettant d'illustrer un principe ou d'indiquer comment faire quelque chose. Ces méthodes permettent des apprentissages par imitation. L’apprenant va alors de l'écoute/observation à la mise en œuvre par imitation et reproduction

Exemples d'applications L'environnement virtuel d'apprentissage sert de support à l'intervention d'un enseignant ou d'un formateur.

Remarques et renvois Ces méthodes placent les apprenants en position passive et sont peu interactives.

L'environnement virtuel d'apprentissage sert à illustrer l'exposé.

La juxtaposition de l’exposé et de son illustration ne garantit pas contre la construction de représentations erronées chez l'apprenant. Déjà utilisées dans le cadre d'applications multimédias, la réalité virtuelle apporte la possibilité pour l'apprenant de choisir son point de vue [Mellet d'Huart, 2001 #815 ; Johnson, 2001 #823]) ainsi que le mode de représentation de la scène lui semblant le plus approprié.

L'environnement virtuel d'apprentissage permet la présentation dynamique et préscénarisée d'explications et de démonstrations. Elles peuvent être supportées par des agents virtuels représentants soit l'enseignant soit l'opérateur expérimenté pris comme réréfence [Johnson, 1999 #692]. STEVE présente des procédures. Il explique et montre ce qui doit être fait puis passe la main à l'apprenant. Ce dernier réalise alors les opérations sous sa supervision

Figure 7.9 : Méthodes traditionnelles

La conception des environnements virtuels pour l’apprentissage Présentation de la méthode

Exemples et/ou applications

Les méthodes interrogatives préconisent de diriger progressivement l'apprenant vers les solutions recherchées. Ces méthodes mobilisent son attention et sa réflexion. Elles permettent de vérifier de façon continue le niveau de compréhension du contenu par les apprenants.

Un environnement virtuel d'apprentissage permet de proposer des représentations particulières du contenu en vue de montrer une solution ou d'illustrer.

273 Remarques et renvois

Figure 7.10 : Méthodes interrogatives Présentation de la méthode

Exemples et/ou applications

Les méthodes interrogatives préconisent de diriger progressivement l'apprenant vers les solutions recherchées. Ces méthodes mobilisent son attention et sa réflexion. Elles permettent de vérifier de façon continue le niveau de compréhension du contenu par les apprenants.

Un environnement virtuel d'apprentissage permet de proposer des représentations particulières du contenu en vue de montrer une solution ou d'illustrer.

Remarques et renvois

Figure 7.11 : Méthodes fondées sur l’activité à apprendre ou l’apprentissage autonome

274

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Présentation de la méthode Les méthodes basées sur l'expérimentation permettent à un apprenant de découvrir par lui-même les lois et principes régissant les phénomènes ou les processus étudiés. Pour cela, il joue un rôle d’expérimentateur menant l’investigation d’une question en formulant et évaluant des hypothèses au moyen de l’observation, de la simulation de processus ou de l’expérimentation.

Remarques et renvois L'environnement virtuel se Ces méthodes présente comme une permettent de métaphore du laboratoire. Il varier les médias et permet la manipulation des les supports variables (quel qu'en soit le pédagogiques nombre) et en fait percevoir les utilisés [Youngblut, conséquences (même si ces 1998 effets ne sont pas perceptibles). #464] (séquences L'expérimentation "in virtuo" vidéo de [TISSEAU, 01] permet d'élargir démonstration, le champ des expérimentations images, textes et possibles. liens hypertextes).

Exemples d'applications

Figure 7.12 : Méthodes fondées sur l’expérimentation

Présentation de la méthode Les méthodes dites "actives" mettent l'apprenant en position de découvrir par luimême une connaissance ou une solution à un problème. La situation pédagogique offre à la fois un contexte, une mise en situation ainsi que des ressources que l'apprenant peut utiliser selon une stratégie de recherche de solution qui lui est propre. Les scénarios de mise en situation permettent à l'apprenant de (re)construire (cf. constructivisme) de façon progressive et interactive les connaissances qui sont nécessaires pour résoudre les problèmes qui lui sont posés. Ces méthodes développent l'autonomie de l'apprenant.

Exemples d'applications Remarques et renvois Ces méthodes NICE (développé sur la placent volontiers base d'hypothèses les apprenants en constructionistes) invite petits groupes des apprenants à créer autour de situations les objets (plantes) à problème ou de partir desquels ils vont stratégies apprendre. Ils peuvent d'apprentissage observer les particulières (e.g. conséquences de leurs approche actions sur collaborative, l'environnement qu'ils approche socioauront créé au fur et à mesure que se déroule la constructiviste). simulation.

Figure 7.13 : Méthodes dites "actives"

La conception des environnements virtuels pour l’apprentissage

275

7.5.3 ANNEXE 3 : FICHES TECHNIQUES

7.5.3.1

Welding Environment for training - WAVE

Développé par AFPA et CS avec la participation de Immersion. Publics Personnes se formant aux techniques de base du soudage. Finalités Permettre l’acquisition des bases gestuelles et cognitives du soudage. Problème à résoudre L’apprentissage en situation réelle est long, difficile et peu productif : •

la perception du processus est difficile. Seul quelques indices apparaissent sur une surface de quelques centimètres carrés. Ils sont peu visibles et ne peuvent être saisis et interprétés qu’en fin d’apprentissage ;

•

du point de vue moteur, la bonne position de la torche ou du porte électrode résulte de la combinaison de quatre paramètres de position et de vitesse de déplacement à traiter simultanément ;

•

les apprentissages gestuels et cognitifs sont difficilement convergeants.

Principes L’apprenant manipule une torche dont la position est traquée et qui a l’apparence d’une torche de soudage réelle. Les pièces à souder sont représentées sur un écran. Des systèmes de guidage aident l’apprenant. à acquérir les bases gestuelles du soudage. La représentation de la formation du cordon de soudage conjugué à l’absence de lumière, permet à l’apprenant d’avoir un feedback en temps réel de son action. Le formateur peut également suivre le travail de l’apprenant en temps réel et à distance. Utilisation pédagogique Formation par la pratique de l’activité avec apport d’informations non disponibles en situation réelle. Le système intègre un dispositif de suivi des parcours, des exercices, des retours sur la performance et des ressources de formation (séquences vidéo de démonstration...) Interfaces : •

un moniteur ;

•

des capteurs de position et d’orientation intégrés aux outils de soudage ;

276 • •

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

un mobilier permettant de varier les positions de soudage ; l’apprenant porte un masque à souder équipé de fonctions audio.

Remarques Produit développé dans le cadre d’un projet européen IST et du cluster de projets EUSTIM-AMI, commercialisé en 2004 par la société CS. Pour en savoir plus http ://wave.c-s.fr

Figure 7.14 : Projet Welding environment for training - WAVE, photo de CS

La conception des environnements virtuels pour l’apprentissage

Figure 7.15 : Projet Welding environment for training - WAVE, photo de CS

277

278

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.3.2

Virtual Technical Trainer - VTT

Virtual Technical Trainer - VTT Développé par CLARTÉ dans le cadre de Perf-RV en partenariat avec l’AFPA et la société SIMTEAM avec la participation de le LEI (Université de Paris V), l’IRISA, l’ESIEA. Publics : • •

•

personnes en formation d’opérateur sur fraiseuses à commande numérique ; personnes en formation de technicien concepteur (concevant des pièces qui seront réalisées à partir de techniques d’usinage) ; tout public utilisant directement ou indirectement des procédés d’usinage.

Finalités Permettre à un apprenant de découvrir les principes de base de l’usinage, de se construire des modèles mentaux des processus engagés et de leurs limites. Problème à résoudre La généralisation progressive de la commande numérique sur les machines d’usinage crée une distance par rapport au procédé. Celui-ci devient de moins en moins perceptible. L’opérateur doit pouvoir anticiper l’ensemble du processus d’usinage. Il en fait la traduction en données numériques. Ce contexte rend l’apprentissage plus difficile. Les formations qui utilisaient des machines à manivelles permettaient à l’apprenant de ressentir les efforts de coupe de la machine et d’ajuster ses réglages en temps réel afin de conserver une sollicitation optimale de la machine. Les formateurs cherchent, notamment, à trouver un moyen d’aider les apprenants à se construire des représentations sensori-motrices des efforts engagés par la machine. Principes Utilisation d’une métaphore consistant à demander à l’apprenant de saisir directement l’outil de coupe, de l’amener sur la pièce et de le déplacer afin de réaliser ses passes. Pour cela on utilise un bras à retour d’effort qui représente l’outil de coupe. Utilisation pédagogique À travers une mise en situation progressive, l’apprenant découvre, par manipulation, les principes de l’usinage, les effets de la variation des réglages sur l’effort de coupe de la machine, les situations limites et l’usure des outils. Interfaces : • un moniteur ; • un bras à retour d’effort.

La conception des environnements virtuels pour l’apprentissage

279

Remarques Des évaluations ergonomiques ont conduit à reconsidérer le système d’interfaçage. Les études se poursuivent, d’un côté, avec le développement d’un dispositif à retour d’effort dédié et, de l’autre, par l’étude de l’utilisation de principe "pseudo-haptique" (interface haptique passive couplée à la vision et à l’audition). Références www.perfrv.org et www.clarte.asso.fr

Figure 7.16 : Projet Virtual Technical Trainer, photo de CLARTÉ

280

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.3.3

SécuRévi : Formation à la sécurité civile par la réalité virtuelle

Développé par le Laboratoire d’Ingénierie Informatique (Ecole Nationale d’Ingénieurs de Brest) avec la participation du Service Départemental d’Incendie et de Secours du Finistère (SDIS 29). Publics Officiers sapeurs pompiers. Finalités Former à la prise de décision lors d’interventions sur des sites à risques classés " SEVESO ". Problème à résoudre D’un côté, l’apprentissage de procédures complexes à partir de documents papier est difficile, et de l’autre, les incidents réels sont impossibles à reproduire et ne permettent pas aux sapeurs pompiers de s’entraîner à les résoudre. Principes Modélisation de sites " SEVESO " et exécution de procédures d’urgence en cas d’incident. L’officier donne ses instructions à des équipes de sapeurs pompiers virtuels qui les exécutent. Des événements tels que des fuites de gaz sont rendus perceptibles. Le professeur peut intervenir à tout moment sur l’environnement virtuel afin de le modifier. SécuRéVi est décrit par un modèle de système multi-agents et est simulé à l’aide de ARéVi fondé sur le langage de programmation agent interprété oRis. Utilisation pédagogique Les scénarios d’utilisation sont en construction. Interfaces : • •

moniteurs ; souris 3D «Spacemouse».

Remarques SécuRévi fait l’objet d’une convention avec l’INESC (Institut National des Etudes sur la Sécurité Civile), le Service d’Incendie et de Secours du Finistère et l’Ecole des Mines d’Alès. Références www.enib.fr/li2

La conception des environnements virtuels pour l’apprentissage

Figure 7.17 : SécuRéVi, photo de l’ENIB

281

282

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.3.4

Formation individualisée des agents de conduite - FIACRE

Développé par la SNCF avec la participation de l’Ecole des mines de Paris. Finalités Formation à l’intervention manuelle sur les aiguillages en cas de dysfonctionnement des automatismes. Publics Conducteurs des TGV. Problème à résoudre Les contraintes d’exploitations commerciales empêchent la formation sur site réel. Principes Reconstitution d’un environnement représentant la situation réelle. Le déplacement le long des voies se fait sur un tapis de marche. Un gant de données muni d’un capteur de position permet de manIJuvrer boîtiers et dispositifs de commandes. Utilisation pédagogique Formation individualisée en présence d’un formateur qui donne les consignes et suit les activités de l’apprenant. Interfaces : • • • • •

tapis de marche ; capteurs de positions ; grand écran ; joystick ; gant de données.

Remarques Le prototype SOFI, avant la réalisation de Fiacre, a permis de tester un système de tuteur intelligent (HAL - Help Agent for Learning) analysant les erreurs de l’apprenant et proposant des choix d’actions au formateur.

La conception des environnements virtuels pour l’apprentissage

Figure 7.18 : Le dispositif Fiacre, photo de la SNCF

283

284

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.3.5

Narrative-based Immersive Contructionist/Collaborative Environments - NICE

Développé par EVL (Electronic Visualization Laboratory) et ICE (Interactive Computing Environments Laboratory) - University of Illinois - Chicago. Publics Enfants de 6 à 10 ans. Finalités Développer un banc d’essais pour expérimenter la réalité virtuelle comme ressource pour l’apprentissage. L’approche pédagogique est basée sur le constructionisme 6 : les utilisateurs réels et virtuels collaborent à la construction de mondes virtuels durables. Problème à résoudre Permettre aux enfants de découvrir et de comprendre l’influence de l’environnement sur la croissance de différents types de plantes. Principes Le système propose un petit écosystème sur les rivages d’une île imaginaire. Les utilisateurs y organisent collectivement leur jardin puis y sèment des plantes qu’ils auront conçues eux-mêmes. Les plantes, fleurs ou arbres poussent à un rythme qui dépend de l’échelle de temps choisie (le projet peut durer de quelques jours à six mois). Les plantes se développent au mieux lorsque leurs paramètres (espace propre, âge, quantités d’eau et de soleil reçues...) sont adaptés à leurs caractéristiques. Le système fait appel à des métaphores et images symboliques (une plante qui reçoit trop de soleil porte des lunettes de soleil...) afin d’exprimer certains états des variables importantes de la situation. Les traces narratives rendent compte des actions des enfants et de la réaction (personnifiée) des plantes ou des éléments. Chaque groupe d’enfant est représenté par un avatar. Utilisation pédagogique Un groupe d’enfants développe collaborativement le jardin virtuel à partir d’un espace vierge et de graines. Ils conçoivent leurs plantes puis les plantent. Ils peuvent intervenir sur les variables (ensoleillement, pluie...) et observer les conséquences au fil du temps. L’environnement poursuit sont développement en dehors de la présence des enfants qui, lors de leur nouvelle visite, pourront constater les changements opérés. L’enfant peut d’ailleurs suivre cette évolution à tout moment par Internet. Les enfants peuvent changer d’échelle (sizing) : se faire petit au point d’aller voir les racines des plantes et d’y rencontrer des vers de terre... ou, au contraire, prendre de la hauteur. 6 mode d’apprentissage par construction des objets de l’apprentissage dans un environnement numérique se référant aux théories constructivistes.

La conception des environnements virtuels pour l’apprentissage

285

Interfaces : • • •

•

visiocube avec le son, virtual reality theater, pour le groupe d’utilisateurs/créateurs ; joystick (baguette magique) pour les déplacements et les actions ; ordinateurs de bureau : un site web permet aux enfants de suivre à distance l’évolution du monde virtuel et d’échanger entre eux grâce à un chat via Internet ; une imprimante : une version iconique rendant compte de l’état du monde virtuel peut être imprimée.

Remarques Cette application a été conçue à l’occasion d’une réforme de l’enseignement primaire aux USA. Références www.evl.uic.ed/tile/NICE/NICEintro.html www.ice.eecs.uic.edu/ nice

Figure 7.19 : Projet NICE, photo de EVL

286

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.3.6

TRUck Simulator for Training TRUST800

Développé par Thales Training & Simulation avec la participation de AFT (Association pour la formation au transport) et autres partenaires dans le cadre du projet européen TRACS. Publics Personnes désirant obtenir les Licences C, D et E ainsi que les diplômes de Formation Initiale Minimum Obligatoire (FIMO) et de Formation Continue Obligatoire de Sécurité (FCOS) (conducteurs routiers professionnels) dans le cadre de formations à la conduite routière. Finalités Acquisition des comportements routiers à la fois de base et de perfectionnement (situations dangereuses) pour les conducteurs de poids lourds et d’autocars. Problème à résoudre Permettre l’acquisition des éléments fondamentaux de la conduite de poids lourds ou d’autocars ainsi qu’autoriser un perfectionnement tout au long de la carrière du conducteur routier. Cette acquisition doit se faire de façon progressive et sans danger : en effet, la conduite réelle mobilise simultanément des capacités multiples dans un environnement présentant des risques réels. Principes Il s’agit d’un simulateur de conduite de poids lourds haut de gamme constitué d’une cabine réelle de camion RVI Premium montée sur une interface de simulation de mouvement à moteurs électriques à 6 degrés de liberté. Un environnement virtuel est projeté sur des écrans frontaux (180 degrés horizontaux par 40 degrés verticaux). Les rétroviseurs sont simulés. A partir d’un poste dédié, l’instructeur peut faire varier plusieurs paramètres (météo, heure du jour) ainsi qu’introduire des pannes (crevaison, perte de frein). De nombreuses fonctionnalités pédagogiques permettent le suivi des parcours des apprenants, la réalisation d’exercices et de leur évaluation, la possibilité pour le formateur de créer ou de modifier des exercices. Utilisation pédagogique Il est utilisé pour former des conducteurs débutants (permis C,D et E) ainsi que pour améliorer les capacités des conducteurs routiers professionnels expérimentés (FIMO et FCOS). Il permet de transférer progressivement des apprentissages de base et de perfectionnement en vue de leur utilisation sur véhicules réels au fur et à mesure de leur acquisition. Interfaces : •

cabine de camion réel dont les instruments sont interfacés avec l’ordinateur (volant, changement de vitesses, pédales...) ;

La conception des environnements virtuels pour l’apprentissage • • • •

287

grand écran et deux moniteurs à hauteur des rétroviseurs ; bruiteur : bruit du moteur et du trafic extérieur ; interphone avec le poste du tuteur ; moniteur à l’intérieur de la cabine pour suivre le parcours de formation et choisir les exercices.

Références www.ttsl.co.uk/products/roads.htm

Figure 7.20 : Projet TRUST800, photo de Thales Training & Simulation

288

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.3.7

Formation EDF au diagnostic de panne en robinetterie industrielle

Formation EDF au diagnostic de panne en robinetterie industrielle, développée par EDF (Recherche et Développement, Services de la Formation Professionnelle avec la participation de la Division Topographique). Publics Techniciens de centrales électriques. Finalités Former à l’acquisition d’une démarche de diagnostic de panne. Problème à résoudre Faire acquérir la démarche à travers une analyse de cas pouvant être exploitée en groupe. Principes Le système permet de visualiser interactivement un robinet industriel sur un écran. Il est possible de faire apparaître le nom de chaque pièce, de démonter progressivement les éléments, de voir à travers les composants, de visualiser les mécanismes en fonctionnement normal, d’appréhender de manière simplifiée les flux et les efforts de pressions, de simuler deux pannes et de rappeler les principes logiques présidant à la démarche de diagnostic. Le robinet virtuel est mis en situation dans son environnement grâce à des données issues de mesures laser réalistes. Utilisation pédagogique Le formateur pilote le dispositif en suivant les instructions transmises au groupe d’apprenants. Ceux-ci cherchent collectivement à appliquer une démarche de diagnostic de panne afin de trouver la cause du dysfonctionnement du robinet industriel. Interfaces : • •

un moniteur de grande taille ; une souris 3D.

Remarques Cette réalisation datant de 1997 s’appuie sur les acquis du multimédia éducatif. Le développement a été réalisé sur la base de spécifications d’usages pédagogiques précises. Le système a été évalué (comparaison avec la même formation faite sans réalité virtuelle, quantification sur robinets réels à la fin des 2 types de formation). Il permet une réduction de 30% des durées d’apprentissage.

La conception des environnements virtuels pour l’apprentissage

289

Figure 7.21 : Photo du projet de formation EDF au diagnostic de panne, photo EDF

290

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.5.3.8

Projet Steve : SOAR Training Expert for Virtual Environment

Développé par Information Sciences Institute (University of Southern California - USC) avec la participation de Lockheed AI Center et du Behavioral Technology Laboratory. Publics Personnel technique embarqué de l’US Navy. Finalités Former à la conduite et à la maintenance de compresseurs. Problème à résoudre Produire un système d’assistance à l’apprentissage. Principes L’apprenant est immergé dans un environnement virtuel reproduisant une salle machine (compresseurs) d’un bâtiment de l’US Navy. Il doit apprendre à y effectuer des actions de surveillance et de maintenance. Un agent virtuel, STEVE, avec lequel il est possible de dialoguer, est présent. STEVE peut montrer, expliquer, répondre à des questions, laisser faire et évaluer l’action. Le système a été conçu pour la formation à des tâches procédurales. Utilisation pédagogique L’apprenant est immergé dans la scène. STEVE joue un rôle de tuteur dont la pédagogie est démonstrative. L’apprenant reproduit ce que STEVE lui a montré. Interfaces : • • • • •

visiocasque ; capteurs de position ; gant de données ; microphone ; haut-parleurs.

Références www.isi.edu/isd/VET/vet.html

La conception des environnements virtuels pour l’apprentissage

Figure 7.22 : Projet Steve, photo de l’USC

291

292

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.6 RÉFÉRENCES BIBLIOGRAPHIQUES [Adams, 1995] [Aubert, 1999]

[Anderson, 1989] [Bastien, 1984]

[Bastien, 1988 ]

[Bastien, 2002]

[Bastien, 2003]

[Bétrancourt, 2000] [Bisseret,1969]

[Bisseret, 1999] [Boling, 1999]

[Boucheix, 1999]

[Bruillard, 1997] [Burkhardt, 2003] [Burkhardt, 2002]

[Burkhardt, 1999]

[Burkhardt, 1998]

N. Adams and L. Lang, "VR improves Motorola Training Program," in AI Expert, (1995), pp. 13-14. S. Aubert, "Présentation de l’histoire de la formation des peintres", Actes de journées de Bordeaux sur la pratique de l’ergonomie, Bordeaux, Université V. Segalen, pp 6-14 (1999). J. R. Anderson, F. Conrad, A. T. Corbett. Skill acquisition and the Lisp Tutor. Cognitive Science, 13, 467-505, (1989). C. Bastien, Réorganisation et construction de schèmes dans la résolution de problèmes, Revue Psychologie française, 29 3/4,pp. 243-246, (1984). C. Bastien, Les modèles de résolution de problèmes, in J.P. Caverni, C. Bastien, P. Mendelsohn, G. Tiberghien (Eds.), Revue Psychologie cognitive : modèles et méthodes, Grenoble, PUG, pp. 27-40, (1988). Bastien, J. M. C. et Scapin, D. L. (2002). Les méthodes ergonomiques : de l’analyse à la conception et à l’évaluation. Ergonomie et Informatique Avancée (Ergo-IA’2002) (Biarritz, France, 8 au 10 octobre) (pp. 127-143), Biarritz, I.D.L.S. Bastien, J. M. C. et Scapin, D. L. (2003, à paraître). La conception de logiciels interactifs centrée sur l’utilisateur : étapes et méthodes. In P. Falzon (Ed.), Traité d’ergonomie. Paris, France : Presses Universitaires de France. M. Bétrancourt and B. Tversky (2000). Effect of computer animation on user’s performance : a review. Le travail humain, 63(4), 311-329. A. Bisseret and C. Enard, "Problème de la structuration de l’apprentissage d’un travail complexe : une méthode de formation par interaction constantes des unités programmées," Bulletin de Psychologie, vol. 23, pp. 632-648, 1969-1970. A. Bisseret, S. Sebillotte, and P. Falzon, Techniques pratiques pour l’étude des activités expertes. Toulouse : Octares editions, 1999. N. C. Boling and D. H. Robinson, "Individual study Interactive multimedia, or cooperative learning which activity best supplements lecturebased distance education ?," Journal of educational psychology, vol. 91, pp. 169-174, 1999. J.-M. Boucheix, A. Chanteclair. Analyse de l’activité, cognition et construction de situations d’apprentissage : le cas des conducteurs de grues à tour. Education permanente, n. 139, 1999, pp. 115-140. E. Bruillard (1997). Les machines à enseigner. Paris : édition Hermès. J.-M. Burkhardt, "Réalité virtuelle et ergonomie : quelques apports réciproques," Le Travail Humain, vol. 66 (1), pp. 65-91, 2003. J.-M. Burkhardt and M. Wolff, "Réalité virtuelle et nouvelles technologies en formation : vers une formalisation des critères de choix et de la démarche centrée sur l’apprentissage," Université Paris 5 Laboratoire d’Ergonomie Informatique, Paris rapport de fin de contrat SNCF-LEI, 2002. J.-M., Burkhardt, D., Lourdeaux et P Fuchs (1999). Conception d’un système de RV pour la formation des agents de conduites aux opérations en milieu ferroviaire. In A. Grumbach et N. Richard (Eds.), Journées Réalité Virtuelle et Cognition (pp. 123-132). Paris : ENST. J.-M. Burkhardt, G. Michel, L. Ronca, J.-C. Sperandio (1998). L’apport de l’ergonomie aux nouvelles technologies éducatives : la formation

La conception des environnements virtuels pour l’apprentissage

[Byrne, 1996 ]

[Chan, 1990]

[Chan, 1996]

[Chartier, 2000]

[David, 2001]

[Dede, 1996]

[Denis, 1993]

[Draper, 1998] [Durey, 1960]

[Eberts, 1997]

[Frasson, 1996]

[Frejus, 1996]

[Frejus, 1999]

[Gay, 1994]

[Grau, 1998]

293

médicale virtuelle. In actes de NTICF 98 (Nouvelles Technologies de l’Information et de la Communication dans la Formation), (pp 15-20). Rouen, 18-20 Novembre 1998 : CNED. Byrne, C. M. (1996) Water on Tap : the use of virtual reality as an educational Tool. PhD. Dissertation, Department of Industrial Engineering, Washington university, Seattle. T.-W. Chan, A. Baskin, Learning Companion Systems, in C. Frasson, G. Gauthier (Eds.), Intelligent Tutoring Systems : At the Crossraod of Artificial Intelligence and Education, Norwood, NJ : Ablex, pp. 6-33, (1990). T.-W. Chan, Learning companion systems, social learning systems, and the global social learning, Journal of Artificial Intelligence in Education, 7(2) :125-159, (1996). D. Chartier, J. Desbuqois, Les styles d’apprentissage en 16 questionsréponses, Infotechnique 00-04. AFPA-INOIP, Unité Orientation, (2000). Ph. David, D. Lourdeaux. A simulator using Virtual Reality techniques for training driver to manual interventions on the tracks. WCRR’01, World Conference on Railway Research. Poster presentation. Cologne, Allemagne, 2001. C. Dede, M. C. Salzman, and R. B. Loftin, "ScienceSpace : research on using virtual reality to enhance science education," presented at proceedings ED-MEDIA 96, Boston, 1996. Denis M., Pour les représentations, in M. Denis, G. Sabah (Eds.), Modèles et concepts pour la science cognitive, Grenoble, PUG, pp. (95106, (1993). J. V. Draper, D. B. Kaber, and J. M. Usher, "Telepresence" Human Factors, vol. 40, pp. 354-375, 1998. D. Durey (1960). Formation professionnelle fondée sur l’analyse du travail. La formation des mécanographes. Psychologie Française, 5(3), 187-212. R. E. Eberts, "Computer-based instruction", in Handbook of HumanComputer Interaction, M. Helander, T. K. Landauer, and P. Prabhu, Eds. Amsterdam, Lausanne, New-york, Tockyo, London : Elsevier Science, 1997, pp. 825-847. C. Frasson, T. Mengelle, E. Aïmeur, G. Gouarderes, An Actor-based Architecture for Intelligent Tutoring Systems, Proceedings of the Third International Conference on Intelligent Tutoring Systems (ITS ’96), Springer, number 1086 in Lecture Notes in Computer Science,pp. 5765, (1996)0. Falzon, P. (2003-à paraître). Traité d’Ergonomie, Paris : PUF. M. Frejus and A. Drouin, "Réalité virtuelle et processus cognitifs : état de l’art et perspectives en formation," EDF -Direction des études et recherches, Rapport technique HI-52/96/020, 21 aout 1996. M. Fréjus (1999). Analyser l’activité d’explication pour concevoir en terme d’aide : application à la formation et à la négociation commerciale. Thèse de doctorat en Psychologie Cognitive mention Ergonomie, Université Paris 5, Paris. E. Gay, "Is virtual reality a good teaching tool ?," Virtual Reality special report, vol. Winter, pp. 51-59, 1994. [Goguelin, 1997] P. Goguelin, La formation animation : une vocation. Paris : ESF, 1987. 0. Grau, J.-Y., Doireau, P. et Poisson, R. (1998). Conception et usage de la simulation. Le Travail Humain, 61, 361-385.

294

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[Hoc, 1993]

J.M. Hoc, Conditions méthodologiques d’une recherche fondamentale en psychologie ergonomique et validité des résultats, Revue Le Travail Humain, 56(2-3) :171–184, (1993).

[Hörtner, 2001]

H. Hörtner, P. Maresh, C. Lindenger, G. Pomberger, and H. Pinger, "3D Simulation of Industrial Production processes in a virtual Continuous casting environment," presented at Virtual Reality International Conference VRIC 2001, 16-18 Mai 2001, Laval France, 2001.

[Johnson, 1999]

L. Johnson, J. Rickel, R. Stiles, and A. Muro, "Integrating Pedagogical Agents into Virtual Environments," Presence, vol. 7, pp. 523-546, 1999.

[Jonson, 1985 ]

W. E. Jonson, E. Soloway (1985). PROUST : Knowledge-based program understanding. IEEE Transactions on Software Engineering, 11 (3), pp 11-19.

[Johnson, 2001]

A. Johnson, T. Moher, S. Ohlsson, J. Leigh (2001). Exploring multiple representations in elementary school science education. In H takemura et K Kiyokawa (Eds.) IEEE Virtual Reality Conference (pp 201-208). Yokohama, Japan 13-17 march 2001 : IEEE Press.

[Kalawsky, 1996]

R.S. Kalawsky, Exploiting virtual Reality Techniques in Education and training : Technical Issues, AGOCG, (1996).

[Laird, 1987]

J.E. Laird, A. Newell, P.S. Rosenbloom, Soar : An Architecture for General Intelligence, Artificial Intelligence, Vol. 33,pp. 1-64, (1987).

[Leplat, 1997]

J. Leplat, (1997). Simulation et simulateur : principes et usages. In J. Leplat (Ed.) Regards sur l’activité en situation de travail : contribution à la psychologie ergonomique (pp. 157-181). Paris : PUF.

[Lourdeaux, 2001]

D. Lourdeaux (2001). Réalité Virtuelle et formation : conception d’environnements virtuels pédagogiques. Thèse de doctorat en Informatique, Ecole des Mines de Paris.

[Lourdeaux, 2002]

D. Lourdeaux, J.-M. Burkhardt, F. Bernard, and P. Fuchs, "Relevance of an intelligent tutorial agent for virtual reality training systems," International Journal of Continuing Engineering Education and Life-long Learning, vol. 12, pp. 214-229, 2002.

[Malik, 2001]

E. Malik, B. Martin, I. Peci, and R. Vivian, "Le retour de force : une aide à l’apprentissage des mathématiques pour les enfants déficients visuels ?," presented at Actes de la conférence JIM’2001 : Interaction Homme-Machine et Assistance, Metz, juillet 2001, 2001.

[Marsella, 2001]

S. Marsella, J. Gratch, Tears and eears : Modeling emotions and emotional behaviors in synthetic agents, Proceedings of the 5th International Conference on Autonomous Agents, Montréal Canada, June 2001, (2001).

[Mayhew, 1999]

Mayhew, D. J. (1999). The usability engineering lifecycle A practitioner’s handbook for user interface design. San Fransisco, CA : Morgan Kaufmann.

[Mellet, 2001a]

D. Mellet d’Huart, "La réalité virtuelle : un média pour apprendre," presented at Hypermédias et apprentissages, Grenoble, 9-10 avril 2001, 2001.

[Mellet, 2001b]

D. Mellet d’Huart, "Training beyond the reality : when the abstract becomes real," presented at Virtual Reality International Conference VRIC 2001, 16-18 Mai 2001, Laval France, 2001.

[Mellet, 2001c]

D. Mellet d’Huart, P. Richard, D. Dominique, VR for Education and Training : State of Art and Typology of Uses, in S. Richir, P. Richard, B. Taravel (Eds), Proceedings of Virtual Reality International Conference, ISTIA Innovation, pp. 47-55, (2001).

La conception des environnements virtuels pour l’apprentissage [Merickel, 1994]

[Morineau, 2000]

[Newell, 1990] [Norman, 1986] [Patrick, 1992] [Pantelidis, 1996] [Papert, 1981] [Querrec, 2002]

[Randall, 2003]

[Regenbrecht, 1998]

[Richard, 1988 ]

[Richard, 1990 ] [Rickel, 1999]

[Rickel, 2001]

[Riguet, 2000]

[Rossi, 1997] [Samurcay, 1998]

[Shawyer, 2000]

[Stanney, 1998]

295

M. L. Merickel, "The relationship between perceived realism and the cognitive abilities of children," Journal of research on Computing in Education, vol. 26, pp. 371-381, 1994. T. Morineau (2000) Context effect on problem solving during a first immersion in a virtual environment. Cahiers de Psychologie Cognitive, 19, 533-555. A. Newell, (1990) "Unified theories of cognition", Harvard University Press. D. A. Norman and S. W. Draper, "User-centred system design." Hillsdale NJ : Lawrence Erlbaum associates, 1986. Patrick, J. (1992). Training : research and Practice. London : Academic Press. V.S. Pantelidis, Suggestions on When to Use and When Not to Use Virtual Reality, Education Virtual Reality in the Schools, (1996). S. Papert, Jaillissement de l’esprit (Ordinateurs et apprentissage), Paris, Flammarion, Collection Champs n 210, (1981). R. Querrec, Les Systèmes Multi-Agents pour les Environnement Virtuels de Formation, Thèse de doctorat, Université de Bretagne Occidentale, (2002). W. H. Randall, Jr. Hill, J. Gratch, J. Rickel, W. Swartout, D ; Traum, Virtual Humans in the Mission Rehearsal Exercise System, KI Journal, (2003). H. T. Regenbrecht, T. W. Schubert, and F. Friedman, "Measuring the sense of presence and its relations to fear of heights in virtual environments," International Journal of Human-Computer Interaction, vol. 10, pp. 233-249, 1998. J.F. Richard, S. Poitrenaud, Problématique de l’analyse des protocoles individuels d’observations comportementales, in J.P. Caverni, C. Bastien, P. Mendelsohn, G. Tiberghien (Eds.), Psychologie cognitive : modèles et méthodes, Grenoble, PUG, pp. 405-426, (1988). J.F. Richard , Les activités mentales : comprendre, raisonner, trouver des solutions, Paris, Armand Colin, (1990) J. Rickel, W. L. Johnson, Virtual Humans for Team. Training in Virtual Reality, Proceedings of the Ninth World conference on AI in Education, IOS Press, pp. 578-585, (1999). J. Rickel, J. Gratch, R. Hill, S. Marsella, W. Swartout, Steve Goes to Bosnia : Towards a New Generation of Virtual Humans for Interactive Experiences, AAAI Spring Symposium on Artificial Intelligence and Interactive Entertainment, Standford University March 2001, (2001). N. Riguet. Analyse de l’activité des formateur en vue de donner des recommandations à la conception d’un outil d’aide aux formateurs, rapport de DESS. Université Paris 8. 2000. J.-P. Rossi, L’expérimentation en psychologie. Paris : Dunod, 1997. R. Samurcay et V. De Keyser (1998). Formation, simulateur et simulations (coordinatrices du numéro spécial). Le travail humain, 61(4), 305-402. D. Shawver, A. Sobel, M. Prasad, and L. Tapia, "Design and implementation of a virtual reality system and its application to training medical first responders," Presence : Teleoperators and Virtual Environments, vol. 9, pp. 524-556, 2000. K. M. Stanney, R. R. Mourant, and R. S. Kennedy, "Human factors issues in virtual environments : a review of the litterature,"Presence : Teleoperators and Virtual Environments”, vol. 7, pp. 327-251, 1998.

296

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[Tchounikine, 2002]

[Thibault, 2002]

[Tiberghien, 1988]

[Verna, 1998a]

[Verna, 1998b]

[Vygotsky, 1978] [Willans, 2001]

[Winn, 1993]

[Winn, 1997]

P. Tchounikine, Pour une Ingénierie des Environnements Informatiques pour l’Apprentissage Humain, Revue I3 information- interactionintelligence, 2, (2002). Thibault, G., EDF : 5 ans d’expérience de formation avec la réalité virtuelle. Communication présentée lors de la Session spéciale "Réalité Virtuelle et Formation : Une Autre Approche du Réel". Conférence Internationale de la Réalité Virtuelle, Laval, 20 juin 2002. G. Tiberghien, Modèles de l’activité cognitive : introduction, in J.P. Caverni, C. Bastien, P. Mendelsohn, G. Tiberghien (Eds.), Psychologie cognitive : modèles et méthodes, Grenoble, PUG,(13-26) :(1988). D. Verna et A. Grumbach. Sémantique et Localisation de l’Assistance en Réalité Virtuelle. 6ièmes Journées de Travail du GT Réalité Virtuelle. Issy-les-Moulineaux, 12-13 mars, 1998. D. Verna and A. Grumbach, "Can we define Virtual Reality ? The MRIC Model", in Virtual worlds 98, LNAI 1434, J.-C. Heudin, Ed. Berlin : Springer Verlag, 1998, pp. 29-41. L.S. Vygotsky, Mind in society : The development of higher psychosocial processes, Cambridge MA, Harvard University Press (1978). J. S. Willans et M. D. Harrison (2001). A toolset supported approach for designing and testing virtual environment interaction techniques. International Journal of Human-Computer Studies, 55, 145-165. W. Winn, "A conceptual basis for educational applications of virtual reality," HITL university of washington, Seattle Washington, Technical Publication R-93-9, 1993. W. Winn, The Impact of Three-Dimensional Immersive Virtual Environements on Modern Pedagogy, (1997).

8

RÉALITÉ VIRTUELLE ET PSYCHIATRIE

Evelyne Klinger et Isabelle Viaud-Delmon

8.1

INTRODUCTION

Dans ce chapitre, nous aborderons les thèmes de réflexion qui sont soulevés par l’utilisation de la réalité virtuelle en psychiatrie. Ces réflexions font l’objet d’un axe spécifique de recherche de l’UMR 7593 du CNRS dirigée par Roland Jouvent à l’Hôpital de la Salpetrière, où Isabelle Viaud-Delmon est chargée de recherche et responsable des applications thérapeutiques et expérimentales liées à la réalité virtuelle. D’autre part, une importante revue de la littérature est proposée par Evelyne Klinger, qui est chargée du développement français du projet européen Vepsy, présenté dans ce chapitre. Les dispositifs de réalité virtuelle ont permis la mise en place de nombreux paradigmes de recherche en neurosciences comportementales ces dernières années. La facilité avec laquelle il est possible de manipuler expérimentalement les différentes informations sensorielles fournies au sujet fait de la réalité virtuelle un outil de choix pour l’étude de l’intégration multisensorielle chez l’homme et de ses troubles. Par ailleurs, dans le domaine de la psychopathologie clinique, l’exposition de patients à des environnements virtuels permet de mettre en œuvre de nouvelles formes de thérapie présentant de nombreux intérêts. Cependant, l’utilisation de dispositifs de réalité virtuelle en psychopathologie clinique et expérimentale pose au moins deux problèmes majeurs [Viaud-Delmon e.a., 2001]. Le premier est lié au nombre limité de modalités sensorielles sollicitées par l’outil, qui se limite le plus souvent à intégrer les modalités visuelles et idiothétiques (ensemble des informations proprioceptives et vestibulaires). Le deuxième est lié au caractère "déréalisant" de la réalité virtuelle et renvoie à la notion de présence. La pratique du virtuel ouvre des champs nouveaux. La pression de l’évolution via les nouvelles technologies pousse vers la déréalisation et l’individu se trouve confronté au maniement de son aptitude à la présence, compétence dont la définition n’est pas consensuelle mais qui renvoie aux notions d’identité, de conscience... Au plan psychopathologique, un certain nombre de questions se pose. La première concerne la dangerosité de ces phénomènes en terme de facteur de risque pour l’émergence d’états mentaux pathologiques. Il est raisonnable de se demander si l’absence de représentation du corps propre du sujet n’induit pas des expériences dissociatives. La réalité virtuelle est basée sur le sentiment de présence dans un monde qui n’existe pas. Un lycéen ne risque-t-il pas de se trouver fragilisé pour dépasser l’inévitable remaniement identitaire que représente son adolescence, si la pratique du virtuel l’invite fréquemment à changer son cadre de référence ?

8.2

ATOUTS ET INCONVÉNIENTS DE LA RÉALITÉ VIRTUELLE

Les dispositifs de réalité virtuelle permettent la mise en place de traitements innovants alternatifs ou de soutien. Outre la possibilité d’utiliser des scénarios nombreux et variés, l’envoi de stimuli difficiles à présenter par d’autres moyens (dynamiques, interactifs, 3D) offrent de nouvelles possibilités d’étudier le fonctionnement du système

298

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

nerveux central de l’homme. La présentation de stimuli répétitifs et gradués, pouvant varier de simples à complexes, de supportables à moins supportables, et ce en fonction du succès de la personne soumise à l’expérience, est un avantage indéniable. De plus, la possibilité d’un feedback immédiat après une action, selon une grande variété de formes et dans plusieurs registres de modalités sensorielles, peut faciliter l’amélioration de la performance du sujet. Malgré tout, la généralisation de l’utilisation de dispositifs de réalité virtuelle est encore bloquée par l’éventuelle difficulté de l’installation dans des environnements inadaptés (ex : dans les hôpitaux). Il faut également noter que certaines interfaces s’avèrent parfois trop complexes à manipuler pour certains patients. Enfin, outre le fait que les dispositifs peuvent provoquer des effets secondaires pendant ou après les séances d’immersion, plusieurs questions fondamentales doivent être soulevées lors de l’utilisation de ces dispositifs en psychopathologie expérimentale et clinique. 8.2.1 LE CAS DES THÉRAPIES EN PSYCHOPATHOLOGIE CLINIQUE

Les dispositifs de réalité virtuelle permettent la mise en place de traitements innovants alternatifs ou de soutien. L’exposition à des environnements virtuels permet au patient de mettre en œuvre sa thérapie dans un cadre privé et sécurisant, tout en étant exposé à des situations provocatrices sans limitation d’espace. Il est également possible de singulariser les stimuli, laissant ainsi envisager la mise en œuvre de programmes spécifiques à une situation pathologique donnée. Le traitement peut être contrôlé en temps réel par le thérapeute, qui peut l’arrêter à tout moment pour discuter et/ou intégrer d’autres outils. Les premiers essais de thérapie en réalité virtuelle ont conduit aux observations suivantes [North e.a., 1998a] : •

•

• •

•

•

•

l’exposition d’une personne à une situation dans un environnement virtuel peut évoquer les mêmes réactions et émotions que l’exposition à une situation réelle semblable ; une personne peut éprouver un sentiment de présence dans l’environnement virtuel semblable à celui qu’il pourrait avoir dans le monde réel même lorsque l’environnement virtuel ne représente pas exactement ou complètement la situation réelle ; chaque personne introduit son propre vécu dans une exposition en réalité virtuelle ; l’exposition à un environnement virtuel augmente le sens de présence du participant lors de sa thérapie ; le sentiment de présence dans un environnement doit être stable : les sujets doivent renoncer à la présence dans un environnement (par exemple, environnement réel) pour atteindre un sentiment plus fort de présence dans l’autre (par exemple, monde virtuel) ; la concentration du sujet augmente de manière significative dans le monde virtuel par rapport à celle dans le monde réel quand le sujet a assez d’interactions pour développer un sens fort de présence dans l’environnement virtuel ; les perceptions des situations et le comportement d’une personne dans le monde réel peuvent être modifiés sur la base de ses expériences dans un monde virtuel.

Cependant, si la réalité virtuelle semble être un outil efficace dans le domaine de la psychothérapie, son utilisation présente des limites, voire des contre-indications. La

Réalité virtuelle et psychiatrie

299

réalité virtuelle peut ne pas être un outil de choix pour tous les troubles psychologiques ou pour tous les patients. Si l’on considère par exemple le cas des schizophrènes qui souffrent d’un détachement de la réalité, il est possible que la transition entre un monde virtuel et le monde réel ne fasse qu’accroître leur confusion [Cartwright, 1994]. Pour les claustrophobes, le confinement d’un visiocasque peut aggraver les symptômes. Par conséquent, avant la confrontation au monde virtuel, un contrôle préalable des patients semble nécessaire pour évaluer les risques [Wiederhold e.a., 1998]. 8.2.2 CONFLITS SENSORIELS ET COGNITIFS

Le monde virtuel expose l’utilisateur du système à des conflits de divers types. Toutes les informations sensorielles usuellement disponibles dans le monde environnant ne le sont pas nécessairement dans le monde virtuel. Prenons l’exemple d’un patient que l’on expose à un paysage vertigineux dans un visiocasque. Il se peut qu’il éprouve le besoin, pour regarder le fond du précipice, de trouver un appui. On peut alors avoir prévu à cet effet une balustrade dans l’environnement réel du sujet, sur laquelle le patient pourra prendre appui. Un nouveau choix s’imposera alors, celui de figurer ou non la balustrade dans le monde virtuel. Mais pour que cela ne représente pas un nouveau conflit sensoriel, ceci nécessite d’équiper le sujet de capteurs de position des mains et de représenter celles-ci dans le monde virtuel. Sans cela, un conflit s’en suivrait : le patient voit une balustrade dans le monde virtuel, il s’appuie dessus sans que son mouvement ne soit figuré dans l’environnement. Seules ses informations proprioceptives l’informent qu’il est en train de s’appuyer sur un objet. Une telle escalade dans la reproduction de la réalité comporte deux ordres de limites : •

•

une limite d’ordre technique, en particulier temporelle (décalage entre les mouvements du sujet et l’affichage de l’image correspondante) ; une limite d’ordre qualitatif. En imaginant que l’on puisse représenter avec précision le corps humain dans le monde virtuel, la limite sera toujours que ce qui y est figuré n’est qu’un modèle du corps.

A ces différentes limites s’ajoutent celles qui proviennent du peu de variété des informations sensorielles utilisées. En particulier, la modalité auditive est pauvrement exploitée par les dispositifs de RV. Le plus souvent, dans les environnements virtuels, l’audition est uniquement sollicitée de manière associative : un évènement visuel donné déclenche un son donné qui n’est pas spatialisé en 3D. Pourtant, le système auditif exploite simultanément des indices binauraux (perception directionnelle horizontale) et des indices monauraux (perception directionnelle verticale et distance) qui peuvent être synthétisés pour créer des scènes sonores virtuelles. Parallèlement, la perception auditive interprète la signature acoustique de la salle, liée aux réflexions et à la réverbération sur les parois, pour compléter la représentation spatiale de l’espace. L’exposition à la RV manque donc d’une composante essentielle de notre monde réel, puisque la modalité auditive nous fournit constamment des informations sur notre monde environnant et la façon dont nous y évoluons. Elle est en effet la seule modalité à nous permettre de scanner l’espace à 360 degrés autour de nous, ce qui représente un espace perçu bien plus large que celui offert par le champ de vision. Il est donc important de tenter d’intégrer à un dispositif de RV des outils de synthèse de scènes sonores gérant la restitution de la localisation statique ou dynamique des sources dans l’espace ainsi que la création d’un effet de salle associé (par exemple le Spatialisateur

300

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

développé par l’équipe d’Acoustique des salles de l’Ircam [Jot e.a., 1995]). Un outil tel que le Spatialisateur, couplé à un système de réalité virtuelle, permet d’obtenir une réelle interaction sensorielle entre les mouvements du sujet et le retour auditif fourni par l’environnement virtuel (voir [Delerue e.a., 2002] pour une application à la réalité augmentée). Quoiqu’il en soit, l’interaction avec un environnement virtuel ne pourra sans doute jamais fournir la même richesse sensorielle que l’interaction avec le monde réel. Si notre relation au monde est principalement médiatisée par des informations visuelles, il n’en reste pas moins que l’ensemble de nos systèmes sensoriels y contribue ; la variété de ces systèmes sensoriels est actuellement peu représentée dans les mondes virtuels qui sont essentiellement des mondes visuels.

8.2.2.1

Avatars et conflits

Dans un monde virtuel, le corps du sujet actif est parfois représenté sous la forme d’un avatar. Celui-ci est couplé aux mouvements de l’individu. La présence d’un avatar dans l’environnement 3D permet de réaliser que les conflits générés par la réalité virtuelle ne sont pas seulement de l’ordre du sensoriel. Ils proviennent également d’une incohérence entre l’intention et les conséquences sensorielles de l’action. Les conséquences sensorielles d’une action sont en effet comparées en permanence avec les prédictions sensorielles faites par rapport à cette même action. La "sensation" provient de la comparaison entre les conséquences sensorielles de l’acte et les prédictions sensorielles. C’est l’absence de copie efférente qui distingue le mouvement propre du mouvement de quelqu’un d’autre. Au niveau neuronal, cela s’accompagne d’une atténuation de la stimulation sensorielle dans la région cérébrale traitant la modalité sensorielle concernée. Par ailleurs, nous savons depuis les travaux pionniers de Johansson que nous sommes sensibles au mouvement biologique [Johansson, 1973]. Nous sommes en effet capables de reconnaître les mouvements naturels du corps en les identifiant d’après des patrons ambulatoires. Johansson a démontré que visualiser des points lumineux attachés aux articulations d’un corps en déplacement est suffisant pour reconnaître la nature biologique d’un mouvement. Si un avatar ne respecte pas le mouvement biologique, quelles conséquences cela pourra-t-il avoir ? Verrons nous émerger une perte de la spécificité du mouvement biologique à force de devoir " coller " à un mouvement non biologique, ou au contraire un manque d’engagement des sujets dans les environnements virtuels ? Quand le sujet voit un avatar bouger dans l’environnement virtuel où il est immergé, accepte t’il que le mouvement de l’avatar représente son propre mouvement (dans le cas où il est effectivement couplé à celui-ci via des capteurs) ou croit il y voir le mouvement de quelqu’un d’autre ? Ces questions soulevées par l’utilisation d’un nouveau media relèvent de l’élucidation des mécanismes cognitivo-sensoriels de la déréalisation et de l’adaptation biologique. L’inflation du virtuel dans les pratiques humaines confronte le vivant à de nouvelles lois d’interaction avec son environnement. De la sorte de nouveaux mécanismes adaptatifs vont être sollicités.

Réalité virtuelle et psychiatrie

8.2.2.2

301

La présence : paradigme de démembrement de la conscience

La manipulation expérimentale des entrées sensorielles en réalité virtuelle a permis d’étudier l’intégration multisensorielle dans de nombreuses études (l’intégration visuohaptique [Ernst e.a., 2002], l’intégration visuo-idiothétique [Warren e.a., 2001] et l’intégration visuo-vestibulaire [Viaud-Delmon e.a., 1998] par exemple). Dans plusieurs de ces expériences, il a été rapporté que même soumis à des conflits sensoriels importants, les volontaires n’ont pas perçu l’incongruence de la situation, [Lambrey e.a., 2002] et [Ivanenko e.a., 1998]. Par exemple, lors d’études sur la recalibration de l’information vestibulaire au niveau perceptif, il a été constaté que celle-ci est intervenue sans prise de conscience du conflit. Pourtant, les sujets étaient soumis à des stimulations visuovestibulaires inhabituelles, puisqu’il existait une différence allant du simple au double entre les informations visuelles et vestibulaires. Les sujets visualisaient des rotations sur place de 90 degrés dans un visiocasque alors qu’ils tournaient physiquement de 180 degrés dans le monde réel [Viaud-Delmon e.a., 1999]. Ce phénomène amène deux types de remarques : •

•

il est possible pour l’organisme d’effectuer une adaptation du type d’une recalibration sans que celle-ci soit accessible à la conscience ; des expériences non dénuées d’effets secondaires peuvent recueillir une adhésion totale des sujets à la situation virtuelle. Cette induction réussie de fausse croyance montre la capacité d’un sujet à s’échapper de la réalité.

Il a été proposé que le sentiment de présence influence le transfert d’un apprentissage effectué dans un monde virtuel vers le monde réel. Rappelons qu’en développant leur questionnaire mesurant le sentiment de présence dans l’environnement virtuel, Witmer et Singer [Witmer e.a., 1998] ont pu montrer que la présence était inversement liée à l’apparition de cinétose : plus le sentiment de présence dans le monde virtuel était important, moins le sujet immergé était malade. Ces résultats revêtent une importance particulière si on les rattache à ce qui a été dit plus haut à propos des conflits sensoriels. En effet, un sujet ne peut s’immerger vraiment dans un monde virtuel que s’il est capable de dépasser le rappel à la réalité du monde physique qui s’exprime au travers de la pérennisation du conflit sensoriel. Il est nécessaire pour lui d’oublier ou d’inhiber les informations sensorielles fournies par sa présence physique dans le monde réel, ce que peut-être ne parviennent pas à faire les sujets sensibles à la cinétose dans les mondes virtuels. On touche là à l’essence même du phénomène de "présence" ; il ne peut y avoir d’adhésion au monde virtuel sans abstraction du monde physique réel et donc sans inhibition des informations sensorielles qui nous rappellent son existence. On conçoit ainsi que ces opérations nécessaires d’abstraction du monde physique réel représentent une sollicitation particulière pour les sujets sensibles à la déréalisation. Les questions concernant la présence débouchent inéluctablement sur un démembrement, voire une stratification des niveaux de la présence. Prétendre en effet que l’adhésion d’un sujet à une tâche virtuelle ne relève que d’un mécanisme unique et homogène revient à renoncer aux acquis récents des neurosciences cognitives ; celles-ci nous ont en effet appris à la suite notamment de Thibergien et Jeannerod [Tiberghien e.a., 1995], qu’il est possible de séparer les états mentaux (représentations, croyances...) des modules de traitement qui les régissent. Il ne semble donc plus possible de se contenter de décrire l’envahissement d’un sujet par un environnement virtuel sans distinguer ce qui relève de la (simple) perception, de l’intégration sensori-motrice, de l’apprentissage, des croyances. Une telle distinction, encore incomplète, n’est pas seulement une

302

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

figure de style. Elle répond à une nécessité opérationnelle quant aux futurs protocoles à imaginer pour étudier l’ensemble du phénomène de présence.

8.2.2.3

La réalité virtuelle comme thème de recherche en psychopathologie

La pratique sociale de plus en plus importante des techniques de réalité virtuelle représente un facteur pouvant exposer à des perturbations qui vont de dérives addictives aux troubles de déréalisation. L’immersion d’un sujet dans une scène virtuelle le conduit à fabriquer un nouveau cadre de référence distinct du monde réel. Cette déréalisation induite pose plusieurs types de problèmes. Notamment, il est légitime de se demander dans quelle mesure le sujet exposé à la réalité virtuelle est réellement capable de complètement dissocier deux cadres de référence, ou si au contraire les comportements suscités lors de l’immersion persistent lors de la réintroduction dans le monde réel. On peut se demander quelles sont les conséquences adaptatives de l’immersion, et les traces de cette adaptation qui resteront après l’exposition à la réalité virtuelle (mécanismes de l’adaptation au virtuel et séquelles du virtuel). Ainsi, d’outil expérimental et clinique, la réalité virtuelle est devenue aujourd’hui un objet de recherche à part entière en psychopathologie.

8.3 EXPLOITATION DE LA RÉALITÉ VIRTUELLE EN PSYCHOTHÉRAPIE Depuis une dizaine d’années, les psychothérapeutes se sont saisis des possibilités offertes par la réalité virtuelle. De nombreuses équipes, mêlant scientifiques et cliniciens, ont mis en œuvre des recherches et des applications afin d’attester de l’efficacité clinique des outils développés. Ce domaine d’utilisation de la réalité virtuelle est basé sur les thérapies d’exposition. Il suscite un intérêt grandissant en raison des nombreux avantages présentés par la réalité virtuelle. Les techniques de la réalité virtuelle permettent d’une part l’exposition, sous contrôle, du patient à des stimuli à la fois complexes, dynamiques, interactifs en 3D, et d’autre part l’évaluation et le traitement des performances cognitives, comportementales et fonctionnelles du patient. Elles offrent donc la possibilité de développer des environnements à visée diagnostique, thérapeutique mais aussi de soutien. Phobies, désordres alimentaires, désordres sexuels, troubles post-traumatiques, autisme, soins palliatifs sont les domaines dans lesquels l’utilisation de la réalité virtuelle a pour l’instant été envisagée.

8.3.1 PRINCIPES DES THÉRAPIES D’EXPOSITION

Les études utilisant la réalité virtuelle dans un but psychothérapeutique se sont largement appuyées sur les postulats théoriques et méthodologiques des thérapies cognitives et comportementales [Cottraux, 1994], basées sur les stratégies d’exposition.

Réalité virtuelle et psychiatrie

8.3.1.1

303

Les thérapies d’exposition traditionnelles

L’exposition du patient aux situations anxiogènes doit être progressive, prolongée et complète. Dans les thérapies cognitives et comportementales, elle se pratique suivant différents types (“les techniques d’exposition”, [Cottraux, 1994]) : •

Désensibilisation systématique Le sujet relaxé suit une présentation hiérarchisée de stimuli imaginaires de plus en plus intenses. Il est invité à affronter dans la réalité les situations désensibilisées (ayant perdu leur caractère anxiogène) ;

•

Désensibilisation in vivo Le sujet relaxé affronte par étapes la situation redoutée en réalité ;

•

Exposition graduée in vivo Le sujet, qui n’est pas relaxé, affronte par étapes la situation redoutée en réalité ;

•

Modeling de participation Le thérapeute précède le sujet dans la situation réelle, il lui sert de modèle, puis le guide et le renforce dans son affrontement de la situation ;

•

Implosion (flooding) Le sujet est confronté en imagination à la situation anxiogène au niveau maximum d’intensité jusqu’à ce que son angoisse s’éteigne : durée trois quarts d’heure au moins ;

•

Immersion in vivo Le sujet est immergé en réalité dans la situation anxiogène au niveau maximum d’intensité jusqu’à ce que son angoisse s’éteigne : durée trois quarts d’heure au moins.

Les obstacles aux techniques de désensibilisation sont nombreux : •

impossibilité d’imaginer la scène anxiogène pour certains patients ou difficulté pour le thérapeute de savoir ce que le patient imagine ;

•

forte aversion du patient pour les expositions in vivo ;

•

contrôle difficile et/ou coût important des expositions in vivo ;

•

irrespect de l’intimité du patient.

8.3.1.2

Les thérapies d’exposition par réalité virtuelle

Les techniques de la réalité virtuelle peuvent être utilisées pour surmonter certaines difficultés inhérentes au traitement traditionnel des phobies. Elles permettent d’une part l’exposition, sous contrôle, du patient à des stimuli à la fois complexes, dynamiques, interactifs en 3D, et d’autre part l’évaluation et le traitement des performances cognitives, comportementales et fonctionnelles du patient. Dans le cabinet du thérapeute, elles préservent l’intimité du patient et limitent son embarras [North e.a., 1998b], (Figure 8.1).

304

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 8.1 : Le patient et son thérapeute

8.3.2 LES APPLICATIONS EN PSYCHOTHÉRAPIE

8.3.2.1

Les phobies

De nombreuses techniques de réalité virtuelle ont été expérimentées et évaluées depuis maintenant une quinzaine d’années afin de traiter les phobies. L’objectif des séances de thérapie par réalité virtuelle est de désensibiliser le patient phobique en l’exposant au stimulus générateur d’angoisse. Le patient apprend à développer des comportements adaptés et à modifier ses cognitions. La phobie sociale La caractéristique principale de ce trouble anxieux est une crainte persistante d’une ou de plusieurs situations dans lesquelles le sujet est exposé à une éventuelle observation attentive d’autrui et dans lesquelles il craint d’agir de façon humiliante ou embarrassante [Légeron e.a., 1998], [DSM-IV, 1994]. Il s’agit d’une véritable peur du jugement et de l’évaluation de la part de l’autre. Cette pathologie s’accompagne souvent d’un handicap social important et expose le sujet à des complications graves (dépression, suicide, conduites alcooliques) [André e.a., 1995]. Les études épidémiologiques récentes indiquent que la phobie sociale touche entre 2 et 4% de la population adulte, faisant de cette maladie l’une des pathologies mentales les plus fréquentes [André e.a., 2000]. Ce trouble longtemps ignoré, fait depuis une quinzaine d’années l’objet de nombreuses recherches. Il a ainsi pu être démontré que la phobie sociale était accessible à deux formes de traitements donnant des résultats validés scientifi-

Réalité virtuelle et psychiatrie

305

quement. D’une part certains médicaments antidépresseurs (inhibiteurs de la recapture de la sérotonine) et, d’autre part, des psychothérapies comportementales et cognitives [Heimberg e.a., 1995]. Diverses expériences sur la peur de parler en public ont été menées. La première étude contrôlée concernait des sujets recrutés à l’Université Clark, Atlanta [North e.a., 1998c]. L’environnement virtuel était composé d’un auditorium pouvant accueillir 100 personnes et doté d’un podium en bois. Un haut-parleur était branché pendant les séances, permettant aux sujets d’entendre l’écho de leur voix. Le traitement consistait en cinq séances hebdomadaires, de 10 à 15 minutes chacune : le patient debout derrière le podium devait parler face à l’auditoire. Au cours des séances, les patients ont expérimenté diverses manifestations physiques et émotionnelles, semblables à celles ressenties in vivo. Cette étude a montré que la thérapie par réalité virtuelle permettait de réduire l’anxiété des patients face à un public. D’autres expériences ont étudié l’influence de l’attitude de l’audience à laquelle le sujet est confronté [Slater e.a., 1999], [Slater e.a., 2000], [Pertaub e.a., 2001], [Pertaub e.a., 2002]. Une étude, menée actuellement en France dans le cadre du projet européen VEPSY (présenté en détail plus loin), a pour objectif d’évaluer l’efficacité d’une thérapie par réalité virtuelle, comparée à un traitement psychologique validé (thérapie comportementale et cognitive) et à l’absence de traitement pour des patients atteints de phobie sociale [Klinger e.a., 2003] (Figure 8.2). Un protocole clinique a été défini. Il précise la population cible, l’architecture de l’étude et les outils d’évaluation. Les critères d’inclusion et de non inclusion sont très restrictifs [Nugues e.a., 2001]. Sont exclus, par exemple, les patients souffrant de dépression, sous traitement médicamenteux non stabilisé. Le score obtenu à l’échelle d’anxiété sociale de Liebowitz est retenu comme le critère principal pour l’analyse statistique des résultats. Cette échelle est un autoquestionnaire, rempli par le patient, détaillé en 24 items, auquel on recourt pour évaluer des symptômes de phobie sociale. On cote la peur ou l’anxiété des patients de 1 (aucune) à 4 (sévère) et leur évitement de 1 (jamais ou 0 %) à 4 (couramment ou 68 à 100%) dans 24 situations différentes. Onze de ces situations représentent la peur et l’anxiété sociale, tandis que les treize autres représentent la peur et l’anxiété de performance. De nombreuses autres échelles permettent l’évaluation psychométrique des patients, parmi lesquelles les échelles HAD (Hospital Anxiety Depression scale), BDI-13 (short Beck Depression Inventory) et RAS (Rathus Assertiveness Schedule) [Klinger e.a., 2002]. Quatre environnements virtuels ont été créés correspondant aux quatre types d’anxiété sociale que sont les anxiétés d’affirmation, d’intimité, d’observation et de performance. Le premier, situé dans un ascenseur, un hall d’immeuble et un magasin de chaussures, permet de confronter le patient à l’anxiété d’affirmation. On lui apprend à défendre ses intérêts, son point de vue, à se faire respecter. Le second, situé dans un appartement, a pour but d’exposer le patient à l’anxiété d’intimité et de lui apprendre à avoir des contacts informels avec diverses personnes, à tenir des conversations banales. Le troisième, situé sur la terrasse d’un café, permet de confronter le patient à l’anxiété d’observation et de lui apprendre à être et agir sous le regard des autres. Enfin, le quatrième, situé dans une salle de réunion, vise à exposer le patient à l’anxiété de performance et à lui apprendre à prendre la parole devant un groupe. Dans chacun des environnements, le patient se trouve confronté à des personnages virtuels, représentés par des 3D Sprites. Ce sont de simples surfaces planes texturées utilisées pour simuler des objets 3D, qui peuvent être contraintes sur un ou plusieurs axes à toujours regarder la caméra, le patient en l’occurrence. Pour créer ces 3D Sprites, des individus ont été filmés avec

306

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

une caméra vidéo digitale dans leur vie de tous les jours. Ces personnages posent des questions au patient, lui font des remarques ou lui disent des banalités. Des phrases, définies par l’équipe clinique, ont donc été enregistrées dans des situations réelles. Le patient expérimente le monde par la caméra qui le représente. La représentation du patient par un avatar aurait perturbé l’identification du patient ainsi que son implication. Les environnements ont été créés conformément aux contraintes définies dans le projet Vepsy, contraintes qui seront explicitées un peu plus loin. Les douze séances de thérapie virtuelle se déroulent en présence d’un thérapeute comportementaliste, selon un scénario très précis, défini dans le protocole, mais aussi selon trois modalités : "évaluation", "spontanéité" et "guidage". Ce sont des séances individuelles, durant environ 45 minutes, le temps d’exposition n’excédant pas vingt minutes. Entre chaque séance hebdomadaire, le patient doit réaliser des exercices de mise en application des principes développés et expérimentés lors des séances, à savoir : •

• •

exposition progressive, répétée et prolongée à des situations sociales habituellement évitées ; développement de comportements adaptés lors des situations sociales affrontées ; travail cognitif (repérage des cognitions inadaptées présentes en situation sociale et modification de ces cognitions).

Les premiers résultats obtenus sur quelques patients montrent que, d’une part les sujets réagissent aux environnements conformément au trouble développé, et d’autre part l’exposition aux environnements virtuels conduit à une réduction de l’anxiété sociale et des conduites d’évitement dans les situations réelles [Roy e.a., 2003]. L’aérophobie Deux études de cas ont été menées pour mesurer l’efficacité de la réalité virtuelle dans le traitement de l’aérophobie ou la peur de voler. La première expérience date de 1992 et a été conduite auprès d’une jeune femme de 32 ans [North e.a., 1994]. La scène virtuelle était une ville vue du ciel, simulée sur un ordinateur Silicon Graphics. La patiente a participé à huit séances de thérapie virtuelle, d’environ trente minutes chacune. Son niveau d’anxiété, élevé au début de chaque séance, diminuait au fur et à mesure de l’exposition pour atteindre parfois un niveau zéro. Afin d’évaluer l’effet de transfert de la thérapie virtuelle dans le monde réel, la patiente a été confrontée à une expérience in vivo, accompagnée de son thérapeute : un vol de dix minutes, en hélicoptère, à basse altitude, sur une plage du Golfe de Mexico. L’évolution de son anxiété était semblable à celle décrite lors des séances virtuelles. La patiente parvient désormais à voler sur de longues distances avec un niveau d’anxiété raisonnable. La seconde étude a été menée auprès d’un homme de 42 ans, dont la peur de l’avion gênait ses activités professionnelles [North e.a., 1997a]. Accompagné de son thérapeute, le patient était placé dans le cockpit d’un simulateur de vol et volait au-dessus d’une ville virtuelle pendant cinq séances. Le patient évaluait l’anxiété ressentie au moyen de l’échelle SUD (Subjective Units of Discomfort), graduée de 0 ou calme complet à 10 ou panique complète. Dans la thérapie virtuelle, plus le sujet était exposé à des situations stressantes, plus son anxiété augmentait, mais elle diminuait quand le temps d’exposition augmentait. Par ailleurs, le sujet ressentait des symptômes physiques et émotionnels liés à son anxiété, comme les mains moites, la perte de l’équilibre, etc. La thérapie virtuelle a permis à ce sujet de réduire ses symptômes liés à l’anxiété et d’affronter cette situation phobogène in vivo. Le patient est désormais capable de voler dans un confort raisonnable.

Réalité virtuelle et psychiatrie

Figure 8.2 : Traitement de l’anxiété de performance [Klinger, 2002]

307

308

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

L’acrophobie La première étude sur l’acrophobie, ou peur des hauteurs, avait pour but d’examiner l’efficacité d’une exposition progressive à un environnement virtuel [Hodges e.a., 1995]. Vingt étudiants souffrant d’acrophobie ont été répartis de façon aléatoire en 2 groupes : un groupe étant soumis à un traitement d’exposition par réalité virtuelle, l’autre constituant un groupe de comparaison (ils étaient mis sur une liste d’attente de traitement). Les sessions étaient conduites individuellement sur huit semaines. Le résultat du traitement était évalué en comparant les mesures de l’anxiété, de l’évitement, des attitudes et de la détresse associés à l’exposition aux hauteurs, faites avant et après le traitement. Des différences significatives ont été trouvées sur toutes les mesures entre les sujets ayant subi la thérapie par réalité virtuelle et ceux de la liste d’attente (Figure 8.3). La même année, une autre étude a également démontré l’efficacité de la réalité virtuelle pour le traitement d’un patient souffrant d’acrophobie [Rothbaum e.a., 1995]. Après avoir informé le patient et obtenu son consentement, on lui a demandé de classer une liste de situations pouvant générer un vertige des hauteurs en fonction du degré de l’anxiété suscitée. Pendant la première session, le patient était familiarisé à la technologie des environnements virtuels grâce à plusieurs démonstrations. Puis, pendant les huit sessions suivantes, d’environ 15 minutes, un traitement individuel était conduit de façon standardisée. La première session commençait par le niveau le moins menaçant qui était au niveau du sol près d’un pont traversant un fleuve au milieu d’une ville simulée. Le patient évaluait l’anxiété et l’inconfort qu’il ressentait toutes les cinq minutes en répondant à des questionnaires préétablis (échelle SUD = Subjective Unit of Disconfort). Le déroulement était totalement sous le contrôle du patient. Mais quand le score au SUD s’annulait, l’expérimentateur recommandait au patient de passer au niveau supérieur. Après un mois de traitement, on a demandé au patient de remplir une échelle en dix points évaluant le degré de changement de ses symptômes depuis le test précédant son traitement. Les résultats ont indiqué une accoutumance significative du patient en ce qui concerne à la fois les symptômes d’anxiété et l’évitement des situations génératrices d’anxiété. Depuis ces études pionnières, il a été démontré que la réalité virtuelle est aussi efficace que l’environnement réel pour traiter l’acrophobie [Emmelkamp e.a., 2002]. L’agoraphobie L’efficacité de la réalité virtuelle a aussi été testée chez des sujets souffrant d’agoraphobie, c’est-à-dire la peur de se trouver dans des endroits ou des situations d’où il est difficile ou embarrassant de s’échapper [North e.a., 1996]. Soixante sujets agoraphobes ont été sélectionnés. Trente constituaient le groupe expérimental exposé à une thérapie virtuelle (VRT), les trente autres constituaient le groupe de contrôle. Là encore, le traitement en réalité virtuelle s’est avéré efficace. Les attitudes négatives envers les situations phobogènes ont décru de façon significative dans le groupe VRT alors qu’elles restaient stables dans le groupe de contrôle. Les scores moyens à l’échelle SUD ont diminué régulièrement au fur et à mesure des sessions, indiquant l’accoutumance. Une autre étude s’intéressant aux attaques de panique traite des patients agoraphobes [Botella e.a., 2003] (Figure 8.4). Les attaques de panique se manifestent par des épisodes soudains d’anxiété ou d’inconfort intense. Elles s’accompagnent de sensations d’étouffement, de vertiges, de palpitations, de la peur de mourir ou de perdre le contrôle. Cinq environnements ont été créés pour les besoins de la thérapie d’exposition virtuelle : une chambre, un bus, un métro, un centre commercial et un tunnel. Plusieurs sensations corporelles sont simulées telles que les palpitations cardiaques, l’essouffle-

Réalité virtuelle et psychiatrie

Figure 8.3 : Traitement de l’acrophobie

309

310

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

ment, la vision trouble. Le simple fait de présenter des images brouillées ou des sons de battements de cœur fait travailler l’imagination du patient. Il s’agit de stimuli incitant le patient à se replonger dans les symptômes qu’il peut connaître lors d’attaques de panique. Différents modulateurs peuvent graduer la difficulté de la situation, comme le nombre de personnes, des conversations inquiétantes, la longueur des trajets, etc. Les résultats de cette étude, menée dans le cadre du projet Vepsy, sont à venir.

Figure 8.4 : Traitement de l’agoraphobie [Botella, 2003] Autres phobies De nombreuses autres phobies sont traitées par la réalité virtuelle : • •

L’arachnophobie, ou peur des araignées ; La claustrophobie [Botella e.a., 1998].

Autres troubles anxieux La réalité virtuelle a également été utilisée dans le traitement comportemental des troubles post traumatiques (PTSD ou Post Traumatic Stress Disorder) dont souffrent par exemple les vétérans de la guerre du Vietnam. Les réactions des patients ont été enregistrées alors qu’ils expérimentaient un environnement virtuel simulant les environs d’une scène de guerre [Rothbaum e.a., 1999]. Les études montrent que les patients établissaient un rapport entre le monde virtuel et les souvenirs de leurs expériences dans la guerre du Vietnam. Le but des exercices était de les rendre plus réceptifs à leur famille.

Réalité virtuelle et psychiatrie

311

En ce qui concerne les Troubles Obsessionnels Compulsifs (TOC), la réalité virtuelle donnerait au patient la possibilité d’aller au bout de sa compulsion et de chercher des comportements substitutifs [North e.a., 1997b] et [Clark e.a., 1998].

8.3.2.2

Les troubles des conduites alimentaires

Les techniques de la réalité virtuelle sont également utilisées pour corriger l’image du corps dans certains troubles des conduites alimentaires (boulimie, anorexie, obésité). VEBIM (The Virtual Environment for Body Image Modification) est un système développé en Italie pour traiter les troubles de l’image du corps présents en cas de désordre alimentaire [Riva, 1997]. Il vise à définir l’image que le sujet a de son corps afin de la modifier. L’environnement virtuel est constitué d’un ensemble de zones que le sujet franchit après avoir rempli des tâches. Dans certaines zones, le sujet a la possibilité de "manger", dans d’autres le sujet doit se "peser" pour évaluer l’effet de ce qu’il a consommé. Le sujet peut également voir son propre corps numérisé dans l’environnement virtuel et le déformer pour créer son image de corps idéal. L’écart entre les deux images représente l’insatisfaction du sujet à l’égard de son corps. A la fin, le sujet doit choisir la porte qui correspond à son corps réel pour quitter la zone finale. Le système a tout d’abord été testé sur un échantillon de 71 sujets sains qui se sont auto-évalués grâce à des échelles relatives à la perception du corps. Une augmentation significative de la satisfaction a été notée. L’efficacité du système a ensuite été évaluée dans deux études contrôlées, l’une menée chez des femmes boulimiques [Riva e.a., 2002], l’autre chez des femmes obèses [Riva e.a., 2001b] (Figure 8.5) . Dans les deux cas, les femmes, soumises à une diète et à un entraînement physique, ont été réparties de façon aléatoire soit dans un groupe avec thérapie virtuelle, soit dans un groupe psychonutritionnel traditionnel basé sur une approche cognitive et comportementale. Les patientes ont été soumises à une batterie de tests permettant de mesurer la symptomatologie de leur désordre alimentaire, leurs attitudes vis-à-vis de la nourriture, leur mécontentement corporel, leur niveau d’anxiété, leur motivation au changement, leur niveau d’affirmation et d’autres symptômes psychiatriques. Les résultats préliminaires montrent que le traitement sous réalité virtuelle est plus efficace que le traitement traditionnel dans l’amélioration de l’état psychologique de l’ensemble des patientes, en particulier au niveau de la satisfaction corporelle, de l’auto efficacité et de la motivation au changement.

8.3.2.3

Les troubles sexuels masculins

L’utilisation de la réalité virtuelle dans le traitement de troubles sexuels masculins, tels que l’impuissance et l’éjaculation précoce, est envisagée depuis une dizaine d’années [Optale, 1993]. Ces deux troubles induisent une perte de l’estime de soi et peuvent conduire le patient vers la dépression. La thérapie développée est répartie sur douze sessions [Optale e.a., 1998]. Elle mêle des sessions acoustiques, une session de psychothérapie et des sessions de réalité virtuelle et se conclut par une discussion finale. L’environnement virtuel est constitué de différents mondes qui reproduisent les expériences narrées dans les sessions acoustiques : ré-expérience de l’enfance, participation à un tournoi et marche le long d’un chemin dans une forêt. On y trouve des routes et des rues, avec des endroits de référence tels que des immeubles ou des arbres. Le sujet peut aussi activer de petits films, durant 10 à 20 secondes, toujours en relation avec

312

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

Figure 8.5 : Traitement des troubles alimentaires [Riva e.a., 2001b]

Réalité virtuelle et psychiatrie

313

l’ontogenèse de l’identité sexuelle masculine. Dans l’expérience virtuelle, le patient suit des chemins qui accélèrent un processus psychodynamique qui élude les défenses cognitives et stimule directement le subconscient, tout en étant en relation avec son expérience dans la sphère sexuelle. Les obstacles qui mènent au dysfonctionnement sexuel sont mis en évidence. Comme le patient prend conscience de la possibilité de modifier les causes de ce dysfonctionnement, guidé par le thérapeute, il acquiert des moyens supplémentaires pour prendre part au processus de guérison. Les combinaisons thérapeutiques de ce traitement ont permis de réduire le coût des soins médicaux, mais aussi le risque d’addiction lié à la prise de drogues afin d’atteindre la performance sexuelle désirée. Par ailleurs, les résultats d’études en imagerie cérébrale fonctionnelle, pratiquées avant et après la thérapie, conduisent ses auteurs à affirmer qu’il est ainsi possible d’obtenir des changements dans l’activité métabolique de régions spécifiques du cerveau impliquées dans les mécanismes de l’érection [Optale e.a., 2000] (Figure 8.6).

Figure 8.6 : Traitement des troubles sexuels [Optale, 1998]

8.3.2.4

Le projet VEPSY

Le projet européen Vepsy Updated, " Telemedecine and Portable Virtual Environments in Clinival Psychology " (IST-2000-25323) concerne douze groupes de recherche provenant de trois pays européens : l’Italie, l’Espagne et la France (www.vepsy.com ). Son principal objectif est de prouver la viabilité technique et clinique de l’utilisation de systèmes de réalité virtuelle portables et partagés en psychologie clinique. Les troubles sélectionnés sont l’anxiété (phobie sociale et troubles panique), l’obésité, les troubles

314

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

alimentaires et les troubles sexuels masculins [Riva e.a., 2001a]. Pour atteindre cet objectif, les partenaires du projet Vepsy ont : •

créé et développé quatre modules cliniques utilisant la réalité virtuelle pour les quatre troubles envisagés. Pour en assurer l’utilisation la plus large, ces modules devaient à la fois être des outils de télémédecine partagés utilisables grâce à l’Internet, mais aussi des outils portables basés sur de simples ordinateurs. Ce choix leur assurait de moindres coûts, une grande accessibilité, une architecture ouverte ainsi qu’une possibilité d’évolution et d’amélioration. Tous les environnements devaient être développés avec la même plate-forme de développement française de l’entreprise Virtools (www.virtools.com) ;

•

défini de nouveaux protocoles de traitement pour l’utilisation des modules cliniques dans l’évaluation et la thérapie ;

•

testé l’efficacité des modules grâce à des essais cliniques ;

•

diffusé les résultats obtenus vers des audiences élargies, à la fois auprès des cliniciens et auprès des utilisateurs potentiels.

Ce projet européen d’une durée de trente mois se termine fin juin 2003 ; les résultats seront alors connus et publiés. 8.4 TECHNIQUES DE DISTRACTION Afin de contribuer au confort psychologique de patients souffrant de diverses pathologies, des environnements virtuels de distraction ont été développés. L’utilisation clinique de la réalité virtuelle pour contrôler les douleurs des patients brûlés pendant les soins aux brûlures et le changement des bandages a été étudiée [Hoffman e.a., 2000]. Le patient, assis dans une baignoire, porte un visiocasque. Deux éléments distracteurs ont été comparés : l’expérimentation d’un monde virtuel et l’utilisation d’une console Nintendo. Les niveaux de douleur relevés sous réalité virtuelle étaient inférieurs. Les patients souffrant de cancer et subissant une chimiothérapie ressentent des symptômes de détresse et ont souvent des difficultés à adhérer au programme de soins prescrit. L’utilisation de la réalité virtuelle a été envisagée pour distraire des femmes âgées souffrant de cancer du poumon lors de leur chimiothérapie ambulatoire [Schneider, 2001], mais aussi des enfants sous chimiothérapie [Schneider e.a., 1999]. Détourner l’attention du patient de sa souffrance est donc l’un des objectifs de ces applications des technologies de la réalité virtuelle. De nombreux autres types de souffrance extrême ont été envisagés : •

douleurs pendant les soins aux ulcères aux jambes [Tse e.a., 2003] ;

•

douleurs durant la thérapie physique chez des malades paralysés [Thomas e.a., 2003].

8.5 LES APPLICATIONS EN NEUROPSYCHOLOGIE L’utilisation de la réalité virtuelle dans les applications neuropsychologiques peut servir trois objectifs majeurs :

Réalité virtuelle et psychiatrie • • •

315

l’étude scientifique des mécanismes cognitifs ; l’évaluation neuropsychologique; la réhabilitation (voir entre autre [Kizony e.a., 2002]).

Les populations cliniques concernées sont : •

•

•

les patients ayant des lésions cérébrales, suite par exemple à des accidents de la route, des chutes, des blessures par balle, des accidents sportifs, des actes chirurgicaux, etc. les patients présentant des pathologies d’origine neurologique : maladie d’Alzheimer, démence vasculaire, maladie de Parkinson (par exemple [Camurri e.a., 2002]), sclérose en plaques, etc. les patients souffrant de troubles de l’apprentissage et du développement : déficit de l’attention, hyperactivité, retard mental, etc.

De nombreux autres domaines d’application pourront être recherchés à partir du site http ://www.cybertherapy.info; La première étape pour ces applications est l’évaluation neuropsychologique qui est "une science appliquée concernée par l’expression comportementale du dysfonctionnement du cerveau" [Lezak, 1995]. 8.5.1 ÉVALUATION NEUROPSYCHOLOGIQUE

Une évaluation neuropsychologique efficace sert de nombreux objectifs. Non seulement elle contribue au diagnostic des troubles, mais elle établit une description des forces et des déficits cognitifs du patient. Elle aide aussi à développer et guider les cibles de la réadaptation et l’évaluation du traitement. Enfin, elle participe à la recherche et à la compréhension scientifique des détériorations cognitives d’origine lésionnelles et fonctionnelles. Traditionnellement, les outils neuropsychologiques sont constitués de batteries de tests psychométriques. Les technologies de la réalité virtuelle permettent de créer des environnements de test des performances humaines plus sophistiqués et plus précis qui peuvent compléter les procédures neuropsychologiques traditionnelles. La réalité virtuelle peut améliorer la fiabilité des évaluations classiques en minimisant la variabilité due aux différences entre les examinateurs, l’environnement de test et la qualité des stimuli. Enfin, elle peut en améliorer la validité en permettant des mesures plus précises et plus spécifiques des comportements, en améliorant la validité écologique de ce qui est mesuré [Pugnetti e.a., 1995]. Pour évaluer différentes composantes cognitives comme la planification ou la mémoire, des études ont déjà pu montrer les avantages présentés par les technologies de la réalité virtuelle [Attree e.a., 1996], [Pugnetti e.a., 1998a], [Pugnetti e.a., 1998b]. Une épreuve virtuelle, par exemple, a repris la problématique du Wisconsin [Pugnetti e.a., 1998a]. Chez les patients cérébro-lésés, l’épreuve en réalité virtuelle est plus souvent déficitaire que la version "papier crayon" du Wisconsin. De même, chez un malade porteur d’un syndrome frontal ayant des troubles dans les activités de vie quotidienne, l’épreuve virtuelle était la seule épreuve exécutive régulièrement déficitaire. L’évaluation et l’éventuelle réhabilitation des processus d’attention grâce à des environnements virtuels ont été envisagées. Le port d’un visiocasque semble approprié,

316

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

permettant de présenter au patient un environnement dans lequel les challenges cognitifs sont présentés de façon très précise alors que les distracteurs auditifs et les stimuli visuels sont contrôlés. Une classe virtuelle a ainsi été créée pour évaluer le déficit d’attention chez les enfants hyperactifs (ADHD) [Rizzo e.a., 2001] (Figure 8.7). Le scénario consiste en une salle de classe avec des bureaux, des bancs, un tableau mural, le bureau de l’institutrice, une grande fenêtre permettant d’observer l’extérieur et deux portes par lesquelles des personnes vont aller et venir. Alors qu’il est demandé à l’élève de se concentrer sur une tâche adaptée à son âge, des éléments perturbateurs, dans la classe ou à l’extérieur, vont venir le distraire. Des mesures de l’attention de l’enfant, de son degré de performance et de ses comportements sont effectuées, mais aussi des déplacements de sa tête et de ses membres. Ce système est ajustable en fonction de l’âge des enfants mais aussi transposable à d’autres milieux qu’une salle de classe ou à d’autres troubles de l’attention.

Figure 8.7 : La salle de classe virtuelle [Rizzo e.a., 2001]

8.5.2 RÉHABILITATION COGNITIVE

La réhabilitation cognitive peut être définie comme étant " le processus thérapeutique d’accroissement ou d’amélioration de la capacité d’un individu à traiter et utiliser l’information entrante de façon à permettre un fonctionnement augmenté dans la vie de tous les jours " [Sohlberg e.a., 1989]. La réadaptation cognitive est à la base un ensemble de procédures visant à arrêter ou renverser le déclin cognitif suivant des dommages cérébraux, avec pour but d’améliorer le fonctionnement quotidien. Parmi les nombreuses techniques utilisées, deux approches peuvent être décrites : les approches réadaptative et fonctionnelle. L’approche réadaptative pure se focalise sur le ré-entraînement systématique de composants des processus cognitifs (attention, mémoire, perception visuelle, résolution de problèmes, fonctionnement exécutif) en considérant le cerveau comme un muscle. L’importance est donnée à l’entraînement et à la pratique d’exercices présentés de façon hiérarchique en fonction du succès. Le problème principal est le manque de généralisation et le déficit de transfert des acquisitions dans le "monde réel". L’approche fonctionnelle pure met l’accent sur l’entraînement des activités utiles de la vie quotidienne et des comportements et des habiletés observables. Les exemples doivent inclure l’entraînement à des activités dans des environnements de travail bien ciblés tels que cuisines, usines, magasins, bureaux, etc. Le problème principal est que la fragile performance des activités

Réalité virtuelle et psychiatrie

317

fonctionnelles excessivement apprises (sans amélioration des composantes cognitives sous-jacentes) peut ne pas être suffisante pour un patient dont le monde nécessite une petite quantité de résolution de problèmes flexibles. L’application des technologies de la réalité virtuelle pour la réhabilitation des déficits cognitifs et fonctionnels peut servir à remédier à la faiblesse majeure des deux approches réadaptative et fonctionnelle. Elle fournit une méthode de traitement systématique qui intègre les meilleures caractéristiques des deux approches et, par conséquent, l’entraînement réadaptatif systématique dans le cadre d’environnements écologiquement valides et fonctionnellement pertinents, [Rizzo e.a., 1997] et [Rose e.a., 1996]. Une étude rapporte les performances d’une malade amnésique dans une tâche d’apprentissage de trajet [Brooks e.a., 1999]. Préalablement à l’expérience en réalité virtuelle, les observateurs ont essayé de faire réaliser à la malade dix trajets simples qui mettaient tous en jeu des lieux où elle se rendait régulièrement. La première partie de l’entraînement en réalité virtuelle consistait à apprendre deux de ces dix trajets par le biais d’un exercice quotidien de quinze minutes. Au bout de trois semaines, la patiente était capable de réaliser ces deux trajets dans le monde réel, ce qu’elle ne pouvait pas faire pour les trajets non entraînés. Cette acquisition s’est maintenue malgré l’absence d’entraînement complémentaire. Le succès de la réadaptation dans les activités de la vie quotidienne nécessite une évaluation et un entraînement précis et efficaces. Un certain nombre d’études ont souligné que les méthodes de réhabilitation doivent être à la fois appropriées à l’environnement réel du patient et transférables vers d’autres actions de la vie de tous les jours. C’est ainsi que des supermarchés virtuels voient le jour afin de tester et d’entraîner des patients ayant subi des dommages cérébraux [Lee e.a., 2002]. 8.5.3 TROUBLES DU DÉVELOPPEMENT ET DE L’APPRENTISSAGE

Chez les enfants autistes, trois caractéristiques reviennent communément : une réponse anormale à des stimuli, un déficit dans l’engagement relationnel et enfin l’incapacité à généraliser à partir de différentes expériences. Un système basé sur la réalité virtuelle a été développé pour l’éducation des enfants autistes [Strickland e.a., 1997]. Son objectif est de pallier cette incapacité à la généralisation. Un environnement virtuel simple, constitué d’une rue, d’une auto et de quelques bâtiments est soumis à des changements mineurs, tels que la couleur de l’auto ou la forme d’un bâtiment. L’enfant doit reconnaître un objet malgré ses transformations, puis se diriger vers lui et s’arrêter. Un des objectifs est de donner à l’enfant des comportements de base pour traverser une rue. Un autre environnement représente une cuisine virtuelle dans laquelle les enfants apprennent à reconnaître et utiliser divers objets, tels que fourchette, tasse, etc. Après entraînement, les enfants sont capables d’utiliser les objets dans le monde réel, parfois pour la première fois. Les avantages de la réalité virtuelle chez les enfants autistes sont nombreux : sécurité des expériences, contrôle fin de l’environnement, recours aux sens dominants des enfants autistes (vision, audition) et surtout non nécessité d’engagement relationnel de l’enfant avec un tiers pendant l’expérience. 8.6

CONCLUSIONS

Ces dernières années voient s’accroître la reconnaissance du potentiel de la RV pour les applications liées à la santé. Mais sommes-nous en train d’inventer de nouvelles

318

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

méthodes thérapeutiques qui ne pourraient se développer sans la RV ou la RV ne représente-t-elle qu’une technique alternative équivalente à toute autre technique utilisable ? La possibilité d’immersion offerte par les interfaces de la RV est sans doute ce qui a attiré en premier lieu les thérapeutes. Finalement, les réels atouts de la RV, représentés entre autre par l’interaction au moyen de capteurs, sont encore peu exploités dans ce domaine d’application. Dans la littérature, la description des dispositifs techniques de RV utilisés en thérapie est souvent lacunaire de sorte qu’une analyse critique de ceux-ci s’avère difficile et qu’une comparaison entre les différentes méthodes utilisées est une tâche laborieuse. L’atout principal de la RV pour la psychiatrie est sans doute qu’elle rend possible l’interaction avec un monde mental qui n’est plus qu’imaginé. Il serait bon cependant que la RV n’échappe pas à l’investigation scientifique afin que son potentiel reste entier et maîtrisé. Que l’on comprenne quels sont les tenants et les aboutissants de l’utilisation d’un avatar dans un environnement virtuel, de la notion de présence, des modalités de communication entre le thérapeute et le patient alors que celui-ci est immergé, ne relève pas seulement d’un questionnement circonstanciel. Il est maintenant important de connaître les portées de la RV afin que l’on en maîtrise son utilisation, que l’on sache comment et à qui la proposer, pour envisager toujours de nouvelles applications.

8.7 RESSOURCES EN RÉALITÉ VIRTUELLE ET SANTÉ MENTALE 8.7.1 JOURNAUX

The International Journal of Virtual Reality : www.hcirn.com/res/period/ijvr.html Presence Teleoperators and Virtual Environments : mitpress.mit.edu/catalog/item CyberPsychology and Behavior : www.liebertpub.com/CPB/default1.asp Journal of Online Behavior : www.behavior.net/JOB CyberEdge : www.cyberedge.com IEEE Computer Graphics and Applications : www.computer.org/cga Neuropsychological Rehabilitation : www.tandf.co.uk/journals/pp/09602011.html

8.7.2 LIVRES ET TUTORIAL EN LIGNE

Virtual Reality in Neuro-Psycho-Physiology www.cybertherapy.info/pages/book1.htm Virtual Environments in Clinical Psychology and Neuroscience www.cybertherapy.info/pages/book2.htm The Psychology of Cyberspace www.rider.edu/users/suler/psycyber/psycyber.html

Réalité virtuelle et psychiatrie

319

Advances in the Application of Virtual Reality for Mental Healthcare and Research A Tutorial for the VSMM 2002 Conference, Albert "Skip" Rizzo Integrated Media Systems Center and School of Gerontology, University of Southern California

8.7.3 LISTSERVERS

VRPSYCH – The Virtual Reality/Mental Health Listserve To join, contact Skip Rizzo at : [email protected] The Presence Listserve To join, contact Matthew Lombard at : http ://listserv.temple.edu/cgi-bin/wa ?OK=C563E145&L=PRESENCE-L The Cybersociology Listserve To join, contact Robin Hamman : [email protected] 3D User Interface Listserve and Web Site To join, go to : http ://www.mic.atr.co.jp/ poup/3dui.html The Haptics Listserver To join, contact Gabriel Robles at : [email protected] The AABT Computer and High-Tech In Behavioral Practice (Chips) Special Interest Group Listserver To join, contact Skip Rizzo at : [email protected]

8.7.4 SITES INTERNET

Cybertherapy - Giuseppe Riva : www.cybertherapy.info/ Chris’s Bibliography Of Virtual Reality : www.cms.dmu.ac.uk/ cph/VRbib.html ICDVRAT : www.cyber.reading.ac.uk/people/pms/WWW/ecdvrat/call98.htm The Virtual Reality Medical Center – Brenda Wiederhold, Ph.D. www.vrphobia.com USC Integrated Media Systems Center - Skip Rizzo : imsc.usc.edu/ Information on Computers in Psychology : www.victoriapoint.com/catalyst.htm Shrinktank Website - Richard Bischoff : www.shrinktank.com/

8.7.5 CONFÉRENCES

CyberTherapy : CyberTherapy 2003, San Diego, California, USA, January 19-21, 2003, www.e-therapy.info

320

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

MMVR Medecine Meets Virtual Reality Conference : MMVR 11, Newport Beach, California, USA, January 22-25, 2003, www.nextmed.com/mmvr_virtual_reality.html VRMHR Virtual Reality Mental Health Rehabilitation : VRMHR 2002, Lausanne, Suisse, November 7-8, 2002, http ://vrlab.epfl.ch/events/vrmhr2002/ 8.8 RÉFÉRENCES BIBLIOGRAPHIQUES [André e.a., 2000]

C. André et P. Légeron. La peur des autres : trac, timidité et phobie sociale. Editions Odile Jacob (2000).

[André e.a., 1995]

C. André et P. Légeron. La phobie sociale : approche clinique et thérapeutique. L’Encéphale,XXI : 1-13 (1995).

[Attree e.a., 1996]

E. Attree, B. Brooks, F. Rose, T. Andrews, A. Leadbetter, et B. Clifford. Memory processes and virtual environments : I can’t remember what was there but i can remember how i got there. implications for people with disabilities. In Proceedings of the First European conference on Disability, Virtual Reality and Associated Technologies , Maidenhead, UK (1996). C. Botella, R. Baños, C. Perpiña, H. Villa, M. Alcañiz, et A. Rey. Virtual reality treatment of claustrophobia : A case report. Behaviour Research and Therapy, 36(2), 239-246 (1998).

[Botella e.a., 1998]

[Botella e.a., 2003]

[Brooks e.a., 1999]

[Camurri e.a., 2002]

[Cartwright, 1994] [Clark e.a., 1998]

C. Botella, R. Baños, H. Villa, V. Guillén, M. Jorquera, S. Fabregat, et M. Gallego. Effectiveness of virtual reality for the treatment of panic disorder and agoraphobia : preliminary data. CyberPsychology and Behavior, A paraître (2003). B. Brooks, J. McNeil, F. Rose, R. Greenwood, E. Attree, et A. Leadbetter. Route learning in a case of amnesia : a preliminary investiagation into the efficacity of training in virtual environment. Neuropsychological Rehabilitation, 9, 63-76 (1999). Camurri, A. Cartwright, E. Cervetto, B. Mazzarino, P. Morasso, G. Ornato, F. Priano, C. Re, L. Tabbone, A. Tanzini, R. Trocca, et G. Volpe. Application of multimedia techniques in the physical rehabilitation of parkinson’s patients. In VRMHR 2002 Proceedings (2002), pages 65– 75. G. Cartwright. Virtual or real ? the mind in cyberspace. The Futurist, pp 22-26 (1994). A. Clark, K. Kirkby, B. Daniels, et I. Marks. A pilot study of computeraided vicarious exposure for obsessive-compulsive disorder. Australian and New Zealand Journal of Psychiatry, 32, 268-275 (1998).

[Cottraux, 1994]

J. Cottraux. Les thérapies cognitives et comportementales. PUF, 3ème édition, 1994, Paris (1994).

[Delerue e.a., 2002]

O. Delerue et O. Warusfel. Authoring of virtual sound scenes in the context of the listen project. In Proceedings of the 22nd AES Conference (2002), pages 39–47.

[DSM-IV, 1994]

DSM-IV. Diagnostic and statistical manual of mental disorders, author : American psychiatric association. 4th Edition. Washington DC : American Psychiatric Press (1994). [Emmelkamp e.a., 2002] P. Emmelkamp, M. Krijn, A. Hulsbosch, S. de Vries, M. Schuemie, et C. van der Mast. Virtual reality treatment versus exposure in vivo : a comparative evaluation in acrophobia. Behaviour Research and Therapy, 40, 509-16 (2002).

Réalité virtuelle et psychiatrie [Ernst e.a., 2002] [Heimberg e.a., 1995] [Hodges e.a., 1995]

[Hoffman e.a., 2000]

[Ivanenko e.a., 1998]

[Johansson, 1973] [Jot e.a., 1995]

[Kizony e.a., 2002]

[Klinger e.a., 2002]

[Klinger e.a., 2003]

[Lambrey e.a., 2002]

[Lee e.a., 2002]

[Lezak, 1995] [Légeron e.a., 1998]

[North e.a., 1994] [North e.a., 1996]

[North e.a., 1997a]

[North e.a., 1997b]

321

M. Ernst et M. Banks. Humans integrate visual and haptic information in a statistically optimal fashion. Nature, 415, 429-433 (2002). R. Heimberg, M. Liebowitz, D. Hope, et F. Schneier. Social phobia : Diagnosis, Assessment and Treatment. The Guilford Press (1995). L. Hodges, B. Rothbaum, R. Kooper, D. Opdyke, T. Meyer, M. North, J. de Graff, et J. Williford. Virtual environments for treating the fear of heights. IEEE Computer Graphics and its Applications 28, 7, 27-34 (1995). H. Hoffman, D. Patterson, et G. Carrougher. Use of virtual reality for adjunctive treatment of adult burn pain during physical therapy : A controlled study. The Clinical Journal of Pain, 16(3), 244-250 (2000). Y. Ivanenko, I. Viaud-Delmon, I. Siegler, I. Israël, et A. Berthoz. The vestibulo-ocular reflex and angular displacement perception in darkness in humans : adaptation to a virtual environment. Neuroscience Letters, 241, 167-170 (1998). G. Johansson. Visual perception of biological motion and a model for its analysis. Perception and Psychophysics, 14(2), 201-211 (1973). J. Jot et O. Warusfel. A real-time spatial sound processor for music and virtual reality applications. In ICMC’95 Conference, Banff (Canada), proceedings (1995). R. Kizony, N. Natz, et T. Weiss. Adapting an immersive virtual reality system for rehabilitation. In VRMHR 2002 Proceedings, 223-232 (2002). E. Klinger, I. Chemin, P. Légeron, S. Roy, F. Lauer, et P. Nugues. Designing virtual worlds to treat social phobia. In Proceedings of Cybertherapy2003 (2002), San Diego, CA. E. Klinger, I. Chemin, P. Légeron, S. Roy, F. Lauer, et P. Nugues. Issues in the design of virtual environments for the treatment of social phobia. VRMHR 2002 Proceedings, 261-273 (2003). S. Lambrey, I. Viaud-Delmon, et A. Berthoz. Influence of a sensory conflict upon the memorization of a path travelled in virtual reality. Cognitive Brain Research, 14, 177-186 (2002). J. Lee, W. Cho, K. Kim, J. Ku, I. Kim., S. Kim, Y. Kang, Y. Taewon, et S. Kim. The application of the virtual reality system for the activities of daily. In VRMHR 2002 Proceedings (2002), pages 51–63. M. Lezak. Neuropsychological Assessment. Oxford University Press (1995). P. Légeron et J. Gailledreau. Phobies sociales. In Phobies et obsessions. C. André, Doin Editeurs, Collection Psychiatrie pratique de l’Encéphale, Paris (1998). M. North et S. North. Virtual environments and psychological disorders. Electronic Journal of Virtual Culture, 2(4), 37-42 (1994). M. North, S. North, et J. Coble. Effectiveness of virtual environment desensitization in the treatment of agoraphobia. Presence, Teleoperators and Virtual Environments, 5(4), 346-352 (1996). M. North, S. North, et J. Coble. Virtual environment psychotherapy : A case study of fear of flying disorder. Presence, Teleoperators and Virtual Environments. 6(1) (1997a). M. North, S. North, et J. Coble. Virtual reality therapy : an effective treatment for psychological disorders,. Virtual Reality in NeuroPsycho-Physiology, G. Riva Ed, IOS Press, Amsterdam, Netherlands. (1997b).

322

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[North e.a., 1998a]

M. North, S. North, et J. Coble. Virtual reality therapy : an effective treatment for phobias. Virtual Environments in Clinical Psychology and Neuroscience,IOS Press, Amsterdam, Netherlands. (1998a).

[North e.a., 1998c]

M. North, S. North, et J. Coble. Virtual reality therapy : an effective treatment for psychological disorders. Handbook of Virtual Environments, Ed. Stanney K., Chapter 57. (1998c).

[North e.a., 1998b]

M. North, S. North, et J. Coble. Virtual reality therapy : An effective treatment for the fear of public speaking. International Journal of Virtual Reality, Vol. 3, Nˇr 3, ISSN 1081-1451. (1998b).

[Nugues e.a., 2001]

P. Nugues, P. Légeron, F. Lauer, E. Klinger, et I. Chemin. Functionnal description and clinical protocols for the anxiety disorders module : Social phobia. Deliverable D8.1 European Commission IST-2000-25323. (2001).

[Optale, 1993]

G. Optale. Valutazione con metodica virtuale dell’attività della sfera sessuale di volontari sani versus soggetti affetti da impotenza o turbe sessuali. J. Baldaro Verde, A.R. Genazzani and P. Marrama (Eds.), Sessuologia ’93. CIC Edizioni Internazionali, Modena-Italy, 602-603. (1993).

[Optale e.a., 1998]

G. Optale, A. Munari, A. Nasta, C. Pianon, J. B. Verde, et G. Viggiano. A vr based therapy for the treatment of impotence and premature ejaculation. In : G. Riva, B.K. Wiederhold and E. Molinari (Eds.), Virtual Environments in Clinical Psychology and Neuroscience : Methods and Techniques in Advanced Patient-Therapist Interaction. Stud Health Technol Inform. Amsterdam : IOS Press, 58, 136-9. (1998).

[Optale e.a., 2000]

G. Optale, G. Riva, C. Pianon, A. Nasta, et G. Viggiano. Male sexual algorithm and virtual reality. European Journal of Medical Sexology Revue Européenne de Sexologie Médicale, Vol. IX, 34, 22-25. (2000).

[Pertaub e.a., 2001]

D. Pertaub, M. Slater, et C. Barker. An experiment on fear of public speaking in virtual reality. Medicine Meets Virtual Reality 2001, J.D. Westwood et al. (Eds) IOS Press, ISSN 0926-9630, pp372-378. (2001).

[Pertaub e.a., 2002]

D. Pertaub, M. Slater, et C. Barker. An experiment on public speaking anxiety in response to three different types of virtual audience. Presence : Teleoperators and Virtual Environments, 11(1), 68-78. (2002).

[Pugnetti e.a., 1998a]

L. Pugnetti, L. Mendozzi, E. Attree, E. Barbieri, B. Brooks, C. Cazzullo, A. Motta, et F. Rose. Probing memory and executive functions with virtual reality. past and present studies. Cyberpsychology and Behavior, 1(2), 151-161. (1998a).

[Pugnetti e.a., 1998b]

L. Pugnetti, L. Mendozzi, E. Attree, E. Barbieri, B. Brooks, C. Cazzullo, A. Motta, et F. Rose. Active versus passive exploration of virtual environments modulates spatial memory in ms patients : a yoked control study. The Italian Journal of Neurological Sciences, 19, 424430. (1998b).

[Pugnetti e.a., 1995]

L. Pugnetti, L. Mendozzi, A. Motta, A. Cattaneo, E. Barbieri, et A. Brancotti. Evaluation and retraining of adult’s cognitive impairments : Which role for virtual reality technology ? Computers in Biology and Medicine, 25, 213-228. (1995).

[Riva, 1997]

G. Riva. The virtual environment for body-image modification (vebim) : development and preliminary evaluation. Presence, 6(1), 106117. (1997).

[Riva e.a., 2001a]

G. Riva, M. Alcaniz, L. Anolli, M. Bacchetta, et e.a. The vepsy updated project : Virtual reality in clinical psychology. CyberPsychology and Behavior, 4(4), 449-455. (2001a).

Réalité virtuelle et psychiatrie

323

[Riva e.a., 2001b]

G. Riva, M. Bacchetta, M. Baruffi, et E. Molinari. Virtual reality-based multidimensional therapy for the treatment of body image disturbances in obesity : a controlled study. CyberPsychology and Behavior, 4(4), 511-26. (2001b).

[Riva e.a., 2002]

G. Riva, M. Bacchetta, M. Baruffi, et E. Molinari. Virtual-reality-based multidimensional therapy for the treatment of body image disturbances in binge eating disorders : a preliminary controlled study. IEEE Trans Inf Technol Biomed, 6(3), 224-34. (2002).

[Rizzo e.a., 2001]

A. Rizzo, T. Bowerly, J. Buckwalter, et e.a. The virtual classroom : a virtual reality environment for the assessment of attention deficit hyperactivity disorder. ADHD Bulletin. (2001).

[Rizzo e.a., 1997]

A. Rizzo, J. Buckwalter, et U. Neumann. Virtual reality and cognitive rehabilitation : A brief review of the future. Journal of Head Trauma Rehabilitation, 12, 1-15. (1997).

[Rose e.a., 1996]

F. Rose, E. Attree, et D. Johnson. Virtual reality : An assistive technology in neurological rehabilitation. Current Opinion in Neurology, 9, 461-467. (1996).

[Rothbaum e.a., 1999]

B. Rothbaum, L. Hodges, R. Alarcon, D. Ready, F. Shahar, et e.a. Virtual reality exposure for ptsd vietnam veterans : A case study. Journal of Traumatic Stress, 12(2), 263-271. (1999).

[Rothbaum e.a., 1995]

B. Rothbaum, L. Hodges, D. Opdyke, R. Kooper, J. Williford, et M. North. Virtual reality graded exposure in the treatment of acrophobia : A case study. Journal of Behavior Therapy, 26(3), 547-554. (1995).

[Roy e.a., 2003]

S. Roy, E. Klinger, P. Légeron, F. Lauer, I. Chemin, et P. Nugues. Definition of a vr-based protocol to treat social phobia. CyberPsychology and Behavior, (A paraître). (2003).

[Schneider, 2001]

S. Schneider. Effects of virtual reality on symptom distress in breast cancer patients. In Proceedings of MMVR 2001, Medecine Meets Virtual Reality Conference (2001), Newport Beach, CA.

[Schneider e.a., 1999]

S. Schneider et M. Workman. Effects of virtual reality on symptom distress in children receiving chemotherapy. CyberPsychology and Behavior, 2(2), 125-134. (1999).

[Slater e.a., 1999]

M. Slater, D. Pertaub, et A. Steed. Public speaking in virtual reality : Facing an audience of avatars. IEEE Computer Graphics and Applications (March/April), 6-9. (1999).

[Slater e.a., 2000]

M. Slater, A. Sadagic, et M. Usoh. Small group behaviour in a virtual and real environment : A comparative study. Presence : Teleoperators and Virtual Environments, 9(1), 37-51. (2000).

[Sohlberg e.a., 1989]

M. Sohlberg et C. Mateer. Introduction to cognitive rehabilitation : Theory and practice. New-York : Guilford. (1989).

[Strickland e.a., 1997]

D. Strickland, L. Hodges, M. North, et S. Weghorst. Overcoming phobias by virtual exposure. Communications of the ACM. (August), Vol. 40, Nˇr 8, 34-39. (1997).

[Thomas e.a., 2003]

B. Thomas, K. Grimmer, E. Steele, I. Fulton, H. Hoffman, et B. Mulley. Immersive virtual reality for reducing pain during physical therapy in a cerebral palsy patient : a case study. CyberPsychology and Behavior, 6, A paraître. (2003).

[Tiberghien e.a., 1995] G. Tiberghien et M. Jeannerod. Pour la science cognitive, la métaphore cognitive est-elle scientifiquement fondée ? Revue Internationale de Psychopathologie, 18, 173-203. (1995).

324

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

[Tse e.a., 2003]

M. Tse, K. Jacobus, W. Joanne, et R. Chung. Visual stimulation as pain relief for hong kong chinese patients with leg ulcers. CyberPsychology and Behavior, 6, A paraître. (2003). [Viaud-Delmon e.a., 2001] I. Viaud-Delmon, A. Berthoz, et R. Jouvent. Angoisse, corps et espace : de la physiologie à la réalité virtuelle. Pil éditions. (2001). [Viaud-Delmon e.a., 1998] I. Viaud-Delmon, Y. Ivanenko, A. Berthoz, et R. Jouvent. Sex, lies and virtual reality. Nature Neuroscience, 1, 15-16. (1998). [Viaud-Delmon e.a., 1999] I. Viaud-Delmon, Y. Ivanenko, R. Grasso, et I. Israël. Non-specific directional adaptation to asymmetrical visuo-vestibular stimulation. Cognitive Brain Resarch, 7, 507-510. (1999). [Warren e.a., 2001] W. Warren, B. Kay, W. Zosh, A. Duchon, et S. Sahuc. Optic flow is used to control human walking. Nature Neuroscience, 4, 213-6. (2001). [Wiederhold e.a., 1998] B. Wiederhold et M. Wiederhold. A review of virtual reality as a psychotherapeutic tool. CyberPsychology and Behavior, 1(1), 45-52. (1998). [Witmer e.a., 1998] B. Witmer et M. Singer. Measuring presence in virtual environments : a presence questionnaire. Presence, 7, 225-240. (1998).

VOCABULAIRE

Aides Logicielles Comportementales (ALC) Une Aide Logicielle Comportementale programmée, associée à une PCV et à son interface comportementale, apporte une aide mentale pour l’accomplissement de la tâche par l’utilisateur. Avatar Un avatar est une représentation virtuelle de (ou des) l’utilisateur(s) du dispositif RV. Bureau immersif Voir à visiobureau. Cabine de simulation de mouvement Une cabine de simulation de mouvement est une interface à simulation de mouvement pour plusieurs utilisateurs. Capteur de localisation Voir à traqueur. Capture de mouvement Voir à motion capture. Casque immersif Voir à visiocasque. Cave Nom anglais d’une marque américaine de visiocube ; terme utilisé couramment pour parler des visiocubes. Exosquelette Un exosquelette est un système mécanique composé de barres articulées portées par les différentes parties du corps de l’utilisateur. Les exosquelettes sont presque tous des interfaces sensori-motrices qui ont pour objectif de fournir des retours d’effort sur le corps, tout en mesurant secondairement les mouvements relatifs de toutes les parties du corps entre elles. Quelques rares exosquelettes sont des interfaces motrices qui ont pour objectif de mesurer seulement les mouvements relatifs de toutes les parties du corps entre elles, dispositifs faisant partie de la technique de motion capture. Fenêtre immersive Une fenêtre immersive est une interface sensorielle visuelle qui permet à l’observateur de regarder par une fenêtre dans toutes les directions l’environnement virtuel, grâce à un écran plat, localisable et orientable, suspendu à un portique. Gant de données (ou gant numérique) Le gant de données est une interface motrice qui mesure en temps réel les mouvements relatifs des doigts de la main. Associé presque toujours avec un traqueur, le gant de

326

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

données mesure alors les mouvements absolus de la main et des doigts par rapport au repère de référence du traqueur. Gant numérique Voir à gant de données. Humanoïde (virtuel) Un humanoïde (ou plus précisément : humanoïde virtuel) est la représentation d’une personne fictive dans l’environnement virtuel. Il ne faut pas confondre avec le terme “avatar” qui est une représentation virtuelle de (ou des) l’utilisateur(s) du dispositif RV. Immersion et interaction (I2 ) Dans un dispositif de réalité virtuelle, l’utilisateur est immergé dans un monde virtuel et peut interagir avec ce monde artificiel. Dans un premier niveau d’immersion et d’interaction sensori-motrices, le sujet est connecté à l’ordinateur par ses sens et ses réponses motrices via des interfaces matérielles. Ce premier niveau d’I 2 sensorimotrices concerne donc les aspects informatiques temps réel pour l’ordinateur, les aspects physiques pour les interfaces matérielles et les aspects psychophysiques pour les caractéristiques sensori-motrices du sujet. Dans un deuxième niveau d’immersion et d’interaction mentales, le sujet s’immerge mentalement dans le monde virtuel, le niveau inférieur d’I2 sensori-motrices devant lui être mentalement invisible (transparent). Ce deuxième niveau d’I 2 mentales concerne les processus mentaux exploités par le sujet et la modélisation comportemental du monde virtuel. Le troisième niveau d’immersion et d’interaction fonctionnelles concerne les objectifs de l’application de réalité virtuelle. Ces objectifs s’attachent à réaliser une immersion et une interaction du sujet pour des fonctionnalités données et non pour une simple immersion mentale de l’homme dans ce monde virtuel. Ces fonctionnalités sont décomposables en Primitives Comportementales Virtuelles (PCV). Interface à retour d’effort à réaction interne et celles à réaction externe Il y a deux types d’interfaces à retour d’effort : le mécanisme créant des efforts s’appuie soit sur une autre partie du corps de l’utilisateur, soit sur un socle fixe. La première solution est une interface à retour d’effort à réaction interne. La deuxième solution est une interface à retour d’effort à réaction externe. Elles font partie des interfaces sensori-motrices, car toutes mesurent en même temps les mouvements du(des) point(s) où sont appliqués les efforts. Interface à retour tactile Les interfaces à retour tactile sont des interfaces sensorielles qui interagissent par des actions mécaniques superficielles avec les récepteurs tactiles de la peau. Interface à retour thermique Les interfaces à retour thermique sont des interfaces sensorielles qui stimulent les récepteurs thermiques de la peau. Interface à sensibilité cutanée La sensibilité superficielle cutanée englobe la sensibilité mécanique (le sens du «toucher») et la sensibilité thermique. Les interfaces à sensibilité cutanée sont des interfaces sensorielles qui sont donc composées des interfaces à retour tactile et des interfaces à retour thermique.

Vocabulaire

327

Interface à simulation de mouvement Une interface à simulation de mouvement est une interface sensorielle qui a pour objectif de modifier l’orientation dans l’espace du corps d’un ou plusieurs utilisateurs et de leur faire subir des accélérations en rotation et(ou) en translation. Interfaçage comportemental Dispositif matériel et processus mentaux associés qui permettent à un sujet de s’immerger et d’interagir dans un environnement virtuel. Interface comportementale Dispositif matériel qui exploite un comportement humain, naturel et qui n’implique pas une période d’apprentissage importante et complexe pour pouvoir être utilisé. Les interfaces comportementales sont composées de trois catégories d’interfaces : Interface motrice Dispositif matériel conçu pour transmettre des réponses motrices de l’homme vers l’ordinateur. Interface sensorielle Dispositif matériel conçu pour transmettre des stimuli sensoriels de l’ordinateur vers l’homme. Interface sensori-motrice Dispositif matériel conçu pour transmettre des réponses motrices et en réaction des stimuli sensoriels sont renvoyés par l’ordinateur (actuellement, ce ne sont que les interfaces à retour d’effort qui ont ces deux fonctions associées). Interface olfactive Une interface olfactive est une interface sensorielle qui est un diffuseur programmable d’odeurs préalablement stockées en petites quantités. Motion capture (ou capture de mouvement) Les systèmes de localisation de tout le corps sont utilisés pour mesurer, en temps réel ou en temps différé, les mouvements relatifs de toutes les parties du corps entre elles. Indirectement, ils peuvent aussi déterminer la configuration du squelette à tout instant. Dans le langage habituel, pour désigner ce type de dispositif, on emploie le terme anglais «motion capture», plutôt que «capture de mouvement». Employé pour la réalité virtuelle, c’est une interface motrice qui fait partie des interfaces spécifiques de localisation corporelle. Plan de travail virtuel Voir à visiobureau. Présence du sujet Le terme «présence» recouvre la notion d’immersion mentale du sujet dans le monde virtuel, où le sujet est soit passif (spectateur), soit actif (acteur). Ce dernier cas, la présence active, correspond à la finalité de la réalité virtuelle. Le deuxième niveau d’immersion et d’interaction mentales correspond donc à la présence active du sujet. Primitives Comportementales Virtuelles (PCV) Quand le sujet se trouve en environnement virtuel, il a une activité générale qui se décompose en activités élémentaires, (sensori-motrices et mentales), que nous appelons PCV. Ces dernières peuvent être regroupées en quatre catégories en environnement virtuel :

328

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

observer le monde virtuel ; • se déplacer dans le monde virtuel ; • agir sur le monde virtuel ; • communiquer avec autrui. Salle immersive Voir à visiosalle. •

Siége de simulation de mouvement Un siége de simulation de mouvement est une interface à simulation de mouvement pour un utilisateur. Souris 3D Une souris 3D est une interface manuelle motrice permettant à l’utilisateur que de commander des mouvements d’une entité, en général trois translations perpendiculaires et trois rotations perpendiculaires, dans l’espace de l’environnement virtuel. Traqueur ou capteur de localisation Un traqueur est une interface motrice permettant une localisation en temps réel de tout objet pour le positionnement et le suivi de sa trajectoire. La localisation concerne les translations et(ou) les rotations de l’objet par rapport à un repère fixe de référence. Vidéolunettes Une vidéolunette est une interface légèrement différente d’un visiocasque : c’est une interface sensorielle portable de visualisation dont l’objectif est de fournir une vision monoscopique ou stéréoscopique à l’aide d’un ou de deux petits écrans et d’optiques proches des yeux, avec un assez grand champ visuel et avec une immersion partielle, car les écrans et les optiques n’obturent pas toute la vue de l’observateur qui perçoit aussi le monde réel extérieur : la vidéolunette permet de voir les images virtuelles tout en n’étant pas totalement coupé du monde extérieur. L’immersion du regard avec la tête traquée est facultative. Visiobureau, plan de travail virtuel ou bureau immersif Un visiobureau est une interface sensorielle visuelle qui permet d’afficher sur une grande surface, de la grandeur d’un bureau ou d’une planche à dessin, des images stéréoscopiques permettant ainsi à un ou deux observateurs de visualiser des objets tridimensionnels. Ces bureaux immersifs sont composés en général d’un ou de deux écrans, les images étant affichées par l’intermédiaire d’un ou de deux rétroprojecteurs et éventuellement via des miroirs. Le point de vue n’est correct que pour un observateur (rarement deux), ayant la tête traquée. Visiocasque ou casque immersif Un visiocasque (traduction de «Head Mounted Display») est une interface sensorielle portable de visualisation dont l’objectif est de fournir une vision stéréoscopique à l’aide de petits écrans et d’optiques proches des yeux, avec un assez grand champ visuel et avec une immersion du regard. Pour cette dernière fonction, un traqueur doit être positionné sur le visiocasque, permettant d’afficher les points de vue correspondant à la direction de la tête de l’observateur, donc pas dans la direction des yeux (du regard) car actuellement aucun visiocasque ne traque le mouvement des yeux). Visiocasque semi-transparent (ou visuel de casque) Un visiocasque semi-transparent (en anglais See-through HMD) a les mêmes fonc-

Vocabulaire

329

tionnalités qu’un visiocasque. Cette interface sensorielle permet en plus de mixer des images de synthèse avec la vision réelle de l’observateur. Des écrans semi-transparents permettent de superposer en temps réel des images de synthèse à la vision du monde réel. Visiocube Un visiocube est une interface sensorielle de visualisation composée principalement d’une station graphique et d’un ensemble de vidéoprojecteurs (trois au minimum) permettant l’affichage d’une image sur plusieurs grands écrans à taille humaine, composant trois à six faces d’un cube, l’observateur étant à l’intérieur du cube (ou d’un parallélogramme). Il permet ainsi l’immersion du regard dans plusieurs directions (dans toutes pour un visiocube à six faces) pour un observateur ayant sa tête, traquée pour un parfait affichage de son point de vue en temps réel. Visiosalle ou salle immersive Une visiosalle est une interface sensorielle de visualisation composée principalement d’une station graphique et d’un ensemble de vidéoprojecteurs (trois au minimum) permettant l’affichage d’une image à haute résolution sur grand écran à taille humaine et de forme plate ou semi-cylindrique. Elle permet ainsi l’immersion dans un grand champ de vision pour quelques dizaines de personnes qui regardent simultanément des images de synthèse générées en temps réel. Visuel de casque Voir à visiocasque semi-transparent.

330

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

TABLE DES ILLUSTRATIONS

1.1

Simulation de la conduite d’une voiture avec visiocasque ou sur écran de simulateur (Copyright Photo PSA Peugeot Citroën) . . . . . . .

5

1.2

La boucle perception, cognition, action passant par le monde virtuel

9

1.3

Comparaison entre un monde réel et un monde virtuel figé . . . . .

10

1.4

Comparaison entre un monde réel et un monde virtuel interactif . . .

11

2.1

Etude d’impact sur l’intégration d’un tramway dans un carrefour nantais (image IRISA/Siames). . . . . . . . . . . . . . . . . . . . . . .

19

2.2

Solide rigide : un cube. . . . . . . . . . . . . . . . . . . . . . . . .

21

2.3

Solide articulé : un bi-pendule. . . . . . . . . . . . . . . . . . . . .

21

2.4

Objet déformable : la lampe Luxo se déformant sous son propre poids (image IRISA/Siames). . . . . . . . . . . . . . . . . . . . . . . . .

21

2.5

Maillage régulier en deux dimensions d’un lapin. . . . . . . . . . .

23

2.6

Construction d’un quadtree à partir d’un maillage régulier d’un espace à deux dimensions (dans cet exemple, on a modélisé l’espace libre, c’est-à-dire le complémentaire des objets). . . . . . . . . . . .

24

2.7

Reconstruction du sous sol de la région de Morges (image INRIA/Prisme). 25

2.8

Exemple d’arbre CSG. . . . . . . . . . . . . . . . . . . . . . . . .

26

2.9

Exemple de pièce modélisée par CSG avec povray . . . . . . . . . .

27

2.10

Exemple de pièce modélisée à l’aide d’un maillage triangulaire. . .

28

2.11

Courbe de Bézier de degré 3, avec ses 4 points de contrôle. . . . . .

29

2.12

Exemple de construction des triangles à partir de la valuation des sommets des cubes (les sommets valués à 1 sont indiqués par un point noir). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

Coupes scanner d’une mâchoire humaine (image Ecole des Mines de Paris/Centre de Robotique) . . . . . . . . . . . . . . . . . . . . . .

33

Reconstruction 3D de la mâchoire à l’aide de l’algorithme des Marching Cubes (image Ecole des Mines de Paris/Centre de Robotique)

34

Types de configurations de triangles. . . . . . . . . . . . . . . . . .

39

2.13 2.14 2.15

332

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

2.16

Suppression d’un sommet dans un maillage. . . . . . . . . . . . . .

39

2.17

Suppression d’une arête dans un maillage, méthode dite du edge collapse. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

2.18

Représentation de la terre à l’aide de textures. . . . . . . . . . . . .

41

2.19

Représentation des niveaux de détail dans l’arborescence d’un fichier de données 3D . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42

3.1

Interpolation entre des images clé . . . . . . . . . . . . . . . . . . .

48

3.2

Animation d’un bras de pelleteuse . . . . . . . . . . . . . . . . . .

50

3.3

Exemple de plante générée par un L-system . . . . . . . . . . . . .

60

3.4

Exemple d’arbre généré par le logiciel AMAP du CIRAD . . . . . .

60

3.5

Les réseaux SAN . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

3.6

Règles de comportement : une nuée d’oiseaux évitant un obstacle . .

66

3.7

Iowa Driving Simulator : extrait de l’automate de contrôle du conducteur virtuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

69

3.8

Virtual Life : jeu de tennis virtuel . . . . . . . . . . . . . . . . . . .

70

3.9

Architecture de contrôle comportemental de Jack . . . . . . . . . .

70

3.10

HPTS : architecture . . . . . . . . . . . . . . . . . . . . . . . . . .

72

3.11

HPTS : automate de fonctionnement . . . . . . . . . . . . . . . . .

74

3.12

HPTS : exemple de fonction d’intégration . . . . . . . . . . . . . .

75

3.13

Le système d’acquisition de mouvement commercialisé par la société Vicon, copyright photos Vicon . . . . . . . . . . . . . . . . . . . .

78

4.1

Les différents niveaux d’interactivité en réalité virtuelle . . . . . . .

89

4.2

Le statut de l’utilisateur en simulation scientifique (a), en simulation interactive (b) et en réalité virtuelle (c) . . . . . . . . . . . . . . . .

90

4.3

Présence et autonomie en réalité virtuelle . . . . . . . . . . . . . .

93

4.4

Métaphore de Pinocchio et autonomisation des modèles . . . . . . .

95

4.5

Métaphore d’Ali Baba et paradigmes de programmation . . . . . . . 101

Table des illustrations

333

4.6

Exécution d’un programme simpliste en oRis . . . . . . . . . . . . 105

4.7

L’environnement graphique d’oRis . . . . . . . . . . . . . . . . . 106

4.8

Dédoublement du flot d’exécution en oRis . . . . . . . . . . . . . . 112

4.9

Structure de la machine virtuelle oRis . . . . . . . . . . . . . . . . 113

4.10

Modification d’une instance . . . . . . . . . . . . . . . . . . . . . . 117

4.11

Une application ARéVi : plateforme de formation pour la sécurité civile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5.1

Schéma conceptuel d’OpenMASK. . . . . . . . . . . . . . . . . . . 127

5.2

OpenMASK : bus logique ou machine virtuelle. . . . . . . . . . . . 128

5.3

L’objet de simulation. . . . . . . . . . . . . . . . . . . . . . . . . . 130

5.4

Diagramme des états possibles d’un objet de simulation . . . . . . . 132

5.5

Le noyau maintient la cohérence entre miroir et référentiel . . . . . 135

5.6

Classes génériques encapsulant les objets initiaux. . . . . . . . . . . 139

5.7

Travail coopératif sur deux portables en réseau local. . . . . . . . . 140

5.8

Un autre utilisateur est visualisé sous forme d’un avatar . . . . . . . 141

5.9

Mise en évidence des interactions de chaque utilisateur . . . . . . . 142

5.10

Architecture d’une application intégrant plusieurs humanoïdes virtuels.144

5.11

L’outil de traitement des différents mouvements capturés. . . . . . . 145

5.12

Coordination de plusieurs comportements. . . . . . . . . . . . . . . 146

5.13

Séquence d’images issues d’une expérimentation scénarisée. . . . . 147

5.14

Dialogue filmé en temps réel entre deux personnages autonomes. . . 147

5.15

Bras à retour d’effort Virtuose6D. . . . . . . . . . . . . . . . . . . 149

5.16

Simulation multi-simulateurs. . . . . . . . . . . . . . . . . . . . . . 150

5.17

Visualisation immersive et retour d’effort. . . . . . . . . . . . . . . 151

6.1

Interaction et visualisation immersive à l’INRIA de Rennes. . . . . 160

334

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

6.2

Plan de travail virtuel de l’Inria/i3D . . . . . . . . . . . . . . . . . 161

6.3

Bras maître VIRTUOSE 3D. . . . . . . . . . . . . . . . . . . . . . 162

6.4

In Virtuo, premier magasin virtuel d’expérimentation commerciale. . 163

6.5

Simulateur d’abattage ARVESTER . . . . . . . . . . . . . . . . . . 164

6.6

Simulation d’endoscope. . . . . . . . . . . . . . . . . . . . . . . . 165

6.7

Application ADN-viewer. . . . . . . . . . . . . . . . . . . . . . . . 166

6.8

Explorium de l’IFP. . . . . . . . . . . . . . . . . . . . . . . . . . . 168

6.9

SAS Cube. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

6.10

Visite virtuelle de centrale nucléaire (Photo EDF). . . . . . . . . . . 170

6.11

Image relative au projet CIM (Photo Giat Industries). . . . . . . . . 171

6.12

Simulateur de conduite avec cabine physique (Photo PSA PEUGEOT CITROËN). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

6.13

Simulation de montage sur la plate-forme du CEA/LIST. . . . . . . 181

6.14

Essai de manipulation. . . . . . . . . . . . . . . . . . . . . . . . . 182

6.15

Travail dans le MOVETM (Photo PSA PEUGEOT CITROËN). . . . 183

6.16

Expérimentation avec un conducteur (Photo PSA PEUGEOT CITROËN).184

6.17

Exosquelette à deux doigts. . . . . . . . . . . . . . . . . . . . . . . 185

6.18

Démonstrateur Logo Multimodal sur le dispositif immersif µse. . . . 187

6.19

Manipulation directe, le curseur virtuel, utilisé pour manipuler les objets, est proche de la main. . . . . . . . . . . . . . . . . . . . . . 189

6.20

Manipulation à distance, le curseur est à distance de la main. . . . . 189

6.21

Travail coopératif sur la Scenic (Données Renault). . . . . . . . . . 190

6.22

Manipulation d’un modèle 3D grâce à un laser. . . . . . . . . . . . 191

6.23

Exécution d’une tâche d’assemblage en utilisant une souris 3D et retour haptique par la manipulation de modèles des pièces réelles. . . 192

6.24

Manipulation de l’environnement virtuel. . . . . . . . . . . . . . . 193

6.25

Manipulation de modèle géométrique complexe. . . . . . . . . . . . 193

Table des illustrations

335

6.26

Modèle APU FALCON (Données DASSAULT AVIATION). . . . . 194

6.27

Suivi de mouvement dans la salle immersive du CEA/LIST. . . . . . 196

6.28

Démonstrateur INRIA/i3D : démontage d’une pièce d’un mât de réacteur d’A340 d’Airbus (Données AIRBUS). . . . . . . . . . . . . 197

6.29

Scénario Renault sur la plate-forme PHARE du CEA/LIST (Données Renault). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

6.30

Utilisation du simulateur de formation. . . . . . . . . . . . . . . . . 199

6.31

Simulateur de formation. . . . . . . . . . . . . . . . . . . . . . . . 200

6.32

Simulateur de presse plieuse. . . . . . . . . . . . . . . . . . . . . . 201

7.1

Schéma de conception basée sur les 3 niveaux du modèle I2 . . . . . 246

7.2

Visualisation en rouge (partie de la voie en gris foncé sur l’image) d’une zone dangereuse dans l’environnement virtuel du projet FIACRE254

7.3

La boite réelle de la poche virtuelle . . . . . . . . . . . . . . . . . . 261

7.4

Le menu affiché pour la poche virtuelle . . . . . . . . . . . . . . . . 261

7.5

Gant de données pour manipuler des objets . . . . . . . . . . . . . 262

7.6

Manipulation d’objets au sol (s’accroupir) . . . . . . . . . . . . . . 263

7.7

Joystick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

7.8

Tapis roulant 1D et guidon . . . . . . . . . . . . . . . . . . . . . . 264

7.9

Méthodes traditionnelles . . . . . . . . . . . . . . . . . . . . . . . 272

7.10

Méthodes interrogatives . . . . . . . . . . . . . . . . . . . . . . . . 273

7.11

Méthodes fondées sur l’activité à apprendre ou l’apprentissage autonome . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

7.12

Méthodes fondées sur l’expérimentation . . . . . . . . . . . . . . . 274

7.13

Méthodes dites "actives" . . . . . . . . . . . . . . . . . . . . . . . 274

7.14

Projet Welding environment for training - WAVE, photo de CS . . . 276

7.15

Projet Welding environment for training - WAVE, photo de CS . . . 277

7.16

Projet Virtual Technical Trainer, photo de CLARTÉ . . . . . . . . . 279

336

Le traité de la réalité virtuelle- P. Fuchs, G. Moreau - (c) les Presses de l’Ecole des mines

7.17

SécuRéVi, photo de l’ENIB . . . . . . . . . . . . . . . . . . . . . . 281

7.18

Le dispositif Fiacre, photo de la SNCF . . . . . . . . . . . . . . . . 283

7.19

Projet NICE, photo de EVL . . . . . . . . . . . . . . . . . . . . . . 285

7.20

Projet TRUST800, photo de Thales Training & Simulation . . . . . 287

7.21

Photo du projet de formation EDF au diagnostic de panne, photo EDF 289

7.22

Projet Steve, photo de l’USC . . . . . . . . . . . . . . . . . . . . . 291

8.1

Le patient et son thérapeute . . . . . . . . . . . . . . . . . . . . . . 304

8.2

Traitement de l’anxiété de performance [Klinger, 2002] . . . . . . . 307

8.3

Traitement de l’acrophobie . . . . . . . . . . . . . . . . . . . . . . 309

8.4

Traitement de l’agoraphobie [Botella, 2003] . . . . . . . . . . . . . 310

8.5

Traitement des troubles alimentaires [Riva e.a., 2001b] . . . . . . . 312

8.6

Traitement des troubles sexuels [Optale, 1998] . . . . . . . . . . . . 313

8.7

La salle de classe virtuelle [Rizzo e.a., 2001] . . . . . . . . . . . . . 316