Réalité mixte, que valent les casques passthrough ? (partie 3)

par Vincent | Avr 19, 2023 | Blog

Réalité mixte, que valent les casques passthrough ?

Troisième et dernière partie de notre article sur la réalité mixte. Après avoir décortiqué les casques et avoir abordé les cas d’usages généraux, cette fois on se penche plus précisément sur les casques passthrough.

On s’adresse toujours aux mêmes personnes, c’est-à-dire aux professionnels qui veulent utiliser la réalité mixte auprès de leur public pour des besoins variés : formation, visites augmentées, loisirs grand public, démarches commerciales, etc.

Ce qui va nous intéresser ici, c’est de savoir ce que valent concrètement ces casques et savoir s’ils sont adaptés à des opérations grand public.

Aujourd’hui l’offre peut se résumer ainsi :

D’un côté les principaux acteurs du marché, Meta, HTC et Pico sont au coude à coude dans leurs offres, à quelques différences près qu’on expliquera ici.

De l’autre, la marque Varjo se démarque en proposant des accessoires plus pointus.

Meta, Pico, HTC : même combat

Ces trois fabricants se font concurrence aujourd’hui avec des casques qui sont presque les mêmes sur bien des points. Jugez-en :

Leurs produits sont des casques d’abord conçus pour de la VR.
Ils embarquent un mode passthrough qui est secondaire, mais qui devient pour les marques un argument à destination des professionnels. (On y reviendra)
Les trois sont des casques autonomes. Ce qui signifie qu’ils sont utilisables sans branchement si on le souhaite. Ils conservent d’ailleurs les qualités d’autonomie de leurs anciens modèles, ce qui en font aujourd’hui des accessoires intéressants pour des démarches commerciales.
Les trois intègrent du hand tracking et du face tracking dans un but d’interactions sociales immersives.
Et enfin, les trois n’ont pas de capteur de profondeur, ce qui impacte la compréhension de l’espace (on y reviendra aussi).

Présentons-les brièvement

Meta Quest Pro

Des qualités techniques intéressantes, notamment un processeur 50% plus puissant que son prédécesseur (le Meta Quest 2).

Mais un prix relativement cher, 1799€ à sa sortie. 1199€ aujourd’hui.

Un passthrough très critiqué, quand bien même il offre un peu de relief car le casque calcule une image pour chaque œil. La profondeur est simulée, mais le rendu d’image est jugé moyen. Un test complet ici.

Pico 4 Enterprise

Casque de la société ByteDance, énorme acteur chinois du numérique, détenteur de TickTock.

Un prix plus abordable que ceux des concurrents : 900€

Un passthrough avec une meilleure qualité d’image, mais un rendu totalement plat. Pas de profondeur contrairement au Meta. Le casque embarque seulement une caméra RVB en façade qui voit le monde en 2D. Le mode passthrough est donc encore plus limité pour qui voudrait faire de la réalité augmentée.

Vidéo de comparaison du passthrough entre Meta Quest Pro et Pico 4.

HTC Vive XR Elite

Casque modulable, c’est son grand avantage ! On peut débrancher sa batterie à l’arrière (sans que le casque s’éteigne car il y a une autonomie temporaire) et transformer l’accessoire en casque ou en visière au choix.

Les systèmes d’eye tracking et de face tracking sont également des modules ajoutables séparément si on n’en n’a pas besoin. Le casque peut s’acheter sans.

Le HTC a le meilleur passthrough des trois casques. Chez lui les défauts de vision évoqués chez les concurrents sont atténués.

Le passthrough, une technique encore très limitée

Au fond, peu importe les petites différences entre ces casques. Ce qu’il faut retenir dans le cadre de cet article, c’est que leur passthrough est encore très limité.

Techniquement, il ne permet qu’une chose : conserver une vue du monde dans l’expérience VR, via le rendu caméra. Mais ce rendu a une qualité discutable.

Mauvaise définition d’image, effets de distorsion en bordure, mauvais rendu de la profondeur, et donc difficulté de spatialisation et difficulté d’appréhender la distance et les objets. Certains articles ont très bien répertorié tous ces problèmes.

Bien sûr, nous insistons : ces problèmes ne concernent que les casques présentés ci-dessus. Il est fort probable qu’au moment où vous lirez ces lignes, d’autres casques soient sortis et aient amélioré cela.

Tout cela pour souligner une chose : il ne faut pas envisager encore le passthrough de ces casques comme un outil de réalité mixte. Ce n’est pas ce qu’il est. Initialement, il n’est qu’un mode « vue réelle » ajouté à la VR pour éviter les accidents et gagner en confort d’expérience. Le but c’est de voir la pièce dans laquelle on est et de voir passer nos amis pendant qu’on joue à nos jeux VR. Pas vraiment de confondre le virtuel au réel, comme le font les casques Hololens.

Le passthrough est pensé pour un usage working. Cette vidéo résume bien la chose.

Bien qu’elle soit une pub pour une application working, elle a le mérite de résumer efficacement l’usage prévu par les casques passthrough. On y voit de manière condensée de quelle manière est utilisée le virtuel-augmenté, et on remarque surtout le rendu brouillé de la vue caméra.

La conséquence pour nous autres développeurs qui aimons concevoir des expériences virtuelles, c’est que la vue passthrough est peu exploitable pour faire de la bonne réalité augmentée. Difficile de reconnaitre un objet ou un marqueur, difficile d’augmenter le monde, de jouer avec le décor et d’ancrer des hologrammes de manière réaliste à l’intérieur. On se contentera d’afficher du virtuel sans trop chercher à jouer avec le décor. Au mieux, on pourra poser les éléments dans une zone guardian, sur le sol ou sur une table, mais ce sera tout.

Comprendre le monde sans capteur de profondeur

Une chose est souvent reprochée à ces casques, c’est l’absence de capteur de profondeur, soit la fameuse caméra « temps de vol » qui scanne l’espace en infrarouge. Si les trois fabricants ont décidé de ne pas en mettre, c’est qu’il y a des raisons. Sa présence impacte le prix et le poids, donc le confort.

Andrew Bosworth expliquait la démarche de Meta avant le lancement du Quest Pro

L’autre raison, plus intéressante, c’est que les fabricants peuvent s’en passer. Ils se servent des caméras existantes en façade qui leur offrent deux images distinctes. Couplées à des algorithmes de machine learning, elles permettent d’en tirer une information de profondeur. Un peu comme notre cerveau interprète la profondeur à l’aide de nos deux yeux, l’APK des casques fait de même avec les deux caméras.

Bien sûr c’est une profondeur qui est « devinée ». Elle est donc moins fiable qu’une information « mesurée » par une caméra Lidar. Dès lors, elle n’est pas suffisamment rigoureuse pour se reposer dessus. Mais ce n’est pas son but. Elle sert exclusivement un souci de confort. Sans profondeur, la navigation devient immédiatement plus difficile, voire cause de nausée pour les moins habitués.

Cette technique, c’est celle employée par Meta et HTC. Quant au Pico 4, on l’a dit, il n’a qu’une seule caméra en façade. Impossible pour lui d’obtenir du relief.

Ces casques s’adressent à des usagers bien précis

Si ces casques ne sont pas appropriés pour de la réalité augmentée poussée, c’est précisément parce qu’ils sont conçus pour autre chose.

Contrairement aux vrais casques XR qui cherchent à satisfaire des besoins métiers précis – entre autres dans l’industrie, le médical ou le militaire – les casques passthrough qu’on a cités sont pensés comme des accessoires homing et office.

Le côté « homing », on l’a déjà dit : c’est jouer aux jeux VR tout en continuant à regarder la télé, à parler à ses amis ou à pianoter sur son téléphone.

Quant à la partie « office », l’idée est de participer à des meetings avec ses collègues, aménager son bureau virtuel et profiter de ses applications de travail en réalité mixte.

C’est d’ailleurs un usage « working » qui est tout à fait nouveau. Il est apparu avec ces casques. On peut même dire sans exagérer que les fabricants ont simplement profité de petites améliorations du passthrough pour justifier des gammes « Pro », faisant ainsi passer le passthrough d’un simple mode de confort à un argument destiné aux professionnels pour leur vendre de la réalité mixte.

Pourtant rien n’a vraiment changé d’un casque à l’autre. Le Meta Quest 2 faisait du passthrough en noir et blanc. Le Quest Pro en fait en couleur. En dehors de ça, la technique reste la même.

Bien sûr, pour justifier le côté « Pro » des casques, les fabricants accompagnent le passthrough de plusieurs autres améliorations. Techniques d’abord, mais aussi des features business. On citera notamment les services Workplace de Meta et Business Suite de Pico qui offrent tous deux la possibilité de profiter d’une flotte de casques. C’est-à-dire, plusieurs casques connectés entre eux dans un même espace virtuel, utilisables ensemble, partageant les mises à jour et les contenus. Ce qui est un argument intéressant pour certains cas, comme la formation par exemple.

Quelques cas d’usages intéressants

(cliquez sur les noms des applications pour suivre les liens vidéo)

Open Brush XR

Dessiner des peintures 3D, ce n’est pas vraiment ce qu’on peut appeler un usage inédit du virtuel. Mais ce ne sont pas les dessins qui nous intéressent ici. C’est ce que l’application montre sur le placement et la permanence des « hologrammes ». Ici par exemple, l’application permet à la personne d’augmenter un pot de fleur. Pourtant le pot n’est pas vraiment augmenté. Il n’est pas reconnu comme objet et rattaché aux fleurs. Si c’était le cas, en le déplaçant, la personne déplacerait aussi les fleurs. En revanche, elle dessine par-dessus et place son dessin où elle le souhaite dans la pièce. Le simple fait de placer du virtuel dans un espace est déjà une possibilité intéressante qui pourrait servir ailleurs. Ce qui est fait ici avec un dessin peut l’être avec des objets 3D : meubles, électroménager, décoration, produits. Pour des besoins d’architecture, d’immobilier, ou autres. Les casques passthrough sont à fait capables de faire ça. On aurait aimé vous présenter une application d’ameublement en réalité mixte, mais ça n’existe pas.

Figmin XR

Dans un genre similaire, Figmin XR est une application qui permet d’habiller sa pièce avec des gifs, des pictos 3D. Pas forcément très utile là encore, en revanche l’app exploite une capacité intéressante, celle de repérer des plans (les murs par exemple) et de leur attribuer une physique. On peut accrocher des objets aux murs, et même les faire rebondir dessus. Là encore, ce qu’il faut retenir ici, ce n’est pas tant l’usage qui est fait de cette capacité, mais bien la capacité elle-même et ce que vous pourriez en faire de votre côté. Ici, une autre vidéo plus concrète, publiée par un utilisateur.

Resolve XR

Resolve est une application qui permet aux professionnels de partager des projets BIM et de travailler à leur conception en réalité virtuelle, mais aussi en passthrough. On peut alors faire cohabiter des maquettes dans son espace de travail, les partager en temps réel avec ses collègues, et même placer des objets dans l’espace réel afin de mieux se projeter leur intégration future. Peu importe que le rendu du monde soit imparfait. Ici il n’empêche pas de comprendre l’environnement et de l’utiliser de manière concrète pour accompagner les professionnels.

Les casques Varjo, le passthrough ultra-performant

Fondée en 2016 par des experts de Microsoft et Nokia, la marque Varjo s’est d’abord faite connaitre avec les VR-1 et le VR-2, deux casques de réalité virtuelle. Avec eux déjà, la marque misait sur l’ultra performance, devinant qu’il y avait un marché à prendre.

Leurs produits s’adressent uniquement aux professionnels qui ont besoin de pousser la technologie vers des usages inédits. En cela, ils sont davantage comparables à ceux d’Hololens. Même si les technologies ne sont pas les mêmes, le public cible et la stratégie commerciale le sont. Varjo concurrence Hololens et Magic Leap en passant par la méthode passthrough et en prouvant qu’elle a des vrais atouts à faire valoir.

Miser sur les meilleures technologies.

Leur dernier casque de réalité mixte en date est le Varjo XR-3. Ce qui le différencie des casques présentés plus haut, c’est la grande qualité de son rendu. Et pour cause, tout est fait techniquement pour obtenir une telle qualité. La vue passthrought repose sur pas moins de six caméras placées en façades à hauteur d’yeux afin d’être proche de la position du regard.

Le casque embarque un système Lidar lié à une APK capable de faire de la « reconstruction 3D ». Sorte de spatial mapping qui fusionne les données de profondeurs à d’autres informations pour servir dans la vue passthrough, à la fois pour la perception de profondeur et l’ancrage des hologrammes.

Cette qualité doit aussi beaucoup aux écrans atypiques du casque. Il en compte quatre. Deux par œil ! Un écran principal qui couvre l’ensemble du FOV et gère la vision périphérique, et un deuxième écran plus petit placé par-dessus. Ce deuxième écran fait toute la différence. Il permet d’afficher une image plus précise là où l’œil regarde (c’est le fameux rendu fovéal qu’on évoquait dans notre premier article).

Ce type de casque appelle un set-up bien précis.

On notera que pour alimenter ces écrans, deux câbles partent du casque et doivent être reliés à des prises électriques. Après tout, il s’agit d’embarquer un écran haut de gamme sur sa tête. Il faut donc l’alimenter.

Pour calculer le contenu, le casque doit aussi être relié à un PC haut de gamme. Varjo recommandent des configurations imposantes, avec cartes graphiques RTX 3080, voire A6000. (la performance pro).

Évidemment, être connecté à un PC empêche tout usage autonome. Le casque n’est pas pensé pour être transportable. Il appelle des démonstrations dans des espaces aménagés. Les cas d’usages sont donc bien particuliers.

Les cas d’usages : recherche, design, formation, simulation, …

Varjo pense aux designeurs, aux ingénieurs, ou encore aux architectes. Ce sont d’abord ces métiers-là qui sont visés par la communication. Mais les Varjo intéresseront aussi les commerciaux de certains domaines, ou encore les formateurs qui auront besoin de faire reposer leur module sur des simulations poussées. Tous ces domaines trouvent dans les caques Varjo une réalité mixte qui répond à leurs besoins.

La vue see-through (du monde réel) est très précise. Pas de flou, pas de perturbation. On peut lire un texte, manipuler des petits objets, pianoter des boutons. C’est probablement le plus gros défaut des autres casques passthrough, et la demande la plus exprimée par les professionnels. Celle de profiter d’une vue idéale pour mener des manipulations d’objets réels.
Les éléments virtuels peuvent être en haute définition et graphiquement poussés. Là où des casques autonomes devront downgrader le contenu. On est donc assuré d’avoir des beaux modèles 3D augmentés et d’en mettre plein la vue à l’utilisateur. (bien sûr, on le répète, il faut une bonne config PC derrière).
La superposition du virtuel est rendue plus précise et plus stable du fait du système de profondeur.
Le hand tracking est très précis aussi, car il y a plus de caméras pour suivre les mains.

Réalité mixte : quelles capacités pour quels usages ? (partie 2)

par Vincent | Avr 18, 2023 | Blog

Réalité mixte : quelles capacités pour quels usages ?

De quels usages parlons-nous ?

Dans notre article précédent, nous avons décortiqué les casques de réalité mixte. Voyons maintenant s’ils sont adaptés à ce que vous souhaitez en faire. Ici c’est précisément votre cas qui nous intéresse. Le cas d’un professionnel invitant des personnes à endosser un casque pour une séance.

Nous nous adressons :

Aux professionnels qui souhaitent utiliser la réalité mixte en présentation commerciale – immobilier, industriel, marketing.
Aux créateurs de formation qui cherchent des outils toujours plus intéressants pour mettre en situation les élèves.
Aux culturels qui veulent inviter le public dans de expériences de réalité mixte.

Tous ces usages sont différents de ceux mis en avant par les fabricants. Davantage orientés gaming ou outils de travail, les casques sont assez peu envisagés pour vos cas à vous. Pourtant les casques sont tout à fait capables de répondre à vos besoins. Vous accueillez des gens qui mettront probablement un casque pour la première fois de leur vie et qui ne seront pas habitués à l’objet, vos besoins sont donc liés à ce contexte.

Effectuons alors un tour de la question en deux temps.

Dans cet article, nous évaluerons les technologies XR de manière générale et prendrons du recul sur les usages qu’elles impliquent.

Dans l’article suivant, nous nous attarderons spécifiquement sur les casques dits « passthrough ».

Hololens et Magic Leap : idéals pour les visites et présentations public

La réalité mixte imaginée par Hololens et Magic Leap permet d’augmenter le monde à travers des lunettes. Ce sont précisément ces lunettes qui font la différence par rapport aux autres dispositifs. Elles ont un véritable avantage : elles laissent voir le monde. Pas d’écran, pas de coupure entre nous et ce qui nous entoure, juste des verres normaux – à ceci près qu’ils sont bardés de technologies et que des hologrammes s’affichent dessus.

La méthode Hololens est celle qui se rapproche le plus de la réalité augmentée telle qu’on la connait

Ne pas être coupé du monde, cela amène un vrai supplément de liberté.

L’utilisateur conserve une lisibilité de l’environnement qui lui permet de se balader sans encombre puisqu’il voit où il va. Il n’a donc pas besoin d’être accompagné comme il peut l’être sous un casque de réalité virtuelle par exemple. Il peut également profiter du virtuel sans être obligé de tenir un accessoire en main. Tout est embarqué sur sa tête.

Si on regarde uniquement ces avantages, les cas d’usages qui se prêtent le mieux à la technologie sont les visites augmentées.

Les lunettes sont idéales pour mettre en place des visites augmentées quel que soit leur contexte (culturel, marketing, industriel). Par exemple…

Vous faites visiter votre usine pour des rendez-vous commerciaux, et souhaitez ajouter une dimension holographique.
Vous montez un projet évènementiel et voulez que vos clients visualisent sur place la future installation.
Vous souhaitez attirer du public vers votre musée avec un nouveau genre de visites, comme c’est le cas ici. Ou bien créer des show semi-immersifs.

Que choisir pour des visites, réalité mixte ou réalité augmentée ?

Maintenant, concernant tous ces cas d’usages, il convient quand même de rappeler une chose : ce que la réalité mixte fait, la réalité augmentée le fait aussi.

C’est une évidence, mais il faut quand même la rappeler. Oui, la réalité augmentée permet elle aussi de mener des visites augmentées. Qui l’aurait cru ?

Tout cela pour dire une chose. Si ce que vous souhaitez vraiment, c’est créer des visite augmentée, il n’y a aucune raison d’écarter cette technologie au profit de la réalité mixte. Ce qu’il faut étudier plutôt, ce sont les différences matérielles des deux technologies, car c’est elles qui auront un impact sur l’organisation du projet.

Commençons par la réalité augmentée.

Premier point important, elle est une technologie désormais connue des gens. Elle est plus facile à présenter au grand public car elle s’exerce sur tablette ou smartphone, des appareils que presque tout le monde sait utiliser. Cet avantage en amène un autre, plus intéressant encore : les applications de réalité augmentée peuvent être partagées sur les stores. Chaque utilisateur peut l’utiliser sur son propre smartphone.

Cela signifie que vous pourrez toucher un public plus large et ouvrir l’expérience à toute personne équipée d’un smartphone. C’est l’assurance de toucher du monde sans même avoir à investir dans du matériel.

La réalité mixte est différente.

Il faut acheter des casques, veiller à leur maintenance, introduire les utilisateurs à leur usage, organiser des visites sous inscription en fonction du nombre d’appareil disponibles. Bref, investir dans du matériel et organiser l’activité autour. Au fond, sur le plan strictement matériel, la réalité mixte implique la même chose que la réalité virtuelle.

En revanche, une fois le casque sur la tête, c’est une expérience nouvelle qui s’offre à l’utilisateur. La réalité mixte est une technologie insolite. Elle a pour elle une dimension immersive et tech sur laquelle il est essentiel de communiquer. Capitaliser là-dessus. Ce qui pousse aujourd’hui certains à investir dedans, c’est qu’elle est un bon produit d’appel. Elle attire le public et son attrait repose sur son principe même.

Mais ces casques ont une limite

On l’a dit dans notre article précédent, les lunettes de réalité mixte présentent une limite au niveau de leur champs de vision.Une fois sur la tête, c’est souvent une petite déconvenue pour l’utilisateur. Il voit bien le monde qui l’entoure, pas de problème à ce niveau, en revanche les hologrammes n’apparaissent pas en périphérie de son regard. Ils sont réduits à une fenêtre plus étroite.

C’est vrai surtout pour les casques Hololens. Pour le Magic Leap c’est un peu différent. Les hologrammes apparaissent bien sur l’ensemble de la lunette, mais cette lunette elle-même est étroite et cerclée, réduisant ainsi le champ de vision. Dans les deux cas, le résultat est le même.

Cette limite est reconnue par tous, y compris par les fabricants qui cherchent à la corriger. Avec les derniers modèles – Hololens 2 et Magic Leap 2 – elle a été améliorée, mais elle reste une limite inhérente à l’architecture des casques.

Évidemment rien d’alarmant là-dedans, rien qui n’empêche d’être séduit par l’expérience et d’en profiter, mais c’est une chose à savoir car cette limitation du regard empêche d’offrir des shows réellement immersifs dans lesquels on ferait surgir des éléments depuis les côtés. On ne peut pas vraiment jouer avec toute l’étendue du regard comme on le fait en réalité virtuelle.

Certes, il existe bien des spectacles dits « immersifs » sur Hololens, c’est le cas du Grand Large de l’aquarium Nausicaá à Boulogne-sur-Mer, mais ils sont « immersifs » dans la mesure où ils font surgir du virtuel à travers des lunette. Ce qu’ils ne font pas en revanche, et qui est pourtant la véritable définition du format immersif, c’est inonder notre regard de virtuel, nous immerger dans un monde. Les casques imposent plutôt aux spectateurs d’observer une chose à la fois dans des directions bien précises.

Les casques « passthrough », plus adaptés aux usages commerciaux

Les casques passthrough sont différents des casques Hololens et Magic Leap. Pas seulement différents par leurs techniques, qu’on a expliquée dans notre article précédent, mais aussi par les usages qu’ils suggèrent.

Nous avons simplifié volontairement la chose en disant qu’ils étaient adaptés aux commerciaux. En réalité, si on veut être précis, on dira qu’ils appellent des usages limités et circonscrits dans l’espace.

Avec eux, on pourra voir des hologrammes posés dans une pièce. On pourra manipuler ces hologrammes. Mais on ne pourra pas augmenter la pièce. Du moins, on évitera de le faire.

La raison de cette limite, c’est la qualité de la vue caméra – dite « see-through ». Elle n’est pas assez bonne pour reconnaitre les marqueurs, les icones ou les objets, et donc pour enclencher de la réalité augmentée. Elle rend l’environnement visible, mais pas utile.

On pourra poser un objet virtuel sur une table, par exemple, mais on ne cherchera pas à superposer le virtuel de manière très précise par-dessus un objet, comme on le fait ici avec une tablette.

C’est pourquoi on préfère recommander les casques passthrough à des usages commerciaux. Présenter des objets, des produits, du mobilier virtuels en les posant simplement dans l’espace. Et faire cela dans des espaces limités : stand en salon professionnel, ou bureau intérieur lors d’un rdv commercial.

Leur avantage : être des casques VR et XR à la fois

Un argument intéressant concernant le passthrough, c’est que vous avez de la réalité virtuelle et de la réalité mixte dans un même objet.

Si vous aviez l’habitude pour votre communication et vos démonstrations commerciales de varier entre réalité virtuelle et réalité augmentée, vous avez désormais un outil qui fait les deux.

Vos produits vous pourrez les faire apparaitre grâce au casque. Les visites virtuelles dans lesquels vous invitiez vos clients, vous pourrez les mener dans cet outil. Toutes vos démarches de communication immersives pourront être réunies sous cet accessoire.

Les casques passthrough ont autant leur place en salon professionnel qu’en rendez-vous privés, car ils ne sont pas si différents des casques VR autonomes que les commerciaux connaissent déjà. Peu de différence entre un Oculus GO et un Meta Quest Pro. Les casques s’appréhendent de la même manière, présentent le même genre d’autonomie et demandent le même accompagnement.

Peu de différences hormis quelques performances supplémentaires, et la réalité mixte évidemment…

La réalité mixte est un argument de poids. Même si ici elle est moins impressionnante que sur les « vrais » casques de réalité mixte, elle reste un atout à exploiter. Tout le monde connait la réalité augmentée, mais qui parmi vos clients a déjà testé une réalité augmentée immersive ? Commercialement parlant, c’est un argument solide.

Autre cas d’usage pertinent : la formation

Le domaine de la formation a toujours cherché le meilleur moyen de mettre en situation les élèves. Côté technologie, ce moyen a longtemps été la réalité virtuelle et l’est encore aujourd’hui. Sur bien des points, elle est irremplaçable. Toutefois la réalité mixte apporte de nouveaux atouts.

Ces atouts, regardons-les d’abord sans nous préoccuper des différents casques. Prenons la réalité mixte dans son ensemble.

Un réel visible : en réalité mixte on fait de la réalité augmentée. On profite de l’espace réel. Ce réel n’est pas effacé. Il peut servir dans le module de formation. On peut profiter d’objets, voire d’un espace complet dans lequel on circulera. Permanence des objets : on peut ensuite disposer des éléments virtuels dans cet espace et les ancrer à leur place, de sorte qu’à chaque nouvelle session l’élève les retrouve au même endroit. Mains libres : ce dispositif de réalité augmentée, l’utilisateur l’embarque sur la tête. Il a donc les mains libres pour manipuler des objets. Hand Tracking : sur certains dispositifs peut s’ajouter à cela un suivi des mains pour pouvoir manipuler les hologrammes sans manettes. Superposition du virtuel : si le casque le permet, on peut profiter d’icônes et de marqueurs pour augmenter des objets de manière précise. Par exemple : Augmenter une cabine de pilotage d’un avion ; en plaçant des marqueurs bien identifiables, on superposera de l’information numérique sur les boutons. Prise en compte des plans : le spatial mapping, lorsqu’il existe, permet de poser des objets virtuels sur des plans et de reconnaitre des murs. Saisir un objet virtuel et le poser sur une table c’est possible. Accrocher un objet virtuel sur le mur, ça l’est aussi. Une physique basique peut être envisagée et servir dans l’expérience.

Prenons un exemple, imaginons une formation incendie

Vous disposez d’un lieu de formation lambda. Une pièce neutre avec un couloir attenant.

En réalité virtuelle, seule la pièce serait utilisée. Disons même un espace limité dans la pièce. L’utilisateur plongé dans une simulation virtuelle serait obligé d’agir dans une zone restreinte, sans quoi il se cognerait.

En réalité mixte, il voit où il est. Il peut donc profiter de la pièce et du couloir contiguë.

Le fait de voir la pièce permet de donner un rôle à celle-ci dans l’exercice de formation. Mieux qu’un espace virtuel dénué d’obstacles physiques, l’exercice prend justement en compte ces obstacles. Ce qui n’est pas négligeable dans une simulation où le but est d’apprendre à gérer un départ de feu en faisant avec ce que l’espace nous offre.

Ensuite, le feu, la fumée, les effets visuels de la chaleur…tout cela sera virtuel. Ce le sera d’abord parce que le feu représente un danger, et qu’ici le but n’est pas de pousser trop loin la mise en situation. Ce le sera aussi parce qu’on a besoin que ce le soit, dans une logique d’interactivité. Étant virtuels, feux et fumées peuvent apparaitre, disparaitre, changer d’états, s’animés d’une manière ou d’une autre selon les interactions de l’élève, et même changer de place si par exemple on veut penser différents scénarios avec des départs de feu à divers endroits.

Là où la réalité mixte est intéressante ensuite, c’est qu’elle permet de choisir des accessoires réel ou virtuel selon l’envie.

L’extincteur par exemple, réel ou virtuel ?

Réel, cela permet de l’éprouver physiquement. Le porter, le dégoupiller soi-même. Il peut être intéressant pour les formateurs de conserver le plus d’objets physiques.

Virtuel, c’est l’occasion d’exécuter les gestes d’usage jusqu’au bout, et de simuler les effets mousse comme en vrai.

Ou alors on peut mixer les deux. Tenir en main un extincteur réel, et en faire jaillir de la mousse virtuelle.

Bref, la réalité mixte est intéressante pour composer des exercices sur-mesure mixant réel et virtuel. Bien sûr, ce qui vaut ici pour les formations incendie, vaut aussi pour tout le reste. Secours, premiers soins, situation de crise, manutention, formations métier, relationnel, etc.

Chaque technologie a ses propres atouts

Avec la formation incendie imaginée ici, nous avons dressé un exemple bien précis d’une session proche de la simulation. L’idée c’est d’immerger l’élève dans une situation, de reproduire un cadre complet. C’est ce qui explique pourquoi la réalité virtuelle plaît tant aux centres de formations.

Passthrough pour l’immersion

Pour ceux qui souhaiteraient rester dans cette optique « simulation », tout en profitant de la réalité mixte, nous recommandons les casques passthrough. Même s’ils ont des gros défauts dont nous parlons dans l’article suivant, ils ont quand même plusieurs avantages.

Ils profitent d’un meilleur FOV des hologrammes. Il est donc plus facile d’entourer l’utilisateur d’éléments virtuels.
Leur nature de casque les rend plus immersifs, quand bien même la personne voit son monde.
Ce sont d’abord des casques VR. Ils permettent de profiter des deux technologies. Et les formateurs ne seront pas perdus, ils auront entre les mains un objet qu’ils maîtrisent, tout à fait adapté aux usages qu’ils en feront.

Les lunettes XR sont idéales pour les interactions humaines

Les lunettes XR (Hololens, Magic Leap) sont plus adaptées aux cours, ateliers, module en groupe, apprentissage terrain, etc. Elles sont intéressantes comme équipements d’apprentissage, pour les raisons suivantes.

Elles ne nous coupent pas du monde. Elles sont conçues au contraire pour qu’on puisse travailler avec.
Les utilisateurs profitent d’une vue augmentée sans être encombrés. Ils peuvent travailler manuellement sur un objet et se concentrer sur leur tâche, tout en ayant la visière sur la tête.
Le formateur peut équiper ses élèves, et ces derniers peuvent le suivre sans problème. Les visières ne gênent pas le déplacement.

Beaucoup de formateurs ont vite compris ces atouts et adoptent aujourd’hui les casques, ou bien passent par des sociétés spécialisées en réalité mixte.

À la suite de cet article : nous nous penchons sur les casques passthrougth

Nous avons identifié à quels besoins répondait le mieux la réalité mixte. Mais soyons plus précis encore et abordons en détail la question des asques passthrougth. Ça se passe ici, dans la partie 3.

Comment fonctionne la réalité mixte ? (partie 1)

par Vincent | Avr 13, 2023 | Blog

Comment fonctionne la réalité mixte ?

Concrètement comment fonctionne la réalité mixte ? Si on pose la question, c’est qu’aujourd’hui les casques de réalité mixte sont de plus en plus nombreux. Hololens, Magic Leap, Digilens, Lynx, Meta Quest Pro, Vive XR, …. Pour s’y retrouver et savoir concrètement ce qu’il est possible de faire, il faut d’abord savoir ce que ces casques renferment. La réalité mixte ne s’appelle pas « mixte » pour rien. Dans les faits, elle conjugue bien réalité augmentée et réalité virtuelle. Elle augmente notre réalité et nous rend cette augmentation observable de manière immersive à travers un casque. OK, très bien. Mais comment le fait-elle ? Quelles technologies sont embarquées ? Quels buts visent ces dernières ? Et y parviennent-elles ? Vaste programme que de répondre à tout cela, mais nous n’avons peur de rien.

Les technologies de base

Du head tracking pour suivre la tête

Vous le verrez, l’essentiel de cet article va consister à expliquer des systèmes de tracking. Or, on ne pouvait pas parler de tracking, sans aborder le premier d’entre eux : le head tracking. Suivre la tête (le casque plus exactement) c’est LA BASE de l’immersion. En réalité virtuelle, et donc en réalité mixte aussi, ce suivi repose sur deux catégories de mouvements : l’orientation et le déplacement. Fut un temps, pas si lointain que ça, où les deux étaient suivis séparément.

L’orientation, c’est-à-dire la rotation et l’inclinaison du casque, était suivie par la centrale inertielle intégrée au sein des casques. Tandis que les déplacements étaient captés par des boitier externes. Aujourd’hui ce n’est plus le cas. Ces deux informations sont réunies sous un seul système appelé : 6DoF. 6DoF ça veut dire « 6 Degrees of Freedom ». Comment ça six ? On avait parlé de deux types de mouvements, non ? En réalité, on avait parlé de deux catégories de mouvements. Le déplacement et l’orientation comprennent en tout six mouvements différents : le déplacement linéaire, la rectitude horizontale, la rectitude verticale, le tangage, le lacet, et le roulis. Résultat : aujourd’hui les casques sont autonomes pour suivre l’utilisateur. Ils sont capables de trianguliser leur propre position dans un espace pré-arrangé. Le head tracking se fait intégralement depuis le casque.

Des caméras pour reconnaître l’environnement

On notera ensuite que les casques embarquent plusieurs caméras. Attardons-nous sur celles tournées vers l’extérieur, les caméras RGB et les capteurs de profondeur. En réalité, ces deux systèmes sont souvent réunis en un seul module. L’hololens 2 embarque par exemple un « depth module », c’est-à-dire un module de profondeur qui utilise un capteur ToF (Time of Flight) : caméra qui fonctionne sur le principe du Lidar. Elle émet un signal infrarouge et en détermine la profondeur d’une pièce. Vous croiserez aussi des termes comme « caméra RGB-D » ou « caméra RGB-IR ». RGB signifiant « red green blue ». D signifie : « depth » (profondeur). IR pour « infra red ». Tout cela désigne la même chose : des caméras qui utilisent les couleurs et l’infrarouge pour comprendre la profondeur d’une scène.

Voilà ce que voient les caméras RGB-D.

Tous ces yeux fixés sur nos casques ont un but

Ils regardent le monde et l’analysent. Ils font de la reconnaissance d’environnement. Car si on souhaite poser des hologrammes dans son salon, il faut que l’appareil comprenne ce salon. Il faut qu’il voie son sol, ses meubles, ses murs. Mais pas seulement. Il faut aussi qu’il crée une copie virtuelle de cet environnement pour y poser les hologrammes. Il en trace une carte (ou un nuage de points). On parle de spatial mapping. Ce qui signifie qu’en réalité mixte, même si nous continuons à voir le monde, le casque déploie un espace virtuel autour de nous. Un espace invisible qui n’occulte pas notre vue, mais qui permet d’ancrer les hologrammes dedans. Unique moyen de les placer dans la profondeur du monde et de les rendre persistants. Unique moyen aussi de créer de l’occlusion lorsque l’hologramme est placé derrière une cloison ou que notre main passe devant. Mais pour cela, il faudra toujours que le casque scanne la pièce, les cloisons et nos mains pour les reconnaître et en tracer un maillage.

Ce système de mapping est directement emprunté à la réalité augmentée

Et plus particulièrement aux dernières technologies R.A dont nous parlions dans cet article. Des technologies qui ont fait avancer la R.A vers plus de liberté en permettant :

De poser des hologrammes sans utiliser des marqueurs, et donc de les disposer dans n’importe quel espace.
De reconnaître des objets précis pour les augmenter.

La réalité mixte reprend ces technologies à son compte et les intègre dans les casques. Sauf que voilà…

Faire de la réalité augmentée sous un casque ne suffit pas à produire de la réalité mixte. Le mariage entre R.A et V.R n’est pas si simple à opérer. Il fait sourdre des problématiques nouvelles d’ergonomie et de fonctionnement. Par exemple : comment conserver une lecture claire de l’environnement si on décide d’enfermer l’utilisateur sous un casque ? Cette question en entraîne une autre, plus importante encore.

Comment décide-t-on de montrer le monde ?

Deux façons de faire de la réalité mixte

Pour répondre à cette question, les constructeurs proposent aujourd’hui deux solutions.

Montrer le monde de manière directe. C’est le cas des casques Hololens ou Magic Leap qui laissent voir le monde à travers des lunettes.
Le montrer de manière indirecte. Choix que font les fabricants de réalité virtuelle dont les derniers casques font aussi de la réalité mixte.

Ces deux solutions engagent des techniques différentes avec leurs technologies respectives. Pour répondre à la question de notre article (comment fonctionne la réalité mixte ?) il faut alors entrer au cœur de ces systèmes.

Méthode classique : voir le monde à travers des lunettes

L’Hololens et le Magic Leap se présentent sous forme de grosses lunettes. De cette façon, rien ne nous bouche la vue. Pour faire surgir des hologrammes devant nous, ces lunettes embarquent des petits projecteurs qui envoient une image sur la face interne des verres, directement face à l’œil. Toutefois, on le devine bien, il ne suffit pas d’envoyer une lumière sur un verre pour tromper l’œil. Des contraintes physiques s’imposent. Comment projeter près de l’œil sans créer de reflet parasite ? Comment faire en sorte que l’hologramme ait l’air d’être dans la profondeur de la pièce ? Les réponses sont à trouver dans un unique dispositif : le guide d’ondes.

Le rôle des waveguides : guider la lumière pour créer l’illusion

Si on s’approche des verres et qu’on les regarde de plus près, on verra qu’ils ne sont pas communs. Qu’au-delà de leur qualité brute, de minuscules filtres sont incrustés à l’intérieur. Ce sont des guides d’ondes.

Comme leur nom l’indique, les guides d’onde permettent de guider les ondes électromagnétiques. Ils canalisent les rayons puis les redirigent de manière concentrée sur une certaine distance. De cette manière, quand la projection frappe le verre, les guides réorientent la lumière vers la pupille en évitant les pertes de lumière et en conservant la finesse de l’image. Ce sont sur eux que repose en partie la vraisemblance de l’hologramme.

Ils permettant de créer l’illusion d’un objet se tenant dans l’espace face à nous alors qu’en réalité il n’est qu’un reflet placé à quelques centimètres de notre œil. Magie ? Non, science. Les guides d’onde sont un système ancien longtemps utilisé en télécommunication à des échelles métriques. Aujourd’hui on les trouve partout à des échelles nanométriques … radar, électronique, instruments biologiques, fibre optique.

La société Digilens spécialiste de verre XR et de guide d’ondes

Mais ces dispositifs ont un défaut

Étant placés comme des filtres sur les verres, les guides d’ondes forment des fenêtres à travers lesquelles nos yeux sont forcés de regarder s’ils veulent voir les hologrammes. L’image n’est pas envoyée n’importe où sur le verre, elle est envoyée sur eux uniquement. Résultat : notre champ de vision holographique est réduit.

C’est LE problème majeur des lunettes de réalité mixte. Pour essayer de le contourner, les fabricants tentent plusieurs choses :

Disposer plusieurs guides d’ondes sur le verre, donc plusieurs fenêtres d’observation. C’est ce que fait la société Digilens par exemple avec ses lunettes ARGO.
Ou offrir un seul filtre sur l’ensemble du verre, mais avec un verre lui-même réduit. Ce que fait Magic Leap.

Bref ! Une bataille est en cours pour savoir qui obtiendra le meilleur FOV (champ de vision). À ce jour, c’est le Magic Leap 2 qui l’emporte. Demain ce sera peut-être un autre fabricant. Les paris sont ouverts.

Ce FOV réduit est souvent une mauvaise surprise pour le consommateur. Lui qui pensait que les lunettes garantissaient un angle de vue total, découvre que les hologrammes ne sont pas observables en périphérie de son regard.

L’opacité de l’hologramme : un axe d’amélioration

Avec les lunettes XR, les hologrammes ont toujours été un peu transparents. Normal, ils sont des reflets sur des verres, leur transparence est inévitable – et la lumière d’une pièce ou du soleil nuit à la luminosité des hologrammes.

Ce défaut a vite été compris par les concurrents qui ont vanté dans leur méthode l’aspect tangible de leurs hologrammes.

Ni une ni deux, Magic Leap s’est emparé du problème et y a répondu dans ses dernières lunettes avec une option appelée segmented dimming (gradation segmentée) et une autre appelée global dimming (gradation globale). Les deux permettent respectivement d’opacifier l’hologramme et d’opacifier le monde.

Opacifier l’hologramme pour le rendre plus réel. Opacifier le monde pour les mêmes raisons, mais surtout pour pouvoir utiliser le casque en extérieur sans être gêné par la lumière du soleil. Derrière cette fonctionnalité il y a une innovation matérielle. Les lunettes du Magic Leap 2 sont en fait des couches successives de verres (une dizaine de couches !) qui forment des écrans additifs.

segmented-global-dimming-in-magic-leap-2png

Ces écrans captent la lumière de l’environnement et y ajoutent des photons pour rendre le contenu. La dernière couche permet ensuite de soustraire sélectivement des photons pour opacifier l’image rendue. Malin ! On reprochait aux lunettes d’avoir une luminosité trop faible, Magic Leap a répondu au problème de manière bien plus intelligente qu’en augmentant cette luminosité. Pour ne pas s’embêter avec toutes ces questions, d’autres fabricants ont alors choisi d’oublier les verres, d’oublier les lunettes, d’oublier les reflets et d’adopter une autre méthode.

Méthode passthrough : voir le monde à travers des écrans

De leur côté, les sociétés comme Oculus ou HTC se lancent aussi dans la réalité mixte, sans toutefois abandonner la réalité virtuelle. Ce qu’elles veulent, c’est faire les deux à la fois sous un même casque. Pour cela, elles ont trouvé l’astuce : montrer le monde grâce aux caméras.

C’est la méthode du « passthrough ». Les caméras filment l’environnement et transmettent l’image aux écrans. La personne regarde son monde de manière indirecte à travers les écrans, les hologrammes viennent ensuite se superposer à son image. De la réalité augmentée sous un casque quoi !

Non justement, pas tout à fait. C’est plus complexe que ça.

Nous observons une image recomposée

Les casques ne retranscrivent pas l’image telle quelle. Ils recomposent une nouvelle image. Le terme pass-through (passer au travers) est donc un peu trompeur, car en pratique l’image n’est pas transmise directement de la caméra à l’écran. Elle suit un processus compliqué de recomposition pour offrir une image qui serait celle de l’utilisateur si ce dernier n’avait pas d’écran devant les yeux. En clair : le passthrough recrée le point de vue de l’utilisateur plutôt que de conserver le point du vue du casque.

Ce procédé est indispensable pour aboutir à une expérience confortable, sans quoi nous verrions le monde en décalé, sans parallaxe, et avec un léger retard sur nos mouvements.

Pour effectuer ce recalcul, les casques exploitent justement les données des caméras RVB et infrarouges (les fameuses). C’est du moins ce qu’explique Andrew Bosworth, directeur technique de Meta, à propos de son Meta Quest 2. L’image calculée est ainsi capable de :

Retranscrire la parallaxe.
Retranscrire l’espace colorimétrique.
Recaler la position de l’image comme si elle était à hauteur de nos yeux.

La chose est marrante quand on y pense. Les fabricants sont obligés d’élaborer des systèmes complexes pour reproduire dans leurs casques le regard dont ils nous privent …avec leurs casques.

La méthode passthrough est l’exact inverse de la méthode Hololens.

L’hololens arrive facilement à montrer le monde, mais doit ruser pour afficher des hologrammes.

Le passthrough arrive facilement à afficher des hologrammes, mais doit ruser pour montrer le monde. Aujourd’hui la méthode n’est pas parfaite. Elle ne suffit pas à créer une expérience totalement confortable. Difficile d’être 100% confiant et de se déplacer comme si on n’avait rien sur la tête lorsqu’on a justement quelque chose sur la tête. On adopte automatiquement une méticulosité dans nos mouvements.

L’idéal serait d’avoir une vue-écran qui parvienne à nous leurrer complètement. Une vue qui imite tellement bien notre regard, qu’on en vienne à croire qu’il n’y a pas d’écran, et que l’on regarde à travers une visière.

Les technologies spécifiques à la réalité mixte

Du tracking, du tracking et du tracking encore

Nous avons commencé cet article en parlant de technologies qui concernent les dispositifs immersifs dans leur intégralité. Le head tracking la reconnaissance d’environnement ont été empruntés à la réalité virtuelle et la réalité augmentée.

Entrons maintenant dans le dur.

Abordons les technologies implémentées pour des besoins spécifiques à la réalité mixte. Des technos qui concernent d’ailleurs les deux types de casques que l’on vient de voir – classique et passthrough – car leur rôle est de créer une interaction toujours plus riche et naturelle entre l’utilisateur et le virtuel.

Car voyez-vous, la réalité mixte vise un idéal. Cet idéal c’est Minority Report. On rêve de pouvoir contrôler des objets virtuels flottant autour de nous. On voudrait un virtuel qui réponde à tous nos gestes, de manière lisible, crédible et intuitive.

Pour essayer d’atteindre ce rêve, les constructeurs comprennent alors qu’il faut capter le moindre de nos mouvements. Aucune interaction n’est possible sans cela. Et pour ça, il n’y a pas de secret : il faut tracker, tracker et tracker encore. C’est donc reparti pour du tracking.

Eye tracking : suivre les yeux pour faire…plein de choses

La documentation Hololens dit ceci :

« des caméras situées près du nez permettent de suivre le regard mais aussi d’adapter l’affichage à l’écart pupillaire de chacun. Le support windows hello permet de reconnaitre l’utilisateur grâce à ses pupilles ».

Tout est dit en deux phrases, ou presque. Les casques embarquent en effet des systèmes d’eye tracking capables de suivre notre regard et d’en tirer plusieurs choses.

Nous n’essaierons pas ici d’expliquer comment la technologie fonctionne en détail. En revanche, il est intéressant de comprendre d’où elle vient pour en comprendre ses usages.

Rapide historique de l’eye tracking

Contrairement à ce qu’on croit, l’eye tracking n’est pas nouveau. Les premiers systèmes capables d’enregistrer les mouvements oculaires datent des années 50. On l’utilisait essentiellement pour mener des études comportementales – ce qu’on appelle l’oculométrie cognitive. L’oculométrie est une science plus ancienne encore, mais c’est à partir de ces années-là qu’elle fait intervenir des systèmes de tracking non invasifs. C’est-à-dire des appareils qui observent nos yeux sans y toucher et reconnaissent leurs micromouvements : position, fixation, saut, balayage, etc.

Ensuite, d’outil d’analyse, il est devenu un outil d’interface homme-machine à partir des années 80. C’est-à-dire un outil qui fait de nos yeux des contrôleurs. Destiné au départ aux personnes handicapées pour leur permettre de communiquer par le regard, les premiers systèmes – comme le Eye tracker communication system datant de 1981 – ont ensuite été perfectionnés, sont passés dans nos PC, dans nos smartphones, ont été expérimentés dans le jeu vidéo, avant d’atterrir aujourd’hui dans nos casques.

L’eye tracking a donc deux utilités : l’analyse et le contrôle. Ce sont ces deux mêmes rôles qu’il joue dans les casques XR.

L’analyse : observer nos yeux pour créer du confort

L’eye tracking sert d’abord un souci de confort, priorité des priorités lorsqu’on veut démocratiser une technologie.

Les casques prennent en compte l’écart interpupillaire pour régler l’effet de profondeur de l’hologramme (le relief repose en effet sur l’écart des yeux). Le suivi oculaire oblige d’ailleurs chaque nouvel utilisateur à procéder à un étalonnage quand il met le casque pour la première fois.

En suivant notre regard, les casques procèdent aussi à ce qu’on appelle un rendu fovéal. C’est-à-dire un rendu plus précis de l’image là où notre regard porte. Technique très utilisée en jeu vidéo, elle ne permet pas seulement d’obtenir une image plus précise, mais aussi d’optimiser le calcul de manière générale.

Mais le confort se travaille aussi sur l’hologramme lui-même. La documentation d’Hololens donne un ensemble de conseils aux développeurs pour bien les placer et créer du feedback intelligent. Par exemple il est recommandé de les rapprocher à deux mètres au plus près et de respecter des consignes de taille pour une meilleure lisibilité. Hololens invite aussi les développeurs à créer du feedback implicite : défilement automatique basé sur les yeux, zoom panoramique, hologrammes attentifs.

L’Eye Tracking accompagne les devs dans cette mission en leur fournissant un ensemble d’informations dont ils peuvent tirer parti. Des informations sur la direction du regard, l’attention, la vergence des yeux, l’accommodation, etc… Elles permettront de mesurer l’efficacité de l’UX afin de l’améliorer. Elles pourront aussi être utilisées dans des études de recherche, des évaluations de conception marketing, et des surveillances de performance.

Bref, exactement les mêmes usages qu’en oculométrie cognitive, car au fond c’est exactement de cela dont il s’agit. (Toutes ces informations sont à retrouver dans la documentation Hololens 2, partie « design eye tracking.)

Le contrôle : utiliser nos yeux pour commander les hologrammes.

Ce suivi permet ensuite de donner le contrôle à nos yeux.

Si les fabricants tiennent tant à faire de ces derniers des périphériques informatiques, ce n’est pas pour rien. Leurs raisons sont solides.

Ce faisant, les bras peuvent se reposer et les utilisateurs mener des sessions moins fatigantes. Nos yeux peuvent sélectionner des hologrammes, naviguer dans l’interface, valider des contenus, ou encore faire défiler des textes sans aucun geste. Argument intéressant pour ceux dont le casque est un outil de travail.

Pour rendre la navigation plus souple, les yeux sont souvent couplés à autre chose. Sous Hololens par exemple on peut viser un hologramme et le saisir en disant « sélectionner ». Voix et yeux travaillent ensemble. Mais ce peut être aussi un couple yeux-mains grâce au hand tracking.

La deuxième raison, c’est que l’œil est le muscle le plus performant qui existe. Il n’y a aucun curseur plus rapide et précis que lui. Naviguer dans une interface au regard, c’est pouvoir passer d’un élément à l’autre en une fraction de seconde, sans avoir à doser le geste. Les yeux ne savent pas mal viser. Mais encore faut-il pouvoir leur obéir. Le vrai défi aujourd’hui n’est pas tant de savoir comment transformer nos yeux en contrôleurs – ça, nous savons le faire – mais comment saisir des stimuli toujours plus fins pour gagner en précision et concevoir des systèmes capables de suivre l’ultra-performance de nos yeux.

À l’heure actuelle, ce qu’on appelle le « gaze input » est encore à perfectionner. On sait où regarde la personne, mais une marge d’imprécision existe que Microsoft recommande de prendre en compte. Les conseils d’affichage dont nous parlions plus haut sont en partie liés à ça.

Hand et Face tracking

Après la tête et les yeux, ne restent plus que le visage et les mains. Ça tombe bien, leur suivi a été intégré dans les derniers casques.

Face Tracking : retranscrire nos expressions faciales

Aujourd’hui le Face Tracking sert essentiellement aux applications sociales et à quelques jeux vidéo, chez Meta Quest Pro par exemple, il permet de retranscrire nos expressions faciales sur le visage de notre avatar.

Sur internet, vous croiserez donc beaucoup de vidéos de réunions virtuelles dans lesquelles des amis expriment physiquement leur joie sur le visage de leur double virtuel.

La même chose est possible non plus en VR mais en réalité mixte. On peut aujourd’hui voir nos amis ou nos collègues dans notre salon et mener des discussions avec eux. Le suivi du visage offre des interactions humaines plus poussées que ne le permettaient les anciens casques. Les capteurs lisent tout : bouche, yeux, sourcils, muscles faciaux. La qualité est assez bluffante.

Pour capter tout cela, des caméras discrètes sont embarquées à l’intérieur de la visière en direction du visage. Un espace est donc prévu pour les caméras. Le Meta Quest Pro n’isole pas nos yeux, la lumière peut y pénétrer ce qui peut nuire à l’immersion.

Hand Tracking : toucher ce qui est intouchable

Quant au Hand Tracking, il existe depuis plusieurs années déjà dans les casques. Le premier Hololens en avait, l’Oculus Quest aussi. Son but est évident : permettre aux usagers de manipuler des hologrammes manuellement, qu’ils soient des objets 3D ou des interfaces.

À la question « comment tout cela marche techniquement ? », nous choisirons une réponse brève : ça marche comme le reste. Côté hardware, ce sont toujours les mêmes caméras RGB-D qui regardent nos mains. Côté software l’Hololens embarque un kit d’outils MRTK (Mixed Reality Toolkit) qui comprend le suivi des mains. Ce n’est donc pas un défi. On a les outils compétents pour.

Comme toujours, le défi est ailleurs. Ici il est double :

Concevoir des API capables de distinguer des gestes toujours plus fins.
Élaborer un panel de gestes qui soient riches, mais toujours intuitifs pour l’utilisateur.

Et c’est peut-être ce deuxième point qui est le plus complexe. Interagir avec des hologrammes oblige à créer un nouveau langage homme-machine.

D’abord parce qu’on manipule de l’immatériel. On ne se doute pas à quel point l’absence de tactile pose problème. On ne touche rien, on interagit avec des objets qui n’en sont pas, et dont les distances sont factices. Ce ne sont que des foutues des projections face à l’œil !

Aussi parce que ces objets sont en volume, et que le volume ajoute des interactions qui n’existent pas avec les interfaces plates. Ne serait-ce que pour bouger un objet dans ses différents axes X-Y-Z. Cela rapproche presque l’usager de l’infographiste 3D. Et croyez-nous, on sait de quoi on parle.

Tout cela ensemble soulève plein de questions.

En réalité mixte manuelle, comment différencier un geste de validation d’un geste de saisi ? Et une fois l’hologramme saisi, comment distinguer un geste de déplacement d’un geste de rotation ?

Si on se penche sur les solutions imaginées par Hololens et Magic Leap, on découvre qu’ils envisagent de la même manière ce langage. Magic Leap reconnaît huit poses de main. Hololens en reconnaît un peu moins et ne conserve que des gestes intuitifs – des gestes simples comme touch, hand ray, ou air tap.

On découvre aussi que les deux choisissent de ne pas se reposer uniquement sur ces gestes, mais d’ajouter des options activables sur les hologrammes, entraînant une richesse de manipulation bienvenue. En démonstration ici.

Tout cela rend évidemment la manipulation d’hologramme compliquée pour celui qui s’y essaie la première fois. Un apprentissage est nécessaire, mais il est d’autant plus normal que les casques sont pensés comme des outils de travail. C’est leur devoir d’être le plus simple possible, mais c’est aussi leur devoir d’inclure beaucoup de possibilités afin que l’ingénieur, le chirurgien ou le cadre puisse s’aménager son espace virtuel sur mesure et sa propre organisation sans être bridé par l’outil.

Concluons et résumons

Voilà, nous arrivons au bout de ce dépiautage des casques. C’était long ? Nous nous sommes pourtant restreints aux technologies principales, celles qui importent vraiment pour comprendre ce que la réalité mixte peut faire. Récapitulons alors. La réalité mixte permet de :

Suivre la position et les mouvements d’une personne
Voir le monde, y asseoir les hologrammes, les rendre persistants et occultables, bref : crédibles.

Il existe deux voies aujourd’hui pour les acteurs du marché :

La réalité mixte classique qui nous laisse voir le monde à travers des lunettes
La méthode passthrough qui l’affiche sur des écrans.

Les deux ont leurs qualités et leurs faiblesses, mais l’innovation va vite dans ce monde-là.

Les casques sont ensuite bardés de modules de tracking permettant de confondre toujours mieux le réel au virtuel. Désormais nos yeux, nos bras, notre voix sont utilisables pour interagir avec les hologrammes.

Maintenant que nous savons tout cela, nous pouvons répondre plus facilement à la vraie question qui nous intéresse : mais quel casque choisir alors ?! Pour cela, rendez-vous à l’article suivant.

Comment faire vivre un personnage virtuel dans votre musée ?

par Vincent | Jan 13, 2023 | Blog

Comment faire vivre un personnage virtuel dans votre musée ?

Imaginez que des visiteurs parcourent votre musée et voient apparaitre un personnage virtuel. Ce personnage les interpelle comme le ferait un guide. Au fond, il tient la même fonction qu’un audioguide. Il commente le parcours, apporte des informations aux gens. La seule différence est qu’il est visible et qu’il établit une « présence » dans l’environnement du musée, détail qui change en réalité beaucoup de choses. À travers cet article, le but est de vous montrer quelles technologies permettent cela et quelles possibilités s’offrent à vous.

Faites apparaitre le personnage dans le décor en réalité augmentée

La réalité augmentée, vous connaissez probablement. Pokemon go, les filtres snapschat, les meubles Ikea à poser dans son salon. Son principe est simple : elle permet d’afficher des éléments virtuels à l’écran comme s’ils étaient intégrés dans la réalité.

En musée, elle est souvent utilisée pour afficher des informations contextuelles. Les utilisateurs filment un objet et voient apparaitre des informations à son sujet. Texte, vidéo, animation, audio, bref du multimédia !

Maintenant, imaginez le même usage mais à travers l’intervention d’un personnage. Au lieu de consulter des informations écrites, le visiteur les reçoit à travers une présentation orale et animée. L’expérience en sera différente, voyons en quoi.

Que va apporter le personnage ?

Le personnage apporte une présence, un charisme, une personnalité.

Il ramène du ludisme dans l’expérience numérique.

Il constitue alors un argument intéressant pour attirer un public jeune et familial. Les enfants seront davantage séduits par un guide débonnaire et accueillant que par une simple interface interactive.

Et c’est là son vrai potentiel comparé à une approche classique de la réalité augmentée. C’est ainsi qu’il doit être envisagé : comme une expérience curieuse et amusante à destination du grand public. Un bon moyen d’amener les gens vers la la technologie.

Personnage de Louis-Philippe imaginé pour un musée historique

L’idée était de créer une mascotte avec le personnage emblématique des lieux. L’avantage d’un tel personnage, c’est qu’on peut l’envisager de différentes manière. Il peut être plus ou moins réaliste, plus ou moins cartoonesque. On peut le rendre amusant pour s’adresser aux enfants, ou à l’inverse rester proche du personnage réel qu’il était pour parler aux adultes. Dans les deux cas, il permet de faire revivre la figure historique, et de mieux projeter le public dans le passé.

On ajoutera qu’au-delà des solutions abordées dans cet article, on peut également l’utiliser à travers différents supports de communication : site internet, flyers, figurine, carton, goodies, etc.

Comment jouer avec le décor en réalité augmentée ?

Maintenant, tout l’intérêt de la réalité augmentée est de pouvoir jouer avec la « présence » du personnage en le faisant évoluer dans son espace physique. Mais pour qu’il puisse faire cela, l’application doit connaitre cet espace. C’est-à-dire connaitre le point d’apparition et les obstacles éventuels.

Simplifions la question au maximum en disant qu’il y a deux cas possibles. Le cas où le personnage apparait dans un espace restreint. Ce peut être une table, un pupitre érigé pour lui, ou n’importe quel autre support. En tout cas, c’est un espace limité dans lequel il a peu d’interactions avec le reste (voire pas du tout). Cette approche est la plus simple car la plus immédiate. Pas besoin de reconnaitre un espace déjà existant.

Exemple ici avec notre personnage dans son livre popup !

Et le cas où le personnage bouge dans une zone plus grande. On pensera par exemple à un coin de pièce avec divers objets. Ou encore une reconstitution grandeur nature (d’une cuisine d’antan par exemple) dans laquelle on fera soudainement apparaitre un personnage du passé. Pour cela, on devra scanner l’espace en question pour obtenir son jumeau numérique. On obtiendra un décor virtuel conforme au vrai, à l’intérieur duquel on jouera les animations du personnage.

On sait aujourd'hui afficher de la réalité augmentée dans des espaces ouverts. La preuve à travers cette réalisation.

Faites surgir le personnage sur les murs en projection mapping

Le « projection mapping » ou « light mapping » ou encore « video mapping » consiste à projeter des animations sur des volumes. L’exemple le plus connu étant celui de la fête des lumières à Lyon. Chaque année il s’y joue des spectacles lumineux sur les plus beaux bâtiments de la ville.

Il existe aussi un projection mapping d’intérieur. L’approche est différente. On n’éclaire pas des espaces fermés comme on éclaire des bâtiments. D’abord parce que des visiteurs y circulent, et qu’on doit prendre en compte leur déplacement et leur lieu de passage. Aussi parce qu’on devra composer avec la configuration d’une pièce, veiller à l’éclairage ambiant, à la profondeur, ainsi qu’aux distances entre les objets et à leur ombre. Bref, c’est un autre travail de scénographie qui se rapproche davantage de celui de l’éclairage d’exposition si cher au musée.

L’approche simple : projeter le personnage sur le mur

Oublions ici les grandes fresques lumineuses pour revenir à des installations plus simples. Ce que nous proposons avec le personnage peut se présenter ainsi : un projecteur braqué sur un mur, un dispositif audio pour faire entendre la voix du personnage, le tout synchronisé avec l’animation, et le tour est joué ! Ce qu’on obtient c’est un personnage projeté sur le mur qui s’adresse aux visiteurs. Simple mais suffisant dans le cadre d’une visite. Pour cela, on pourra se tourner vers du matériel de projection pensé pour les intérieurs. Il existe aujourd’hui des gammes de projecteurs semblables aux cadreurs LED déjà utilisés en musée pour éclairer les œuvres.

Pour cela, on pourra se tourner vers du matériel spécifiquement conçu pour du petit mapping. Il existe aujourd’hui nombre de gammes de projecteurs déjà utilisés en musée.

L’approche dynamique : jouer avec les reliefs et le regard des spectateurs

Ces projections deviendront du light mapping à partir du moment où l’on profitera du décor pour mettre en scène le personnage.

Plusieurs choses sont possibles.

On peut projeter sur un objet plutôt que sur un mur et ainsi sculpter la projection sur un volume. De notre côté par exemple, nous avons déjà créé des animations pour une projection sur un rideau d’eau.

On peut aussi décider de faire évoluer la projection dans la pièce. Jouer avec les angles, les aspérités, les obstacles. Avec un peu de créativité, certains font des merveilles.

Toutefois ici, il ne s’agit plus d’une simple projection. C’est un travail sur lequel le regard d’un scénographe est essentiel. Tout le principe du vidéo mapping étant de construire l’animation à partir de l’existant, et donc d’évaluer les possibilités scéniques et la faisabilité technique d’un éclairage.

Pour terminer cet article, listons alors quelques idées simples qui nous viennent à l’esprit lorsqu’on imagine mettre en scène un personnage en vidéo mapping.

Installer des endroits spécifiques d’apparition du personnage, comme des alcôves, des pupitres, des vitrines. Et le faire apparaitre lorsque les visiteurs s’en approchent.
Éclater les apparitions au sein d’une pièce, en téléportant le personnage d’un point à un autre pour jouer à une sorte de cache-cache avec le public.
Faire se déplacer le personnage d’œuvres en œuvres sur un même mur, afin qu’il joue son rôle de guide et les présente une par une, mais en étant à côté d’elles (voir carrément dessus).
Le faire évoluer dans une pièce sur les objets communs et les reliefs de la pièce : angles, meubles, portes, extincteurs, etc.

Film Médical 3D : un cas particulier

par Vincent | Jan 28, 2022 | Blog

Film Médical 3D : un cas particulier

Modéliser des outils médicaux, animer des gestes de soin, représenter et expliquer des phénomènes biologiques, nous savons faire. Le film médical est un genre que nous pratiquons, si bien qu’avec le temps nous avons pu identifier des caractéristiques qui lui sont propres.

Il soulève un ensemble de problématiques, de points de vigilance et d’interrogations que les autres genres ne soulèvent pas. En cela, il demande donc un savoir-faire spécifique, qui s’acquiert avec l’expérience. Voyons ça de plus près.

Une mise en scène protocolaire

Dans la catégorie des films médicaux, on trouve le film-produit ou film-notice dont le but est de vendre un outil médical à destination des professionnels. La grande différence avec un produit lambda, c’est que l’outil médical ne supporte par les imprécisions d’usage. La notice doit être infaillible, car elle répond d’un protocole.

Représenter un protocole de soin, c’est animer chaque geste très précisément

Si le professionnel comprend mal l’outil qu’on lui présente, il risque la faute professionnelle. Plus qu’ailleurs, l’animation doit être intelligible, et ne doit laisser aucune place à l’interprétation.

C’est donc un genre très particulier dans lequel la mise en scène est guidée par le protocole. Ce dernier conditionne ce qu’on va montrer, et comment on va le montrer.

Ce qui signifie au moins deux choses.

D’abord qu’il y a besoin d’autant d’échanges que nécessaire avec le constructeur, pour ne laisser aucun doute sur l’utilisation du produit. Les allers-retours entre les deux équipes doivent être fructueux et entrepris au plus tôt. L’erreur serait de ne pas poser assez de questions.

Ensuite, que de notre côté, chaque plan doit être efficace. Forcément, nous avons moins de marge de manœuvre. C’est là qu’est le défi : penser rapidement au meilleur plan, au meilleur effet, au meilleur mouvement pour expliquer le produit – le plus simple est le mieux – sans oublier toutefois de composer une image vendeuse et réaliste qui le mette en valeur.

Bien sûr, toutes ces méthodes s’acquièrent à force de travailler avec des experts. C’est une habitude qui finit par faire surgir des compétences : on sait adopter leur langage, récupérer et exploiter leurs données, comprendre leur besoin et les guider vers des choix de réalisation adaptés.

Une vigilance quant à la sensibilité du public

Le film médical est le seul type de réalisation dans lequel nous sommes amenés à montrer des corps et des chirurgies. Même si ces films sont destinés à des professionnels que le sang n’effraie pas, la question de la censure s’impose. Elle s’impose pour une raison très simple : ce sont des réalisations qui cherchent à vendre un produit, elles représentent une marque, et doivent véhiculer une bonne image. Une image d’efficacité et de professionnalisme. Fatalement, le sang n’a pas sa place. Il y a également une autre raison. On souhaite que le spectateur retienne l’objet et son usage. Le problème des images un peu crues, c’est qu’elles empiètent inévitablement sur le message du film. Il y a le risque que le spectateur se focalise dessus et ne retienne que ça plutôt que ce qu’on veut lui transmettre. Or, rappelons-le, le spectateur est un potentiel acheteur.

Très vite alors, on adopte des réflexes de publicitaires. On pense une image la plus clean possible, on met en place des astuces pour l’épurer, pour contourner les problématiques vers lesquelles nous mènent telle opération ou tel geste de soin.

Ce n’est pas vraiment de la censure, car on ne modifie pas une image existante. On la conçoit par avance pour qu’elle ne soit pas choquante. On n’efface pas le sang, on choisit de ne pas le représenter. Ça ne veut pas dire non plus qu’on efface le geste chirurgical. Bien au contraire, s’il faut montrer une perforation ou une incision, on la montre, mais on évitera soigneusement tout ce qui rappelle la réalité charnelle de ce geste.

Par exemple, sur cette image, on ne montre pas le dos. On s’en tient à la colonne vertébrale.

Chose possible aussi parce que la présentation nous le permet. Pour expliquer l’outil, nul besoin de montrer la perforation de la peau, on a seulement besoin de montrer l’essentiel (à quel niveau des vertèbres et à quelle profondeur l’outil agit).

Bien sûr, il y a des cas où cette problématique ne peut pas être contournée, et où nos clients ne veulent pas qu’elle le soit. Regardez par exemple notre ancienne production pour Megadental. Un protocole de soin sur une dent abîmée. Le protocole nous oblige à montrer tout le processus de soin…en détail.

Âme douillette, s’abstenir. (surtout si vous détestez passer chez le dentiste).

Une diversité de réalisations

Derrière la requête « film médical », on pourra trouver aussi bien de la vulgarisation scientifique que des films de campagne sanitaire ; aussi bien des films pour des colloques que de la présentation de produit. Ce n’est pas seulement la nature des films qui change d’une production à l’autre, mais aussi la discipline représentée. Derrière le terme « médical », se tient une foule de domaines : immunologie, neurologie, cardiologie, odontologie, radiologie, médecine générale, endocrinologie, dermatologie, etc etc. On ne va pas vous faire toute la liste des services hospitaliers. Ainsi, comme le secteur social ou comme l’ingénierie, le domaine médical représente un énorme champ de disciplines. Cette réalité impacte directement notre activité, puisqu’elle nous oblige – nous, spécialistes de l’animation 3D – à dialoguer avec tous les métiers et à nous adapter à leur spécialité. Bien sûr nous ne sommes experts d’aucune discipline médicale. Ce n’est jamais nous qui guidons le contenu des films, en revanche, c’est nous qui apportons des réponses artistiques aux requêtes qui nous sont soumises. Aucun film n’est pareil, chacun vise un but différent, car chaque client vient avec une demande liée à son domaine. Pour fournir des propositions adaptées, il nous faut comprendre leur besoin, comprendre les spécificités de leur domaine, et exercer une gymnastique parfaite. Tout cela pour dire qu’il y a autant de film médical qu’il y a de domaine médical, et de besoins du commanditaire. En cela le film médical est bien différent du film immobilier, du film marketing, ou encore du film institutionnel. Des genres à sens unique, très codifiés, aux buts similaires d’un film à l’autre. Prenons un exemple de chez nous.

Notre réalisation pour la firme FIM médical : une animation cartoon destinée aux patients amenés à souffler dans un spiromètre (appareil de mesure de la capacité pulmonaire). Pour les aider à inspirer et expirer correctement dedans, une animation les guide.

On ne montre rien de médical dans le film. Pas de soin, pas de science, pas de produits chirurgicaux. Et pourtant c’est une réalisation qui répond directement à un besoin médical, commandée par un professionnel qui avait des attentes particulières liées à son métier. Il nous a fallu comprendre les problématiques qu’il rencontrait avec ses patients qui utilisaient des spiromètres, et lui proposer nos idées en retour.

« Entrées précédentes