Réalité mixte : quelles capacités pour quels usages ?

De quels usages parlons-nous ?

Dans notre article précédent, nous avons décortiqué les casques de réalité mixte. Voyons maintenant s’ils sont adaptés à ce que vous souhaitez en faire. Ici c’est précisément votre cas qui nous intéresse. Le cas d’un professionnel invitant des personnes à endosser un casque pour une séance.

Nous nous adressons :

Aux professionnels qui souhaitent utiliser la réalité mixte en présentation commerciale – immobilier, industriel, marketing.
Aux créateurs de formation qui cherchent des outils toujours plus intéressants pour mettre en situation les élèves.
Aux culturels qui veulent inviter le public dans de expériences de réalité mixte.

Tous ces usages sont différents de ceux mis en avant par les fabricants. Davantage orientés gaming ou outils de travail, les casques sont assez peu envisagés pour vos cas à vous. Pourtant les casques sont tout à fait capables de répondre à vos besoins. Vous accueillez des gens qui mettront probablement un casque pour la première fois de leur vie et qui ne seront pas habitués à l’objet, vos besoins sont donc liés à ce contexte.

Effectuons alors un tour de la question en deux temps.

Dans cet article, nous évaluerons les technologies XR de manière générale et prendrons du recul sur les usages qu’elles impliquent.

Dans l’article suivant, nous nous attarderons spécifiquement sur les casques dits « passthrough ».

Hololens et Magic Leap : idéals pour les visites et présentations public

La réalité mixte imaginée par Hololens et Magic Leap permet d’augmenter le monde à travers des lunettes. Ce sont précisément ces lunettes qui font la différence par rapport aux autres dispositifs. Elles ont un véritable avantage : elles laissent voir le monde. Pas d’écran, pas de coupure entre nous et ce qui nous entoure, juste des verres normaux – à ceci près qu’ils sont bardés de technologies et que des hologrammes s’affichent dessus.

La méthode Hololens est celle qui se rapproche le plus de la réalité augmentée telle qu’on la connait

Ne pas être coupé du monde, cela amène un vrai supplément de liberté.

L’utilisateur conserve une lisibilité de l’environnement qui lui permet de se balader sans encombre puisqu’il voit où il va. Il n’a donc pas besoin d’être accompagné comme il peut l’être sous un casque de réalité virtuelle par exemple. Il peut également profiter du virtuel sans être obligé de tenir un accessoire en main. Tout est embarqué sur sa tête.

Si on regarde uniquement ces avantages, les cas d’usages qui se prêtent le mieux à la technologie sont les visites augmentées.

Les lunettes sont idéales pour mettre en place des visites augmentées quel que soit leur contexte (culturel, marketing, industriel). Par exemple…

Vous faites visiter votre usine pour des rendez-vous commerciaux, et souhaitez ajouter une dimension holographique.
Vous montez un projet évènementiel et voulez que vos clients visualisent sur place la future installation.
Vous souhaitez attirer du public vers votre musée avec un nouveau genre de visites, comme c’est le cas ici. Ou bien créer des show semi-immersifs.

Que choisir pour des visites, réalité mixte ou réalité augmentée ?

Maintenant, concernant tous ces cas d’usages, il convient quand même de rappeler une chose : ce que la réalité mixte fait, la réalité augmentée le fait aussi.

C’est une évidence, mais il faut quand même la rappeler. Oui, la réalité augmentée permet elle aussi de mener des visites augmentées. Qui l’aurait cru ?

Tout cela pour dire une chose. Si ce que vous souhaitez vraiment, c’est créer des visite augmentée, il n’y a aucune raison d’écarter cette technologie au profit de la réalité mixte. Ce qu’il faut étudier plutôt, ce sont les différences matérielles des deux technologies, car c’est elles qui auront un impact sur l’organisation du projet.

Commençons par la réalité augmentée.

Premier point important, elle est une technologie désormais connue des gens. Elle est plus facile à présenter au grand public car elle s’exerce sur tablette ou smartphone, des appareils que presque tout le monde sait utiliser. Cet avantage en amène un autre, plus intéressant encore : les applications de réalité augmentée peuvent être partagées sur les stores. Chaque utilisateur peut l’utiliser sur son propre smartphone.

Cela signifie que vous pourrez toucher un public plus large et ouvrir l’expérience à toute personne équipée d’un smartphone. C’est l’assurance de toucher du monde sans même avoir à investir dans du matériel.

La réalité mixte est différente.

Il faut acheter des casques, veiller à leur maintenance, introduire les utilisateurs à leur usage, organiser des visites sous inscription en fonction du nombre d’appareil disponibles. Bref, investir dans du matériel et organiser l’activité autour. Au fond, sur le plan strictement matériel, la réalité mixte implique la même chose que la réalité virtuelle.

En revanche, une fois le casque sur la tête, c’est une expérience nouvelle qui s’offre à l’utilisateur. La réalité mixte est une technologie insolite. Elle a pour elle une dimension immersive et tech sur laquelle il est essentiel de communiquer. Capitaliser là-dessus. Ce qui pousse aujourd’hui certains à investir dedans, c’est qu’elle est un bon produit d’appel. Elle attire le public et son attrait repose sur son principe même.

Mais ces casques ont une limite

On l’a dit dans notre article précédent, les lunettes de réalité mixte présentent une limite au niveau de leur champs de vision.Une fois sur la tête, c’est souvent une petite déconvenue pour l’utilisateur. Il voit bien le monde qui l’entoure, pas de problème à ce niveau, en revanche les hologrammes n’apparaissent pas en périphérie de son regard. Ils sont réduits à une fenêtre plus étroite.

C’est vrai surtout pour les casques Hololens. Pour le Magic Leap c’est un peu différent. Les hologrammes apparaissent bien sur l’ensemble de la lunette, mais cette lunette elle-même est étroite et cerclée, réduisant ainsi le champ de vision. Dans les deux cas, le résultat est le même.

Cette limite est reconnue par tous, y compris par les fabricants qui cherchent à la corriger. Avec les derniers modèles – Hololens 2 et Magic Leap 2 – elle a été améliorée, mais elle reste une limite inhérente à l’architecture des casques.

Évidemment rien d’alarmant là-dedans, rien qui n’empêche d’être séduit par l’expérience et d’en profiter, mais c’est une chose à savoir car cette limitation du regard empêche d’offrir des shows réellement immersifs dans lesquels on ferait surgir des éléments depuis les côtés. On ne peut pas vraiment jouer avec toute l’étendue du regard comme on le fait en réalité virtuelle.

Certes, il existe bien des spectacles dits « immersifs » sur Hololens, c’est le cas du Grand Large de l’aquarium Nausicaá à Boulogne-sur-Mer, mais ils sont « immersifs » dans la mesure où ils font surgir du virtuel à travers des lunette. Ce qu’ils ne font pas en revanche, et qui est pourtant la véritable définition du format immersif, c’est inonder notre regard de virtuel, nous immerger dans un monde. Les casques imposent plutôt aux spectateurs d’observer une chose à la fois dans des directions bien précises.

Les casques « passthrough », plus adaptés aux usages commerciaux

Les casques passthrough sont différents des casques Hololens et Magic Leap. Pas seulement différents par leurs techniques, qu’on a expliquée dans notre article précédent, mais aussi par les usages qu’ils suggèrent.

Nous avons simplifié volontairement la chose en disant qu’ils étaient adaptés aux commerciaux. En réalité, si on veut être précis, on dira qu’ils appellent des usages limités et circonscrits dans l’espace.

Avec eux, on pourra voir des hologrammes posés dans une pièce. On pourra manipuler ces hologrammes. Mais on ne pourra pas augmenter la pièce. Du moins, on évitera de le faire.

La raison de cette limite, c’est la qualité de la vue caméra – dite « see-through ». Elle n’est pas assez bonne pour reconnaitre les marqueurs, les icones ou les objets, et donc pour enclencher de la réalité augmentée. Elle rend l’environnement visible, mais pas utile.

On pourra poser un objet virtuel sur une table, par exemple, mais on ne cherchera pas à superposer le virtuel de manière très précise par-dessus un objet, comme on le fait ici avec une tablette.

C’est pourquoi on préfère recommander les casques passthrough à des usages commerciaux. Présenter des objets, des produits, du mobilier virtuels en les posant simplement dans l’espace. Et faire cela dans des espaces limités : stand en salon professionnel, ou bureau intérieur lors d’un rdv commercial.

Leur avantage : être des casques VR et XR à la fois

Un argument intéressant concernant le passthrough, c’est que vous avez de la réalité virtuelle et de la réalité mixte dans un même objet.

Si vous aviez l’habitude pour votre communication et vos démonstrations commerciales de varier entre réalité virtuelle et réalité augmentée, vous avez désormais un outil qui fait les deux.

Vos produits vous pourrez les faire apparaitre grâce au casque. Les visites virtuelles dans lesquels vous invitiez vos clients, vous pourrez les mener dans cet outil. Toutes vos démarches de communication immersives pourront être réunies sous cet accessoire.

Les casques passthrough ont autant leur place en salon professionnel qu’en rendez-vous privés, car ils ne sont pas si différents des casques VR autonomes que les commerciaux connaissent déjà. Peu de différence entre un Oculus GO et un Meta Quest Pro. Les casques s’appréhendent de la même manière, présentent le même genre d’autonomie et demandent le même accompagnement.

Peu de différences hormis quelques performances supplémentaires, et la réalité mixte évidemment…

La réalité mixte est un argument de poids. Même si ici elle est moins impressionnante que sur les « vrais » casques de réalité mixte, elle reste un atout à exploiter. Tout le monde connait la réalité augmentée, mais qui parmi vos clients a déjà testé une réalité augmentée immersive ? Commercialement parlant, c’est un argument solide.

Autre cas d’usage pertinent : la formation

Le domaine de la formation a toujours cherché le meilleur moyen de mettre en situation les élèves. Côté technologie, ce moyen a longtemps été la réalité virtuelle et l’est encore aujourd’hui. Sur bien des points, elle est irremplaçable. Toutefois la réalité mixte apporte de nouveaux atouts.

Ces atouts, regardons-les d’abord sans nous préoccuper des différents casques. Prenons la réalité mixte dans son ensemble.

Un réel visible : en réalité mixte on fait de la réalité augmentée. On profite de l’espace réel. Ce réel n’est pas effacé. Il peut servir dans le module de formation. On peut profiter d’objets, voire d’un espace complet dans lequel on circulera. Permanence des objets : on peut ensuite disposer des éléments virtuels dans cet espace et les ancrer à leur place, de sorte qu’à chaque nouvelle session l’élève les retrouve au même endroit. Mains libres : ce dispositif de réalité augmentée, l’utilisateur l’embarque sur la tête. Il a donc les mains libres pour manipuler des objets. Hand Tracking : sur certains dispositifs peut s’ajouter à cela un suivi des mains pour pouvoir manipuler les hologrammes sans manettes. Superposition du virtuel : si le casque le permet, on peut profiter d’icônes et de marqueurs pour augmenter des objets de manière précise. Par exemple : Augmenter une cabine de pilotage d’un avion ; en plaçant des marqueurs bien identifiables, on superposera de l’information numérique sur les boutons. Prise en compte des plans : le spatial mapping, lorsqu’il existe, permet de poser des objets virtuels sur des plans et de reconnaitre des murs. Saisir un objet virtuel et le poser sur une table c’est possible. Accrocher un objet virtuel sur le mur, ça l’est aussi. Une physique basique peut être envisagée et servir dans l’expérience.

Prenons un exemple, imaginons une formation incendie

Vous disposez d’un lieu de formation lambda. Une pièce neutre avec un couloir attenant.

En réalité virtuelle, seule la pièce serait utilisée. Disons même un espace limité dans la pièce. L’utilisateur plongé dans une simulation virtuelle serait obligé d’agir dans une zone restreinte, sans quoi il se cognerait.

En réalité mixte, il voit où il est. Il peut donc profiter de la pièce et du couloir contiguë.

Le fait de voir la pièce permet de donner un rôle à celle-ci dans l’exercice de formation. Mieux qu’un espace virtuel dénué d’obstacles physiques, l’exercice prend justement en compte ces obstacles. Ce qui n’est pas négligeable dans une simulation où le but est d’apprendre à gérer un départ de feu en faisant avec ce que l’espace nous offre.

Ensuite, le feu, la fumée, les effets visuels de la chaleur…tout cela sera virtuel. Ce le sera d’abord parce que le feu représente un danger, et qu’ici le but n’est pas de pousser trop loin la mise en situation. Ce le sera aussi parce qu’on a besoin que ce le soit, dans une logique d’interactivité. Étant virtuels, feux et fumées peuvent apparaitre, disparaitre, changer d’états, s’animés d’une manière ou d’une autre selon les interactions de l’élève, et même changer de place si par exemple on veut penser différents scénarios avec des départs de feu à divers endroits.

Là où la réalité mixte est intéressante ensuite, c’est qu’elle permet de choisir des accessoires réel ou virtuel selon l’envie.

L’extincteur par exemple, réel ou virtuel ?

Réel, cela permet de l’éprouver physiquement. Le porter, le dégoupiller soi-même. Il peut être intéressant pour les formateurs de conserver le plus d’objets physiques.

Virtuel, c’est l’occasion d’exécuter les gestes d’usage jusqu’au bout, et de simuler les effets mousse comme en vrai.

Ou alors on peut mixer les deux. Tenir en main un extincteur réel, et en faire jaillir de la mousse virtuelle.

Bref, la réalité mixte est intéressante pour composer des exercices sur-mesure mixant réel et virtuel. Bien sûr, ce qui vaut ici pour les formations incendie, vaut aussi pour tout le reste. Secours, premiers soins, situation de crise, manutention, formations métier, relationnel, etc.

Chaque technologie a ses propres atouts

Avec la formation incendie imaginée ici, nous avons dressé un exemple bien précis d’une session proche de la simulation. L’idée c’est d’immerger l’élève dans une situation, de reproduire un cadre complet. C’est ce qui explique pourquoi la réalité virtuelle plaît tant aux centres de formations.

Passthrough pour l’immersion

Pour ceux qui souhaiteraient rester dans cette optique « simulation », tout en profitant de la réalité mixte, nous recommandons les casques passthrough. Même s’ils ont des gros défauts dont nous parlons dans l’article suivant, ils ont quand même plusieurs avantages.

Ils profitent d’un meilleur FOV des hologrammes. Il est donc plus facile d’entourer l’utilisateur d’éléments virtuels.
Leur nature de casque les rend plus immersifs, quand bien même la personne voit son monde.
Ce sont d’abord des casques VR. Ils permettent de profiter des deux technologies. Et les formateurs ne seront pas perdus, ils auront entre les mains un objet qu’ils maîtrisent, tout à fait adapté aux usages qu’ils en feront.

Les lunettes XR sont idéales pour les interactions humaines

Les lunettes XR (Hololens, Magic Leap) sont plus adaptées aux cours, ateliers, module en groupe, apprentissage terrain, etc. Elles sont intéressantes comme équipements d’apprentissage, pour les raisons suivantes.

Elles ne nous coupent pas du monde. Elles sont conçues au contraire pour qu’on puisse travailler avec.
Les utilisateurs profitent d’une vue augmentée sans être encombrés. Ils peuvent travailler manuellement sur un objet et se concentrer sur leur tâche, tout en ayant la visière sur la tête.
Le formateur peut équiper ses élèves, et ces derniers peuvent le suivre sans problème. Les visières ne gênent pas le déplacement.

Beaucoup de formateurs ont vite compris ces atouts et adoptent aujourd’hui les casques, ou bien passent par des sociétés spécialisées en réalité mixte.

À la suite de cet article : nous nous penchons sur les casques passthrougth

Nous avons identifié à quels besoins répondait le mieux la réalité mixte. Mais soyons plus précis encore et abordons en détail la question des asques passthrougth. Ça se passe ici, dans la partie 3.