Révolutionner l’Expérience Musée avec la Réalité Mixte.... et des moyens restreints

Depuis le Covid, de nombreux musées ont scanné en 3D et diffusé certains objets de leur collection, notamment sur Sketchfab.

Est-il possible, avec une petite équipe et des moyens restreints, d’initier une expérience de Réalité mixte valorisant cette ressource?

Lors du Sommet XR VR de MuseumNext (juin 2024), Nicola Teffer , coordinatrice de recherche au Powerhouse Museum-Video et Scott Cotterell, concepteur d'expériences immersives au UNSW iCinem ont partagé leur expérience du processus de production du dispositif Victorian Reality, leur partis pris de Design et d’Interaction…

Victorian Reality est une expérience interactive en réalité mixte, présentée au sein des galeries du musée, créée pour le casque Meta Quest 2.. Elle permet de manipuler sans contrôleur ou manettes virtuellement 10 objets des collections du musée et de découvrir des contenus augmentés associés. 

🧐 Que découvrirez-vous sur un artefact lorsque vous le manipulez ? Pourriez-vous deviner sa fonction, son mode d’utilisation ou de fabrication, son contexte  ?  

Concevoir une Expérience de Réalité Mixte (XR) : objectifs et enjeux 

La numérisation 3D devient de plus accessible. Le musée PowerHouse s’est donc lancé un défi: rendre ses collections disponibles sous un format engageant une diversité de visiteurs, en leur proposant une expérience multisensorielle, ludique et éducative.

Les Parti Pris de Victorian Reality

• Explorer le potentiel de la réalité mixte
• Proposer une expérience de manipulation virtuelle d’objets, impossible lors de la visite
• Proposer une expérience immersive qui contextualise les objets de la collection  avec du son, des reproductions d’archives ou d'oeuvres associées à  des textes
• Produire un maximum en interne avec une équipe réduite et un budget contraint. Deux membres de la conservation (Connell Scott et moi) et deux ingénieurs/designer (Raphaël Formoso et Finn Perry ont été mobilisés 
• Donner le primat à l’interaction du visiteur avec les objets par la manipulation pour favoriser et récompenser l’exploration, la curiosité, la  surprise ou le questionnement 
• Interdire des manipulations qui ne soient pas respectueuses de l’objet; par exemple jeter ou détruire virtuellement l’objet 
• Accepter des compromis sans compromissions . Pour favoriser cette manipulation et une exploration ludique , il a été parfois nécessaire de s’éloigner d’un strict réalisme ou d’une “vérité scientifique”

Positionnement Éditorial et Choix des Objets

L’expérience valorise l’essor de l'innovation et la technologie au milieu du XIXe siècle en Australie. Par exemple, le stéréoscope de Brewster (1850) est emblématique de cette démarche en tant que précurseur de la réalité virtuelle.

Les Critères de Choix des 10 Objets de la Collection

• Taille : tenables en main ou facilement maniables
• compatible avec la Photogrammétrie : exclut les objets transparents, trop brillants, plats ou aux formes complexes
• Interaction : susciter la manipulation pour fonctionner ou être découvert

Design : interaction, scénarisation et Interface

Des partis pris forts: pas d'effet wahou ! 

• Focaliser l’attention sur les objets du musée
• Privilégier une interface frugale, immersive, et inclusive, sans manette 
• Explorer les opportunités immersives du son 

Lignes directrices de la scénarisation

• Choix possible entre une voix off ou un texte à tout moment
• Limiter les distractions visuelles : focaliser l’attention sur l’objet
• Utiliser le son spatialisé pour diriger l’attention de l’utilisateur 
• Créer des “paysages sonores” pour une immersion forte
• Hiérarchiser les informations grâce à la dimension de profondeur permise dans l’espace VR
• Minimiser les risques en contraignant la position de l'utilisateur

Des choix d'interactions ciblées 

• Favoriser la manipulation des objets pour encourager l’exploration, la curiosité, la surprise et le questionnement.
• Se limiter aux fonctionnalités essentielles pour une meilleure ergonomie inclusive : saisir, agrandir, rétrécir, manipuler, déplacer…  
•  Interdire les manipulations non respectueuses des objets (ex. les jeter ou les détruire virtuellement)

Production des Différentes Briques de Média

• Images de contextualisation : bases d’images HD en open content (ex. Bibliothèque de la Nouvelle-Galles du Sud)
• Voix off : enregistrées sur iPhone par les conservateurs, nettoyées a posteriori
• Modélisation 3D : scan par photogrammétrie des objets
• Paysage sonore : sons montés à partir de de  ressources  présentes sur des banques sonores 

La Prise de Vue photogrammétrique

Une technologie frugale a été choisie pour faciliter l’évolution du dispositif sans prestataires extérieurs et pour limiter les coûts.

Chaque objet à modéliser est disposé dans une cabine d’éclairage avec plateau tournant. Une lumière infrarouge déclenche les prises de vue photo via une app. Les images sont ensuite assemblées via Agisoft.

Scénographie et Design d’Interaction

Un scan 3D brut ne crée pas une expérience VR. La conception du dispositif a nécessité une réflexion approfondie sur les choix de design, d’interface et d’expérience utilisateur, avec une contrainte forte de coût et de ressources humaines.

Design Utilisateur : les grands principes retenus 

• Une interface intuitive et inclusive (inspiration des principes de Don Norman exposés dans son livre, The Design of Everyday Things)
• Des Interactions interactives sans manette : seule la main de l’utilisateur est utilisée
• Des fonctionnalités d’interaction limitées  et intuitive : manipuler, agrandir, rétrécir, obtenir des informations complémentaires par simple mouvement des mains
• Montrer un seul objet en 3D par séquence
• Contextualiser : compléter la scénographie par un panorama où s'affichent des  contenus en 2D ( limité à 3 ) 
• Proposer des paysages sonores associés  à chaque objet pour une plus grande immersion et limiter la sensation de claustrophobie 

Retours d’Expérience

Si un seul retour d'expérience devrait être retenu c’est de prototyper, tester et itérer avec une diversité d’utilisateurs. 

Le point positif majeur du dispositif reste sa très grande portabilité, mobilité et réplicabilité.  Le dispositif tient dans un bagage à main et s’installe partout avec 4m² ,et un minimum de Wifi

Quelques points de vigilance 

• Sécurité des personnes : limiter la mobilité de l’utilisateur dans le système ( 2 m de diamètre) et  signaler clairement l’espace d’expérience dans la galerie (ici matérialisé par cercle vert) 
• Batterie des casques : adopter un casque avec batterie remplaçable pour une utilisation continue sur une journée
• Un écran pour pallier  aux difficultés d’usage ou bugs et favoriser  le partage de l’expérience avec d’autres visiteurs. Un système d’écran, présent dans les galeries, est  associé au casque. Il permet d’avoir un retour visuel  en temps réel  de l'expérience utilisateur du porteur du casque, Autre bénéfice majeur - ce retour visuel favorise le partage et la convivialité avec les autres visiteurs qui assistent aussi sur écran à l'expérience vécue  
• Une app pour faciliter l’exploitation : elle permet notamment de visualiser à distance l'usage des casques et de relancer ou réinitialiser à distance  le système… un vrai plus indispensable selon le musée. 

Le dispositif a été bien reçu par une grande diversité de publics lors de multiples événements. Il est facilement délocalisable, scalable dans un contexte de ressources restreintes.

🎉 Ce projet prouve donc que la XR Vpeut être conviviale, inclusive, engageante et adaptable pour un musée, loin d’être pourvu de ressources démesurées.

Connaissez-vous d'autres expériences VR AR XR développée avec des moyens restreints ?