VR advices from SuperHeros, Jedis and Zombies

La MR (Mixed Reality) semble tenir toutes ses promesses, elle était l'avenir de l'avis de tout le monde à Austin, sauf qu'elle était … absente.

Point d'AR (Augmented Reality) en dehors des conférences encourageant l'usage, non sans s'interroger sur ce démarrage … lent.

L'année 2017 était l'année de la VR … 2018 aussi. Un plateau entier d'expériences (à 80% bluffantes).

L'AR devait démocratiser la VR pour lancer la MR … que s'est-il passé ?

Je ne ferai pas la description des expériences testées, 1/ cela ne se raconte pas, cela se teste 2/ Insign est là pour vous les faire essayer :)

Quelques takeaways des deux tables rondes autour des enseignements notés par les grandes marques régulièrement utilisatrices de ces technologies : Lucas Films et SONY Pictures et les experts de Standford, LifeVR.

xR = AR + MR + VR

Il semble nécessaire de rappeler les différences tant ces technologies sont appelées à cohabiter durant quelques années.

• AR : affichage temps réel par superposition de la vue caméra, d'une scène générée par ordinateur sur l'écran du device. L'interaction ou l'action dans la scène se fait avec le terminal (dans presque 100% des cas un smartphone) : jeux, représentation de produit, formation utilisateur, … (Pokemon Go, Ikea, …)
• MR : dispositif mixte permettant d'afficher des éléments interactifs par dessus l'environnement de l'utilisateur au travers d'un casque semi-transparent. On peut de manière raccourcie parler d'un dispositif AR sans les mains, mais la puissance intégrée dans l'expérience va au-delà (reconnaissance des formes - angles, …- et suivi). L'interaction peut se dérouler avec les mains de l'utilisateur.
• VR : dispositif immersif où un univers numérique (virtuel ou réel) est diffusé dans un casque clos. L'interaction est double, au travers des mouvements du corps de l'utilisateur et de ses mains au travers de manettes qu'il tient.

Les différentes techniques sont désormais ancrées dans des contextes d'usages particuliers.

• En mobilité, c'est l'AR qui l'emporte avec les smartphones avec des applications natives mais de plus en plus, WebVR permet de faire des expériences VR sans installer d'application.
• LBE (Location Based Entertainment) : salles d'arcade ou dispositif dédié (lumière, espace, fonctionnement continu de PC) pour des expériences VR surtout.
• HMD (Head Mounted Devices) : plus léger, le dispositif nécessite néanmoins un PC raccordé (encore quelques temps) avec des fils … Cela limite l'utilisation (VR et MR) à un point fixe. Dans le cas de la MR, l'environnement servant très précisément de support, le choix est encore plus restreint que la VR.

Les facteurs clés de succès d'une expérience xR

Le réalisme, la précision, la Believability de l'expérience se perçoit au travers de :

• Visual/audio fidelity and accuracy: équilibre du rendu final (degré de réalisme ou esthétisme des univers virtuels) : décors, matériaux, personnages, …
• Environmental understanding: en AR et MR principalement, degré de prise en compte de l'espace : arrêtes, surfaces, lumière, …
• Haptic feedback: les 1ers dispositifs de simulation sensoriels physiques (toucher) viennent compléter les autres activateurs de sens (température, vent, ouïe).
• Contextually aware: intégration dans l'expérience des éléments de contexte de la situation du lieu, de l'utilisateur (age, genre, statut, …)
• Understanding of the user: adaptation du scénario et de l'interface utilisateur aux actions de l'utilisateur
• Interaction design and input: modalités (facilité, fluidité) pour l'utilisateur d'interagir (clic, pointage, gestes de saisie et manipulation d'un objet virtuel)
• Digital feedback:efficacité des modifications de l'expérience en fonction des actions de l'utilisateur (confirmation, changement de scène, intégration de nouveautés)
• Physical reaction: ce que l'interface demande en termes de gesture à l'utilisateur (frapper, courir, se déplacer)
• Persistence: consistance de la continuité de l'expérience (sur 5 à 10 minutes ou plus cela réclame beaucoup de travail sur les contenus)
• Social: jeu solo ou à plusieurs, retranscription de la partie à l'extérieur du dispositif et partage sur les réseaux
• User comfort: qualité du matériel (ventilation, pression, poids, …)
• Neuro impact: mesure des indicateurs cognitifs d'émotions (eye tracking, pouls, sudation) pour identifier stress positif ou négatif, joie…

Selon les technologies, les différences se font nettes quand on tente de répondre à ces enjeux. Il est facile dans les trois cas d'afficher une chaise … s'assoir dessus est plus délicat à gérer.

Pour cocher toutes les cases de la QA de ces expériences, Insign travaille avec plusieurs studios en France et dans le monde pour identifier les plus à même de réaliser les expériences marquantes.

En panne de matériel

Si le matériel est globalement très fiable, sa disponibilité n'est pas bonne encore.

Tout le monde espérait à Austin que Facebook confirme avant l'heure l'arrivée d'un casque de bonne qualité à moins de 200 $ … rien pour l'heure, il va falloir attendre le 1er mai.

Le grand public, malgré un réel petit succès des dispositifs Samsung Gear VR, n'est pas équipé, hormis en smartphones. Mais même Apple n'a pas réussi à créer un engouement réel autour des apps AR.

Pourquoi ?

Cela peut s'expliquer par une valeur ajoutée faible à l'usage de l'AR.

Les bénéfices de l'AR se situent en B2C dans l'entertainment. Or, hormis quelques jeux terriblement réussis avec cette technologie, les témoignages évoquent un manque d'investissement et d'approfondissement dans les expériences proposées.

Il faut des expériences simples (le selfie avec Spider Man) mais de haute qualité et renouvelées.

Des journées entières ont été passées chez SONY pour s'assurer d'un rendu percutant et fidèle de Spider Man. Pour Lucas Films, c'est le studio qui gère les jeux de console qui supervise la qualité des expériences AR.

Takeaways

• Les expériences sont généralement positives et mémorables si elles sont simples et de qualité
• Les interactions simples en AR avec un produit de la marque doivent proposer quelque chose de fun à l'utilisateur en rapport avec un support de la marque.
• Les expériences immersives profondes sont réservées à des opérations d'ampleur, le dispositif étant par définition coûteux en production (plus qu'en matériel)
• Tout le monde attend une annonce d'un mois à l'autre d'un dispositif puissant, permettant des expériences de haute qualité, abordable et transportable. On sait déjà que le modèle autonome ne sera là qu'en 2019, mais d'ici là, une bonne surprise peut déclencher un marché. N'oublions pas que l'usage de la VR et de la MR sont de plus en plus réellement bluffants !

Bonus

Dans un autre domaine, la démonstration du cinéma 8K (HD -> full HD -> 4K -> 8K) avec pas moins de 22 canaux sonores (2.0 -> 5.1 -> … -> 22.2).

De ma discussion avec un ingénieur vision de la NHK qui présentait le dispositif : dans 5 à 10 ans maximum, on ne fera plus la différence entre la réalité et la fiction. En 8K c'est presque déjà le cas.