Comment un groupe de visiteur.euse.s peuvent interagir, individuellement et en tant que groupe, avec une salle immersive. Notre scénario interactif est décrit, ainsi qu’une partie de notre processus créatif.
Une expérience d’interaction collective
Dans le cadre de la suite du projet Vitamine immersive, nous nous sommes associées avec OASIS immersion, la Piscine et l’équipe de Mon Relief pour le développement d’une expérience interactive pour un groupe de visiteurs. Cette expérience a pour vocation de soutenir le sentiment de connexion et de but partagé au sein du groupe.
Avant d’entrer dans le vif du sujet, parlons de OASIS immersion : c’est un espace immersif permanent dans lequel y sont présentées des expositions inspirantes et résolument optimistes, grâce à des équipements à la fine pointe de la technologie et des méthodes de travail inspirées des meilleures pratiques de l’industrie. Un très beau terrain de jeu !
C’est pour la plus grande salle, appelée “Panorama”, que nous avons développé cette expérience. Celle-ci est équipée d’un système de suivi en direct qui permet de localiser les membres du groupe, et ainsi de construire une grammaire interactive au service de l’expérience de groupe.
Une narration interactive
Le principe est simple: le groupe de participants entre dans un espace immersif affichant des murs, composé de dalles, laissant entrevoir un paysage derrière eux.
Au sol, les pastilles rouges sont activées par la présence d’une ou plusieurs personnes, et si deux personnes sont suffisamment proches, alors une connexion, s’active entre elles, représentée par une ligne animée.
Les participants doivent produire la plus longue série de connexions pour faire tomber les dalles et découvrir le paysage au complet.
Sur la vidéo suivante, on peut voir la séquence complète dévoilant les quatre murs les uns après les autres.
Effacement de l’espace physique
Nous avons expérimenté pour ce projet une méthode permettant de limiter la perception de l’espace physique réel, au profit de l’espace virtuel. Une astuce bien connue consiste à ajuster la position du point de vue de rendu de l’espace virtuel (qui est assimilable au point focal) sur la position de l’utilisateur. Cette technique fonctionne particulièrement bien lorsqu’un seul utilisateur est présent dans l’espace, et est d’ailleurs mise en œuvre dans les CAVE.
Cependant dans notre cas, nous devons considérer un groupe d’utilisateurs. Il n’est pas possible d’ajuster le point de vue pour chacun d’eux, cependant nous pouvons nous en approcher. Pour mettre toutes les chances de notre coté, le scénario d’intéraction favorise la proximité entre les utilisateurs. Ceux-ci ne devraient donc pas, en condition normale d’utilisation, être dispersés aux quatre coins de l’espace physique.
Finalement en utilisant la position moyenne des utilisateurs comme point focal, nous pouvons ajuster la projection pour réduire la déformation de l’espace virtuel par l’espace physique. Si cette solution n’est pas parfaite, puisqu’il reste de la déformation, elle reste en terme de résultat assez proche de ce que l’on peut avoir dans un espace immersif où le point focal est fixe, comme dans un dôme par exemple.
Production sonore, composition de la pièce “lent”
Pour la partie sonore, la pièce “lent” a été composé spécialement pour s’adapter aux 30+ speakers, à leurs espacements, et à l’ambiance positive et tranquille de l’expérience.
Pour cela, l’idée de départ est de générer un nombre arbitraire d’interprétations qui suivent une séquence musicale prédéterminée, et cela, par imitation.
L’objectif est d’avoir une grande variation de séquences, qui continuent de fonctionner ensemble, de la même façon que l’idée musicale initiale.
Le pipeline ci-dessus illustre les étapes du processus de composition. Au départ, des extraits d’instruments sont sélectionnés pour donner une esthétique sonore de la pièce (stems “timbre”). Ensuite, un assemblage existant d’instruments est choisi, dont la cohésion musicale sera réutilisée (stems “structure et harmonie”). Pour la génération de variations, les techniques utilisées conservent les positionnements temporels et les harmonies initiales, permettant ainsi d’avoir assez de matières pour produire une pièce spatialisée.
Ce fichier audio présente plusieurs étapes du pipeline :
0:00extrait d’un instrument des stems Audio (timbre)0:07extrait de la pièce audio initiale stems Audio (Structure, harmonie)0:25nouvelle pièce générée par association de motif0:43nouvelle pièce augmentée par des couches de synthèses
Un travail en cours
La version présente de l’expérience est une preuve de concept qui a nécessité plusieurs séances d’expérimentation et de réglages. En termes d’interactivité collective, la grande salle d’OASIS immersion a démontré sa capacité à supporter des affichages en temps réel sur les murs et sur le sol, permettant la production d’un contenu complètement interactif. Pour le son, au delà du traitement acoustique impressionnant de la salle, la précision et la flexibilité du système de son permet de produire une trame sonore spatialisée riche et adaptée.