SAME, ou Expérimentation de Prototypes d’Interaction Musicale, est une initiative de recherche européenne ayant pour objectif l’expérimentation de dispositifs technologiques offrant au mélomane de nouveaux modes d’interaction avec la musique, spécialement avec des téléphones mobiles : contrôle gestuel, synthèse et traitements sonores spatialisés, recommandations en fonction du contexte d’écoute, systèmes collaboratifs.
Ce programme regroupe l’Université de Gênes (Italie) qui coordonne le projet, le Centre de recherche de Nokia (Finlande), l’Institut royal de technologie – (KTH, Suède), l’Université Pompeu Fabra (UPF, Espagne), l’Université technologique d’Helsinki - (TKK, Finlande), et l’Ircam (France).
Plusieurs prototypes d’applications étaient démontrés dans les studios de l’Ircam, à l'occasion d'Agora 2009, sous la houlette de H. Vinet, F. Bevilacqua, O. Warusfel, S. Benoit et de collaborateurs des différents instituts impliqués.
C’est Hugues Vinet, directeur scientifique de l'Ircam, qui nous a guidés dans les ateliers, en nous faisant remarquer que, pour la première fois, l’Ircam participait à des projets s'adressant au grand public et non au spécialiste musicien ou compositeur.
On retiendra notamment de cette visite riche en surprises les présentations suivantes :
pyDM : Contrôle Expressif d’une interprétation au piano
Il suffit donc de choisir une partition, d’agiter doucement (ou vigoureusement !) son mobile, et Gould, Pollini ou Horowitz se retrouvent (presque) à la portée du plus innocent possesseur de téléphone portable !
Grain Stick
Sans conteste la démonstration la plus riche et spectaculaire de toute l’exposition, d’autant que la restitution faisait appel à un long panneau de transducteurs utilisant la technique WFS, pour une immersion quasi-totale dans la 3 D sonore ! Cette expérience incorporait des éléments musicaux composés par Pierre Jodlowski, qu’il est possible de déclencher et de modeler à l’aide d’une paire de petites « télécommandes » (ou téléphones mobiles, ou manettes type Wii) que l’on agite dans l'espace.
Un ou deux utilisateurs pouvaient donc prendre les commandes de cette interface et «improviser» un enchaînement d’événements percussifs, parfaitement localisés au sein d’une scène sonore très vaste, en fonction de la position des mains de(s) (l’)utilisateur(s). Les télécommandes étaient en effet munies d’accéléromètres et d’un système infrarouge permettant de déterminer précisément leur position. La prise en main commençait avec une simulation de grain-stick (ou bâton de pluie) dont l’utilisateur pouvait simuler le basculement en en saisissant virtuellement les deux extrémités. La source émissive glissait alors de droite à gauche et réciproquement en fonction des mouvements réalisés.
Côté applications, on pense immédiatement à de nouveaux modes de jeu avec des synthétiseurs de sons, de séquences pré/programmées ou de contenus interactifs (notion de méta-instrument), à des expositions interactives où le public conditionne certains aspects de l’œuvre, ou encore au contrôle par des comédiens ou danseurs de l’environnement sonore et musical en fonction des gestes effectués.
Fishing Game
Cette application associe reconnaissance de gestes et production d’une sonorisation correspondant au mouvement capté et reconnu. Présentée sous la forme d’un jeu très amusant où l’utilisateur était amené à mimer une suite de situations pour en générer la trace sonore, et pour progresser étape après étape dans les choix proposés. On pense immédiatement aux applications de jeu (notamment utilisant des consoles de type Wii) où la re-création des phénomènes sonores correspondant aux gestes contribue à augmenter l’effet d’immersion dans une réalité virtuelle.
Audio Explorer
Cette application fera grincer les dents et bourdonner les oreilles de bien des ingénieurs du son !
Il s’agit en effet, à partir d’un enregistrement musical stéréo, d’effectuer une séparation et une extraction des différentes sources sonores qu’il contient (sur la base de la position de celles-ci au sein du plan original de mixage) et de reconfigurer ensuite la scène sonore selon ses propres désirs. On pouvait donc par exemple dé-mixer un morceau de jazz en isolant la voix de Louis Armstrong (située au centre), les cordes, les cuivres et les percussions, puis re-mixer le morceau cette fois avec la voix à droite, en supprimant les percussions, et en reportant l’essentiel des cordes et des cuivres sur la gauche de la scène sonore. Le tout était faisable depuis un téléphone mobile, avec une interface traditionnelle (touches de numérotation et de fonctions) ou sensitive (inclinaison de l’appareil).
Bien qu’encore génératrice d’artefacts sonores (métallisation des voix, échos parasites), cette application, à défaut d’être vraiment utile, est assez spectaculaire ! Elle permet d’illustrer ce qu’il est possible de faire aujourd’hui en termes de séparation de sources à partir d’un message composite (à deux canaux minimum).
Cela étant, cette application illustre assez bien les modes en vogue chez les internautes, bloggers et autres arpenteurs d’univers virtuels : chacun peut aujourd’hui créer de toutes pièces un espace personnel et le faire visiter à des tiers.
Cette expérience illustre l’adage encore inédit à ce jour : "Montre-moi comment tu demixes/remixes et je te dirais qui tu es !".
Orchestra Explorer
Sur la base d'un enregistrement d’orchestre multipiste, il est possible avec Orchestra Explorer de se promener au sein de la formation, en zoomant sur les différents pupitres.
En l’occurrence, cette application n’utilisait pas d’algorithme de séparation de sources, mais on imagine ce qu’il serait possible d’obtenir en combinant cette fonction avec une prise multimicros, pour encore plus de précisant dans le «détourage» des sources, et en la projetant avec un système de reproduction holographique tel que le WFS… L’exploration s’effectue ici aussi avec un téléphone mobile équipé d’une détection de mouvement (mais elle pourrait également se faire à l’aide d’un joypad), sur l’écran duquel apparaît la position de l’auditeur par rapport aux instruments.
Une démonstration saisissante, présentant une très bonne qualité sonore pratiquement dépourvue d’artefacts lors des changements de "point de vue". On pense naturellement à une application didactique de découverte de l’orchestre symphonique, et par extension de toute formation musicale un tant soit peu étendue dans l’espace.
Sync’n’Move
Sync'n'Move propose l'expérimentation de nouvelles formes d'interactions sociales basées sur la musique et le geste, en utilisant des téléphones portables. A partir de mouvements rythmés effectués portables à la main, une mesure de synchronisation est effectuée entre les participants (4 au maximum pour cette démo) et vient modifier l'interprétation d'un contenu musical préenregistré. Le rendu musical s'améliore s'ils sont en phase et se dégrade progressivement s'ils ne sont pas synchronisés, c'est-à-dire s'ils n'interagissent pas entre eux.
Interprétation Expressive par Mobile
Dans cette démonstration, un téléphone portable est utilisé pour contrôler l'expression émotionnelle de simples sonneries ! L'utilisateur choisit l'émotion à affecter à sa sonnerie. Celle-ci est envoyée à un serveur, est traitée en utilisant le système de contrôle d'interprétation développé par le KTH (Institut Royal de Technologie suédois) et retournée sur le téléphone avec l'expression émotionnelle voulue. L'utilisateur peut alors conserver et utiliser cette nouvelle sonnerie. Le système contrôle les différents aspects de l'exécution, comme le tempo, la dynamique, l'articulation, l'orchestration, en associant des valeurs à chaque émotion.
Seul écueil de cette application : s’il on se réveille d’humeur maussade et que l’on programme sa sonnerie de portable en conséquence, le spleen pourrait bien durer toute la journée ! Dans la situation inverse, on peut heureusement compter sur sa sonnerie pour prolonger le bien-être ressenti lors du dernier moment de joie retenu…
