Exformation Trilogy est un cycle de trois pièces mixtes que le compositeur suédois Jesper Nordin projette d’achever en 2017 en utilisant Gestrument, une interface de contrôle gestuel qu’il a lui-même développée et dont il se sert comme outil compositionnel.

Sculpting the Air (sous titrée « Gestural exformation »), est la première pièce de ce triptyque (les suivantes, destinées au Quatuor Diotima et à l’Ensemble Recherche, seront composées en 2016 et 2017). Commandée par l’Ircam-Centre Pompidou, le Grame (dans le cadre du projet ANR Inedit) et le Statens musikverk, elle a été créée le 13 juin 2015 à Nanterre dans le cadre du festival ManiFeste par l’ensemble TM+, dirigé à l’occasion par Marc Desmons. Pour concevoir la partie électronique, Jesper Nordin a travaillé avec le réalisateur en informatique musicale Manuel Poletti. Melina Avenati était l’ingénieure du son lors du concert.

Cette œuvre, imaginée comme un concerto pour chef d’orchestre, met en scène un dispositif technologique complexe permettant de contrôler gestuellement l’électronique via des kinects et l’application Gestrument. Cette application a d’abord été développée par Jesper Nordin en 2007 sous la forme d’un patch Max/MSP. Avec le concours de Jonatan Liljedahl, il réalise ensuite une application pour iOS qui remporte le Prix de l’Innovation de la ville de Stockholm. Vendue à plus de 20 000 exemplaires, cette application consiste à « plonger dans l’ADN de la musique – un son unique, défini par les instruments, les rythmes, les échelles et les gestes musicaux employés ». En pratique, il s’agit, pour l’utilisateur de balayer du doigt la surface tactile de la tablette pour « jouer » des événements sonores modulables en densité, durée et hauteur. On peut ainsi décrire Gestrument comme un logiciel qui permet de créer et de contrôler de la matière musicale en parcourant du doigt la grille dynamique affichée à l’écran. En se déplaçant du bas vers le haut, on égrène les sons de l’échelle de hauteurs du grave vers l’aigu ; en se déplaçant de la gauche vers la droite, on raccourcit les valeurs rythmiques qui sont indexées sur la pulsation. Évidemment, les paramètres d’échelle (voir aussi ScaleGen) et de rythme, mais aussi de densité ou de timbre peuvent aussi être modifiés à loisir. Une fois ces règles élémentaires comprises, l’utilisateur réalise une « trajectoire digitale » qui peut aussi bien servir dans le cadre d’une improvisation que dans celui d’une démarche compositionnelle. C’est dans cette perspective d’aide à la composition que Jesper Nordin l’utilise : l’application intègre une entrée et une sortie MIDI, ce qui permet de fixer le matériau généré et de le travailler instantanément. Une fois les paramètres ajustés, le compositeur enregistre ses improvisations et peut en extraire à loisir certaines parties pour les incorporer dans la composition ou, au contraire, partir d’une idée musicale écrite et en engendrer les développements avec Gestrument.

Dans Sculpting the Air, l’application n’est pas contrôlée de manière tactile, en glissant le doigt sur une tablette. Le maniement s’opère par la conduite gestuelle du chef d’orchestre, prescrite par la partition : ses mouvements sont captés par les kinects qui transmettent les informations de position et de profondeur à l’application, dont le code a été modifié pour répondre aux besoins de la pièce. L’intrusion dans l’espace de captation sert alors à déclencher des échantillons sonores ou à modifier de différentes manières ce que joue l’ensemble instrumental, divisé en deux groupes. Le chef doit aussi, à certains moments de l’œuvre, mettre en mouvement de petites cloches ; nous y reviendrons.

Initialement conçues pour être couplées à la console de jeu Xbox 360 de Microsoft et disponibles depuis novembre 2010, les caméras kinects reconnaissent la profondeur de champ des gestes ainsi que les couleurs et ne nécessitent pas la pose de marqueurs sur les vêtements ou le corps. La première version de cette caméra est fournie avec un Software Development Kit, permettant aux utilisateurs d’en faire un usage détourné et adapté à leurs besoins, hors du domaine vidéoludique. Plusieurs artistes se sont ainsi très vite appropriés ce nouvel outil pour s’en servir comme contrôleur gestuel : en témoignent certaines applications et projets musicaux récents ou en cours (Synapse, Synekine, The V-Motion Project, Kin Hackt) et les communautés qui se construisent autour de ce produit, à l’instar de « Kinect Hacks ».

Jesper Nordin a choisi d’appliquer trois types d’effets aux sons instrumentaux captés en direct. Imaginons que les musiciens jouent un accord et qu’à ce moment la main du chef entre dans l’espace de captation des caméras. Cet accord peut alors être répété en boucle, être gelé, ou être traité avec un delay. La position de la main du chef dans l’espace de captation permet d’une part d’enclencher le dispositif et d’autre part, de modifier l’équilibre entre les différents sons instrumentaux. Lorsque la main est au centre, on entend tous les instruments avec l’équilibre dynamique originellement joué. Si le chef la déplace vers le coin supérieur droit, il fera ressortir un instrument spécifique dans les haut-parleurs ; s’il la déplace dans le coin inférieur gauche, un autre instrument sera placé au premier plan et ainsi de suite. Durant ce « parcours timbral » à l’intérieur de l’accord, les transitions entre les différents instruments s’opèrent de manière linéaire. Ainsi, le chef peut réellement sculpter le timbre global par ses mouvements, en privilégiant tel ou tel instrument. Il dispose, pour guider son geste, d’un retour visuel sur un écran qui affiche la situation de la zone de captation.

La partie électronique de Sculpting the Air ne repose pas uniquement sur des transformations temps réel des sons instrumentaux. Jesper Nordin a non seulement réalisé des parties de « bande » entièrement fixées mais recourt aussi à plusieurs reprises à des sons pré-enregistrés que le chef déclenche soit avec sa main en entrant dans la zone de captation des caméras, soit par le biais de petites cloches qu’il met en mouvement.

La pièce nécessite deux jeux de six cloches qui, dans la première partie de l’œuvre, sont positionnés face au chef et à sa droite. Sur ce dernier, les cloches ne sont pas toutes à la même hauteur et sont utilisées comme des pendules qui actionnent de manière périodique les échantillons sonores à chaque fois qu’elles rentrent dans le champ des kinects, expérience qui n’est pas sans rappeler Pendulum music (1968) de Steve Reich. Dans la seconde partie de l’œuvre, ce jeu de cloche est repositionné par le chef devant lui de sorte qu’il puisse les jouer « réellement » tout en dirigeant les musiciens.

Même si le compositeur accepte volontiers l’idée d’une part irréductible d’éléments aléatoires, il y a néanmoins toute une série de gestes inhabituels auxquels le chef d’orchestre doit se conformer en suivant la partition, sur laquelle il a, lui aussi, sa partie à jouer.

Pour en savoir (encore) plus, on peut se référer à l’entretien réalisé par le pianiste et musicologue Zubin Kanga avec Jesper Nordin et Marc Desmons au cours de la journée d’étude “Inventing gesture”, qui a eu lieu à l’IRCAM le 8 juin. Il y est notamment question de Sculpting the Air (l’entretien est en anglais) :

On peut aussi visionner cet entretien de Jesper Nordin avec Frank Madlener :

(Texte écrit et données recueillies en collaboration avec François-Xavier Féron. Merci !)

---

---