Virtual Rhizome

Pièce de Vincent Raphaël Carinola pour un musicien et deux SHC

Première réalisation qui s’appuis sur le concept « Smart Hand Computer ». ( Commande d’état faite à Vincent Raphaël CARINOLA, création de la pièce lors de la Biennale Musique en scène 2018 à Lyon avec le GRAME, interprété par Jean GEOFFROY ). Développement : Christophe LEBRETON

Virtual Rhizome est pour un performer tenant dans chaque mains un SHC contenant la même application « VRhizome ». ( disponible sur AppleStore – compatible iOS version 10 ou plus avec les modèles iPhone 5s ou plus récents )

L’algorithme est constitué de 23 états ( situations ) reliés entre eux pour former une cercle ( voir schéma ci-dessous )

le contenu de chaque état est décris dans le tableur fournit avec la partition.

En règle générale on retrouve la plupart du temps:

  • un son fixe en boucle sans interaction choisi au hazard dans une liste prédéfinie
  • un son bref lors du changement d’état choisi au hazard dans une liste prédéfinie
  • un son contrôlable:
    • en volume via l’interface tactile Y.
    • Si on ne touche pas l’écran le son est off.
    • variation du son en temps réel via la projection XY et Gyrospeed selon les cas.

Note du compositeur Vincent Raphaël CARINOLA :

Virtual Rhizome s’apparente à une œuvre ouverte, c’est à dire une œuvre dont la partition serait plus proche d’une carte de navigation que du déroulé temporel fixe propre à la portée musicale traditionnelle.

L’interprète parcourt toutes les situations et explore les possibilités de combinaisons entre elles offertes par l’utilisation des deux smartphones. Si bien le choix du matériau sonore, des types de traitement et leur succession, répondent à un souci clair d’écriture, une partie importante du résultat dépend de l’acuité de l’interprète et de sa capacité à dévoiler un monde qu’il se doit d’explorer.

La partition graphique décrit un modèle de conduite, parmi d’autres possibles, parcourant les 23 situations, en indiquant leur succession pour chaque smartphone. Elle est issue de l’interprétation de Jean GEOFFROY, dédicataire et créateur de l’œuvre. Il s’agit de suggestions d’agencements de situations, dont l’interprète peut s’éloigner selon les choix d’expression issus de l’exploration personnelle de l’architecture de l’œuvre.

Plusieurs autres lectures restent ouvertes à l’exploration et ce sont ces lectures qui constituent une part essentielle de l’interprétation de Virtual Rhizome. Il est ainsi tout à fait possible de jouer plusieurs cycles (un cycle est un parcours de 1 à 23) en privilégiant, dans chaque cycle, l’exploration de certaines situations (comme une forme en rondeau). Ou bien, de parcourir les situations en commencent par la 23 pour finir à la 1. Ou bien encore, combiner une lecture de 1 à 23 avec une main et une lecture de 23 à 1 avec l’autre, en explorant des situations très éloignées les unes des autres, dans un parcours qui produire une forme symétrique (comme un canon « à l’écrevisse »).

Téléchargement pour jouer la pièce

Partition « Virtual Rhizome » : Download

Fiche Technique  » Virtual Rhizome » : Download

Site du compositeur Vincent Raphaël Carinola : Link

Application iOS pour jouer « Virtual Rhizome » : « VRhizome »

Nota : Dans la partition le vocabulaire utilisé pour décrire les mouvements à réaliser sont dépendant d’une position d’initialisation

    Technologie

    Application musicale gestuelle algorithmique pour smartphone

    Le smartphone contient un programme qui permet de générer des sons à partir du geste de l’interprète. Ce programme est constitué d’états sonores différents, reliés entre eux pour former un algorithme global.

    L’interprète peut changer d’état à partir d’un geste particulié prédéfini.

    Les structures algorithmiques et les contenus sonores sont déclinables à l’infinis. Le smartphone doit pouvoir supporter la puissance de calcul nécessaire à un état à la fois. Il doit également intégrer 9 axes de capteurs: 3 accéléromètres, 3 gyroscopes, 3 magnétomètres.

    L’amplification du smartphone en concert doit se faire via un système UHF standard ou filaire, afin de transmettre l’intégrité de la bande passante audio au système de diffusion et ce, sans latence perceptible.

      Interface hybride

      Combinaison d’une interface tactile et gestuelle :

      -Tactile -> l’écran du smartphone est constitué de 2 zones:

      • La première permet de moduler des paramètres de position du doigt sur l’écran en x et y.
      • la deuxième permet d’éditer des réglages de volume d’états afin de s’adapter aux nouveaux contextes de diffusion. Cet accès doit être masqué en cours de jeu.

      Une coque SHC est conseillé afin de limiter l’accès à l’interface en cours de jeu et sécuriser la connection du mini-jack. Un modèle d’impression 3D est disponible ci-dessous dans la rubrique « Download ». Il a été conçu pour iPhone type 5s ou SE avec une connectique mini-jack 4 points de chez HICON.

      -Gestuelle -> les 9 axes des capteurs intégrés au smartphone permettent de discriminer les gestes suivants:

      • shock : accélération rapide selon un axe particulier du smartphone
      • gyrospeed : vitesse de rotation du smartphone
      • projection XY : projection bi-dimensionnelle de l’orientation du smartphone par rapport à son orientation 3D
        Diffusion Sonore

        • le smartphone est relié via sa sortie stéréo à 2 émetteurs UHF. Ceci permet de diffuser le son sans latence vers n’importe quel type de dispositif de diffusion sonore. On peut remplacer les systèmes sans fils par une connexion filaire.
        • Il est nécessaire de réaliser un cable spécifique pour se connecter aux émetteurs UHF selon la marque des système utilisés.
        • Il est conseillé de réaliser une coque pour le smartphone afin de sécuriser la connection mini-jack en cours de jeu et réduire l’accès de l’écran tactile au strict minimum.
        • En répétition il suffit de brancher un casque. En cas d’utilisation de 2 Smartphones simultanément l’utilisation d’une petite mixette sera nécessaire (  type DJ pour smartphone )
          Logiciel

          Application compatible iOS :

          • une application SHC une fois téléchargée et installée sur le smartphone ne nécessite aucune connection wifi pour fonctionner. elle est complètement autonome.
          • Pour certaines réalisations, on peut utiliser une transmission de messages type OSC (Open Sound Control ) des gestes pour piloter de la video ou tout autre dispositif.
            Etat sonore
            • un état ou situation sonore est un programme réalisé à partir du langage Open Source FAUST (GRAME). Celui-ci contient les sons et la description des interactions. Les sons peuvent être de la synthèse ou des fichiers audio sur lesquels on peut appliquer des traitements en temps réel.
            • Les variations des paramètres peuvent être soit liées à l’interface gestuelle et/ou pré-programmées.
            • Un changement d’état sonore, passe par un fade-out très court de l’état en cours, son mute, puis l’activation de l’état suivant et son fade-in. Ceci permet de limiter la surcharge CPU entre deux états.
              Création d’une application Smart Hand Computer

              LiSiLoG utilise le langage FAUST dans un projet Xcode spécifique et l’adapte en fonction des projets afin d’assembler tous les composants nécessaires.

              Cette technologie est utilisée afin de créer un instrument stable pour l’interprète. Actuellement ces applications sont uniquement développées pour iOS en raison des performances inégalées de ce système d’exploitation pour des applications temps réelles embarquées.

              La communication entre les capteurs et les traitements audio est optimal en raison de leurs intégrations dans une même unité ( pas de transmission sans fil avec des risques de pertes d’informations et de latences ).

              Ce dernier point est très important pour un musicien qui doit pouvoir développer sont jeu avec un instrument réactif et stable.

              Par exemple pour jouer « Virtual Rhizome » de Vincent Carinola deux iPhones SE voir 5s sont suffisants et facile a trouver d’occasion.

              Pourquoi l’application est payante ?
              L’application « Virtual Rhizome » est payante pour partiellement supporter les coups de sa publication sur Apple Store qui prend un très gros pourcentage de commission, et nécessite de payer chaque année une licence de développeur.

              Sur le principe, cette application est un matériel lié à l’oeuvre musicale, et comme le pratique tout éditeur ce matériel à un coup.

              Ici, il ne sagit pas d’une location mais d’une acquisition, et l’intérêt de passer par l’AppleStore fait que l’application est directement téléchargeable et exploitable, sans passer par une demande auprès de son éditeur.

              Christophe Lebreton

              Téléchargement Coque iPhone fichiers 3D et câblage UHF

              fichier .STL coque pour iPhone SE ou 5+ avec mini-jack 4 pts HICON : 3D printer iPhone SE SHC VR04

              Cable schematics iPhone to UHF : Cable iPhone to UHF