Djazz, l’impro entre recherches et expérimentations musicales

Starting Blocks

#IA #impro #usages #sciences sociales

Initié dans les laboratoires de l’Ircam avec OMax, le logiciel ImproteK se diffuse dans la musique avec Djazz. Cette intelligence artificielle spécialisée dans l’improvisation musicale s’est en effet nourrie de la recherche et fait l’objet depuis 2 ans d’expérimentations avec des musiciens comme Bernard Lubat et Sylvain Luc dans le jazz ou le guitariste malgache Charles Kely Zana-Rotsy. Rendez-vous au 4è étage de l’EHESS avec le chercheur Marc Chemillier à l’origine du projet.

À mi-mois, on lève la tête du guidon et on s’intéresse à l’innovation. Starting Blocks c’est des entreprises, des activités innovantes, et celles et ceux qui les font ! Et tout ça, dans la musique !




Marc Chemillier est informaticien et ethnomusicologue. Il a longtemps travaillé sur les musiques de tradition orale : les répertoires de harpe Nzakara en Afrique centrale puis la cithare dans les musiques de possession à Madagascar à partir des années 2000. À la fin des années 1990 et parce qu’il est aussi passionné de jazz, il s’intéresse aux harmonies et aux substitutions de jazz. « J’essayais de les modéliser dans un logiciel en temps réel qui pouvait enrichir des grilles de jazz ». Dans cette nouvelle recherche, il démarre une collaboration avec Gérard Assayag, chercheur à l’Ircam et fondateur de l’équipe Représentations musicales en 1992. Ce dernier travaillait alors sur la simulation stylistique. Comprendre : produire des morceaux qui sonnent comme d’autres morceaux, tel « Daddy’s Car » produit par Sony CSL avec Flow Machine, qui sonne comme un morceau des Beatles. Là, il s’agissait de Jean-Sébastien Bach.


D’OMax à ImproteK, une phylogenèse en informatique musicale


En 2001, les deux chercheurs fusionnent leurs projets respectifs dans OMax (pour Open music Max), qui combinait donc le logiciel de composition Max MSP pour le temps réel et Open music qui était un « environnement Lisp pour implémenter des algorithmes d’intelligence artificielle : enrichissement harmonique pour le jazz, simulation stylistique…  ». Le tout fonctionnant à partir de fichiers MIDI.

« Puis Georges Bloch a fait une version audio dans le cadre des OMax Brothers [Assayag, Bloch, Chemillier]. Ça faisait du remontage de signal audio en temps réel avec des crossfades. Le même son, le même timbre, le même grain, le même contexte acoustique… mais avec de nouvelles phrases ». OMax séduit aussitôt chercheurs et musiciens curieux d’expérimenter le logiciel. Ils ont tôt travaillé avec Bernard Lubat, musicien multi-instrumentiste de jazz. « Il a été notre caution musicale pour dépasser le champ expérimental. On a tout de suite pu travailler sur des matériaux musicaux intéressants grâce à lui ».

Marc Chemillier prend quelques distances avec le projet OMax pour travailler sur d’autres sujets avant de le reprendre à son arrivée à l’EHESS (École des Hautes Études en Sciences Sociales), plus précisément au CAMS (Centre d’analyse de mathématiques sociales). « Je m’intéressais aux musiques populaires, au jazz et à la world music. Et même à l’électronique, disons dancefloor ». Il reprend le sujet avec la question du point de vue rythmique et de la pulsation qui n’était alors pas traité par OMax qui se consacrait à l’improvisation libre. « C’est là qu’Antescofo développé par Arshia Cont a joué un rôle essentiel en ce qu’il a permis de jouer les phrases avec un tempo adaptable » (Antescofo édite l’application d’accompagnement musical sur-mesure Metronaut depuis 2017). Ensemble, mais aussi grâce à la thèse de Jérôme Nika, ils développent un nouveau prototype : ImproteK. « La nouvelle version est adaptée pour jouer sur des pulsations et intègre même des contrôles harmoniques ». Ils peuvent ainsi suivre une grille de jazz en jouant des enchainements d’accords prédéfinis. « C’est toujours pareil : il capte ce que joue le musicien et recombine des phrases mais cette fois en se calant sur le rythme et des harmonies », précise le chercheur.

Petite histoire du logiciel Djazz


Djazz, les expérimentations sur les terrains de la musique


En 2015-2016, les projets avec les musiciens se multiplient et deviennent de plus en plus artistiques, si bien qu’il devenait compliqué de financer ces projets dans un pur cadre académique. « Les labos du CNRS ne sont pas adaptés pour rémunérer des intermittents du spectacle », explique Marc Chemillier. Ils décident donc de créer une structure, l’association Improvisation musicale et technologies et de développer une marque : Djazz pour « Digital jazz » (prononcé « déjazz »). Depuis, l’association produit et vend des spectacles intégrant le logiciel, davantage pour développer l’artistique que le scientifique d’après Marc Chemillier. Quoique !

Une dizaine de spectacles ont ainsi été organisés : des spectacles à proprement parler à la Bellevilloise à Paris, au festival d’Uzeste ou à l’AMR de Genève et des workshops à Philadelphie, puis à Athènes en septembre dernier. Des spectacles avec des musiciens comme les français Bernard Lubat, André Minvielle et Sylvain Luc, l’américain Georges Lewis ou le malgache Charles Kely Zana-Rotsy, tous curieux d’explorer l’improvisation musicale augmentée par ordinateur. Des spectacles dans lesquels les chercheurs se mettent en scène.

Ces expérimentations sont comme autant de boucles d’itération de la technologie qui permettent de perfectionner le logiciel et ses interfaces. « On développe des drivers. J’utilise un nano-controler avec des potentiomètres, un launchpad de Ableton Live détourné par Jérôme Nika pour l’adapter aux besoins » (réécriture du driver). « Je serai certainement conduit à développer de nouvelles interfaces pour différents contextes musicaux ». Pour gérer la pulsation, ils avaient pendant un temps pensé utiliser des beat trackers mais leur usage n’était pas pertinent pour le jazz et les musiques du monde qui sont très interactives : chaque musicien y a sa pulsation négociée avec les autres comme lorsque l’un d’entre eux accélère laissant les autres en attente avant que tous se recalent, à la manière d’un peloton de cyclisme. Des phénomènes d’action-réaction, très complexes à traquer. « Dans l’interface, j’ai une battue manuelle qui permet de caler les phrases de l’ordinateur sur le groove ».

En poussant plus loin le logiciel, les chercheurs tentent de s’adapter à plus de musiques, donc en intégrant des contraintes de répertoires idiomatiques. Il expérimente dans la musique malgache avec Charles Kely Zana-Rotsy et, depuis un an, travaille dans les musiques électroniques. « Le logiciel est basé sur un modèle instrumental, les sons qui sortent du logiciel sonnent comme ceux des instruments. Je découvre d’autres contraintes : la musique électronique est basée sur le bouclage, ce qui est antagoniste avec nos variations instrumentales ». Work in progress


La musique assistée par des IA étudiée en sciences sociales


Les spectacles sont de véritables lieux d’expérimentation pour le dispositif et les performances exécutées. « On documente tous ces projets : on les filme, on fait des entretiens avec les musiciens ». Et cela nourrit la recherche elle-même, en sciences humaines avec les retours d’usages analysés grâce aux méthodes de la sociologie et de l’anthropologie que le chercheur avait notamment utilisées au cours de ses recherches ethnomusicologiques. « Notre association a aussi ce rôle ».

En observation continue de la réception de ce logiciel dans différents contextes, Marc Chemillier découvre ainsi que chaque communauté se fait une idée de ce que doit être la musique et y plonge un OVNI comme l’est le logiciel d’improvisation, jusqu’à parfois créer des réticences. « Lors d’un concert avec Charles, j’ai entendu des gens dire : « mais qu’est-ce que c’est que tous ces fils ». Pour eux, un musicien malgache qui joue des musiques malgaches à la guitare n’a pas à s’équiper de ces matériels. Cela ne correspondait pas à leurs représentations. Pour nous, qui avons l’habitude de travailler la musique en laboratoire, aller sur le terrain c’est découvrir que la musique peut être compartimentée, que chaque communauté a ses représentations sur ce que la musique peut ou doit être ». Pour un autre concert, la communication de la salle avait même préféré éluder la présence de l’ordinateur dans sa présentation pour mieux correspondre aux attentes du public.

Live session djazz : improvisations numériques et traditions malgaches (2018)


La recherche menée par Marc Chemillier et ses collaborateurs se veut ouverte. Élaborée initialement en laboratoire, la technologie ImproteK s’enrichit de ses rencontres avec ses utilisateurs, chercheurs comme musiciens ainsi que les communautés d’auditeurs de ses productions / performances musicales. Ce qui se joue dans les expérimentations dépassent alors les dimensions techniques et artistiques jusqu’à des réflexions dans le champ politique et la philosophie.


L’essaimage de l’intelligence artificielle amplifié par le web


Disponible sous forme de kit de développement sur GitHub en licence libre, le projet a ainsi pu essaimer partout dans le monde, en particulier aux États-Unis, au Canada et au Japon. « La commercialisation n’est pas incompatible avec la licence libre, à condition que le code reste ouvert ».

« Il existe déjà d’autres versions et on pense depuis un moment à en faire un plugin qui pourrait s’intégrer dans des logiciels existants ». Ainsi Marc Chemillier se prête-t-il à rêver d’une commercialisation du logiciel qui permettrait sa découverte et pourquoi pas, le financement de nouveaux développements. Il collabore déjà avec d’autres chercheurs ayant déjà dressé des passerelles sur le Rubicon, tel Adrien Mamou-Mani qui, de sa recherche sur les smartinstruments à l’Ircam, développe aujourd’hui la startup Hyvibe. La guitare intelligente d’Hyvibe amplifie le son du musicien et augmente les jeux grâce à l’informatique connectée. « Son logiciel pourrait amplifier des sons calculés par nos logiciels ». Un projet ANR (Agence Nationale de la Recherche) vient d’ailleurs d’être initié pour 3 ans afin de vérifier cette hypothèse. « À chaque projet, il faut voir quelles sont les applications car ImproteK est un modèle d’improvisation instrumentale… ». Entre la découverte de l’IA par les musiciens et l’appropriation du logiciel, d’autres expérimentations voire des détournements pourraient encore prolonger le parcours de la technologie.

Djazz au pays des algorithmes


D’après Marc Chemillier, « ce qui va se jouer prochainement va être assez déterminant. On a bien avancé les recherches sur les aspects algorithmiques depuis le début. On s’intéresse depuis quelques années à la dimension sciences humaines avec des enquêtes auprès d’utilisateurs potentiels et on s’aperçoit que les communautés auxquelles ils appartiennent sont au moins aussi importantes ». L’association et la publication du site internet s’inscrivent dans cette même démarche de rencontre avec le secteur de la musique. « On s’intéresse à la réception du logiciel et le développement actuel des nouveaux dispositifs d’écoute : les plateformes de streaming, offrent un terrain d’étude considérable. Je suis en contact avec un autre groupe de recherche à ce sujet, on aimerait étudier la réception du logiciel dans des communautés en ligne ».
En attendant les playlists, l’association Djazz prépare la sortie d’un disque de co-créations de Bernard Lubat avec la machine sur le label Cristal Publishing en février 2020 et une rencontre « Autour de Lubat : musique, technologie, politique » le 9 décembre prochain s’articulant autour de performances, conférences et discussions.



Bonus Tracks MusicTech : la création musicale assistée par des intelligences artificielles


- Nouveaux instruments : de la recherche instrumentale aux mains des musiciens, Nathalie Birocheau (Ircam Amplify), Thomas Hézard (MWM) & Adrien Mamou-Mani (Hyvibe), animé par Marie Georgescu de Hillerin, replay MaMA Invent, 2019.

- Intelligence artificielle et création, étude de cas avec « American Folk Songs », Benoit Carré (Skygge, Do / Flow Records) & Céline Garcia (Do Editions), animé par Rémi Bouton, replay MaMA Invent, 2019.

- NSDOS, Musique et mouvement : Performance Hybrides, NSDOS aka Kirikoo Des, replay MaMA Invent, 2019.

- Les Nouveaux instruments, Mathias Milliard & Fabrice Jallet, Focus IRMA, 2017.
Nouvelles factures, instruments connectés, smart instrument, applis web… L’innovation et les technologies du numérique sont entrées de plain-pied dans le monde des instruments de musique et des logiciels de composition. Quelles en sont les tendances ?


Nous suivre /asso.irma /IrmACTU