Modifier de l’audio polyphonique aussi facilement que du Midi est un rêve pour certains MAOistes. Peu d’éditeurs s’y sont frottés. Parmi eux, Zynaptiq avec Pitchmap.
Certains ont rêvé d’un jour où l’audio polyphonique sera aussi facilement manipulable que le Midi, où l’on pourra entrer en temps réel dans un fichier complexe comme dans un piano roll de DAW et modifier les éléments à la volée. D’autres se sont dédiés à la tâche de rendre le phénomène possible. Quoique n’étant pas tout à fait actif en temps réel, puisqu’il faut une analyse préalable du fichier à traiter, Melodyne DNA a ouvert une porte (énorme…), et montré que ce qui pouvait sembler du domaine de l’irréalisable il y a quelques années pouvait dépasser toutes les attentes, maintenant, et d’ici très peu de temps.
Et voilà Zynaptiq, société récente, mais fondée par deux connaissances de longue date, Stephen Bernsee, l’homme derrière de nombreux produits Prosoniq (les algos de Time Factory par exemple), le DIRAC équipant les stations Flame ou Smoke, ou le Neuron d’Hartmann Music, créateur d’OSXTools, de DSP Dimension, et Denis Goekdag, boss de Surround SFX, vendant les produits d’OSXTools et ceux réalisés en interne (principalement des banques pour Kore et Maschine de Native Instruments). Tous deux nous présentent Pitchmap, une application permettant d’isoler, de modifier, d’extraire, de muter et de corriger des éléments de façon individuelle dans un fichier polyphonique. En temps réel. Ouch.
Introducing Zynaptiq Pitchmap
|
Un petit tour sur le site de l’éditeur, un achat en ligne via l’un des deux sites proposés (399 euros), téléchargement et autorisation par un simple code avec activation directe via internet. Le logiciel n’est pour l’instant livré que sous forme de standalone (apparemment hébergé au sein d’une petite application) et Audio Unit compatibles 64 bits, pour Mac seulement. Les formats VST et AAX sont au planning, pour les deux plateformes Mac et PC, sans indication de date de sortie. Une démo est par ailleurs disponible.
Pitchmap fonctionne en temps réel, c’est-à-dire qu’il n’y aura pas de nécessité d’effectuer une analyse du fichier audio, impliquant ainsi la possibilité de traiter un flux entrant en temps réel.
Zynaptiq a créé à cet effet une nouvelle technologie baptisée MAP (pour Mixed-Signal Audio Processing), et s’est inspiré du comportement de l’oreille humaine et de l’analyse du cerveau. Si les phénomènes d’isolation du son et de « zoom audio » (« l’effet cocktail » théorisé par Michel Chion), de propriétés de l’oreille vis-à-vis des fréquences vocales, de sa non-linéarité me sont connues, je ne rentrerai pas dans les techniques mises en œuvre dans Pitchmap parce que l’éditeur n’en dit que peu, et surtout parce qu’elles font appel à des ressources de programmation qui dépassent de très loin ma compréhension…
Mais que l’on se rassure, nulle trace de cette complexité dans la GUI, le logiciel ayant été conçu pour être le plus simple d’accès et de manipulation possible. Curieusement, à l’ouverture, le plug nous signale la présence d’un driver Midi incompatible.
Du réglage en voilà
On peut distinguer deux types de fonctionnement, via l’interface directement, ou via Midi, auquel cas il faudra s’assurer que les informations Midi parviendront bien au logiciel. Dans Logic, on utilisera donc la classique routine concernant les AU-Midi Controlled Effects : audio à traiter sur une piste audio non dirigée vers la sortie Master, Pitchmap sur une piste Instruments, et sélection de la piste audio désirée dans l’entrée Side-Chain.
L’interface est très claire (malgré sa teinte foncée…), avec de haut en bas, un clavier virtuel avec deux curseurs permettant de déplacer l’affichage du clavier de visualisation (zone correspondante affichée en gris clair) et de paramétrer la zone de traitement flanquée d’un bouton Mute, un grand écran affichant les notes analysées de façon graphique et originale, un clavier horizontal de visualisation sur lequel on sélectionnera directement ou via Midi les notes à traiter, exclure, etc. et un clavier horizontal qui affichera la hauteur cible. Sous ce clavier, deux boutons, Reset et Bypass.
En dessous se trouvent tous les réglages qui vont permettre de paramétrer le comportement du logiciel. Dans la partie inférieure, on trouve les réglages d’accord pour l’audio entrant et sortant, ainsi que les snapshots pour un rappel rapide de configuration, idéal dans le cadre d’une automation afin de suivre les changements de tonalité. Au milieu, cinq gros réglages, Threshold, Feel, Purify, Glide et Electrify. Si Glide et Threshold parlent d’eux-mêmes, les autres sont plus abscons. Feel permet de jouer sur la proportion de fluctuations du signal après correction, Purify de doser la proportion d’éléments de bruit (de beaucoup de bruits à une quasi résonance et Electrify permet soit d’ajouter un aspect synthétique au son soit d’améliorer le résultat en cours (auquel cas, les ressources CPU seront plus sollicitées pour afficher le supplément d’éléments détectés).
La sélection de notes sur lesquelles intervenir se fera selon trois modes : Repeat répercutera tout changement effectué à toutes les octaves de la note, Visible ne le fera que sur les trois octaves visibles sur l’écran de visualisation tandis que Custom permet de ne travailler que sur la note sélectionnée.
Séparez tout !
On peut donc soit corriger du matériel polyphonique d’un point de vue justesse ou mélodique, soit en couper certaines parties. L’outil peut aussi être utilisé de manière créative, comme peut l’être le RX2 d’iZotope, par exemple. Non que les logiciels soient semblables, mais pour dire que l’on peut détourner l’usage prévu d’un outil vers un autre usage.
On commencera par essayer de corriger la voix lead de cet exemple, dont les Fa# et La b sont faux à un point difficilement supportable.
Le principe va donc être de laisser passer toutes les notes sauf celles à corriger (on s’aperçoit qu’il faut aussi aller chercher les octaves supérieures des notes clairement identifiées dans l’écran de visualisation). Dans un premier temps, on active Mute, puis Bypass dans la section Key Edit (les notes bypassées ne sont pas corrigées). On clique sur Repeat, ce qui permet de n’appuyer que sur les 12 touches de l’octave pour sélectionner toutes celles du clavier (les touches deviennent vertes), puis on bascule en mode Custom afin de désélectionner celles désirées (Fa # et La b, donc, ainsi que le Sol naturel, puisque l’on s’aperçoit grâce à l’écran que la note bat entre les deux).
Ensuite, on choisit l’un des algorithmes, entre Natural, Medium et Linear. Le premier étant selon l’éditeur particulièrement adapté aux voix, il est donc celui préféré. En dessous, le mode Xclude Round est placé sur Intell, mais il pourra peut-être être changé en Nearest, Up ou Down (c’est la façon dont le plug calcule la correction en fonction des intervalles) et le bouton Strict enclenché si besoin. Il ne reste plus qu’à régler le Threshold (quoique peu utile dans notre exemple, puisque les notes sont déjà sélectionnées), Feel afin de doser le vibrato ultra-présent dans l’original, et peut-être le minorer (rappelons qu’il s’agit d’un post-traitement), Purify (le son ne disposant que de peu de transitoires et de bruit, son action restera limitée), Glide (que nous ne toucherons pas ici) et Electrify, qui ne sera pas mis non plus à trop grande contribution, les éléments à traiter n’étant pas si nombreux. Voici le résultat une fois la plupart des paramètres réglés.
On entend encore le La b osciller d’un demi-ton. On monte donc via les sliders (voir encadré) le Sol vers le La b, afin d’essayer d’éviter le maximum de battements. Voici le résultat, nettement plus convaincant.
On essaie encore autre chose, en activant le mode strict.
|
Bien sûr, ce n’est pas parfait, on entend qu’il se passe (un petit) quelque chose. Mais rappelons que l’on travaille dans un fichier mixé, et non piste par piste, que l’on arrive à isoler les notes voulues, et que l’on peut les corriger, le tout avec un minimum de temps de réglage et de tâtonnage.
Autre tentative, en cherchant à adapter la mélodie à l’accompagnement, en time-stretchant légèrement les notes fautives. Voici d’abord le fichier obtenu.
Puis après exactement le même processus.
On entend clairement une sorte de dédoublement de la voix, dû au processus de stretch. À savoir si l’on travaille à partir de fichiers recomposés, découpés et modifiés à partir d’éléments d’une même banque.
Pour comparaison, voici les deux mêmes fichiers passés dans Melodyne.
On peut tout aussi simplement modifier la mélodie, via la section Key Transform (tonalité et/ou modes) ou en la jouant sur un clavier Midi, couper des notes indésirables, transposer l’ensemble d’un clic, isoler des sections, avec cependant des limites dans le résultat final, du même ordre que celles constatées avec l’exemple de ce test.
Voici un exemple de transpositions possibles, en temps réel, d’un clic. D’abord l’original, puis les transpositions.
On notera quand même la très bonne tenue du résultat, vu la complexité du matériau (orgue plus Leslie, etc.). Et le fait que la batterie a pu être quasiment isolée, notamment dans le dernier exemple !
Voici un autre exemple, faisant disparaître le bas du spectre.
Et un autre, extrême aux accents presque zawinuliens.
Téléchargez les fichiers sonores : flac.zip
Bilan
Qu’on ne s’y trompe pas, on assiste là à la naissance d’une nouvelle technologie : de la même façon qu’il a fallu plusieurs années pour disposer de synthés virtuels au gros son, d’émulations convaincantes de matériels vintage, il faudra certainement du temps pour que cette nouvelle manière de travailler dans l’audio (rappelons-le, en temps réel) soit totalement aboutie et efficace dans un contexte à visée professionnelle. Le grand concurrent, Melodyne, même s’il n’emploie pas la même technologie, la même philosophie, et s’il n’est pas exempt de défauts, ne s’est pas fait non plus en un jour. L’incroyable travail dans la polyphonie est arrivée des années après la création du logiciel.
Là, Zynaptiq nous offre un produit dont les caractéristiques sont d’ores et déjà déterminées, dont les possibilités sont toutes disponibles, et auquel il ne manque plus que quelques améliorations apportées par le temps et les avancées technologiques. Non, que l’on ne s’y trompe pas, nous avons ici affaire à un véritable exploit technique, qui devrait bientôt porter tous ses fruits. La démo est à télécharger sur le site de l’éditeur, faites-vous votre propre idée…
