Se connecter
Se connecter

ou
Créer un compte

ou
FR
EN

aide demandée La voix comme un contrôleur MIDI

  • 12 réponses
  • 5 participants
  • 617 vues
  • 5 followers
Sujet de la discussion La voix comme un contrôleur MIDI
Bonjour
Je joue actuellement un spectacle de poésie. Je joue sur scène avec un guitariste.
Mais je voudrais également jouer seul.
Je voudrais avoir des déclenchements midi pour envoyer des sons, sans contrôleur midi.
je voudrais donc que ce soit ma voix qui fasse les commandes.
En enregistrant mon texte (c'est toujours le même puisque des poèmes) dans un daw ou séquenceur.
et qu'il réagissent à un groupe de mots par reconnaissance.
Un peu comme le fait ce logiciel, bien que je n'ai pas besoin de la partie musicien de ce logiciel :
https://fr.audiofanzine.com/controleur-midi-divers/vochlea-music/dubler-studio-kit/forums/t.682978,commentaires-sur-la-news-votre-voix-va-devenir-un-controleur-midi.html
J'espère être clair sur ce que je recherche
Avez-vous des idées ? d'autre logiciels ou matériel capable de faire cela ?
Et éventuellement des retours à me faire sur ce logiciel ?

si vous êtes éventuellement intéressé pour participer à ce projet, une contribution financière est possible.5831798.jpg


Par avance je remercie tous ceux qui prendront soin de me lire.
Bien amicalement
Marco.
2
Sur le papier. c'est beau, en pratique même avec le contrôleur que tu cites ça parait compliqué.
En gros ce type de contrôleur MIDI transforme la hauteur de ta voix en notes MIDI, jusqu'ici je n'ai rien vu qui soit capable de reconnaître un groupe de mot pour déclencher un événement.
La technologie existe mais personne n'a sorti une telle appli en relation avec le MIDI à ma connaissance, ta demande est très particulière et très personnelle.
3
Merci Papyserge.
Et pourtant la reconnaissance vocale fait beaucoup plus complexe en comprenant et répondant au texte. Je n'ai nullement besoin de cela. Juste transformer quelques passages de texte lu en tops (soit musique, éclairage, etc)
De plus si la reconnaissance transforme l'oral en écrit comme un logiciel de sténo (dictée) le midi n'a plus à reconnaitre de notes juste de l'écrit.
Je ne serais pas le faire mais dans l'absolu ça me parait assez simple.
Marco.
4
C'est toujours plus simple quand ce sont les autres qui le font. :)
5
Papy Serge a raison. Faire ça demande une reconnaissance vocale de ce qui est dit et de ce qui est pré enregistré. Si ça match alors on declanche une note midi.
Aucune application à ce jour ne fait ça.
Aujourd'hui en MAO la reconnaissance vocale existe par exemple dans spectralayer. Une phrase enregistrée peut être transformée en texte. Sauf que le but n'est pas de déclencher une note midi.
Pas si simple.. rien que d'écrire la partie de reconnaissance vocale serait sans doute très difficile.

L'idée est fort simple mais derrière la réalisation d'un tel outil est plus que difficile.

Peut être faut il chercher du côté des open sources et trouver un développeur.
A ce jour c'est le regisseur son (pas
celui de la salle du coin mais son propre regisseur son) qui s'occupe de ça. Il écoute et déclenche les samples au moment opportun.

Dernière recherche à.faire bôme midi translator.

A ce jour la partie reconnaissance vocale n'existe pas mais déclencher une événement midi conditionnel est sa raison d'être.

Eric

6
Bonjour,

il existe des modules de reconnaissance vocale qui peuvent réagir à un ou plusieurs mots. Les sorties peuvent être de type "logique" (tout ou rien) ou de type "COM" (envoi d'une commande spécifique). Un tel module, associé à un "générateur" MIDI piloté par signal logique devrait faire l'affaire.

Formateur en techniques sonores ; électronicien ; auteur @ sonelec-musique.com

7
Merci Remy,
Mon projet a bien avancé. Presqu'au point. A voir dans les conditions du live.
Bon comme je le disais c'est en fait assez simple, contrairement à ce que disais Papy. Le mot qui convient le mieux est que c'est fastidieux et qu'il faut y passer du temps.

[ Dernière édition du message le 17/11/2023 à 21:08:22 ]

8
Bonjour,
je pense de la même façon : faisable avec essais / tâtonnements.

Formateur en techniques sonores ; électronicien ; auteur @ sonelec-musique.com

9
Et c'est quoi cette appli qui fait du déclenchement sur reconnaissance vocale ? Bon c pas simple curiosité

Eric

10
Ce n'est pas une appli mais un module hard.

Formateur en techniques sonores ; électronicien ; auteur @ sonelec-musique.com

11
Ha ok..je ne savais pas que ça existait

Eric

12
Salut Marco.
Je ne sais pas si ton idée est réalisable avec une reconnaissance vocale (qui, par ailleurs, induit généralement beaucoup de latence et/ou d'être reliée à internet, ce qui peut être problématique sur scène) mais il me semble que c'est réalisable avec un simple pédalier midi et Ableton Live (ou un autre séquenceur, mais celui-là me paraît particulièrement bien adapté).

Si ta lecture est linéaire, il suffirait de lancer les évènements sonores au pied (donc discrètement) aux moments adéquats : une pression sur la pédale pour l'évènement A, puis de nouveau une pression pour l'évènement B, etc. etc.
Une simple pédale de sustain (25€) reliée à un clavier avec une entrée sustain (100€) relié à un ordinateur sur lequel Live est installé (beaucoup plus d'€) : tu as ton contrôleur !

Concernant la reconnaissance vocale, la prochaine version de Live comporte la compatibilité avec des logiciels de type "screen reader" comme Voice Over sur Mac ou NVDA pour Windows (cf : https://www.ableton.com/fr/release-notes/live-12-beta/)
Je ne sais pas dans quelle mesure cela permet de contrôler Live, ou plus exactement je ne sais pas si on peut customiser les commandes vocales avec suffisamment de finesse pour que la scène #1 se déclenche lorsque tu prononces la phrase "Rayon violet de ses yeux" et la scène #2 avec la phrase "Gracieux fils de Pan" par exemple. Mais ça vaut le coup d'essayer (enfin, après que Live 12 soit sorti, ce qui n'est pas encore le cas).
J'ai un ami tétraplégique et j'ai essayé de lui faire adopter Voice Over sur Mac pour contrôler son ordi. Sur le papier, il suffit vraiment de donner des ordres reconnaissables à l'ordi et ça fonctionne. Par exemple "Ouvre Firefox" ou "divise l'écran en zones" puis "clique sur le contenu de la zone 12". Mais en pratique c'est quand même compliqué et il faut être très rigoureux avec son utilisation de la parole. Parce que si une parole est mal interprétée par l'ordi il se passe n'importe quoi. Finalement mon pote actionne son ordi à la langue sur le trackpad... :mrg:
Je dirais que sur scène, c'est un peu dangereux. Je ne connais pas NVDA pour Windows, mais ça vaut le coup d'essayer déjà de contrôler un ordi de cette manière pour voir si des choses simples sont envisageables. Tu auras déjà une première idée de la fiabilité de ce genre de choses.

Enfin, (toujours sur Live) il est toujours possible de trouver des contrôleurs plus discrets qu'une pédale.
- une manette de jeu bluetooth cachée dans la poche
- n'importe quel dispositif bluetooth que tu peux cacher quelque part et actionner par la pression (sachant qu'il vaut mieux avoir un ordi récent de bonne qualité, car le signal bluetooth n'est pas non plus aussi fiable que le filaire en live)
- ou encore une tablette ou n'importe quel dispositif visuel qui permet de contrôler Live avec une image : si tu utilises un pupitre pour ta lecture, tu peux te débrouiller pour y mettre une tablette (derrière tes feuilles par exemple) reliée à un ordinateur qui fait tourner Live. Il faut simplement que la camera de la tablette te filme, et tu déclenches des évènements en fonction de ce qui est filmé. Sachant que c'est évidemment assez basique : par exemple si tu approches la main et rend l'image sombre, ça déclenche un évènement. Tu ne peux pas faire un signe spécial pour déclencher quoi que ce soit (le V de la victoire déclenche un son de trompette), mais tu peux utiliser une tablette (ou n'importe quel objet qui peut envoyer de la vidéo vers un ordi) un peu comme on utilise un thérémine.
Par exemple :
(mais il y a plein de solutions avec M4L)
13
Merci Calagan. En fait ce n'est pas de la reconnaissance vocale profonde (deep learning) ou l'ordi doit comprendre la phrase et y répondre. Là l'ordi ne reconnait que la voix et les mots que je dis ( et qui sont déjà enregistrés sur l'ordi) C'est à dire que mes mots sont juste comme une clé que l'ordi reconnait et et transforme ensuite en commande midi. Ca fonctionne très bien pour l'instant.
J'espère avoir été le plus clair possible. Merci pour tous tes conseils. Et oui avant je faisais ça avec des contrôleurs midi classiques. fcb1010 et launchpad entres autres.
Musicalement, Marco.