aide demandée La voix comme un contrôleur MIDI
- 12 réponses
- 5 participants
- 617 vues
- 5 followers

linstantpresent
5

Nouvel·le AFfilié·e
Membre depuis 13 ans
Sujet de la discussion Posté le 05/10/2023 à 02:40:34La voix comme un contrôleur MIDI
Bonjour
Je joue actuellement un spectacle de poésie. Je joue sur scène avec un guitariste.
Mais je voudrais également jouer seul.
Je voudrais avoir des déclenchements midi pour envoyer des sons, sans contrôleur midi.
je voudrais donc que ce soit ma voix qui fasse les commandes.
En enregistrant mon texte (c'est toujours le même puisque des poèmes) dans un daw ou séquenceur.
et qu'il réagissent à un groupe de mots par reconnaissance.
Un peu comme le fait ce logiciel, bien que je n'ai pas besoin de la partie musicien de ce logiciel :
https://fr.audiofanzine.com/controleur-midi-divers/vochlea-music/dubler-studio-kit/forums/t.682978,commentaires-sur-la-news-votre-voix-va-devenir-un-controleur-midi.html
J'espère être clair sur ce que je recherche
Avez-vous des idées ? d'autre logiciels ou matériel capable de faire cela ?
Et éventuellement des retours à me faire sur ce logiciel ?
si vous êtes éventuellement intéressé pour participer à ce projet, une contribution financière est possible.
Par avance je remercie tous ceux qui prendront soin de me lire.
Bien amicalement
Marco.
Je joue actuellement un spectacle de poésie. Je joue sur scène avec un guitariste.
Mais je voudrais également jouer seul.
Je voudrais avoir des déclenchements midi pour envoyer des sons, sans contrôleur midi.
je voudrais donc que ce soit ma voix qui fasse les commandes.
En enregistrant mon texte (c'est toujours le même puisque des poèmes) dans un daw ou séquenceur.
et qu'il réagissent à un groupe de mots par reconnaissance.
Un peu comme le fait ce logiciel, bien que je n'ai pas besoin de la partie musicien de ce logiciel :
https://fr.audiofanzine.com/controleur-midi-divers/vochlea-music/dubler-studio-kit/forums/t.682978,commentaires-sur-la-news-votre-voix-va-devenir-un-controleur-midi.html
J'espère être clair sur ce que je recherche
Avez-vous des idées ? d'autre logiciels ou matériel capable de faire cela ?
Et éventuellement des retours à me faire sur ce logiciel ?
si vous êtes éventuellement intéressé pour participer à ce projet, une contribution financière est possible.

Par avance je remercie tous ceux qui prendront soin de me lire.
Bien amicalement
Marco.

Anonyme

2 Posté le 05/10/2023 à 08:24:19
Sur le papier. c'est beau, en pratique même avec le contrôleur que tu cites ça parait compliqué.
En gros ce type de contrôleur MIDI transforme la hauteur de ta voix en notes MIDI, jusqu'ici je n'ai rien vu qui soit capable de reconnaître un groupe de mot pour déclencher un événement.
La technologie existe mais personne n'a sorti une telle appli en relation avec le MIDI à ma connaissance, ta demande est très particulière et très personnelle.
En gros ce type de contrôleur MIDI transforme la hauteur de ta voix en notes MIDI, jusqu'ici je n'ai rien vu qui soit capable de reconnaître un groupe de mot pour déclencher un événement.
La technologie existe mais personne n'a sorti une telle appli en relation avec le MIDI à ma connaissance, ta demande est très particulière et très personnelle.
0

linstantpresent
5

Nouvel·le AFfilié·e
Membre depuis 13 ans
3 Posté le 05/10/2023 à 15:07:42
Merci Papyserge.
Et pourtant la reconnaissance vocale fait beaucoup plus complexe en comprenant et répondant au texte. Je n'ai nullement besoin de cela. Juste transformer quelques passages de texte lu en tops (soit musique, éclairage, etc)
De plus si la reconnaissance transforme l'oral en écrit comme un logiciel de sténo (dictée) le midi n'a plus à reconnaitre de notes juste de l'écrit.
Je ne serais pas le faire mais dans l'absolu ça me parait assez simple.
Marco.
Et pourtant la reconnaissance vocale fait beaucoup plus complexe en comprenant et répondant au texte. Je n'ai nullement besoin de cela. Juste transformer quelques passages de texte lu en tops (soit musique, éclairage, etc)
De plus si la reconnaissance transforme l'oral en écrit comme un logiciel de sténo (dictée) le midi n'a plus à reconnaitre de notes juste de l'écrit.
Je ne serais pas le faire mais dans l'absolu ça me parait assez simple.
Marco.
0

Anonyme

4 Posté le 06/10/2023 à 07:53:21
C'est toujours plus simple quand ce sont les autres qui le font. 

0

Eric Music Strasbourg
4598

Squatteur·euse d’AF
Membre depuis 17 ans
5 Posté le 06/10/2023 à 08:05:50
Papy Serge a raison. Faire ça demande une reconnaissance vocale de ce qui est dit et de ce qui est pré enregistré. Si ça match alors on declanche une note midi.
Aucune application à ce jour ne fait ça.
Aujourd'hui en MAO la reconnaissance vocale existe par exemple dans spectralayer. Une phrase enregistrée peut être transformée en texte. Sauf que le but n'est pas de déclencher une note midi.
Pas si simple.. rien que d'écrire la partie de reconnaissance vocale serait sans doute très difficile.
L'idée est fort simple mais derrière la réalisation d'un tel outil est plus que difficile.
Peut être faut il chercher du côté des open sources et trouver un développeur.
A ce jour c'est le regisseur son (pas
celui de la salle du coin mais son propre regisseur son) qui s'occupe de ça. Il écoute et déclenche les samples au moment opportun.
Dernière recherche à.faire bôme midi translator.
A ce jour la partie reconnaissance vocale n'existe pas mais déclencher une événement midi conditionnel est sa raison d'être.
Aucune application à ce jour ne fait ça.
Aujourd'hui en MAO la reconnaissance vocale existe par exemple dans spectralayer. Une phrase enregistrée peut être transformée en texte. Sauf que le but n'est pas de déclencher une note midi.
Pas si simple.. rien que d'écrire la partie de reconnaissance vocale serait sans doute très difficile.
L'idée est fort simple mais derrière la réalisation d'un tel outil est plus que difficile.
Peut être faut il chercher du côté des open sources et trouver un développeur.
A ce jour c'est le regisseur son (pas
celui de la salle du coin mais son propre regisseur son) qui s'occupe de ça. Il écoute et déclenche les samples au moment opportun.
Dernière recherche à.faire bôme midi translator.
A ce jour la partie reconnaissance vocale n'existe pas mais déclencher une événement midi conditionnel est sa raison d'être.
0
Eric

Rémy M. (chimimic)
14258

Modérateur·trice thématique
Membre depuis 22 ans
6 Posté le 07/11/2023 à 13:05:45
Bonjour,
il existe des modules de reconnaissance vocale qui peuvent réagir à un ou plusieurs mots. Les sorties peuvent être de type "logique" (tout ou rien) ou de type "COM" (envoi d'une commande spécifique). Un tel module, associé à un "générateur" MIDI piloté par signal logique devrait faire l'affaire.
il existe des modules de reconnaissance vocale qui peuvent réagir à un ou plusieurs mots. Les sorties peuvent être de type "logique" (tout ou rien) ou de type "COM" (envoi d'une commande spécifique). Un tel module, associé à un "générateur" MIDI piloté par signal logique devrait faire l'affaire.
1
Formateur en techniques sonores ; électronicien ; auteur @ sonelec-musique.com

linstantpresent
5

Nouvel·le AFfilié·e
Membre depuis 13 ans
7 Posté le 17/11/2023 à 21:07:30
Merci Remy,
Mon projet a bien avancé. Presqu'au point. A voir dans les conditions du live.
Bon comme je le disais c'est en fait assez simple, contrairement à ce que disais Papy. Le mot qui convient le mieux est que c'est fastidieux et qu'il faut y passer du temps.
Mon projet a bien avancé. Presqu'au point. A voir dans les conditions du live.
Bon comme je le disais c'est en fait assez simple, contrairement à ce que disais Papy. Le mot qui convient le mieux est que c'est fastidieux et qu'il faut y passer du temps.
0
[ Dernière édition du message le 17/11/2023 à 21:08:22 ]

Rémy M. (chimimic)
14258

Modérateur·trice thématique
Membre depuis 22 ans
8 Posté le 18/11/2023 à 06:18:12
Bonjour,
je pense de la même façon : faisable avec essais / tâtonnements.
je pense de la même façon : faisable avec essais / tâtonnements.
0
Formateur en techniques sonores ; électronicien ; auteur @ sonelec-musique.com

Eric Music Strasbourg
4598

Squatteur·euse d’AF
Membre depuis 17 ans
9 Posté le 18/11/2023 à 06:25:35
Et c'est quoi cette appli qui fait du déclenchement sur reconnaissance vocale ? Bon c pas simple curiosité
0
Eric

Rémy M. (chimimic)
14258

Modérateur·trice thématique
Membre depuis 22 ans
10 Posté le 18/11/2023 à 16:17:31
Ce n'est pas une appli mais un module hard.
0
Formateur en techniques sonores ; électronicien ; auteur @ sonelec-musique.com

Eric Music Strasbourg
4598

Squatteur·euse d’AF
Membre depuis 17 ans
11 Posté le 19/11/2023 à 01:49:26
Ha ok..je ne savais pas que ça existait
0
Eric

Calagan
1170

AFicionado·a
Membre depuis 19 ans
12 Posté le 19/11/2023 à 06:52:16
Salut Marco.
Je ne sais pas si ton idée est réalisable avec une reconnaissance vocale (qui, par ailleurs, induit généralement beaucoup de latence et/ou d'être reliée à internet, ce qui peut être problématique sur scène) mais il me semble que c'est réalisable avec un simple pédalier midi et Ableton Live (ou un autre séquenceur, mais celui-là me paraît particulièrement bien adapté).
Si ta lecture est linéaire, il suffirait de lancer les évènements sonores au pied (donc discrètement) aux moments adéquats : une pression sur la pédale pour l'évènement A, puis de nouveau une pression pour l'évènement B, etc. etc.
Une simple pédale de sustain (25€) reliée à un clavier avec une entrée sustain (100€) relié à un ordinateur sur lequel Live est installé (beaucoup plus d'€) : tu as ton contrôleur !
Concernant la reconnaissance vocale, la prochaine version de Live comporte la compatibilité avec des logiciels de type "screen reader" comme Voice Over sur Mac ou NVDA pour Windows (cf : https://www.ableton.com/fr/release-notes/live-12-beta/)
Je ne sais pas dans quelle mesure cela permet de contrôler Live, ou plus exactement je ne sais pas si on peut customiser les commandes vocales avec suffisamment de finesse pour que la scène #1 se déclenche lorsque tu prononces la phrase "Rayon violet de ses yeux" et la scène #2 avec la phrase "Gracieux fils de Pan" par exemple. Mais ça vaut le coup d'essayer (enfin, après que Live 12 soit sorti, ce qui n'est pas encore le cas).
J'ai un ami tétraplégique et j'ai essayé de lui faire adopter Voice Over sur Mac pour contrôler son ordi. Sur le papier, il suffit vraiment de donner des ordres reconnaissables à l'ordi et ça fonctionne. Par exemple "Ouvre Firefox" ou "divise l'écran en zones" puis "clique sur le contenu de la zone 12". Mais en pratique c'est quand même compliqué et il faut être très rigoureux avec son utilisation de la parole. Parce que si une parole est mal interprétée par l'ordi il se passe n'importe quoi. Finalement mon pote actionne son ordi à la langue sur le trackpad...
Je dirais que sur scène, c'est un peu dangereux. Je ne connais pas NVDA pour Windows, mais ça vaut le coup d'essayer déjà de contrôler un ordi de cette manière pour voir si des choses simples sont envisageables. Tu auras déjà une première idée de la fiabilité de ce genre de choses.
Enfin, (toujours sur Live) il est toujours possible de trouver des contrôleurs plus discrets qu'une pédale.
- une manette de jeu bluetooth cachée dans la poche
- n'importe quel dispositif bluetooth que tu peux cacher quelque part et actionner par la pression (sachant qu'il vaut mieux avoir un ordi récent de bonne qualité, car le signal bluetooth n'est pas non plus aussi fiable que le filaire en live)
- ou encore une tablette ou n'importe quel dispositif visuel qui permet de contrôler Live avec une image : si tu utilises un pupitre pour ta lecture, tu peux te débrouiller pour y mettre une tablette (derrière tes feuilles par exemple) reliée à un ordinateur qui fait tourner Live. Il faut simplement que la camera de la tablette te filme, et tu déclenches des évènements en fonction de ce qui est filmé. Sachant que c'est évidemment assez basique : par exemple si tu approches la main et rend l'image sombre, ça déclenche un évènement. Tu ne peux pas faire un signe spécial pour déclencher quoi que ce soit (le V de la victoire déclenche un son de trompette), mais tu peux utiliser une tablette (ou n'importe quel objet qui peut envoyer de la vidéo vers un ordi) un peu comme on utilise un thérémine.
Par exemple : (mais il y a plein de solutions avec M4L)
Je ne sais pas si ton idée est réalisable avec une reconnaissance vocale (qui, par ailleurs, induit généralement beaucoup de latence et/ou d'être reliée à internet, ce qui peut être problématique sur scène) mais il me semble que c'est réalisable avec un simple pédalier midi et Ableton Live (ou un autre séquenceur, mais celui-là me paraît particulièrement bien adapté).
Si ta lecture est linéaire, il suffirait de lancer les évènements sonores au pied (donc discrètement) aux moments adéquats : une pression sur la pédale pour l'évènement A, puis de nouveau une pression pour l'évènement B, etc. etc.
Une simple pédale de sustain (25€) reliée à un clavier avec une entrée sustain (100€) relié à un ordinateur sur lequel Live est installé (beaucoup plus d'€) : tu as ton contrôleur !
Concernant la reconnaissance vocale, la prochaine version de Live comporte la compatibilité avec des logiciels de type "screen reader" comme Voice Over sur Mac ou NVDA pour Windows (cf : https://www.ableton.com/fr/release-notes/live-12-beta/)
Je ne sais pas dans quelle mesure cela permet de contrôler Live, ou plus exactement je ne sais pas si on peut customiser les commandes vocales avec suffisamment de finesse pour que la scène #1 se déclenche lorsque tu prononces la phrase "Rayon violet de ses yeux" et la scène #2 avec la phrase "Gracieux fils de Pan" par exemple. Mais ça vaut le coup d'essayer (enfin, après que Live 12 soit sorti, ce qui n'est pas encore le cas).
J'ai un ami tétraplégique et j'ai essayé de lui faire adopter Voice Over sur Mac pour contrôler son ordi. Sur le papier, il suffit vraiment de donner des ordres reconnaissables à l'ordi et ça fonctionne. Par exemple "Ouvre Firefox" ou "divise l'écran en zones" puis "clique sur le contenu de la zone 12". Mais en pratique c'est quand même compliqué et il faut être très rigoureux avec son utilisation de la parole. Parce que si une parole est mal interprétée par l'ordi il se passe n'importe quoi. Finalement mon pote actionne son ordi à la langue sur le trackpad...

Je dirais que sur scène, c'est un peu dangereux. Je ne connais pas NVDA pour Windows, mais ça vaut le coup d'essayer déjà de contrôler un ordi de cette manière pour voir si des choses simples sont envisageables. Tu auras déjà une première idée de la fiabilité de ce genre de choses.
Enfin, (toujours sur Live) il est toujours possible de trouver des contrôleurs plus discrets qu'une pédale.
- une manette de jeu bluetooth cachée dans la poche
- n'importe quel dispositif bluetooth que tu peux cacher quelque part et actionner par la pression (sachant qu'il vaut mieux avoir un ordi récent de bonne qualité, car le signal bluetooth n'est pas non plus aussi fiable que le filaire en live)
- ou encore une tablette ou n'importe quel dispositif visuel qui permet de contrôler Live avec une image : si tu utilises un pupitre pour ta lecture, tu peux te débrouiller pour y mettre une tablette (derrière tes feuilles par exemple) reliée à un ordinateur qui fait tourner Live. Il faut simplement que la camera de la tablette te filme, et tu déclenches des évènements en fonction de ce qui est filmé. Sachant que c'est évidemment assez basique : par exemple si tu approches la main et rend l'image sombre, ça déclenche un évènement. Tu ne peux pas faire un signe spécial pour déclencher quoi que ce soit (le V de la victoire déclenche un son de trompette), mais tu peux utiliser une tablette (ou n'importe quel objet qui peut envoyer de la vidéo vers un ordi) un peu comme on utilise un thérémine.
Par exemple :
0

linstantpresent
5

Nouvel·le AFfilié·e
Membre depuis 13 ans
13 Posté le 09/12/2023 à 04:45:03
Merci Calagan. En fait ce n'est pas de la reconnaissance vocale profonde (deep learning) ou l'ordi doit comprendre la phrase et y répondre. Là l'ordi ne reconnait que la voix et les mots que je dis ( et qui sont déjà enregistrés sur l'ordi) C'est à dire que mes mots sont juste comme une clé que l'ordi reconnait et et transforme ensuite en commande midi. Ca fonctionne très bien pour l'instant.
J'espère avoir été le plus clair possible. Merci pour tous tes conseils. Et oui avant je faisais ça avec des contrôleurs midi classiques. fcb1010 et launchpad entres autres.
Musicalement, Marco.
J'espère avoir été le plus clair possible. Merci pour tous tes conseils. Et oui avant je faisais ça avec des contrôleurs midi classiques. fcb1010 et launchpad entres autres.
Musicalement, Marco.
0
- < Liste des sujets
- Charte