La voix comme un contrôleur MIDI
- 12 réponses
- 5 participants
- 522 vues
- 5 followers
linstantpresent
5
Nouvel·le AFfilié·e
Membre depuis 13 ans
Sujet de la discussion Posté le 05/10/2023 à 02:40:34La voix comme un contrôleur MIDI
Bonjour
Je joue actuellement un spectacle de poésie. Je joue sur scène avec un guitariste.
Mais je voudrais également jouer seul.
Je voudrais avoir des déclenchements midi pour envoyer des sons, sans contrôleur midi.
je voudrais donc que ce soit ma voix qui fasse les commandes.
En enregistrant mon texte (c'est toujours le même puisque des poèmes) dans un daw ou séquenceur.
et qu'il réagissent à un groupe de mots par reconnaissance.
Un peu comme le fait ce logiciel, bien que je n'ai pas besoin de la partie musicien de ce logiciel :
https://fr.audiofanzine.com/controleur-midi-divers/vochlea-music/dubler-studio-kit/forums/t.682978,commentaires-sur-la-news-votre-voix-va-devenir-un-controleur-midi.html
J'espère être clair sur ce que je recherche
Avez-vous des idées ? d'autre logiciels ou matériel capable de faire cela ?
Et éventuellement des retours à me faire sur ce logiciel ?
si vous êtes éventuellement intéressé pour participer à ce projet, une contribution financière est possible.
Par avance je remercie tous ceux qui prendront soin de me lire.
Bien amicalement
Marco.
Je joue actuellement un spectacle de poésie. Je joue sur scène avec un guitariste.
Mais je voudrais également jouer seul.
Je voudrais avoir des déclenchements midi pour envoyer des sons, sans contrôleur midi.
je voudrais donc que ce soit ma voix qui fasse les commandes.
En enregistrant mon texte (c'est toujours le même puisque des poèmes) dans un daw ou séquenceur.
et qu'il réagissent à un groupe de mots par reconnaissance.
Un peu comme le fait ce logiciel, bien que je n'ai pas besoin de la partie musicien de ce logiciel :
https://fr.audiofanzine.com/controleur-midi-divers/vochlea-music/dubler-studio-kit/forums/t.682978,commentaires-sur-la-news-votre-voix-va-devenir-un-controleur-midi.html
J'espère être clair sur ce que je recherche
Avez-vous des idées ? d'autre logiciels ou matériel capable de faire cela ?
Et éventuellement des retours à me faire sur ce logiciel ?
si vous êtes éventuellement intéressé pour participer à ce projet, une contribution financière est possible.
Par avance je remercie tous ceux qui prendront soin de me lire.
Bien amicalement
Marco.
- 1
- 2
Eric Music Strasbourg
4596
Squatteur·euse d’AF
Membre depuis 17 ans
11 Posté le 19/11/2023 à 01:49:26
Ha ok..je ne savais pas que ça existait
Eric
Calagan
1077
Modérateur·trice généraliste
Membre depuis 19 ans
12 Posté le 19/11/2023 à 06:52:16
Salut Marco.
Je ne sais pas si ton idée est réalisable avec une reconnaissance vocale (qui, par ailleurs, induit généralement beaucoup de latence et/ou d'être reliée à internet, ce qui peut être problématique sur scène) mais il me semble que c'est réalisable avec un simple pédalier midi et Ableton Live (ou un autre séquenceur, mais celui-là me paraît particulièrement bien adapté).
Si ta lecture est linéaire, il suffirait de lancer les évènements sonores au pied (donc discrètement) aux moments adéquats : une pression sur la pédale pour l'évènement A, puis de nouveau une pression pour l'évènement B, etc. etc.
Une simple pédale de sustain (25€) reliée à un clavier avec une entrée sustain (100€) relié à un ordinateur sur lequel Live est installé (beaucoup plus d'€) : tu as ton contrôleur !
Concernant la reconnaissance vocale, la prochaine version de Live comporte la compatibilité avec des logiciels de type "screen reader" comme Voice Over sur Mac ou NVDA pour Windows (cf : https://www.ableton.com/fr/release-notes/live-12-beta/)
Je ne sais pas dans quelle mesure cela permet de contrôler Live, ou plus exactement je ne sais pas si on peut customiser les commandes vocales avec suffisamment de finesse pour que la scène #1 se déclenche lorsque tu prononces la phrase "Rayon violet de ses yeux" et la scène #2 avec la phrase "Gracieux fils de Pan" par exemple. Mais ça vaut le coup d'essayer (enfin, après que Live 12 soit sorti, ce qui n'est pas encore le cas).
J'ai un ami tétraplégique et j'ai essayé de lui faire adopter Voice Over sur Mac pour contrôler son ordi. Sur le papier, il suffit vraiment de donner des ordres reconnaissables à l'ordi et ça fonctionne. Par exemple "Ouvre Firefox" ou "divise l'écran en zones" puis "clique sur le contenu de la zone 12". Mais en pratique c'est quand même compliqué et il faut être très rigoureux avec son utilisation de la parole. Parce que si une parole est mal interprétée par l'ordi il se passe n'importe quoi. Finalement mon pote actionne son ordi à la langue sur le trackpad...
Je dirais que sur scène, c'est un peu dangereux. Je ne connais pas NVDA pour Windows, mais ça vaut le coup d'essayer déjà de contrôler un ordi de cette manière pour voir si des choses simples sont envisageables. Tu auras déjà une première idée de la fiabilité de ce genre de choses.
Enfin, (toujours sur Live) il est toujours possible de trouver des contrôleurs plus discrets qu'une pédale.
- une manette de jeu bluetooth cachée dans la poche
- n'importe quel dispositif bluetooth que tu peux cacher quelque part et actionner par la pression (sachant qu'il vaut mieux avoir un ordi récent de bonne qualité, car le signal bluetooth n'est pas non plus aussi fiable que le filaire en live)
- ou encore une tablette ou n'importe quel dispositif visuel qui permet de contrôler Live avec une image : si tu utilises un pupitre pour ta lecture, tu peux te débrouiller pour y mettre une tablette (derrière tes feuilles par exemple) reliée à un ordinateur qui fait tourner Live. Il faut simplement que la camera de la tablette te filme, et tu déclenches des évènements en fonction de ce qui est filmé. Sachant que c'est évidemment assez basique : par exemple si tu approches la main et rend l'image sombre, ça déclenche un évènement. Tu ne peux pas faire un signe spécial pour déclencher quoi que ce soit (le V de la victoire déclenche un son de trompette), mais tu peux utiliser une tablette (ou n'importe quel objet qui peut envoyer de la vidéo vers un ordi) un peu comme on utilise un thérémine.
Par exemple : (mais il y a plein de solutions avec M4L)
Je ne sais pas si ton idée est réalisable avec une reconnaissance vocale (qui, par ailleurs, induit généralement beaucoup de latence et/ou d'être reliée à internet, ce qui peut être problématique sur scène) mais il me semble que c'est réalisable avec un simple pédalier midi et Ableton Live (ou un autre séquenceur, mais celui-là me paraît particulièrement bien adapté).
Si ta lecture est linéaire, il suffirait de lancer les évènements sonores au pied (donc discrètement) aux moments adéquats : une pression sur la pédale pour l'évènement A, puis de nouveau une pression pour l'évènement B, etc. etc.
Une simple pédale de sustain (25€) reliée à un clavier avec une entrée sustain (100€) relié à un ordinateur sur lequel Live est installé (beaucoup plus d'€) : tu as ton contrôleur !
Concernant la reconnaissance vocale, la prochaine version de Live comporte la compatibilité avec des logiciels de type "screen reader" comme Voice Over sur Mac ou NVDA pour Windows (cf : https://www.ableton.com/fr/release-notes/live-12-beta/)
Je ne sais pas dans quelle mesure cela permet de contrôler Live, ou plus exactement je ne sais pas si on peut customiser les commandes vocales avec suffisamment de finesse pour que la scène #1 se déclenche lorsque tu prononces la phrase "Rayon violet de ses yeux" et la scène #2 avec la phrase "Gracieux fils de Pan" par exemple. Mais ça vaut le coup d'essayer (enfin, après que Live 12 soit sorti, ce qui n'est pas encore le cas).
J'ai un ami tétraplégique et j'ai essayé de lui faire adopter Voice Over sur Mac pour contrôler son ordi. Sur le papier, il suffit vraiment de donner des ordres reconnaissables à l'ordi et ça fonctionne. Par exemple "Ouvre Firefox" ou "divise l'écran en zones" puis "clique sur le contenu de la zone 12". Mais en pratique c'est quand même compliqué et il faut être très rigoureux avec son utilisation de la parole. Parce que si une parole est mal interprétée par l'ordi il se passe n'importe quoi. Finalement mon pote actionne son ordi à la langue sur le trackpad...
Je dirais que sur scène, c'est un peu dangereux. Je ne connais pas NVDA pour Windows, mais ça vaut le coup d'essayer déjà de contrôler un ordi de cette manière pour voir si des choses simples sont envisageables. Tu auras déjà une première idée de la fiabilité de ce genre de choses.
Enfin, (toujours sur Live) il est toujours possible de trouver des contrôleurs plus discrets qu'une pédale.
- une manette de jeu bluetooth cachée dans la poche
- n'importe quel dispositif bluetooth que tu peux cacher quelque part et actionner par la pression (sachant qu'il vaut mieux avoir un ordi récent de bonne qualité, car le signal bluetooth n'est pas non plus aussi fiable que le filaire en live)
- ou encore une tablette ou n'importe quel dispositif visuel qui permet de contrôler Live avec une image : si tu utilises un pupitre pour ta lecture, tu peux te débrouiller pour y mettre une tablette (derrière tes feuilles par exemple) reliée à un ordinateur qui fait tourner Live. Il faut simplement que la camera de la tablette te filme, et tu déclenches des évènements en fonction de ce qui est filmé. Sachant que c'est évidemment assez basique : par exemple si tu approches la main et rend l'image sombre, ça déclenche un évènement. Tu ne peux pas faire un signe spécial pour déclencher quoi que ce soit (le V de la victoire déclenche un son de trompette), mais tu peux utiliser une tablette (ou n'importe quel objet qui peut envoyer de la vidéo vers un ordi) un peu comme on utilise un thérémine.
Par exemple :
linstantpresent
5
Nouvel·le AFfilié·e
Membre depuis 13 ans
13 Posté le 09/12/2023 à 04:45:03
Merci Calagan. En fait ce n'est pas de la reconnaissance vocale profonde (deep learning) ou l'ordi doit comprendre la phrase et y répondre. Là l'ordi ne reconnait que la voix et les mots que je dis ( et qui sont déjà enregistrés sur l'ordi) C'est à dire que mes mots sont juste comme une clé que l'ordi reconnait et et transforme ensuite en commande midi. Ca fonctionne très bien pour l'instant.
J'espère avoir été le plus clair possible. Merci pour tous tes conseils. Et oui avant je faisais ça avec des contrôleurs midi classiques. fcb1010 et launchpad entres autres.
Musicalement, Marco.
J'espère avoir été le plus clair possible. Merci pour tous tes conseils. Et oui avant je faisais ça avec des contrôleurs midi classiques. fcb1010 et launchpad entres autres.
Musicalement, Marco.
- < Liste des sujets
- Charte
- 1
- 2