Se connecter
Se connecter

ou
Créer un compte

ou
FR
EN

Controleur MIDI par Head Tracking avec une WEBCAM

  • 25 réponses
  • 11 participants
  • 2 437 vues
  • 10 followers
Sujet de la discussion Controleur MIDI par Head Tracking avec une WEBCAM
Salut,

j'aimerai monté un projet de conception de controleur mIDI par Webcam

En gros, la webcam via des algos statistiques detecterait les mouvement de la tête: gauche droite/avant arrière...

Ca nous fait donc un controleur a deux dimensions...pouvant controler ce que l'on veut, la frequence de coupure d'un filtre ansi que la résonance, des paramètres de synthèse etc

J'aurais besoin d'infos sur :
-la conception d'un controleur MIDI software
-les algos de head tracking
etc etc

et des idées :8)


A+
2
'Tain l'idée l'autre hé ! :oo:
Je flagouille direct ! :bravo2:
3
4
J'imagine le truc en live, je vois déjà les gens dire :

"mais qui c'est ce bazio de DJ qui bouge tout le temps sa tête....."
5
Ca ferait une sorte de thérémin MIDI, chouette. Et pourquoi ne pas étendre le système à la reconnaissance des expressions du visage ? :)
6
Au moins les battement de tête du DJ auront une utilité, pourquoi pas controler le threshold d'un compresseur...ou tout simplement appelé des kick :mdr:

Je crois que pour la position de la tête des algos pas trop lourd existe, par contre reconnaissance des expressions du visage il va falloir sortir les réseaux de neurones et autres outils d'apprentissage statistique :bravo:
7
Enfin je sais pas si ce serait bien jouable en live... :?!: Parce que dans le noir, une webcam...
8
Bien vu. Mais par contre si ça fonctionne avec une webcam le système pourra sûrement être alimenté par un signal vidéo quelconque. Ca pourrait intéresser des personnes travaillant sur les intéractions images / son.
9

Citation : Parce que dans le noir, une webcam...



Clair que dans ce cas, ca bug, mais si tu fais de la scène les gens sont la pour te voir, pas pour que tu reste caché dasn le noir, alors le fait de mettre une lumiere qui eclaire ton visage c'est pas le probleme :bravo:
10
Oui, tout à fait, bonne réponse! :bravo2:
11

Hors sujet : Enfin de toute façon, moi, des lives j'en fait pas alors... ça serait pour utiliser dans ma chmbre et c'est tout ! donc...

12
Méga giga flag !

Hors sujet : pour la hardteck, techno et autres musiques répétitives on pourra diriger la webcam vers un film X.... comment faire de la musique sans se fatiguer! :volatil:

13
Idée interressante...

Je connais rien en head tracking mais j'ai déjà programmé un éditeur de percu midi en java et c'est plutot simple quand on connait le langage et les librairies concernées.

En gros, tu dois choper toute variation de données dans l'image, analyser ces variations et générer les messages midi correspondant...

Avant de se lancer dans la programmation, il ya des questions incontournables :
- ce controleur midi doit-il être en stand-alone ou en tant que plug et de quel(s) logiciel(s) ?
- les messages midi sont à destination d'un appareil externe ou d'un autre programme ?

Bref, il faut bien délimiter le contexte...
Philz.
14
J'aimerai faire un truc général, un plug que tu puisses charger...le must serait de faire fonctionner ca dans un hôte comme CUbase, Ableton Live etc...

J'ai deja fais pas mal de prog sur maxmsp (prog d'external qui balance du MIDI), je vais deja commencer par la :bravo:
15
Là, j'ai du mal à suivre.
Je croyais que Max/MSP ne manipulait que du son et pas du midi. Me trompe-je ?

Citation : prog d'external qui balance du MIDI


Ca veut dire quoi ?

Philz.
16
Max fait tres bien du MIDI (MSP fesant plus de l'audio et JItter gerant la vidéo et la 3D)...il le gere parfaitement, ensuite avec des canaux midi virtuels tu peux faire transiter les infos midi a un sequenceur qui tourne sur le même PC

Max, c'est des briques que tu ajoutes et que tu interconnectes entre elles...
Il ya des briques toutes faites...
Mais quand tu veux faire des choses bien particuliere tu peux creer tes propres briques...Pour ca, tu programmes l'équivalent d'un fichier dll (sauf que l'extension est .mxe)...ensuite de max, tu pourras utiliser la brique que tu as programmé...
17
Arf merde tu vas me détester mais j'avais un patch Max qui permettait celà.... et je dis bien "j'avais"... parce que là je vois pas où il peut être et je ne sais plus où je l'ai choppé... si je retrouve je t'envoie ça.
18
Cool :bravo:
19
Yes ! trés bonne idée.

Ca me rapelle un truc dans ma jeunesse (y'a 4/5 ans :D: ) , je crois qu'il s'agissait de types d'annecy qui tiennent un studio et qui avaient réalisé diverses interventions dans ma ville (relatives à la "musique électroacoustique ?", aux nouvelles technologie dans l'univers musical, à l'interactivité public-musique...) . En fait eux ils déclenchaient des samples grace à une camera, ils avaient découpés en zones l'image capturée et dès qu'un mouvement était detecté dans une de ces zonex, un son se déclenchait. Je pense qu'en gros c'est le même principe, après tu peux réduire la taille des zones et affecter à chacune un message midi pour piloter n'importe quoi (eux avaient dus affecter des messages de notes...).

Au niveau technologique je ne peux pas t'aider plus au sujet de l'aquisition des données (quelles variations interpréter et comment ?...). Mais j'ai moyen de me renseigner si tu veux sur qui ils étaient, leur structure, si ils ont une asso... (Si ça se trouve ils traînent sur le forum, y'a de grande chances)

A+
20

Citation : ensuite de max, tu pourras utiliser la brique que tu as programmé...


ok, comprendo.

Mais alors pour utiliser l'outil, il est nécessaire d'avoir Max...

Pas trés ouverte comme solution... M'enfin, tant que le thésard prend son pied... :clin:
21
C'est un debut...max c'est bien pour faire du maquettage de synthé ou d'autre chose

Hors sujet :

Citation : tant que le thésard prend son pied



Je commence qu'au debut octobre a ca a rien a voir avec de l'audio...j'ai testé le monde de l'audio pendant 1 an, honnetement je prefere faire autre chose.. :clin:

22
Le studio Eole sur toulouse avec notamment l'installation Mendel 2 qui est en gros un être numérique à faire vivre par déplacement devant des capteurs et/ou caméra fait ce genre d'expérience.... extrêment impressionnant à voir. Si tu cliques sur la version en ligne de Mendel tu vas apercevoir en fond un patch Max sympa....
http://www.studio-eole.net/
23
Flag !
Toute musique qui ne peint rien n'est que du bruit... (Jean le Rond d'Alembert)
24
Impressionnant ce mendel, la présentation fait un peu science-fiction mais bon faut bien faire rêver les gens...

Hors sujet :

Citation : j'ai testé le monde de l'audio pendant 1 an, honnetement je prefere faire autre chose..


Je comprends. Moi j'ai essayé de faire de l'informatique pour des compositeurs de musique electro-acoustique-masturbation-cérébrale vers bordeaux. Et ben j'ai préféré composer moi-même pour avoir aussi la tête dans le ciel et à côté travailler dans l'info de gestion car les pieds y touchent le sol.

25
Reste à demander à Kraftwerk comment ils commandent leurs homologues bioniques...

Pour faire un prototype low-cost, tu peux toujours essayer de hacker une Logitech QuickCam Sphere (Orbit en V.O.) dans les alentours de 80€. Voici ce qu'en dit Tom's Hardware: "QuickCam Sphere : elle n’en fait qu’à votre tête". Cher? Toujours moins qu'une boussole électronique... ,-)