Se connecter
Se connecter

ou
Créer un compte

ou
Agrandir
Ajouter ce produit à
  • Mon ancien matos
  • Mon matos actuel
  • Mon futur matos
BrainModular Usine 5
Photos
1/3
BrainModular Usine 5

Patch multitouch de reconnaissance de mouvement

  • 15 réponses
  • 4 participants
  • 2 340 vues
  • 4 followers
Sujet de la discussion Patch multitouch de reconnaissance de mouvement

Une nouvelle approche pour creer votre interface musicale :

Usine fournit à présent un patch multitouch de reconnaissance de mouvement


https://www.sensomusic.com/forums/uploads.php?file=gesture3s.jpg



l'idée de base est de mémoriser les mouvements fait à la souris , avec les doigts pour un écran tactile, une wiimote, une webcam...etc

et de lancer l'action choisie quand le mouvement est reconnu

petite vidéo exemple demonstration video et page wiki Wiki page pour plus d'information

 

nay-seven

[ Dernière édition du message le 07/09/2010 à 15:11:22 ]

2

C'est très original comme système, je n'aurais pas pensé que ce genre de commande soit possible !

Je vois par contre qu'il y a une certaine latence, est-ce le système tactile en lui même qui est comme ça ou bien est-ce qeu ça dépend des écrans?

3

Et d'ailleurs tu dis que ça marche aussi avec une webcam? C'est seulemtn sous Windows 7 ou bien XP marche aussi?

4

la latence est assez proche de celle obtenue avec une souris, et il faut comprendre que l'action est validée en fin de mouvement..

sinon, seule la gestion des écrans tatcile multitouch nécessite Win Seven , si tu veux utiliser ce système en monotouch , pas de soucis..

tu peux d'ailleurs télécharger l'addon et tester à la souris pour commencer...

nay-seven
5

Même avec la webcam ça marche sous XP ?

 

[ Dernière édition du message le 08/09/2010 à 22:37:41 ]

6

oui, le module vidéo a des sorties x , y,et l'outlet detected peux remplacer le mouse down...?

du coup tu dois même pouvoir faire du multi..

j'avoue que c'est tout frais et je n'ai pas testé encore autre chose que touchscreen

nay-seven
7

Bonjour !

Alors pour info :

J'ai passé une bonne journée hier pour essayer de piloter ce patch pour l'utiliser en reconnaissance de mouvements avec une webcam. Pour l'instant en ce qui concerne mes essais, ce n'est pas très concluant, que ce soit en utilisant les sorties x,y , x ou y seuls ou les barycentres.

Je pense que ma difficulté principale provient de la fiabilité du déclenchement du mouse down ; en effet, en mode motion detection du patch vidéo, le début et la fin du mouvement sont naturellement moins précis qu'une information tactile. J'ai de plus des difficultés à garantir une seule zone et la continuité de la détection malgré les réglages threshold et group tolerance. Les modes basés sur l'analyse de la luminosité ne marchent pas très bien dans mon contexte ; peut-être que devant un panneau blanc ou noir on gagnerait en fiabilité.

Je vois plusieurs pistes pour améliorer ça, mais je pense qu'il faudrait carrément rentrer dans le module de détection video pour mettre en place des lois de contraintes à différentes étapes du processus dans cette optique de gesture recognition ; ça peut être un peu touchy...

Bon, on va laisser le cerveau se mobiliser sur d'autres choses avant d'y revenir avec l'idée du siècle.. mrgreen

 

 

 

 

8

oui , il est clair que pour avoir des performances correctes , il faut un environnement contrasté , un gant blanc sur fond noir ou inversement par exemple te donneront de meilleur resultat , tu peux aussi jouer sur les parametres de reglages contraste de ta webcam aussi..?

sinon, une led alimenté scotché ou cousu sur un gant ,ou une mini lampe de poche

tu peux aussi utiliser une wiimote comme capteur direct

tout dépend du projet que tu a en tête..

nay-seven
9

Mouais, l'idée c'est de bouger en jouant de la clarinette basse, donc pas mal de contraintes. Sinon, c'est pas mal l'idée de la led, par exemple fixée sur le pavillon !

Citation :

tout dépend du projet que tu a en tête..

Pas encore défini, là j'expérimente pour fixer les principes d'un live

10

Juste une question sur la wiimote (que je n'ai pas) :

J'ai cru comprendre à travers les vidéos qu'elle se base sur les accélérations et changements d'angles ; par conséquent elle n'est pas l'outil le plus approprié pour donner des indications de déplacement !?!

Et en fait pour un instrument à vent, c'est plutôt des déplacements ou rotations relativement lents que l'on est en mesure de faire sur scène, et du coup la wiimote ne me semble pas super appropriée icon_confused.gif

 

J'ai bon ? headscratch.gif