Patch multitouch de reconnaissance de mouvement
- 15 réponses
- 4 participants
- 2 340 vues
- 4 followers
nay-seven
Une nouvelle approche pour creer votre interface musicale :
Usine fournit à présent un patch multitouch de reconnaissance de mouvement
l'idée de base est de mémoriser les mouvements fait à la souris , avec les doigts pour un écran tactile, une wiimote, une webcam...etc
et de lancer l'action choisie quand le mouvement est reconnu
petite vidéo exemple demonstration video et page wiki Wiki page pour plus d'information
[ Dernière édition du message le 07/09/2010 à 15:11:22 ]
- 1
- 2
plaf
C'est très original comme système, je n'aurais pas pensé que ce genre de commande soit possible !
Je vois par contre qu'il y a une certaine latence, est-ce le système tactile en lui même qui est comme ça ou bien est-ce qeu ça dépend des écrans?
plaf
Et d'ailleurs tu dis que ça marche aussi avec une webcam? C'est seulemtn sous Windows 7 ou bien XP marche aussi?
nay-seven
la latence est assez proche de celle obtenue avec une souris, et il faut comprendre que l'action est validée en fin de mouvement..
sinon, seule la gestion des écrans tatcile multitouch nécessite Win Seven , si tu veux utiliser ce système en monotouch , pas de soucis..
tu peux d'ailleurs télécharger l'addon et tester à la souris pour commencer...
plaf
Même avec la webcam ça marche sous XP ?
[ Dernière édition du message le 08/09/2010 à 22:37:41 ]
nay-seven
oui, le module vidéo a des sorties x , y,et l'outlet detected peux remplacer le mouse down...?
du coup tu dois même pouvoir faire du multi..
j'avoue que c'est tout frais et je n'ai pas testé encore autre chose que touchscreen
GDLive
Bonjour !
Alors pour info :
J'ai passé une bonne journée hier pour essayer de piloter ce patch pour l'utiliser en reconnaissance de mouvements avec une webcam. Pour l'instant en ce qui concerne mes essais, ce n'est pas très concluant, que ce soit en utilisant les sorties x,y , x ou y seuls ou les barycentres.
Je pense que ma difficulté principale provient de la fiabilité du déclenchement du mouse down ; en effet, en mode motion detection du patch vidéo, le début et la fin du mouvement sont naturellement moins précis qu'une information tactile. J'ai de plus des difficultés à garantir une seule zone et la continuité de la détection malgré les réglages threshold et group tolerance. Les modes basés sur l'analyse de la luminosité ne marchent pas très bien dans mon contexte ; peut-être que devant un panneau blanc ou noir on gagnerait en fiabilité.
Je vois plusieurs pistes pour améliorer ça, mais je pense qu'il faudrait carrément rentrer dans le module de détection video pour mettre en place des lois de contraintes à différentes étapes du processus dans cette optique de gesture recognition ; ça peut être un peu touchy...
Bon, on va laisser le cerveau se mobiliser sur d'autres choses avant d'y revenir avec l'idée du siècle..
nay-seven
oui , il est clair que pour avoir des performances correctes , il faut un environnement contrasté , un gant blanc sur fond noir ou inversement par exemple te donneront de meilleur resultat , tu peux aussi jouer sur les parametres de reglages contraste de ta webcam aussi..?
sinon, une led alimenté scotché ou cousu sur un gant ,ou une mini lampe de poche
tu peux aussi utiliser une wiimote comme capteur direct
tout dépend du projet que tu a en tête..
GDLive
Mouais, l'idée c'est de bouger en jouant de la clarinette basse, donc pas mal de contraintes. Sinon, c'est pas mal l'idée de la led, par exemple fixée sur le pavillon !
Citation :
tout dépend du projet que tu a en tête..
Pas encore défini, là j'expérimente pour fixer les principes d'un live
GDLive
Juste une question sur la wiimote (que je n'ai pas) :
J'ai cru comprendre à travers les vidéos qu'elle se base sur les accélérations et changements d'angles ; par conséquent elle n'est pas l'outil le plus approprié pour donner des indications de déplacement !?!
Et en fait pour un instrument à vent, c'est plutôt des déplacements ou rotations relativement lents que l'on est en mesure de faire sur scène, et du coup la wiimote ne me semble pas super appropriée
J'ai bon ?
- < Liste des sujets
- Charte
- 1
- 2