Je me fais un logiciel video+audio+midi (effets liés aux notes ou automation
- 9 réponses
- 1 participant
- 148 vues
- 1 follower
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
Salut
A force de pétage de câble à filmer à OBS+Source Record j'ai demandé à GPT de me faire un logiciel de prise video+audio plus à ma sauce, qui utilise le timecode midi pour pouvoir normalement découpé parfaitement le tout sur le start midi (avec mesure d'attente).
C'est pas parfait et donc complété par recalage manuel avec aide du midi qui change la vie, du rien à voir par rapport à capcut je laissais toujours tomber
L'autre but etait de pouvoir utiliser des cameras d'appareils android qui filment sur leur propre mémoire pour eviter la saturation rapide de mes ports usb
Je l'avais en fait déjà fait mais c'est ultra décalé avec OBS
Puis j'ai demandé à GPT de pouvoir associer effets ou animation à des événements midi et le résultat est bien meilleur que ce que j'esperais. Avec mêmes des effets de détection de corps. Bien plus lié à la musique que ce que je faisais avec différents logiciel grâce aux données midi
100% gratuit et open source (je le poste entre ce soir et demain soir après avoir résolu les derniers petits bugs, ça reste une version beta)
https://github.com/da23real
Ca sera dans le dossier Snkoz
Ma vidéo exemple est trés moyenne mais je fais un peu trop tout en même temps et le but à la base était juste de filmer plus simplement la création de mon séquenceur
A force de pétage de câble à filmer à OBS+Source Record j'ai demandé à GPT de me faire un logiciel de prise video+audio plus à ma sauce, qui utilise le timecode midi pour pouvoir normalement découpé parfaitement le tout sur le start midi (avec mesure d'attente).
C'est pas parfait et donc complété par recalage manuel avec aide du midi qui change la vie, du rien à voir par rapport à capcut je laissais toujours tomber
L'autre but etait de pouvoir utiliser des cameras d'appareils android qui filment sur leur propre mémoire pour eviter la saturation rapide de mes ports usb
Je l'avais en fait déjà fait mais c'est ultra décalé avec OBS
Puis j'ai demandé à GPT de pouvoir associer effets ou animation à des événements midi et le résultat est bien meilleur que ce que j'esperais. Avec mêmes des effets de détection de corps. Bien plus lié à la musique que ce que je faisais avec différents logiciel grâce aux données midi
100% gratuit et open source (je le poste entre ce soir et demain soir après avoir résolu les derniers petits bugs, ça reste une version beta)
https://github.com/da23real
Ca sera dans le dossier Snkoz
Ma vidéo exemple est trés moyenne mais je fais un peu trop tout en même temps et le but à la base était juste de filmer plus simplement la création de mon séquenceur
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
https://github.com/da23real/Snkoz
Voilà une version "présentable" est en ligne, on peut maintenant selectionner et couper des pistes selon un indice midi. Ce qui permet
1- rajuster à la perfection des prises comme "bon début" "bon solo" et "bonne fin" ou autre exemple se filmer plusieurs fois. Une pour le jeu, une pour la danse, une pour faire le pitre à la camera et monter ça en une seule video ulta facilement
2 faire du remix audio/video en remixant les blocs. Pour ça un mode remix permettra de le faire plus rapidement , à la manière du mode remix d'une MPC avec des slices mais qui seront audio+video (mais pas temps reel pour l'instant)
Là je prépare une mise à jour qui va permettre un mode "detection synchro" on place toutes les cameras sur des pads qui s'allument à chaque temps grâce à l'envois de notes midi sur tout les canaux. Puis le logiciel lance automatiquement 10 prises et donne ensuite résultat des analyses audio et video et indique pour chaque appareil si la latence est constante (avec une tolérance du genre 5ms) ou si elle peut varier (souvent les cameras de smartphone ont une variance de 60ms max). Ensuite on peut appliquer les réglages conseillés et la piste ayant une variance est indiquée sur la vue montage
A priori il sera préférable pour ces tests d'activer les micros des cameras car l'audio est bien plus précis qu'une video 30 ou même 60 fps !!! Même si on ne l'utilise pas durant la prise
Voilà une version "présentable" est en ligne, on peut maintenant selectionner et couper des pistes selon un indice midi. Ce qui permet
1- rajuster à la perfection des prises comme "bon début" "bon solo" et "bonne fin" ou autre exemple se filmer plusieurs fois. Une pour le jeu, une pour la danse, une pour faire le pitre à la camera et monter ça en une seule video ulta facilement
2 faire du remix audio/video en remixant les blocs. Pour ça un mode remix permettra de le faire plus rapidement , à la manière du mode remix d'une MPC avec des slices mais qui seront audio+video (mais pas temps reel pour l'instant)
Là je prépare une mise à jour qui va permettre un mode "detection synchro" on place toutes les cameras sur des pads qui s'allument à chaque temps grâce à l'envois de notes midi sur tout les canaux. Puis le logiciel lance automatiquement 10 prises et donne ensuite résultat des analyses audio et video et indique pour chaque appareil si la latence est constante (avec une tolérance du genre 5ms) ou si elle peut varier (souvent les cameras de smartphone ont une variance de 60ms max). Ensuite on peut appliquer les réglages conseillés et la piste ayant une variance est indiquée sur la vue montage
A priori il sera préférable pour ces tests d'activer les micros des cameras car l'audio est bien plus précis qu'une video 30 ou même 60 fps !!! Même si on ne l'utilise pas durant la prise
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
Ca a pas l'air de faire des émules ? Je suis étonné moi ça fait 25 ans que je rêve d'un tel soft !!!
J'esperais poster la mise à jour aujourd'hui mais ça sera surement pour demain et c'est pas des moindres !!
En dehors des améliorations générales on peut aussi
Afficher des numéros de notes dans une zones, ou des numéros de CC
Affecter un effet à ce texte, qui peut varier bien sûr selon des paramètres midi tel que note, vélocité, etc...
Donc par exemple on peut avoir un do plus ou moins brilant selon la vélocité, et changeant de couleur selon une valeur de filtre CC. Idéal pour les gens qui font des tutos youtube par exemple
Enfin là aujourd'hui y'a eu ribambelles de problèmes: carte SD qui disent toutes merde et en donnant la sortie midi au génératuer de delay ils n'envoyaient plus les notes de delay à la sortie midi par exemple. Problème idiot en changeant le fonctionnement des patchs de synthés sur le séquenceur, etc...
JE vais d'ailleurs intégrer au logiciel des patch de machine pour pouvoir afficher par exemple "cutoff" au lieu de "CC74"
Si on choisit un canal, le soft ne propose que les données dispnibles , s'il n'y a pas de CC l'option est grisée. Si on choisit un accord avec une note par image d'animation, seules les notes de la piste sont proposées.
Miniature des pistes videos, simplifier pour garder la fluidité vu que c'est pas opti pour montage video pur, mais vraiment video midi
Les pistes midi sont plus optimisées, seules les canaux contenant des notes ou CC sont affichées, on peut utiliser des filtres.
option spécifique à mon séquenceur il envois un CC pour chaque note de delay et des presets visuels fait par GPT permet de faire afficher les répétitions de plus en plus loin, ou en spirale, etc..
Il est maintenant possible de faire des coupures dans les pistes, et un vrai montage final. C'est plus obligatoire de finir le travail sur un autre soft.
Je vais ensuite rajouter les outils traditionnels des autres softs comme des transitions entre pistes mais je pense surtout pousser encore les effets liés aux midi
J'esperais poster la mise à jour aujourd'hui mais ça sera surement pour demain et c'est pas des moindres !!
En dehors des améliorations générales on peut aussi
Afficher des numéros de notes dans une zones, ou des numéros de CC
Affecter un effet à ce texte, qui peut varier bien sûr selon des paramètres midi tel que note, vélocité, etc...
Donc par exemple on peut avoir un do plus ou moins brilant selon la vélocité, et changeant de couleur selon une valeur de filtre CC. Idéal pour les gens qui font des tutos youtube par exemple
Enfin là aujourd'hui y'a eu ribambelles de problèmes: carte SD qui disent toutes merde et en donnant la sortie midi au génératuer de delay ils n'envoyaient plus les notes de delay à la sortie midi par exemple. Problème idiot en changeant le fonctionnement des patchs de synthés sur le séquenceur, etc...
JE vais d'ailleurs intégrer au logiciel des patch de machine pour pouvoir afficher par exemple "cutoff" au lieu de "CC74"
Si on choisit un canal, le soft ne propose que les données dispnibles , s'il n'y a pas de CC l'option est grisée. Si on choisit un accord avec une note par image d'animation, seules les notes de la piste sont proposées.
Miniature des pistes videos, simplifier pour garder la fluidité vu que c'est pas opti pour montage video pur, mais vraiment video midi
Les pistes midi sont plus optimisées, seules les canaux contenant des notes ou CC sont affichées, on peut utiliser des filtres.
option spécifique à mon séquenceur il envois un CC pour chaque note de delay et des presets visuels fait par GPT permet de faire afficher les répétitions de plus en plus loin, ou en spirale, etc..
Il est maintenant possible de faire des coupures dans les pistes, et un vrai montage final. C'est plus obligatoire de finir le travail sur un autre soft.
Je vais ensuite rajouter les outils traditionnels des autres softs comme des transitions entre pistes mais je pense surtout pousser encore les effets liés aux midi
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
Après avoir tenté différents trucs super confus pour tenter d'être flexible j'ai demandé un système modulaire je pense que ça sera vraiment au poil
Problème bien prise de tête à développer conjointement le séquenceur et le logiciel de prise/montage j'ai rajouté un système de "lien" entre pistes du séquenceur. Une esclave peut prendre certains paramètres de la piste maitre, changer par exemple CC50 sur l'une le change sur l'autre
Problème après avoir filmé toute une vidéo je me rends compte à la fin que les données de la piste esclave sont bien envoyées en midi... mais pas au logiciel de prise !!! Car j'utilise un système spécial qui me permet de différencier piste séquenceur de simple canal midi
Résultat là on voit que l'affichage de note , et les effets vidéos associées aux filtres ne collent pas (j'ai mis un moment à comprendre pourquoi)
Problème bien prise de tête à développer conjointement le séquenceur et le logiciel de prise/montage j'ai rajouté un système de "lien" entre pistes du séquenceur. Une esclave peut prendre certains paramètres de la piste maitre, changer par exemple CC50 sur l'une le change sur l'autre
Problème après avoir filmé toute une vidéo je me rends compte à la fin que les données de la piste esclave sont bien envoyées en midi... mais pas au logiciel de prise !!! Car j'utilise un système spécial qui me permet de différencier piste séquenceur de simple canal midi
Résultat là on voit que l'affichage de note , et les effets vidéos associées aux filtres ne collent pas (j'ai mis un moment à comprendre pourquoi)
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
C'est scandaleux ces IA j'ai pas eu le temps de faire mon keta/wuwa du soir il a déjà finis le système modulaire !!!
Visiblement c'est finalement plus simple à coder pour elles qu'un système linéaire
Mais sa manière de faire les choses m'a donné encore plus d'idée, avec des outils de conversions audio>CC ou luminosité>cc par exemple (il y a déjà 2 types de signaux : midi et video car je pensais juste m'en servir pour le montage video mais là ça va devenir super polyvalent)
Bon du coup j'y retourne en plus c'est plus fluide comme ça en modulaire
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
En attendant de pouvoir livrer la prochaine version qui n'a plus rien à voir (je viens de demander à GPT de lancer des simulatoins pour faire des presets d'effets et éviter d'avoir à passer 8H à tenter des paramètres qui donnent rien, et pouvoir avoir des valeurs par défauts qui donne un résultat illico)
Je copie une partie de discussion car j'ai vraiment l'impression aux vues des réactions que certaines semblent penser qu'il suffit de demander "fais moi un logiciel de ceci celà". Un type pour un logiciel de 3D qui m'a demandé "quel est le prompt" alors qu'il y avait 3 jours de discussions en mode 14H par jour !!!!
Voilà c'est juste un tout petit extrait d'une des dizaines de discussions de ces derniers jours
La fonctionnement du logiciel de prise comme de montage n'a plus rien à voir ... ni avec la 1ere version ni avec le fonctionnement des autres logiciels de montages !!!
multi fenêtres en multi taches, effets modulaires, preview des pistes sur timeline, ça n'a plus rien à voir !!!
Je copie une partie de discussion car j'ai vraiment l'impression aux vues des réactions que certaines semblent penser qu'il suffit de demander "fais moi un logiciel de ceci celà". Un type pour un logiciel de 3D qui m'a demandé "quel est le prompt" alors qu'il y avait 3 jours de discussions en mode 14H par jour !!!!
Citation :
Oui tu le feras à la prochaine version et au lancement on est sur l'onglet prise car les autres utilisateurs seront déroutés par l'arrivé sur urban Kaoz.
J'ai oublié la possibilité de chosir l'orientation dès la prise, car pour du 9:16 sinon en preview c'est pas pratique, donc orientation et miroir dès la prise, sans l'enlever du montage
La connexion au teensy est souvent un peu pébile, quand on lance la conversion micro au lieu de dire connecter teensy ça devrait le tenter
Ah oui et aussi depuis la fenêtre prise la durée de vidéo déjà filmé devrait être plus grande. Car pour tenir le format Reel Youtube j'ai besoin de voir que ça dépassera pas top les 3 min avec les coupures.
Sinon là avec le format montage on peut toujours faire des coupures d'ailleurs ? Je fais toujours select all et couper puis combler la zone vide ?
vendredi 10:12
Noté pour la prochaine version :
- Lanceur fixe pour la barre des tâches, ouvrant ton raccourci habituel pour suivre les mises à jour.
- Ouverture sur l’onglet Prise.
- Orientation et miroir dès la Prise, visibles dans sa preview, tout en conservant ces réglages dans Montage.
- Au lancement de la conversion micro, tenter automatiquement la connexion au Teensy ; afficher une demande d’intervention seulement si elle échoue.
- Durée filmée beaucoup plus lisible dans Prise. Pour ton objectif de trois minutes avec des coupes, il faut distinguer la durée enregistrée du temps final conservé au montage.
Oui, les coupures sont toujours possibles avec la piste Montage. Chaque morceau conserve son organisation modulaire, modifiable indépendamment après la coupe.
Pour retirer un passage partout en gardant la synchronisation : sélectionner toutes les pistes concernées, couper aux deux limites du passage, supprimer les morceaux intermédiaires, puis combler le vide. Inclure la piste Montage, les médias et le MIDI dans la sélection. Couper seul ne retire aucune durée.
Je garde ces ajouts pour la prochaine version, sans lancer de modification maintenant.
vendredi 10:13
En fait maintenant que j'y pense le mieux serait de numéroter les blocs du montage, puis de pouvoir tout simplement définir leur ordre en cliquant sur un dernier bloc de rendu de la piste montage. Avec le découpage en mesure ça peut garder une logique musicale même en réorganisant par exemple un hook up.
vendredi 10:14
Oui, ça donnerait un montage par séquence de blocs, pratique pour réorganiser des passages en gardant leurs limites musicales.
Les blocs de Montage auraient un numéro stable, par exemple 1, 2, 3, 4. Un dernier bloc « Rendu / Ordre » ouvrirait une liste permettant de définir une séquence comme 3 → 1 → 2 → 3 → 4 : déplacer un passage ou répéter le hook sans refaire les découpes.
Chaque occurrence reprendrait le passage source correspondant, son graphe modulaire et ses événements MIDI. L’audio devrait suivre le même réordonnancement, y compris l’audio général utilisé en preview, pour conserver la synchronisation. La durée finale affichée serait calculée à partir de cette séquence, répétitions comprises.
Avec des coupes calées sur les mesures, on conserverait les durées musicales ; il faudrait aussi définir le comportement des animations et des queues d’effets aux raccords.
Je l’ajoute au périmètre discuté pour la prochaine version. Tu imagines ce bloc d’ordre pour la preview aussi bien que pour l’export ?
vendredi 10:14
Oui un numéro automatique qu'on peut renommer par exemple "intro" "hook up" etc... Ca je pense que tu peux le faire en gardant compatibilité ? Les blocs déjà crée seront juste auto nommés ?. Si oui tu peux lancer la nouvelle version (coder le logiciel et faire aussi tout le reste discuté)
vendredi 10:17
Exécution durant 15m 39s
R5 — 10.1.15.4 est compilée et livrée, raccourci habituel actualisé et vérifié.
- Blocs automatiquement numérotés et renommables.
- Rendu / ordre : réorganisation, répétitions, durée finale, preview et export avec audio/MIDI synchronisés.
- Coupes et annulation conservées.
- Ouverture sur Prise, orientation/miroir, durée agrandie et tentative automatique de connexion Teensy pour le micro.
- Lanceur fixe créé pour la barre des tâches.
Tes projets R4 restent lisibles, sans réécriture à l’ouverture. Une sauvegarde R5 ne sera cependant pas lisible par R4.
247 contrôles passent. Pas d’essai matériel réel ; export partiel de l’ordre indisponible. Les reports précédents restent conservés.
Ta session R4 est toujours ouverte : ferme-la puis relance avec le raccourci habituel. Pour la barre des tâches, épingle Urban Kaoz - lanceur fixe.lnk dans ton dossier Raccourcis.
[Guide R5](C:/Arduino/GPT/Projects/Synkoz/VA01/VA01.15/R5/Documentation/UTILISATION.md) · [Validation et limites](C:/Arduino/GPT/Projects/Synkoz/VA01/VA01.15/R5/Documentation/LIVRAISON.md)
vendredi 10:32
Ah et j'oubliais la possibilité d'insérer des images comme source
vendredi 10:32
Oui, à ajouter au suivi : une image fixe comme source, importable sur la timeline ou directement dans le TBO, avec miniature, cadrage, proportions, opacité et transparence PNG conservée.
Sur la timeline, elle aurait une durée réglable ; dans le TBO, elle alimenterait les branches vidéo et leurs effets.
Je le note pour la prochaine mise à jour, sans lancer de code maintenant.
Voilà c'est juste un tout petit extrait d'une des dizaines de discussions de ces derniers jours
La fonctionnement du logiciel de prise comme de montage n'a plus rien à voir ... ni avec la 1ere version ni avec le fonctionnement des autres logiciels de montages !!!
multi fenêtres en multi taches, effets modulaires, preview des pistes sur timeline, ça n'a plus rien à voir !!!
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
Recuring
309
Posteur·euse AFfamé·e
Membre depuis 3 ans
- Liste des modérateurs
- Charte