Se connecter
Se connecter

ou
Créer un compte

ou
FR
EN
Informatique musicale

IA: Google Gemini / générer un instrument virtuel en 30secondes.

  • 19 réponses
  • 9 participants
  • 910 vues
  • 27 followers
Sujet de la discussion IA: Google Gemini / générer un instrument virtuel en 30secondes.
Hello, voici une invitation pour ceux qui aiment expérimenter.

Il y a quelques temps le sujet avait été abordé: peut-on coder un plugin sans rien y connaître grâce à ChatGPT? La réponse était non.

Pourtant, sans parler de plugin, je viens de découvrir que Google Gemini est doué pour coder des instruments virtuels.
Google Gemini est gratuit et s'utilise exactement comme ChatGPT, en mode "Canvas" il permet de coder et créer des pages .html avec des interfaces, des animations et surtout du son.


En mode "Canvas" il suffit de rédiger un prompt du genre:

"  Simule une boite à rythme Roland TR-606 sur une page html.
- fais des recherches sur les ressources et les caractéristiques de la TR-606 et conçois une interface qui respecte la machine originale: l'aspect globale, ses réglages avec ses boutons rotatifs
- le son, le groove, l'utilisation doivent se rapprocher d'une TR-606 authentique."

Une trentaine de seconde lui suffit à produire le résultat suivant complètement fonctionnel:
6701450.png

-> Le lien vers la page html pour s'amuser avec la TR-606:
https://gemini.google.com/share/7196020cdf84


Google Gemini sait aussi coder des synthétiseurs: des oscillateurs, des filtres, des enveloppes, des réverbérations... il suffit de lui demander.

Un second exemple:
"Sur une page .html tu dois simuler la chute de gouttes de pluies sur un xylophone.
- Un curseur permet d'ajuster la densité de la pluie
- Un curseur permet d'ajuster le volume du xylophone
- Un curseur permet d'ajuster le volume du bruit de la pluie
- Un curseur permet d'ajuster le niveau de réverbération sur le xylophone"

Le résultat:
6701451.png
Pour s'amuser avec le xylophone: https://gemini.google.com/share/a797b721e096


2
C'est dingue ce truc !!:8O:

Christian

3
Il n'y aurait pas des problèmes juridiques avec les noms Roland et Drumatix du premier exemple ?
4
Citation :
Il n'y aurait pas des problèmes juridiques avec les noms Roland et Drumatix du premier exemple ?

Normalement pas de raison si c’est pour une utilisation personnelle et pas à titre de commercialisation, enfin je pense…

Plaisir d'offrir, joie de recevoir.

5
Citation de AcidWidow :
Il n'y aurait pas des problèmes juridiques avec les noms Roland et Drumatix du premier exemple ?


Aucune TR-606 n'a été maltraitée pendant le test et je ne commercialise rien du tout. J'ai simulé un appareil existant pour m'éviter de détailler les fonctionnalités.
6
Quoiqu’il en soit, merci beaucoup pour cette découverte. :bravo:

Plaisir d'offrir, joie de recevoir.

7
Je reviens après quelques séances de test.

Gemini est franchement doué, il sait implémenter des basses Moog, des réseaux neuronaux, des phénomènes physiques, "hacker" des flux radios...

Pour ce qui est de la synthèse et des effets il utilise "Web Audio API" qui s'en sort bien pour produire des sons électroniques, par contre je n'ai pas réussi à produire des sons typés "acoustique".

Dans cet exemple j'ai demandé à Gemini de coder un player permettant d'ajouter des effets à un flux radio, j'ai choisi SomaFM dont le flux est justement ouvert. Voici le prompt de départ, le résultat final à nécessité quelques échanges avec Gemini.

"Tu dois te comporter comme un expert en audionumérique et coder une page html qui permet d'ajouter des effets sur un flux radio entrant. La radio est SomaFM.

La page doit comporter des simulations de pédales (chorus, delay, phaser, reverb, filtre HPF (échelle logarithmique de 20Hz à 20Khz), filtre LPF( échelle logarithmique de 20Hz à 20Khz) qu'on peut appliquer à l'audio entrant. 
En plus des réglages, chaque pédale possède un bouton de bypass. La page possède aussi un bouton de volume. Au démarrage tout les effets sont "bypassed".
En arrière-fond tu dois utiliser une image de nature trouvée sur le net."



6709091.png

Pour s'amuser avec le SomaFM PedalBoard: https://gemini.google.com/share/d6c33c0ccab8


[ Dernière édition du message le 05/01/2026 à 09:33:51 ]

8
Ici le synthé "I feel Synth" qui permet de jouer une ligne de basse connue, on peut s'amuser avec les enveloppes, le filtre, le delay, il y a même un générateur de Kick qui compresse la basse en side-chain.

La réalisation a demandé plusieurs itérations mais en gros le prompt de départ ressemblait à ça:

"Comportes toi comme un expert du traitement audionumérique et de la programmation des pages web pour coder une page html qui simule un synthétiseur nommé « I feel Synth ».

Le tempo est de 120bpm (soit 8Hz par défaut)
Un synthétiseur Moog joue une ligne basse à la croche. (Soit 4Hz) La suite de notes qui est jouée en boucle est A1, A1, E1, G1. 
Un effet de delay à la double croche est ajouté à la basse ( Soit 8Hz).
Un Bassdrum de type analogique (TR-909) bat le temps (soit 2Hz)
Grâce à un compresseur side-chain le Bassdrum crée un effet de pompage sur le synthétiseur et son delay, dans un style très « techno ».
La page inclus un potentiomètre de volume général."


6709094.png

Pour s'amuser avec le synthé c'est ici: https://gemini.google.com/share/7b1785604f9c

[ Dernière édition du message le 05/01/2026 à 09:36:44 ]

9
Et enfin un synthé modulaire avec ses câbles et tout et tout.
Contrairement aux autres exemples le code présente ici quelques bugs (on sent les limites de l'abstraction) que je n'ai pas demandé à corrigé, c'est simplement un "proof of concept".

Voici le premier prompt qui est très détaillé, il a fallu quelques itérations:
Spoiler - Cliquer ici pour lire la suite


6709118.png

Pour s'amuser avec le modulaire c'est ici: https://gemini.google.com/share/1f7010be3656

[ Dernière édition du message le 05/01/2026 à 21:55:12 ]

10
Intéressant. Du coup je me suis amusé à lui réclamer une simulation du Minilogue (premier du nom, non XD). Beaucoup d'itérations, j'ai pas fini, j'en suis là. https://gemini.google.com/share/845d220aafac?hl=en_GB
11
Alors ma prochaine découverte devrait t'intéresser:

Et le MIDI fut....

Je n'avais pas encore réussi à faire fonctionner le MIDI, c'est désormais chose faite, Gemini peut utiliser "Web MIDI API" en parallèle du "Web Audio API" .

Le truc c'est que la fenêtre "Canvas" est ce qu'on appelle un bac à sable, le code s'y exécute sans pouvoir interagir avec le reste de l'ordinateur, il ne peut pas recevoir le MIDI. Pour des raisons de sécurité Google bloque aussi le MIDI sur les pages web qu'on partage ici.

Pour piloter ces instruments virtuels en MIDI il faut exécuter la page html de façon locale:
- copier le code fourni par Gemini dans un fichier .txt
- changer le .txt en .html
- ouvrir le fichier avec son navigateur (Chrome est conseillé)

Et la magie opère, j'ai un instrument qui réagit à mon clavier maître branché en usb...:bravo:


Dans le même esprit, un testeur MIDI qui indique tout les signaux entrants:

6710049.png

[ Dernière édition du message le 06/01/2026 à 00:58:48 ]

12
Merci beaucoup pour le partage de ces découvertes, et bravo pour la réalisation. Flippant, comme souvent avec l'IA (le cauchemar des développeurs de plugins dans un futur proche ?), mais fascinant. Même si j'ai déjà trop de plugins pour en faire le tour, ça ouvre des perspectives plus intéressantes pour les amateurs de musique que ces générateurs de musique toute faite qui polluent les services de streaming.
13
Merci à toi. Effectivement je trouve peu intéressant de générer des morceaux au mètre, ici j'ai l'impression d'avoir une sorte de Max-MSP sous les doigts. A l'utilisation je remarque être dans un "état d'esprit" plus créatif, comme face à un jeu de Lego.

Après il ne faut pas être dupe, et je devrai avoir honte, les IA sont une saloperie pour la planète, j'avoue que la fascination prend le pas.

[ Dernière édition du message le 06/01/2026 à 09:07:34 ]

14
Citation de Mini-Maxi :
Merci à toi. Effectivement je trouve peu intéressant de générer des morceaux au mètre, ici j'ai l'impression d'avoir une sorte de Max-MSP sous les doigts. A l'utilisation je remarque être dans un "état d'esprit" plus créatif, comme face à un jeu de Lego.

Après il ne faut pas être dupe, et je devrai avoir honte, les IA sont une saloperie pour la planète, j'avoue que la fascination prend le pas.


Entièrement d'accord sur les effets de l'IA, pas seulement sur la planète. Quand on se rendra compte que les dégâts collatéraux sont bien supérieurs aux bénéfices, il sera sans doute déjà trop tard.
15
Un éditeur Audio pour quantifier et faire swinger les rythmiques

Cet éditeur audio permet de quantifier des boucles rythmiques en y appliquant un pourcentage de swing. Il utilise des algorithmes de time-strech.

On peut y charger ses propres fichiers audio: les boucles rythmiques 4/4 de une ou deux mesures ( moins de 750Ko) sont conseillées.
Les transients sont détectés automatiquement mais peuvent être retouchés manuellement.
Le rythme est quantifié sur la grid, on peut ajuster la valeur de swing, ce qui est franchement cool. Ca fonctionne bien! :bravo:

Une application qui a nécessité des dizaines d'itérations, il a fallu être très directif sur l'aspect technique.

6710696.png

Pour utiliser l'éditeur c'est ici:
https://gemini.google.com/share/3b0bd85db2c0

[ Dernière édition du message le 06/01/2026 à 15:49:26 ]

16
Houlà, Flag !
17
Bon il est temps de passer aux choses sérieuses et voir si on peut créer un utilitaire pour un DAW, par exemple un oscilloscope.

Ici le but est d'envoyer l'audio de mon Logic Pro vers Chrome où tourne la page créée par Gemini.
Sur Mac on peut utiliser Black Hole qui s'installe très facilement, c'est une application qui permet de router les pistes de Logic vers les entrées de Chrome.
Après ça, tout n'est plus que question de configuration, du DAW et de Chrome. A l'usage Black Hole se comporte comme une carte son (virtuelle), on peut l'ajouter aux périphériques agrégés.

J'ai franchement pas forcé sur le prompt qui m'a pris 1minute. L'oscilloscope demande a être amélioré mais c'est encore une fois un "proof of concept".

Comportes toi comme un expert en audionumérique et code une page html qui simule un oscilloscope 2Ch, il lit l'entrée audio stéréo. Le look est vintage et militaire. L'écran de l'oscilloscope est rond et noir avec des reflets, le cerceau autour de l'écran est gris foncé.

Tu dois placer cette image de texture verte en arrière-fond:
[url]https://www.renderhub.com/cgaxis/green-painted-metal-pbr-texture/green-painted-metal-pbr-texture-02.jpg[/url]
SI l'image ne s'affiche pas, tu dois écrire "erreur"

Utilise des effets de transparences pour simuler des reflets sur la vitre de l'oscilloscope.
Les réglages sont:
- selecteur entrée: Ch 1 ou Ch1 +Ch2
- potentiomètre de réglage des couleurs (pour ajuster) selon ses goûts les couleurs des signaux sur l'oscilloscope., choisis des couleurs pertinentes par défaut. 
- sélecteur amplitude: x1, x2, x4, x8
- sélecteurs de temps: 10ms, 50ms, 100ms, 500ms, 1s.


6712029.jpg

[ Dernière édition du message le 07/01/2026 à 22:17:29 ]

18
Flag

La flemme est l'avenir de l'homme. Pff, jsuis fatigué je ne vais pas plus lo..

19
Je flague. Merci Mini-Maxi pour cette découverte.

T'es pas obligé d'écouter toutes les conneries de DaRinze  .  Clip SONIC ON LOVE YOU

20
Well, well, well.. j'ai créé une nouvelle discussion..pour expliquer comment coder un vrai plugin avec Google Gemini:

https://fr.audiofanzine.com/mao/forums/t.832588,creer-un-plugin-sans-rien-y-connaitre-avec-google-gemini-done,post.12116773.html

6713007.png