Audio 360 avec Reaper
- 6 réponses
- 3 participants
- 1 645 vues
- 3 followers
GrandFou
47
Nouvel·le AFfilié·e
Membre depuis 20 ans
Sujet de la discussion Posté le 31/07/2016 à 12:39:28Audio 360 avec Reaper
Bonjour.
Je tente avec difficulté de comprendre comment faire de l'audio spatialisé pour de la vidéo 360. La plupart des infos sont sur des sites de développeurs donc pas très claires pour qui n'est pas codeur.
J'aurais voulu recueillir l'expérience de celles et ceux qui ont déjà fait du mixage audio pour de la vidéo 360 et intégré du son spatialisé, soit du son immersif. Pour bien préciser la chose, quand le spectateur d'une vidéo 360 écoute au casque et qu'il fait une rotation à 180 degrés, le son qu'il entendait dans son oreille gauche est désormais dans son oreille droite. Ce système fonctionne très bien avec des téléphone mobile. Des exemples, ici :
https://www.youtube.com/playlist?list=PLU8wpH_LfhmvCvcBGui3LHC8DufjgvxNn
Des infos de développeurs, là : https://developers.google.com/vr/concepts/spatial-audio
Et encore, là : https://facebook360.fb.com/spatial-workstation/
J'ai fait ce tuto - - mais le player utilisé dans la vidéo ayant changé, ça ne fonctionne pas bien.
Bref, tout cela me semble bien compliqué. Si on peut comprendre ensemble, ce sera chouette.
Merci à tous
Je tente avec difficulté de comprendre comment faire de l'audio spatialisé pour de la vidéo 360. La plupart des infos sont sur des sites de développeurs donc pas très claires pour qui n'est pas codeur.
J'aurais voulu recueillir l'expérience de celles et ceux qui ont déjà fait du mixage audio pour de la vidéo 360 et intégré du son spatialisé, soit du son immersif. Pour bien préciser la chose, quand le spectateur d'une vidéo 360 écoute au casque et qu'il fait une rotation à 180 degrés, le son qu'il entendait dans son oreille gauche est désormais dans son oreille droite. Ce système fonctionne très bien avec des téléphone mobile. Des exemples, ici :
https://www.youtube.com/playlist?list=PLU8wpH_LfhmvCvcBGui3LHC8DufjgvxNn
Des infos de développeurs, là : https://developers.google.com/vr/concepts/spatial-audio
Et encore, là : https://facebook360.fb.com/spatial-workstation/
J'ai fait ce tuto -
Bref, tout cela me semble bien compliqué. Si on peut comprendre ensemble, ce sera chouette.
Merci à tous
Grandfou
blackbollocks
6352
Je poste, donc je suis
Membre depuis 16 ans
2 Posté le 01/08/2016 à 04:31:28
Coucou, j'ai déjà fait ça.
Tout d'abord, dans quel format a tu fais tes prises de son?
Pour ma part, j'ai fait mes ambiances en double MS (un figure en 8 pour les cotés, et un cardio pour l'avant et un autre pour l'arrière, ce n'est donc pas du son 3D, puisqu'il n'y a pas de composante verticale, mais c'est bien du 360.)
Ensuite je t'expose mon workflow:
-conversion du double ms en format-B: matricage front+back= canal W
-" ": matriçage front-back= canal X
-" ": canal S = canal Y
- Canal Z = vide, ça correspond à la composante verticale.
Donc avec ta prise de son 3 canaux, tu te retrouves avec une piste 4 canaux dont un canal vide (tout ceci est automatisable en un clic, j'avais fait un topic là dessus sur le forum cockos avec macros à l'appui)
Ensuite il te faut télécharger FB360 spatialiser qui est gratuit. A l'époque ou je m'en servait il coutait 1500€, les boules quand il est passé du jour au lendemain gratos... avec ce machin tu peux lire une vidéo 360 dans reaper, tourner dedans en 360 dans la vidéo et le son suit ta rotation, c'est parfait pour mixer en 360. Tu peux bien évidemment ajouter des sons pris en mono, les spatialiser avec le plugin, et quand tu tournes dans la vidéo ça garde la position d'origine et donc timbre et "volumise" ton son mono en fonction de ta position.
Une fois que ton mix est fini, il faut l'exporter dans un format propriétaire 8 canaux de 3Dception (la boite qui développe FB360, de toutes façons tout ça est PARFAITEMENT expliqué dans leurs tutos pdf qui viennent avec quand tu télécharge le plugin)
après 2 choix:
Tu fais de la vidéo pour youtube ou FB: tu passse ta piste 8 canaux dans un encodeur pour sortir de l'ambisonic, et tu colles ça a ta vidéo, ensuite facebook se démerde. Youtube pour l'instant se démerde très mal: le son qui tourne avec la vidéo ne marche QUE si tu as l'appli youtube sous android. Sur téléphone win ou apple, c'est mort, sur pc apple, linux ou win, c'est mort aussi. Par contre le player facebook marche partout question son qui tourne (mais pour le reste c'est une telle bouse...
Si tu veux faire de la VR ou du jeux vidéo, il faut intégrer çà en 8 canaux dans unity 3D avec un des plugs 3Dception, mais ça peux être super galère parce qu'il faut mettre ton audio listener parfois sur un objet vide parfois sur une sphère 3D enfin là on rentre dans le monde de la prog et il y a des gens compétents, moi je m'arrête au son
Ah et j'oubliais, FB360 te fournit un preview binaural tout le temps quand tu mixes, du coup pas besoin de 30 enceintes, tout marche très bien au casque!
Tout d'abord, dans quel format a tu fais tes prises de son?
Pour ma part, j'ai fait mes ambiances en double MS (un figure en 8 pour les cotés, et un cardio pour l'avant et un autre pour l'arrière, ce n'est donc pas du son 3D, puisqu'il n'y a pas de composante verticale, mais c'est bien du 360.)
Ensuite je t'expose mon workflow:
-conversion du double ms en format-B: matricage front+back= canal W
-" ": matriçage front-back= canal X
-" ": canal S = canal Y
- Canal Z = vide, ça correspond à la composante verticale.
Donc avec ta prise de son 3 canaux, tu te retrouves avec une piste 4 canaux dont un canal vide (tout ceci est automatisable en un clic, j'avais fait un topic là dessus sur le forum cockos avec macros à l'appui)
Ensuite il te faut télécharger FB360 spatialiser qui est gratuit. A l'époque ou je m'en servait il coutait 1500€, les boules quand il est passé du jour au lendemain gratos... avec ce machin tu peux lire une vidéo 360 dans reaper, tourner dedans en 360 dans la vidéo et le son suit ta rotation, c'est parfait pour mixer en 360. Tu peux bien évidemment ajouter des sons pris en mono, les spatialiser avec le plugin, et quand tu tournes dans la vidéo ça garde la position d'origine et donc timbre et "volumise" ton son mono en fonction de ta position.
Une fois que ton mix est fini, il faut l'exporter dans un format propriétaire 8 canaux de 3Dception (la boite qui développe FB360, de toutes façons tout ça est PARFAITEMENT expliqué dans leurs tutos pdf qui viennent avec quand tu télécharge le plugin)
après 2 choix:
Tu fais de la vidéo pour youtube ou FB: tu passse ta piste 8 canaux dans un encodeur pour sortir de l'ambisonic, et tu colles ça a ta vidéo, ensuite facebook se démerde. Youtube pour l'instant se démerde très mal: le son qui tourne avec la vidéo ne marche QUE si tu as l'appli youtube sous android. Sur téléphone win ou apple, c'est mort, sur pc apple, linux ou win, c'est mort aussi. Par contre le player facebook marche partout question son qui tourne (mais pour le reste c'est une telle bouse...
Si tu veux faire de la VR ou du jeux vidéo, il faut intégrer çà en 8 canaux dans unity 3D avec un des plugs 3Dception, mais ça peux être super galère parce qu'il faut mettre ton audio listener parfois sur un objet vide parfois sur une sphère 3D enfin là on rentre dans le monde de la prog et il y a des gens compétents, moi je m'arrête au son
Ah et j'oubliais, FB360 te fournit un preview binaural tout le temps quand tu mixes, du coup pas besoin de 30 enceintes, tout marche très bien au casque!
#ALAPLAJ L'été n'est pas fini partout!
GrandFou
47
Nouvel·le AFfilié·e
Membre depuis 20 ans
3 Posté le 08/08/2016 à 22:33:04
Merci Blackbollocks !
Je persévère. Je vais suivre tes conseils et attendre la version de FB360 spatialiser pour Windws bien que je travaille sur Mac au boulot. Mais les recherches se font le soir, sur PC à la maison. Mais c'est une autre histoire.
Pour le moment, je n'utilise que de la mono. Je n'ai pas fait de prise de son particulières étant dans une phase exploratoire.
Je ne veux pas faire du jeu vidéo. Mon idée est simplement de faire coller le son au mouvement de l'internaute. Il fait une rotation à 180 degrés et ce qu'il entendait de l'oreille gauche, il l'entend de l'oreille droite.
Et j'avoue que je n'y arrive pas, pour le moment. Je vais regarder ce que tu as posté sur le forum Cockos Reaper.
A bientôt
Je persévère. Je vais suivre tes conseils et attendre la version de FB360 spatialiser pour Windws bien que je travaille sur Mac au boulot. Mais les recherches se font le soir, sur PC à la maison. Mais c'est une autre histoire.
Pour le moment, je n'utilise que de la mono. Je n'ai pas fait de prise de son particulières étant dans une phase exploratoire.
Je ne veux pas faire du jeu vidéo. Mon idée est simplement de faire coller le son au mouvement de l'internaute. Il fait une rotation à 180 degrés et ce qu'il entendait de l'oreille gauche, il l'entend de l'oreille droite.
Et j'avoue que je n'y arrive pas, pour le moment. Je vais regarder ce que tu as posté sur le forum Cockos Reaper.
A bientôt
Grandfou
GrandFou
47
Nouvel·le AFfilié·e
Membre depuis 20 ans
4 Posté le 08/08/2016 à 22:40:36
Il me semble que tu mentionnes ce post : https://forums.cockos.com/showthread.php?p=1677805
Grandfou
blackbollocks
6352
Je poste, donc je suis
Membre depuis 16 ans
5 Posté le 09/08/2016 à 23:47:41
gérardB
29
Nouvel·le AFfilié·e
Membre depuis 21 ans
6 Posté le 23/04/2018 à 10:12:20
Hello
je me permets de relancer ce post presque deux ans plus tard
J'aimerais savoir si vous avez des sources et tutos récents (en FR ce serait génial), sur Reaper et les FB360. Personnellement, je cherche pas à utiliser une prise de son ambisonique, mais a mixer de nombreuses sources mono (voix, bruitages, ambiances, musique) pour une fiction à 360°, dans l'espace et avec des mouvements, certains comédiens se déplacent.
- Comment utiliser le template donné avec les FB360 avec ses 4 pistes ambi et les autres master et Cie?
- Dans mon cas, faut-il utiliser ce template...?
- Avec les version actuelle de Reaper et FB360 SpatialWorkstation, est-ce que tout fonctionne bien ou y-a-t-il des bugs?
Pour infos, je fais le choix de Reaper et FB360 pour une question de budget, bien sûr
Merci d'avance à tous ceux qui m'apporteront une petite aide
je me permets de relancer ce post presque deux ans plus tard
J'aimerais savoir si vous avez des sources et tutos récents (en FR ce serait génial), sur Reaper et les FB360. Personnellement, je cherche pas à utiliser une prise de son ambisonique, mais a mixer de nombreuses sources mono (voix, bruitages, ambiances, musique) pour une fiction à 360°, dans l'espace et avec des mouvements, certains comédiens se déplacent.
- Comment utiliser le template donné avec les FB360 avec ses 4 pistes ambi et les autres master et Cie?
- Dans mon cas, faut-il utiliser ce template...?
- Avec les version actuelle de Reaper et FB360 SpatialWorkstation, est-ce que tout fonctionne bien ou y-a-t-il des bugs?
Pour infos, je fais le choix de Reaper et FB360 pour une question de budget, bien sûr
Merci d'avance à tous ceux qui m'apporteront une petite aide
gérardB
29
Nouvel·le AFfilié·e
Membre depuis 21 ans
7 Posté le 24/04/2018 à 15:23:45
Alors, je m'auto-réponds ... Partiellement :
Tout à l'air de fonctionner avec la dernière version d'évaluation de Reaper (car je bosse sur Studio One d'habitude, qui d'ailleurs est une daube pour ce qui est de l'utilisation en vidéo... Mais très bien pour la musique, seule ).
Par contre j'ai tenté l'automation en temps réel, mais je n'ai pas réussi. J'ai armé les pistes, lancé le REC, mais ça verrouille les commandes du plug Audio360. Le seul moyen que j'ai trouvé est de dessiner au "crayon" sur les courbes d'automation, mais ce n'est pas le plus pratique.
Sinon, pour l'export, je ne sais pas encore comment faire... Si quelqu'un sait...
A bientôt
Tout à l'air de fonctionner avec la dernière version d'évaluation de Reaper (car je bosse sur Studio One d'habitude, qui d'ailleurs est une daube pour ce qui est de l'utilisation en vidéo... Mais très bien pour la musique, seule ).
Par contre j'ai tenté l'automation en temps réel, mais je n'ai pas réussi. J'ai armé les pistes, lancé le REC, mais ça verrouille les commandes du plug Audio360. Le seul moyen que j'ai trouvé est de dessiner au "crayon" sur les courbes d'automation, mais ce n'est pas le plus pratique.
Sinon, pour l'export, je ne sais pas encore comment faire... Si quelqu'un sait...
A bientôt
- < Liste des sujets
- Charte