How can you enhance audio spatialization in 360-degree videos?

Aufnahmen und Mikrofone sind wichtig, doch die eigentlich Arbeit für die Vertonung beginnt schon vorher: Ich wäge ab, wo 3D Audio für die Story genutzt werden kann. Wo könnten Probleme entstehen oder muss die Inszenierung geändert werden, damit Bild und Ton besser ineinander greift? Binaurale Mikrofone machen für 360° Videos keinen Sinn, außer man hat mindestens ein quad-binaurales Mikrofon, weil ein Kunstkopf kein späteres Head-Tracking ermöglicht. Dass Ambisonics-Mikrofone teurer sind als (was wird hier überhaupt verglichen) binaurale oder Mono Mikrofone stimmt nur teilweise. Auch wenn ich Ambisnoics-Fan bin, haben Arrays with ORTF-3D durchaus Daseinsberechtigung.

For a 360-video, the most useful microphones are (a) ambisonic ones and (b) regular directional mics. The ambisonic ones have at least four capsules. More advanced, higher-order, ambisonic mics can also be used, they have increased spatial resolution and other benefits, but they also cost more. The audio captured by ambisonic mics recreate a “spherical image”, perfect for 360 videos. Another option is to use directional mics to record mono audio and, in post, encode those signals to ambisonic. This process can be laborious, but it provides a lot of flexibility. Binaural mics can be used to add a realistic sense of space to regular videos, but they aren’t really useful for 360 ones as they only carry audio from a single-point perspective.

Alle hier genannten Probleme sind Schnittprogramme die für die Mischung von 360° Videos denkbar ungeeignet sind. Man kann theoretisch mit VST Plugins arbeiten, aber DAWs wie Reaper, ProTools und Nuendo sieht besser geeignet. Das hier genannte FB360 Plugin wird leider nichtmehr unterstützt, AmbiX ist kein Plugin sondern ein Format. Stattdessen sei die IEM Suite erwähnt als kostenlose Lösung. Noisemaker, Audioease 360 und natürlich Dear Reality als Bezahllösung.

As Martin Rieger mentioned, the programs listed here are less than ideal for spatial audio program. DAWs such as Reaper or Nuendo would be indicated. Spatial sound requires the use of specific plugins and workflows can vary considerably depending on the set of tools chosen. Free plugins options include IEM Suite and SPARTA. Some of the paid options are AudioEase, DearReality and SSA plugins. The various plugins can be used to manipulate ready ambisonics files, encode mono audio files to the ambisonics domain, equalise, compress etc. Important: Facebook 360 is not being developed anymore and it’s hard to recommend. Ambix is not a plugin, it’s a specific ambisonics format.

Mir ist kein Tool Namnes "Google VR Audio Quality Tool" bekannt und "Facebook 360 Spatializer" hat höchstens was im Absatz zuvor verloren. Es lohnt sich jedenfalls verschiedene HRTFs zu hören und - auch wenn Lautsprecher nicht wirklich geeignet sind, mal einen Vergleich zu haben. AAC ist als Exportformat selten geeignet, die Umwandlung in AAC erfolgt meist mit entsprechenden Encodern von wav automatisch, um an ein mp4 gehaftet werden zu können.

There are multiples ways of testing a spatial audio mix. It can be done via headphones (especially if equipped with a head tracker), speakers or with VR goggles. When rendering, it’s essential to make sure that the multi-channel configuration is suitable for the target platform(s). Ambisonics Ambix is the most common format. Compressed audio is not ideal for the final rendering, so avoid using AAC options. Two possible ways of adding relevant spatial metadata to your files, so the players understand they are immersive videos with spatial audio, are: (a) using Google’s Spatial Media Metadata Injector and (b) combining audio and video using Adobe Premiere, making sure ambisonics audio is configured and the option for “VR video” is checked.

Es fehlt, dass man nicht unbedingt alle Files hochladen muss, Streaming von 360 Videos mit Spatial Audio ist immer noch ein Problem bei den hohen Datenmengen. die Oculus / Meta Brillen unterstützen Spatial Audio in verschiedenen Formaten und erlauben das Schauen mit dem internern Videoplayer. Firmen wie HTC oder Pico haben das bis heute noch nicht richtig implementiert. Zuschauer informieren ist gut, viel mehr sehe ich aber Hersteller in der Pflicht die Inhalte besser zu kennzeichnen.

Wieso ist man auf einmal Videoproduzent. Videoproduzenten sollten keine Audiomischungen machen. Viel zu oft steht auf Videos "3D Audio", sind aber nicht "immersive". Es reicht nicht einfach ein Mono-Sound durch einen Spatializer zu jagen oder ein Ambisonics-Mikrofon hinzustellen und es "spatial audio zu nennen".

Experimentieren ist toll, aber es gibt schon gewissen Regeln die man einhalten sollten. v.a. die unterteilung in diegetische und nicht-diegetische Storyelemente zeigt klar, dass Elemente die zu sehen sind, 3D Audio nutzen sollten. Während alles, was nicht zu sehen ist (Sprecher und Hintergrundmusik) Mono oder Stereo sound sollten. Natürlich schwimmen die Grenzen und erlaubt ist was funktioniert.

Es lohnt sich dran zu bleiben. Zu oft habe ich gesehen und gehört, dass das Experimente 360 Video einmal versucht wurde, und dann sein gelassen, weil man zu viele Probleme hatte. Die Leute die aber über Jahre dran geblieben sind können dann wirklich herausragende Erlebnisse schaffen, die auch den Aufwand von solche Spatial Videos gerechtfertigen.