Audioaufnahme mit Ambisonics-Mikrofon

Mit Hilfe der Ambisonics-Technologie lassen sich Schallfelder nicht nur im Stereobereich abbilden, sondern auch räumlich in 360°. Verbunden mit einem 360°-Film lässt sich so die Hörrichtung mit der Blickrichtung synchronisieren, d.h. die Klangquelle auf die man schaut, tritt auch akustisch in den Vordergrund.

Ambisonics erster Ordnung wird meist mit vier Mikrofonen mit Nierencharakteristik erzeugt, die in einer Tetraeder-Anordnung aufeinander abgestimmt sind, und so alle möglichen Richtungen des Raumes abbilden können.

Da die Nierencharakteristik quasi der Hälfte einer Kugel- und einer Achter-Charakteristik entspricht, lassen sich die Aufnahmerichtungen umrechnen in eine omnidirektionale Richtung (W, Kugelcharakteristik) und drei bidirektrionale Richtungen (X, Y, und Z, Achtercharakteristik).

So gibt es beim Ambisonics erster Ordnung zwei ineinander überführbare Formate:

A-Format = die Originalaufnahmen der vier Nierenmikrofone mit den Richtungen:

• FLU: Front - Left - Up,
• FRD: Front - Right - Down,
• BLD: Back - Left - Down,
• BRU: Back - Right - Up

B-Format = Die Komponenten der Ambisonics-Kanäle W, X, Y und Z. Die Kanäle X, Y und Z können bei einem konstanten W beliebig rotiert und verändert werden, sie verhalten sich wie Vektoren zu einem Skalar W.

Diese lassen sich folgendermaßen ineinander umrechnen:

FLU + FRD + BLD + BRU = W
FLU + FRD - BLD - BRU = X
FLU - FRD + BLD - BRU = Y
FLU - FRD - BLD + BRU = Z

Theorie der Ambisonics-Mikrofonie (Ambisonics erster Ordnung) und typische Mikrofone
(Zotter, Frank 2019, S. 11)

Die räumliche Abbildung von Ambisonics erster Ordnung ist - im Vergleich zu Ambisonics höherer Ordnung - noch ziemlich ungenau. Dafür ist sie vergleichsweise einfach/günstig herzustellen und es reichen für die Wiedergabe 4 Lautsprecher aus. Mit ansteigender Ordnung (d.h. mehr Mikrofone, mehr Richtungsinformationen) ist die Aufname komplexer, teurer und aufwendiger (pro Ordnungszahl x werden (x + 1)² Kanäle für die Aufnahme und Wiedergabe benötigt):

Aufnahmerichtungen bei Ambisonics-Aufnahmen verschiedener Ordnung:
Reihe 1: Ambisonics 0. Ordnung, 1 Mikrofon/Lautsprecher wird benötigt (Mono),
Reihe 1+2: Ambisonics 1. Ordnung, 4 Mikrofone/Lautsprecher werden benötigt,
Reihe 1+2+3: Ambisonics 2. Ordnung: 9 Mikrofone/Lautsprecher werden benötigt
Reihe 1+2+3+4: Ambisonics 3. Ordnung: 16 Mikrofone/Lautsprecher werden benötigt
(Artega 2018, S. 19)

Am Musikwissenschaftlichen Institut gibt es ein Ambisonics Mikrofon (Rode NT-SF1) für Aufnahmen in Ambisonics erster Ordnung.

Ambisonics-Mikrofon Rode NT-FS1 mit Zubehör

Soll die Ambisonics-Aufnahme zusammen mit einem 360°-Film stattfinden, so sollte die Aufnahmerichtung des Mikrofons (erkennbar am Logo) in die gleiche Richtung zeigen wie die Aufnahmerichtung der Kamera.

Für die Aufnahme wird ein Audio-Interface mit mindestens vier Kanälen benötigt, in deren Inputs 1-4 die vier XLR-Stecker des Mikrofons in entsprechender Reihenfolge angeschlossen werden

Anschlüsse des Rode NT-FS1 an einem Focusrite Audio-Interface
(Foto: Maik Prößler 2020)

Mit Hilfe von mehrkanaliger Audiosoftware (Audition, Audacity, Reaper) kann die Aufnahme auf den (Mono-)Kanälen 1-4 gestartet werden, dabei sollten alle Kanäle die gleiche Pegeleinstellung haben und der lauteste Pegel sollte in der Software -6dB nicht überschreiten.

Im Falle des VR-360°-Ambisonics-Videos "Maracatu Renascente" wurde mit den Instrumenten ein Kreis um 360°-Kamera und Ambisonics-Mikrofon gebildet, so dass später die einzelnen Audiospuren wieder zu einem 360°-Klangerlebnis zusammengesetzt werden konnten, das mit dem 360°-Video sowohl in der Zeit als auch in der Blickrichtung synchronisiert werden konnte.

Zusammenfügen und Export im Ambisonics B-Format in Cockos Reaper

Unter https://www.reaper.fm/ eine aktuelle Version von Reaper downloaden und unter http://cockos.com/reaper/reaper_2020_temporary_license.txt?againagain.txt eine vorübergehende Lizenz downloaden:

Die aufgenommenen Spuren (hier LF-1_06.wav, RF-2_06.wav, LB-3_06.wav, RB-4_06.wav in einem Zip-Paket) ins geöffnete Programm Reaper ziehen und in der Dialogbox "separate Tracks" auswählen

Die aufgenommenen vier wav-Dateien in Reaper als separate Tracks

Die Spuren in der Reihenfolge 1-4 untereinander anordnen und über rechte Maustaste "insert new Track" einen zusätzlichen Track einfügen, im Namensfeld entsprechend benennen (z.B. "Ambisonics Bus") und in der Trackreihenfolge ganz nach oben schieben.

Die Spuren von 1-4 in der Reihenfolge ordnen und einen neuen zusätzlichen Track einfügen und diesen "Ambisonics Bus" nennen

Im neuen "Ambisonics Bus"-Track das Plus-Zeichen am linkenRand anklicken ...

Über das +-Zeichen die neue "Ambisonics Bus"-Spur in einen Ordner für die anderen Spuren umwandeln

... und den Track dadurch zum Folder bzw. Bus machen (= andere Tracks werden in diesem zusammengefügt und gemeinsam bearbeitet, ehe sie zum Master bzw. Ausgang weiter geleitet werden).

"Ambisonics Bus" ist jetzt eine Bus-Spur für die anderen Kanäle

Am Mischpult im "Ambisonics Bus"-Kanal auf die "Route"-Taste klicken und im Routing-Dialogfeld "Track Channels" auf 4 einstellen.

Die "Ambisonics Bus"-Spur auf 4 Kanäle (Track Channels) einstellen

Dann im Mischpult auf auf die "Route"-Taste des Kanals "LF-1_06" klicken und bei "Add new send" "Ambisonics Bus" auswählen.

Kanal "LF-1_06" zur "Ambisonics Bus"-Spur leiten

In der neuen Auswahl bei Audio "Mono Source -> 1" auswählen und diese auf den Kanal 1 des "Ambisonics Bus" routen.

Dabei die eigene Spur im Kanal "LF-1_06" zur Mono-Quelle mit einem Kanal deklarieren...

und auf den Kanal 1 der "Ambisonics Bus"-Spur routen

Dann im Mischpult auf auf die "Route"-Taste des Kanals "RF-2_06" klicken und bei "Add new send" ebenfalls "Ambisonics Bus" auswählen. In der neuen Auswahl bei Audio wieder "Mono Source -> 1" auswählen und diese auf den Kanal 2 des "Ambisonics Bus" routen.

Gleiches geschieht mit der Spur "RF-2_06", die als Monokanal auf Kanal 2 der "Ambisonics Bus"-Spur geroutet wird

Dann im Mischpult auf auf die "Route"-Taste des Kanals "LB-3_06" klicken und bei "Add new send" wieder "Ambisonics Bus" auswählen. In der neuen Auswahl bei Audio wieder "Mono Source -> 1" auswählen und diese auf den Kanal 3 des "Ambisonics Bus" routen.

Gleiches geschieht mit der Spur "LB-3_06", die als Monokanal auf Kanal 3 der "Ambisonics Bus"-Spur geroutet wird

Schließlich im Mischpult auf auf die "Route"-Taste des Kanals "RB-4_06" klicken und bei "Add new send" wieder "Ambisonics Bus" auswählen. In der neuen Auswahl bei Audio wieder "Mono Source -> 1" auswählen und diese auf den Kanal 4 des "Ambisonics Bus" routen.

Gleiches geschieht mit der Spur "RB-4_06", die als Monokanal auf Kanal 4 der "Ambisonics Bus"-Spur geroutet wird

Im Mischpult im Kanal "Ambisonics Bus" auf den FX-Button klicken und aus den VST-Modulen das Soundfield-Modul von Rode auswählen.

Das Soundfield-PlugIn auf den "Ambisonics Bus" legen

Im Soundfield-VST-Modul auf der linken Seite (input) "NT-FS1" das Rode-Mikrofon auswählen und auf der rechten Seite (output) das gewünschte Ausgabeformat auswählen:

Im Soundfield-PlugIn das gewünschte Ausgabeformat wählen

• B-Format (FuMa) = Furse-Malham Standard, Kanäle in der Reihenfolge: W, X, Y, Z, wobei W im Pegel um 3dB abgesenkt ist (älterer Standard)
• B-Format (AmbiX) = Kanäle in der Reihenfolge W, Y, Z, X (wird auch bei Youtube so verwendet), alle Kanäle haben den gleichen Pegel (moderner Standard)
• sowie Mono, Stereo und verschiedene Surround-Formate (die Zahl vor dem Punkt gibt die Anzahl der horizontal (an den Wänden) im Raum verteilten Lautsprecher wieder, dann die 1 den Subwoofer und darauf noch folgende Zahlen die Anzahl der vertikal (an der Decke) verteilten Lautsprecher im Raum).

Das Soundfield-PlugIn in Aktion (wenn der Sound im AmbiX-B-Format von vorne und von der Seite kommt)

Um die Mischung via Kopfhörer überprüfen zu können, sollte im Masterkanal im Mischpult über den FX-Button aus den VST3-Modulen das Modul Nx Ambisonics Quad (Waves)(4ch) ausgewählt werden, mit dessen Hilfe die vier Ambisonics-Kanäle für die Wiedergabe auf einen Stereokopfhörer umgerechnet werden können (Binauralisierung). Am Institut ist hierfür auch ein BlueTooth Waves-NX-Head-Tracker vorhanden, mit dessen Hilfe die Kopfbewegung im Raum gegengerechnet wird (funktioniert auch über eine WebCam). Für die am Institut vorhandenen Kopfhörer (Superlux HD681B) ist im Nx Ambisonics Quad(4ch)-Modul die Einstellung für Sennheiser HD 600 empfehlenswert.

(alternative Freeware Ambisoncis-Binaural-Decoder: IEM Plug-In-Suite, AmbiX, Sparta, Anaglyph etc.)

Im Master-Kanal des Mischpults Waves NX Ambisonics Quad/Stereo-Binauraliser-PlugIn auswählen,
um die 360°-Mischung via Kopfhörer hören zu können

NX-Ambisonics Binauralizer-PlugIn mit einer günstigen Kopfhörer-Einstellung

NX-Ambisonics Binauralizer-PlugIn in Aktion

Dazu gehörendes, automatisch mitgeladenes HeadTracker-PlugIn,
um die 360°-Wahrnehmung auch bei einer Kopfbewegung noch stabil und konstant zu halten.

Wenn man den Mix im gewählten Audioformat abspeichern möchte (z.B. B-Format (AmbiX)), dann sollte im Master das FX-Modul unbedingt ausgeschaltet = auf rot sein (da man sonst nur die zwei Spuren für den Kopfhörer exportiert).
Unter "File -> Render ..." lässt sich dann der Mix im gewünschten Format abspeichern (unter "Directory" und "Filename" den gewünschten Speicherort und Dateinamen wählen, unter "Options" die Anzahl der "Channels" auf 4 stellen).

Export der vier Ambisonics-Kanäle in einer Datei im gewünschten Format (FX-Button über dem Master-Kanal muss unbedingt auf rot dabei sein)

Alle Exportmöglichkeiten der vier Spuren in einem Zip-Paket

Raumzeitliche Synchronisation der Ambisonics-Audiospur (B-Format AmbiX) mit dem gleichzeitig dazu aufgenommenen 360°-Video in Premiere

Unter https://support.theta360.com/de/download/ die Basis-App für Ricoh Theta Z1 oder V herunterladen und das aufgenommene 360°-Video in die geöffnete App ziehen, um es mit oben/unten-Korrektur in ein wiedergabefähiges (rechteckiges) Format zu wandeln

Wandlung des 360°-Films in ein auf dem PC wiedergabefähiges Format

In Premiere ein neues Projekt starten und die Video- und Audiospur untereinander legen, dass sie synchron laufen. Bei synchroner Audio-Spur zum Video den Audiokanal des Videos (A1 und A2) muten (grünes Rechteck mit dem M), den Ambisonics-Audiokanal (Audio3) auswählen und für diesen unter Effekte (links unten) bei "Audioeffekte -> Spezial -> Panner - Ambisonics" einen Panoramaregler für den Ambisonics-Kanal hinzufügen. Dieser erscheint beim Audiospur-Mischer (links oben) und ermöglicht es in der default-Einstellung (Tonschwenk), die horizontale Hörrichtung so zu verschieben, dass sie mit der Blickrichtung zusammenfällt.

Premiere-Projekt mit 360°-Video und Ambisonics-Audiospur; der Audiokanal des Videos ist gemutet, für die Ambisonics-Audiospur ist ein Ambisonics-Panner ausgewählt, der im Audiospur-Mischer sichtbar ist.

Hierzu sollte, um einen genaueren Überblick über die Video-Blickrichtung zu bekommen, mit der rechten Maustaste VR-Video aktiviert werden.

Aktivierung der VR-Video-Perspektive über die rechte Maustaste
(so dass nur ein kleiner Ausschnitt des 360°-Videos gezeigt wird (dort, wo man hinschaut)

Und in der Masterspur sollte vorübergehend wieder ein Binauralisierungs-PlugIn hinzugeschaltet werden (hier wieder das Nx Ambisonics Quad (Waves)(4ch)), um unter Kopfhörern Ambisoncis gehörrichtig hören zu können. Beim Export des Films sollte dieses Modul in jedem Fall wieder aus dem Effekt-Bereich des Masterkanals entfernt werden.

NX-Ambisonics Binauralizer-PlugIn wird hinzugewählt, um zur Blickrichtung
über den Tonschwenk-Panner die passende Hörereignisrichtung einstellen zu können.

Unter "Datei -> Exportieren -> Medien" kann der 360°-Film dann exportiert werden:

360°-Video mit Ambisonics-Spur exportieren

Hierbei sollte im Video-Bereich "Video ist VR" angekreuzt sein (Monoskopisch, Horizontales Blickfeld 360°, vertikales Blickfeld: 180°) ...

Exportfenster mit Videoeinstellungen

... und im Audio-Bereich sollte "Audio ist Ambisonics" angekreuzt sein.

Exportfenster mit Audio-Einstellungen

Mit einem Klick auf "Exportieren" wird das 360°-Video als Ambisonics-Video gerendert.

360°-Ambisonics-Video exportieren

Das 360°-Ambisonics-Video "Maracatu Renascente" auf Youtube.