Akustische Kamera und Noise Image

Akustische Kameras gibt es seit ca. 2001. Sie bestehen aus einem Mikrofon-Array, verbunden mit einer Kamera, einem Datenrekorder und einer Software.

  • Einsatzbereich: eher in der Industrie (besonders Schallentwicklung im Verkehrswesen oder bei Geräten/Maschinen)

Spannend für Musikwissenschaft:

  • Schallrichtungsmessung in Raum- und Instrumentenakustik
  • Messung der Schallabstrahlung an verschiedenen Orten in verschiedenen Frequenzbereichen (sowohl am Einzelinstrument als auch im Orchester)
  • Ermittlung von Schallbrücken/Schalldämmfehlern in der Raumakustik

 


Akustische Kamera "Mikado" von gfai tech


Akustische Kamera "Mikado" mit Software "NoiseImage"

  • 96 Mikrofone, Frequenzbereich 1000-10000 Hz
    (auch darunter und darüber Messungen möglich Dank HDR-Auflösung)
  • mobiles all-in-one-System (3,5 kg "leicht") mit interner und externer Software (NoiseImage)

 

Aufnehmen mit der Akustischen Kamera

  • Kamera-System mit Tablet und Datenrekorder auf Stativ montieren und Kabel verbinden
  • Datenrekorder und Tablet starten (Passwort: alles)
  • Software NoiseImage starten
  • Auf den Aufnahme-Button (REC) klicken und es öffnet sich das Aufnahmefenster


Record Window in NoiseImage-Software

Hier alle Einstellungen so lassen wie sie sind, außer:

  • Focus: Entfernung der Kamera zum Ziel einstellen
  • Temperatur: aktuelle Temperatur messen und einstellen (wg. Schallgeschwindigkeit)
  • Duration: Aufnahmedauer
  • Trigger-Settings: hier die prae- und post-Trigger-Zeit einstellen (wie weit vor und nach der Auslösung der Aufnahme aufgenommen wird).


Trigger-Einstellung
(Aufnahmezeit = Summe von pre- und post-Trigger-Zeit)

  • Auf Record klicken (= Kamera ist nun aufnahmebereit)
  • Aufnahme mit dem pistolenähnlichen Abzug am Fuß der Kamera starten
  • Nach der Aufnahme unter "Datei -> speichern" die Daten als "channel data file" (*.chl) speichern (hier sind alle 96 Kanäle und das normale Video enthalten)
  • gespeicherte Daten via WinSCP auf den Transfer-Bereich des Institutsservers verschieben (muwiserver.synology.me/transfer) und von dort aus auf einem Institutsrechner mit NoiseImage weiter verarbeiten (da komfortabler)

 

Bearbeitung der Aufnahme in NoiseImage

Channelview (Kanaldaten)

Unter "Datei -> öffnen" die aufgenommene *chl-Datei einladen.

Es wird ein Oszillogramm von allen 96 Kanälen übereinander angezeigt.


NoiseImage: Channelview-Fenster

Zuerst sollten Anfang und Ende der Datei gelöscht werden, so dass nur noch der gewünschte Ausschnitt im Fenster ist (= dadurch kürzere Rechenzeiten):
zu löschende Bereiche auswählen und die "Entf"-Taste wählen.

Bereich auswählen, der weiter bearbeitet werden soll.

Mit Leertaste oder Lautsprecherbutton (Leiste oben) kann man sich die Aufnahme anhören

Über die Lupen (Leiste oben) kann man ins Oszillogramm hinein- und hinauszoomen

Mit rechter Maustaste Menü öffnen, dort auswählen und an einen Ort klicken, wo die Auswahl angezeigt werden soll (u.a.):

Spektrum: Mittelwertspektrum mit Amplitudenanzeige der einzelnen Kanäle. Hier lassen sich beliebige Frequenzbereiche auswählen und entsprechend der Auswahl gefiltert anhören.
Über die Einstellungen lässt sich hier u.a. ein "harmonischer Cursor" auswählen, mit dem man sich harmonische Reihen oder Oktaväquivalenzen anzeigen lassen kann.


NoiseImage: Spectralview-Fenster mit Filterauswahl (schwarz) und harmonischer Cursor (rot gestrichelt)

Spektrogramm: Spektrogramm der einzelnen Kanäle. Hier lassen sich beliebige Zeit-Frequenzbereiche auswählen und entsprechend der Auswahl gefiltert anhören.


NoiseImage: Spectrogramview-Fenster mit Zeitfrequenzauswahl und (nach rechtem Mausklick über der Farbpalette) Einstellmöglichkeiten für die spektrale Amplituden-Anzeige

Mit rechter Maustaste über der Farbtabelle (rechte Seite): Farbton und Anzeigebereich in Pa oder dB kann ausgewählt werden, dazu die Art der Amplituden/Pegelanzeige (Bereichsmodus):

  • absolut (automatische Skalierung)
  • relativ (Skalierung bezieht sich auf den pro Frame stärksten und schwächsten Wert)
  • Delta (es sollen immer nur die stärksten x dB angezeigt werden)
  • Manuell (maximaler und minimaler dB-Wert der Skala per Hand eintragen)

Diese Art der Einstellung ist bei allen Spektrogrammen im Programm möglich

Mit Hilfe des Rechte-Maustasten-Menüs lassen sich von der Auswahl die Optionen Foto (2D), Film (2D) sowie Spektral-Foto (2D) oder Spektral-Film (2D) aufrufen:

 

 

Foto (2D) und Film (2D)

Im Channelview-Fenster mit Rechte-Maustaste-Menü "Foto (2D)" auswählen, es erscheint zunächst das Einstellungsfenster:


Einstellungsfenster zur Erzeugung eines akustischen Bilds

Hier können die Default-Einstellungen meist übernommen werden; nützlich sind hier:

  • akustischer Weichzeichner ("Acoustic photo blur") anklicken (so dass die Farbwolken für die Darstellung des Schalls weniger pixelig werden)
  • Akustische Auflösung ("Resolution")(X-Achse): beschreibt, wieviele Pixel pro Einheit auf der X-Achse für die akustische Berechnung verwendet werden. Je größer die Zahl, desto höhere Frequenzen können aufgelöst werden, jedoch umso mehr Rechenzeit wird benötigt (100 ist ein ganz guter Ausgangswert).
    (Die Anzahl der Pixel pro Einheit auf der Y-Achse ergibt sich durch das Bildformat; z.B. bei einem 4:3-Format beträgt die Auflösung auf der Y-Achse 3/4 der Auflösung auf der X-Achse)
  • Fokus (Entfernung zum Objekt) und Kamera-Position können im Nachhinein angepasst werden, dies sollte aber wenn möglich schon bei der Aufnahme richtig geschehen sein.

Mit "Starten" kann die Berechnung des akustischen Bilds beginnen:


neue Menü-Elemente für die Foto(2D)-Ansicht

Es sind neue Menü-Elemente hinzugekommen:

links neben den Lupen: erneutes Starten und Stoppen der Bildberechnung (z.B. bei neuer/anderer Auswahl)

rechts neben den Lupen:

  • Akustisches Bild bzw. Video ein/aus
  • Gittermodell/Bleistiftzeichnung ein/aus
  • Schwarzweißfoto ein/aus
  • Farbfoto ein/aus
  • Mikrofon-Array ein/aus
  • 3D-Modell zentrieren (falls in den Bildeigenschaften "Bodenfläche anzeigen" ("include ground") ausgewählt wurde)
  • Lautsprecher: Aufnahme anhören
  • Radiergummi: "Acoustic Eraser", mit dem man den Schall einzelner Quellen (punktuell oder innerhalb eines einzeichenbaren Rechtecks) im Bild herauslöschen oder auch extrahieren kann
  • Stecknadel: "Soundpoints" setzen, mit denen man den Schall (punktuell oder innerhalb eines einzeichenbaren Rechtecks) an beliebigen Positionen im Bild hören kann. Zwischen den Soundpoints kann via Tab hin- und hergeschaltet werden.
  • Mikrofon: spielt den Schall ab, wie er an unterschiedlichen Positionen des Bilds klingt
  • Minuszeichen: zwei spektrale Bilder können voneinander abgezogen werden, um z.B. Veränderungen in der Schallabstrahlung von Geräten/Instrumenten aufzuzeigen.
  • HDR: (High Dynamic Resolution) Kantenverschärfung für ein schärfer aufgelöstes Akustisches Bild, besonders nützlich für die Darstellung von tiefen Frequenzen (unter 1000 Hz)

Mit rechter Maustaste und "Exportieren als ..." können Bild und Ton in verschiedenen Formaten exportiert und dabei in beliebige Größen etc. eingestellt werden (png, jpg, bmp und wav):


Akustisches Bild eines Regenmacherklangs


Akustisches Bild eines Regenmacherklangs mit HDR-Optimierung


Akustisches Bild eines Regenmacherklangs in Schwarzweiß


Akustisches Bild eines Regenmacherklangs in Umrisszeichnung

Möchte man einen Film abspeichern, so bietet es sich an, den Weg ebenfalls über "Foto (2D)" zu gehen (nicht über "Film (2D)", da hier die Gefahr besteht, dass sich der Rechner wegen Überlastung aufhängt).

Im Foto (2D)-View sollte man hier mit Hilfe des unscheinbaren kleinen schwarzen Dreiecks an der rechten Seite (im Bild rot umrandet) den Movie-Player einschalten, wodurch man automatisch in den Film (2D)-Modus wechselt und alle Einstellungen mitnimmt.


Umschaltbutton zum Film(2D)-View (rot umrandet)

 

In der obigen Channelview-Ansicht einen Bereich auswählen und diesen anklicken, um das Einstellungsfenster zu öffnen und dort die Framerate (in "Marked Area") auf 25 fps zu setzen.


Einstellungsfenster für die Auswahl (Bildrate auf 25 fps stellen)

Dann auf den Play-Button der Videoplayer-Leiste klicken und den akustischen Film ausrechnen lassen.

Dann neben dem Bild mit der rechten Maustaste die Farbtabelleneigenschaften für den Film öffnen und "Delta" anklicken (damit nur der lauteste Ausschnitt gezeigt wird) und mit Werten zwischen 6 und 18 dB experimentieren.

Schließlich mit rechter Maustaste auf das akustische Bild "Exportieren als ..." auswählen und den Film als *.avi exportieren. Nach der Dateiauswahl erscheint ein Eingabefenster:


Exportfenster für avi-Dateien

Hier die Größe, Abspielrate, Soundoptionen (Stereo = wichtig, sonst wirds ein Stummfilm) sowie die Länge einstellen und auf Export klicken.

Das Ergebnis sieht dann so aus:


Akustischer Film eines Regenmacherklangs mit HDR-Optimierung

 

 

Spektralfoto (2D)

Im Channelview-Fenster mit Rechte-Maustaste-Menü "Spektralfoto (2D)" auswählen, und es erscheint die Spektralansicht mit den gleichen zusätzlichen Menüpunkten wie beim "Foto (2D)" oder "Film (2D)"

Hier lassen sich beliebige einzelne Frequenzbänder auswählen (im Programm werden anhand der 96 Kanäle Vorschläge für die Auswahl der Frequenzbänder angezeigt). Diese lassen sich sowohl anhören als auch visualisieren sowie (im Spektrum) als *.wav exportieren bzw. im Bild als akustisches Bild (*.png, *.jpg, *.bmp).


Spektrales Bild (2D) Umgebung

Das Geräusch des Regenmachers visualisiert in 12 Frequenzbereichen zwischen 0 und 24 khz

 

Spektralfilm (2D)

 

In der Channelview-Ansicht einen Bereich auswählen und diesen anklicken, um das Einstellungsfenster zu öffnen und dort die Framerate (in "Marked Area") auf 25 fps zu setzen.


Channelview-Eigenschaften: Framerate in Marked Area auf 25 fps setzen

Dann im Channelview-Fenster mit Rechte-Maustaste-Menü "Spektralfilm (2D)" auswählen, und es erscheint die Spektrogramm-Ansicht mit den gleichen zusätzlichen Menüpunkten wie beim "Foto (2D)" oder "Film (2D)" oder "Spektralfoto (2D)":

Im Spektrogramm einen beliebigen Bereich im gewünschten Frequenzbereich als Rechteck wählen (möglichst schmal) und darauf klicken. Es öffen sich dann die Spektrogramm-Eigenschaften, in denen die Framerate in "Markierter Bereich" auf 25 gesetzt werden muss.


Spektralview-Eigenschaften: Framerate in "Markierter Bereich" auf 25 fps setzen

dann in der Movieplayer-Leiste den Film ganz auf Anfang setzen (erste Taste von links) und dann auf die Play-Taste klicken, so dass der Akustische Film dann ausgerechnet wird (das kann dann etwas länger dauern).

Schließlich mit rechter Maustaste auf das akustische Bild "Exportieren als ..." auswählen und den Film als *.avi exportieren. Nach der Dateiauswahl erscheint ein Eingabefenster:


Eingabefenster zum Speichern des spektralen Films

Hier die Größe, Abspielrate, Soundoptionen (Stereo = wichtig) sowie die Länge einstellen und auf Export klicken, in verschiedenen Frequenzbereichen abspeichern, zusammenschneiden und

voila :-)

(bzw. unter https://www.youtube.com/watch?v=jHM4nY1L_kk)

 

 

 

 

Trouble-Shooting:

Wenn mal etwas im Programm nicht funktioniert, liegt es am
Schloss in den Statusleisten des Audio- und Bildbereichs (hier rot umrandet, im Bildbereich weiter unten wäre noch eines):
Dieses Schloss muss, wenn man etwas berechnen, abspielen oder verändern möchte, offen sein.
Also: Wenn etwas im Programm nicht funktioniert:
schauen, ob das Schloss zu ist und dann darauf klicken, um es zu öffnen.


rot umrandet: vertracktestes Schloss ever,
es muss offen sein (darauf klicken), damit Funktionen ausgeführt werden können