Logo Logo
/// News

Forschungsprojekt macht Kamera zu optischem Richtmikrofon

[10:09 Sa,25.Juni 2022 [e]  von ]    

Forscher der Carnegie Mellon University haben ein Kamerasystem entwickelt, welches Schallschwingungen mit solcher Präzision und Detailgenauigkeit erkennen kann, dass es in der Lage ist, den Sound eines einzelnen Instruments inmitten eines Orchesters nur per Video zu rekonstruieren. Es funktioniert quasi als optisches Richtmikrophon, das auch auch aus einiger Entfernung eine spezifische Tonquelle aufnehmen kann.

Dual-Shutter-Muster




Selbst die leistungsstärksten und am besten ausgerichteten Mikrofone können bei der Aufnahme von Audiosignalen Nebengeräusche, Umgebungsgeräusche und die Auswirkungen der Akustik wie zum Beispiel Hall nicht ausschalten. Das neuartige System dagegen verwendet zwei Kameras, die Video mit 60 bzw. 130 fps aufnehmen können sowie einen schwachen Laser (mit der Lichtstärke eines Standard-Laserpointes), um Oberflächenvibrationen mit hoher Geschwindigkeit und geringer Amplitude zu erfassen, die für das menschliche Auge nicht sichtbar sind. Diese Vibrationen können zur Rekonstruktion des Klangs verwendet werden, wobei isolierte Audiosignale ohne Inferenz oder Mikrofon erfasst werden.



Das Team führte mehrere erfolgreiche Demos durch, um die Funktion des Systems bei der Erfassung von Vibrationen und die Qualität der Klangrekonstruktion zu testen. Dabei kann ebenso ein primäres Instrument als Soundquelle verwendet werden wie auch ein Gegenstand, der nur indirekt vibriert. So wurden erfolgreich isolierte Audiodaten von einzelnen Gitarren, die gleichzeitig spielten, aufgenommen, wie auch von einzelnen Lautsprechern, die simultan unterschiedliche Musik abspielten. Aber der Klang eines Lautsprechers konnte auch indirekt mittels Vibrationen einer Stimmgabel oder einer Chipstüte, die sich in der Nähe des Lautsprechers befanden, analysiert werden.

Das neue System ist eine deutliche Verbesserung gegenüber früheren Versuchen, Ton mit Hilfe von Computer Vision zu erfassen. So werden jetzt zwei gewöhnliche Kameras (eine mit rolling Shutter, eine mit Global Shutter) verwendet, die nur einen Bruchteil der früher verwendeten Hochgeschwindigkeitsversionen kosten, aber jetzt gleichzeitig eine höhere Aufnahmequalität liefern.

Wie arbeitet das optische Mikrofon?


Das System funktioniert, indem es die Unterschiede in den Fleckenmustern von Bildern analysiert, die mit einem Rolling Shutter und einem Global Shutter aufgenommen wurden. Ein Algorithmus berechnet die Unterschiede in diesen Mustern der beiden Videoströme und wandelt diese Unterschiede in Schwingungen um, um den Ton zu rekonstruieren.

Ein Fleckenmuster bezeichnet die Art und Weise, wie sich kohärentes Licht im Raum verhält, nachdem es von einer rauen Oberfläche reflektiert wurde. Das Team erzeugt das Fleckenmuster, indem es einen Laser auf die Oberfläche des Objekts richtet, das die Schwingungen erzeugt, z. B. auf einen Gitarrenkörper. Dieses Fleckenmuster ändert sich mit der Vibration der Oberfläche. Ein Rolling Shutter nimmt ein Bild auf, indem er es schnell abtastet, in der Regel von oben nach unten, wobei das Bild durch Aufeinanderstapeln einer Pixelreihe entsteht. Ein Global Shutter nimmt ein Bild in einem einzigen Augenblick auf.

Dual-Shutter



Was damit gemacht werden kann


Das neue optische Vibrationserkennungssystem könnte es in Zukunft zum Beispiel Toningenieuren ermöglichen, die Musik einzelner Instrumente zu überwachen, um die Gesamtmischung fein abzustimmen. Oder Hersteller könnten das System nutzen, um die Vibrationen einzelner Maschinen in einer Fabrikhalle zu überwachen und so frühzeitig Anzeichen für eine notwendige Wartung zu erkennen. Aber natürlich könnte das neue System auch dazu benutzt werden, um zum Beispiel unerkannt Konversationen aus einer Entfernung aufzuzeichen, wie es jetzt allerdings auch schon mit speziellen lasergestützen Systemen möglich ist.

Die Forschungsarbeit mit dem Titel "Dual-Shutter Optical Vibration Sensing" kann hier heruntergeladen werden.

Link mehr Informationen bei imaging.cs.cmu.edu

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildBlackmagic Camera 7.9 Update bringt besseren Autofokus und Bildstabilisation per Gyrodaten bildDaVinci Resolve 18 Beta 5 bringt KI-Stabilizer für Gyro-Metadaten und 10 Bit Vorschau


verwandte Newsmeldungen:
Camcorder:

Blackmagic Camera 7.9.1 Update mit Bugfixes für die Pocket Cinema Cameras 29.Juli 2022
Firmware-Update für Profi-Camcorder Canon XF605 verbessert ua. Multicam-Funktionen 27.Juli 2022
Canon EOS R5: Längere 8K/4K Aufnahmezeiten nach Firmware-Update v1.60 22.Juli 2022
Xiaomi 12S Ultra: Leica-Kamera mit 1" Sensor und 10bit HDR-Aufnahme in Dolby Vision 5.Juli 2022
Nikon Z 30: Kompakte 4Kp30- APS-C Kamera fürs Vlogging 29.Juni 2022
Tilta: Camera Cage für Canon EOS R5C inkl. Akkulösung für 8K 50/60p RAW 27.Juni 2022
Blackmagic Camera 7.9 Update bringt besseren Autofokus und Bildstabilisation per Gyrodaten 24.Juni 2022
alle Newsmeldungen zum Thema Camcorder


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 18.August 2022 - 16:57
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*