Logo Logo
/// News

Zeiss, Red, Nvidia, Intel und Canon pushen volumetrisches Video - kommt die virtuelle Kamera für alle?

[16:05 Do,20.Mai 2021 [e]  von ]    

Die sieben großen Firmen Verizon, Zeiss, RED Digital Cinema, Unity, Intel, Nvidia und Canon haben die Volumetric Format Association (VFA) gegründet, den ersten Branchenverband, der Standards für ein volumetrisches Video-Ökosystem schaffen und es überhaupt einer breiteren Öffentlichkeit bekannt machen will.

Erst durch eine Standardisierung wäre die Interoperabilität zwischen Hardware und Software verschiedener Hersteller zur Aufnahme und Bearbeitung volumetrischer Videos gewährleistet - eine Voraussetzung für eine schnelle Entwicklung entsprechender Tools, von deren Verkauf dann alle an der VFA beteiligten Firmen profitieren würden. Aber auch für die User solcher Tools wäre eine universelle Interoperabilität extrem wünschenswert.


VFA
VFA


Vier Arbeitsgruppen sind damit beauftragt, Spezifikationen zu entwickeln für die Bereiche Erfassung von volumetrischen Daten, Austausch dieser Daten, Dekodieren und Rendern sowie Metadaten.

Was ist volumetrisches Video überhaupt?


Volumetrisches Video kann verstanden werden als eine Art holographisches Video einer Szene oder eines Objekts, welches dann virtuelle Kamerafahrten durch diese ermöglicht. Erschaffen wird dieses heutzutage in dafür spezialisierten Studios, welche mit sehr vielen Kameras (und eventuell auch anderen Sensoren wie etwa Lidar) ausgestattet sind, die in einer Art Dom um die eigentliche Szene herum angeordnet werden.

V-Szenen-Western
Videometrischer Dom mit vielen Kameras


Aus vielen Blickwinkeln wird eine Szene dann synchron aufgenommen, was in gewaltigen Datenraten von bis zu 600 GB pro Minute resultiert. Aus diesen Clips lassen sich anschließend bewegte Point-Clouds errechnen, was man sich wie eine errechnete 3D-Welt aus der gefilmten Szene vorstellen kann, oder klassischen Pixeln, denen zusätzlich noch räumliche Informationen zugeordnet sind (=Voxel). Anschließend kann man mit einer virtuellen Kamera in dieser Szene herumfahren und sich dabei fast völlig frei im Raum bewegen und somit nahezu jede beliebige Kameraposition in der Postproduktion festlegen.

V-Szene-Western
Aufnahmen der verschiedenen Kameras


Die dabei eingesetzten Software-Pakete sind bisher noch handgestrickt, weshalb man die Aufnahmen nicht in gängigen Schnittprogrammen außerhalb der Studios selber bearbeiten kann. Hier arbeitet jeder (unter anderem auch Microsoft) noch mit eigenen proprietären Lösungen - eine Standardisierung durch die VFA wäre deshalb ein erster wichtiger Schritt, um die Arbeit mit volumetrischem Video zu erleichtern.

UebersichtGh5_ii



Volumetrisches Video - wozu?


Die volumetrischen Point-Cloud/Videodaten können ebenso für klassisches 2D-Video (welches dann allerdings von der festen Kameraposition befreit ist) als auch für 3D-Video und zukünftig auch für holographisches Video genutzt werden. So könnte zum Beispiel bei Sport-Events oder Konzerten der User selbst bestimmen, von wo aus er das Geschehen betrachten will oder sogar seine virtuelle Kamera selbst steuern.

Dies könnte dem User, gerade per 3D, eine bisher nicht gekannte Immersion durch Interaktivität bieten - sowohl in fiktiven als auch realen Szenarien, welche so bisher nur in (VR-)Computerspielen möglich war. Je nachdem, welche Technologie zur Ansicht eingesetzt wird (2D-Monitor, 3D-Monitor, Holo-Display oder etwa VR-Brille), könnten bei diesen Videos auch die Schwächen bisheriger 3D-Technik überwunden werden.



Filmemacher erschließen sich durch volumetrisches Video neue Möglichkeiten - so kann die virtuelle Kamera "unmögliche" Kamerafahrten vollführen, wie sie bisher nur in CGI Szenen zu sehen waren. Der Regisseur kann völlig frei entscheiden, welcher Teil der Szene aus welcher Perspektive gezeigt werden soll. Im folgenden Clip werden die durch volumetrisches Video entstehenden neuen Möglichkeiten schön erklärt und demonstriert:



Volumetrisches Video per KI


Für eine Art Demokratisierung von volumetrischem Video, also einer Verringerung des bisher enorm hohen Hardware-Aufwands könnten Deep Learning Algorithmen sorgen, welche in der Lage wären, die benötigte Interpolation für Kamera-Blickwinkel zwischen den tatsächlichen Aufnahmepositionen zu errechnen.

So können schon jetzt Generative Query Networks (GQNs) durch eine Art dreidimensionales "Verständnis" einer Szene ein vollständiges 3D-Modell aus nur einer Handvoll 2D-Schnappschüssen einer Szene generieren. Das System kann sich die Szene anschließend aus jedem beliebigen Blickwinkel vorstellen und auch reproduzieren. Bemerkenswert ist auch, dass das System einzig auf Eingaben von eigenen Bildsensoren beruht und es autonom ohne menschliche Aufsicht lernt.

Damit könnte es ohne menschliches Zutun Modelle (z.B. eine Szene in einem Schnittprogramm) als 3D-Raum interpretieren. Noch arbeiten solche GQNs in engen Grenzen, die aber mit jeder neuen Generation erweitert werden.

Link mehr Informationen bei www.volumetricformat.org

  
[13 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
pillepalle    14:58 am 21.5.2021
@ Darth Braucht man doch nicht wenn man nach Zeit/Aufwand bezahlt wird :) VG
Darth Schneider    14:56 am 21.5.2021
Ihr Profis sollten K Auflösungszuschläge erfinden....;) Gruss Boris
macaw    14:40 am 21.5.2021
Gerade erst gehabt mit der Postpro für ein Volkswagen Projekt. Aufnahmen in 6K hochkant mit 50fps, Zielformat: 9:16 mit 25fps für Social Media... Der Wahnsinn wird immer...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildNeue Nvidia Studio Notebooks von Dell, HP, Lenovo, Gigabyte, MSI und Razer bildDemnächst neue preisgünstige Aldi Medion PCs mit Nvidia RTX 3070 und RTX 3080 GPUs


verwandte Newsmeldungen:
Video-DSLR:

Panasonic S5, S1, S1H, BS1H: Neue Firmware verbessert Weißabgleichsoptionen von Blackmagic RAW 9.August 2022
Panasonic Lumix - nur noch spiegellose Systemkameras (im Quadrat mit Leica) 8.August 2022
Sony FX3 bekommt begehrte Netflix Zertifizierung 3.August 2022
Neue Firmware 3.00 für Sony FX6 bringt unter anderem neue Funktionen für Sonys C3 Cloud 2.August 2022
Sony Future Filmmaker Wettbewerb lockt mit Besuch der Sony Filmstudios in Hollywood 1.August 2022
Firmware-Update für Profi-Camcorder Canon XF605 verbessert ua. Multicam-Funktionen 27.Juli 2022
Canon EOS R5: Längere 8K/4K Aufnahmezeiten nach Firmware-Update v1.60 22.Juli 2022
alle Newsmeldungen zum Thema Video-DSLR

Computer:

Welche Effekte sind in Blackmagic DaVinci Resolve 18 GPU-beschleunigt? 7.August 2022
Vierfacher M2 Max: Kommt dieses Jahr ein Apple Mac Pro mit neuem M2 Extreme Chip? 28.Juni 2022
Neuer Nvidia Algorithmus erschafft aus Photos eines Objekts ein bearbeitbares 3D-Modell 24.Juni 2022
Dell Precision 7865: Workstation mit 64 Core Threadripper Pro 5995WX, 1 TB RAM und 48 GB Nvidia RTX A6000 14.Juni 2022
WWDC 2022: Apple präsentiert neues MacBook Air mit M2 Prozessor, iOS 16, macOS 13 uvm. 7.Juni 2022
MSI kündigt neue Laptop-Spitzenmodelle mit Intel Core HX CPUs mit 16 Kernen an 5.Juni 2022
Asus ROG Flow X16 Notebook: 1.100 nits Mini-LED-Display, Ryzen 9 6900HS und RTX 3070 Ti 31.Mai 2022
alle Newsmeldungen zum Thema Computer

Camcorder:

Blackmagic Camera 7.9.1 Update mit Bugfixes für die Pocket Cinema Cameras 29.Juli 2022
Firmware-Update für Profi-Camcorder Canon XF605 verbessert ua. Multicam-Funktionen 27.Juli 2022
Canon EOS R5: Längere 8K/4K Aufnahmezeiten nach Firmware-Update v1.60 22.Juli 2022
Xiaomi 12S Ultra: Leica-Kamera mit 1" Sensor und 10bit HDR-Aufnahme in Dolby Vision 5.Juli 2022
Nikon Z 30: Kompakte 4Kp30- APS-C Kamera fürs Vlogging 29.Juni 2022
Tilta: Camera Cage für Canon EOS R5C inkl. Akkulösung für 8K 50/60p RAW 27.Juni 2022
Forschungsprojekt macht Kamera zu optischem Richtmikrofon 25.Juni 2022
alle Newsmeldungen zum Thema Camcorder


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 9.August 2022 - 18:21
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*