Logo Logo
/// 

Berichterstattung : KI und volumetrische Videos - der nächste Meilenstein für die Videoproduktion

von Mo, 18.Juni 2018 | 2 Seiten | diesen Artikel auf einer Seite lesen

 Einleitung
 Vom Datenberg in die Point-Cloud
 Künstliche Intelligenz für Interpolation

Neue Echtzeit 3D-Effekte von Canopus

Ließ vor drei Jahrzehnten ein Blue- oder Greenscreen-Studio das Herz eines Werbefilm- oder Musikvideo-Produzenten höher schlagen wenn es um die größten Budgets ging, so darf es heutzutage noch ein paar Nummern größer sein. Wie wäre es mit "Volumetrischen Videos"? Denn die sind gerade das nächste große (und teure) Ding in der Videoproduktion.

Unter anderem in London und Berlin kann man aktuell die ersten (teil-)funktionsfähigen Studios für Volumetrische Videoproduktion buchen. Doch was bedeutet dies eigentlich? Es geht hierbei um eine relativ simple Idee (die u.a. auch schon Lytro in abgewandelter Form hatte): Unzählige Kameras filmen eine Szene synchron im Raum aus sehr vielen nah beieinander liegenden Blickwinkeln. (Dies resultiert in Datenraten von bis zu 600 Gigabyte pro Minute.)



Vom Datenberg in die Point-Cloud



Aus diesen Clips lassen sich anschließend bewegte Point-Clouds errechnen, was man sich wie eine errechnete 3D-Welt aus der gefilmten Szene vorstellen kann. Anschließend kann man mit einer virtuellen Kamera in dieser Szene herumfahren. Man kann sich dabei fast völlig frei im Raum bewegen und somit nahezu jede beliebige Kameraposition in der Postproduktion festlegen. Aktuell kann ein Studio dabei laut c´t mit einem fünfstelligen Eurobetrag pro Minute Aufnahmezeit kalkulieren.

Die dabei eingesetzten Software-Pakete sind noch handgestrickt, weshalb man die Aufnahmen nicht in gängigen Schnittprogrammen außerhalb der Studios selber bearbeiten kann. Hier arbeitet jeder (unter anderem auch Microsoft) noch mit eigenen proprietären Lösungen. Da jedoch schon viele Schnittprogramme mit 360 Grad-Videos umgehen können, ist der Schritt in diese Richtung vielleicht gar nicht mehr so weit.

Wir selber haben uns auch immer mal wieder ein paar Gedanken gemacht, wie man eine solche Umgebung vielleicht deutlich günstiger für den Independent-Gebrauch umstricken könnte. Eine mögliche Herangehensweise wäre dabei sicherlich das Hantieren mit weniger Kameras in einem engeren Aufnahmewinkel. Anschließend wäre vielleicht eine einfache Interpolation mit OpticalFlow-Algorithmen möglich.

Im Compositing sind Point-Clouds übrigens schon seit längerer Zeit angekommen, jedoch gibt es noch keine idiotensichere Bedienung um einfach aus mehreren Kameras eine virtuelle Kamerafahrt zu erzeugen. Wer weiß, vielleicht bietet ja Blackmagic in Resolve bald eine entsprechende Lösung, da in Resolve+Fusion die nötigen Zutaten hierfür bereits länger bereit stehen.



Künstliche Intelligenz für Interpolation



Ein weitere Überraschung dürfte allerdings aus der KI-Ecke hinzu kommen: Denn mittels künstlicher Intelligenz wird die benötigte Interpolation zwischen den Kamerapositionen in naher Zukunft auf ein höheres Niveau gelangen. Am letzten Donnerstag hat DeepMind, also Googles KI-Ausleger ein mehr als bemerkenswertes Forschungsergebnis präsentiert. Generative Query Network (GQN) ist eine Netzwerktopologie, die tatsächlich ein räumliches Verständnis entwickeln kann, wenn man ihr nur ein paar Bilder aus verschiedenen Perspektiven zeigt. Vielleicht sollten wir hierzu etwas ausholen, warum dies revolutionär ist.

Wenn es darum geht, wie wir eine visuelle Szene verstehen, schöpft unser Gehirn aus dem Vorwissen und der Erinnerung, um Rückschlüsse zu ziehen. Diese Rückschlüsse gehen weit über die Lichtmuster hinaus, die wir geliefert bekommen.
So erkennen wir beim ersten Betreten eines Raumes sofort, welche Objekte er enthält und wo sie sich befinden. Wenn man drei Beine eines Tisches sieht, gehet man "blind" davon aus, dass es auch noch ein viertes Bein mit der gleichen Form und Farbe gibt, das nicht sichtbar ist. Selbst wenn man nicht alles im Raum sehen kann, kann man trotzdem einen Grundriss skizzieren oder sich vorstellen, wie er aus einer anderen Perspektive aussieht. Ohne gewisse Annahmen, die wir als Menschen besitzen, lässt sich ein Raum nicht sinnvoll mathematisch in einem 3D-Modell abbilden.

Doch genau dies verspricht nun DeepMind in ersten Ansätzen zu beherrschen. So können die GQNs ein vollständiges 3D-Modell einer Szene aus nur einer Handvoll 2D-Schnappschüssen generieren. Das System kann sich die Szene anschließend aus jedem beliebigen Blickwinkel vorstellen und auch reproduzieren. Bemerkenswert ist auch , dass das System einzig auf Eingaben von eigenen Bildsensoren beruht und es autonom ohne menschliche Aufsicht lernt. Damit könnte es ohne menschliches zutun Modelle (z.B. eine Szene in einem Schnittprogramm) als 3D-Raum interpretieren.

Noch besitzen GQNs enge Grenzen. Erst in relativ einfachen Szenen konnten sie mit wenigen Objekten ihre Funktionsfähigkeit beweisen. Allerdings zeigen sie unzweifelhaft, dass sie ein dreidimensionales Verständnis von einer Szene aufgrund von Aufnahmen aus einem anderen Blickwinkel erlernen können, dass sich von einem realen Rendering dieses Blickwinkels nicht relevant unterscheidet. Und dies bedeutet nicht weniger, als dass in sehr naher Zukunft eine hochqualitative Interpolation zwischen zwei Kamera-Perspektiven möglich sein wird. Und damit auch feinste, virtuelle Kamerafahrten sowie andere hochqualitative Point-Cloud Anwendungen für jedermann mit genügend Rechenleistung.

Aktuell sieht man volumetrisches Video allerdings noch eher als Aufzeichnungsmedium für "begehbare"-VR-Filme, wie unter anderem dieses Video darstellt:







2 Seiten:
Einleitung / Vom Datenberg in die Point-Cloud / Künstliche Intelligenz für Interpolation
  

[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
Xergon    00:47 am 20.6.2018
was ist da jetzt neu im Vergleich zu der 4D Scanning Funktion in Photoscan?
[Kommentar ganz lesen]

Weitere Artikel:


Berichterstattung: Emotion sticht Continuity -- interessanter Vortrag über Filmschnitt bei Berlinale Talents Di, 14.März 2017
Unter dem Titel "Kill your Darlings" ging es bei Berlinale Talents wieder intensiv um den Filmschnitt -- eine eigentlich eher musikalische als visuelle Angelegenheit laut Susan Korda, geht es doch vor allem darum, Emotionen zu vermitteln. Nun ist der Clip dazu online.
Berichterstattung: 3D für die Ohren -- Dolby Atmos Master Class (Berlinale Talents) Mo, 27.Februar 2017
Im Rahmen der Berlinale Talents Veranstaltungen gab es auch die Gelegenheit, mehr über den Einsatz des neuen, objektbasierten Raumklangs zu erfahren. Die soundgestalterischen Möglichkeiten wurden anhand von fünf erfreulich unterschiedlichen Filmausschnitten demonstriert wurden -- Roadmovie, Thriller, Kinderfilm und sogar eine Dokumentation waren vertreten.
Berichterstattung: IBC+Photokina 2016: Viel „Glas“, 360° und Drohnen - wenig Kamera // IBC 2016 Sa, 1.Oktober 2016
Wenn es ein Thema gab, dass die IBC 2016 klar dominiert hat, dann waren es Cine-Objektive: Zeiss, Angénieux, Sony, Samyang, Tokina und Sigma haben neue Produkte vorgestellt und dies durchweg im Segment unterhalb von 10.000 Euro. Kameras glänzten hingegen eher mit Abwesenheit bzw. Verspätungen - zumindest wenn sie nicht 360° oder 8K aufgenommen haben oder fliegen konnten …
Berichterstattung: Mit ARRI bei Wim Wenders – Berlinale 2016 Do, 25.Februar 2016
Auch ARRI hat die Berlinale genutzt, um in den Räumen der DFFB den Stand aktueller Produktionstechnik sowie die Herausforderungen im Umgang mit neuen Formaten (u.a. 360° und Panoramic Cameras) zu skizzieren. Highlight war ein Special Screening von Wim Wenders 3D-Film Everything will be fine...
Berichterstattung: IBC2015: Was gab´s noch Spannendes? + Newsstrecke // IBC 2015 Mo, 28.September 2015
Berichterstattung: CES 2014 -- interessante Neuvorstellungen im Überblick Fr, 17.Januar 2014
Berichterstattung: IFA 2013: Erste Eindrücke – Sony und Panasonic Do, 5.September 2013
Berichterstattung: Photokina 2012 – mehr Video-DSLR geht kaum ... (Teil 2) Do, 27.September 2012
Berichterstattung: Photokina 2012 – mehr Video-DSLR geht kaum ... Fr, 21.September 2012
Berichterstattung: Rückblick NAB 2012 Do, 26.April 2012
Berichterstattung: Canon EOS C300: Neuer Preis und neue Zielgruppe Mi, 23.November 2011
Berichterstattung: Zwischen Film und Kunst. Storyboards von Hitchcock bis Spielberg (Ausstellung) Mo, 26.September 2011


[nach oben]


[nach oben]















Artikel-Übersicht



Artikel-Kategorien:



update am 23.September 2023 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*