Logo Logo
/// News

KI ermöglicht automatisches Layering von bewegten Video-Objekten

[10:57 Do,3.Dezember 2020 [e]  von ]    

Forscher von Google und der Universität Oxford haben einen interessanten neuen AI-Algorithmus zur Manipulation von bewegten Personen in Videos vorgestellt. Der auf neuronalen Netzen beruhende Algorithmus erkennt verschiedene bewegte Objekte in einem Video und weist sie unterschiedlichen Ebenen zu - dadurch wird eine Vielzahl interessanter Effekte per Compositing der einzelnen Layer in Bezug zueinander möglich.

KI-Retiming
Aus Videos erzeugte Layer der Personen




Zum Beispiel können so verschiedenen Objekte (samt ihrer Bewegung korrelierende Bildobjekte wie etwa ihr Schatten und ihre Reflektionen!) spurenlos entfernt, dupliziert, eingefroren oder per Retiming zeitlich zueinander versetzt und etwa Bewegungs-synchronisiert werden. Im Beispielvideo werden so etwa einige chaotisch auf verschiedenen Trampolins springende Personen per Time-Remapping zu einer im Takt hüpfenden Gruppe.



Das speziell auf die Erkennung von Personen trainierte neuronale Netz erledigt dabei eine Vielzahl von aufwändigen klassischen Compositing-Aktionen: es rekonstruiert etwa eine im Hintergrund vorbeilaufende verdeckte Person; es weist jeder Person den ihr zugehörigen Schatten und Reflektionen zu und generiert daraus eine Maske und es trennt sogar zwei sich temporär überlappende Schatten in einzelne Repräsentationen auf.



Die Methode ermöglicht das sehr einfache Erstellen bewegte Masken / Layern von Personen samt ihrer korrelierenden Spuren im Bild und deren simple Manipulation (wie etwa per Retiming) in einem Compositingprogramm. Die Möglichkeiten des intelligenten, objektbasierten Videoeditings und -compositings durch so einen Algorithmus sind gewaltig: so lassen sich - etwa zum Zweck einer besseren Bildkomposition - ganz einfach die Bewegungen von Menschen in einem Video nachträglich vollkommen verändern. Und das Ganze funktioniert auch bei einer bewegten Kamera.

KI-Layer
Aus Videos erzeugte Layer der Personen


Der Wermutstropfen besteht noch in der sehr geringen Videoauflösung von 448 × 256 Pixeln - um zum Einsatz im professionellen Umfeld zu gelangen, müsste der Algorithmus noch weiter optimiert werden bzw. auf stärkerer Hardware laufen, aber AI-Forschungsprojekte sind ja immer auch erst einmal Machbarkeitsstudien. Es ist nur eine Frage der Zeit bis ein für praktische Anwendungen interessanter KI-Algorithmus bis zur allgemeinen Einsatzfähigkeit weiterentwickelt wird.

AI-Training
Training


Im Video des Projekts wird schön erklärt, wie das neuronale Netz trainiert wird, um bewegte Objekte samt korrelierten Effekten zu erkennen und daraus eine eigene Ebene zu erstellen - so wird auch schön der vollkommen andere Ansatz von Deep Learning im Gegensatz zu traditionellem Programmieren veranschaulicht.

Hier die Vorstellung der Methode durch Two Minute Papers:



Das Paper Layered Neural Rendering for Retiming People in Video wird auf der am 4.Dezember beginnenden SIGGRAPH Asia offiziell vorgestellt, dann sollte auch der Programm-Code auf GitHub online gehen, der in klassischen Compositingprogrammen manipulierbare Layer aus herkömmlichen Videos erzeugen soll.

KI-Layer-in-Comp
Compositing mittels der erzeugten Layer



Link mehr Informationen bei retiming.github.io

  
[6 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
AndySeeon    09:46 am 5.12.2020
Auf der anderen Seite wird für KI/AI immer viel versprochen und in den Vorzeigefilmchen sieht das auch alles immer total toll aus. In der Realität kommt dann die Ernüchterung...weiterlesen
Christian Schmitt    09:11 am 5.12.2020
So sehr mich das technisch auch interessiert, mir dreht sich der Magen um wenn ich daran denke dass wir kurz davor stehen, dass Bilder/Videos rechtlich ihren Beweisstatus verlieren...weiterlesen
ChillClip    20:49 am 4.12.2020
Wird dann irgendwann jede App auf dem Smartphone können. Hätte nix dagegen. Die meisten Drehbücher werden eh fast alle nur aus dem Baukasten zusammengesetzt und sind...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildSigma: Drei neue 24, 35 und 65mm Vollformat-Objektive der I-Serie für DSLMs bildPhilips 326P1H und Philips 329P1H: Neue 31.5" Monitore mit integrierter USB-C Dockingstation


verwandte Newsmeldungen:
KI:

Drehbuchstreik in Hollywood endet nach 148 Tagen mit gutem Deal für Autoren - auch in Punkto KI 27.September 2023
Google Pixel 8 (Pro) - Neue Stufe der "computational" Videografie durch KI? 25.September 2023
YouTube: neue Editing-App verfügbar - und bald kommen die Video-KI-Tools 22.September 2023
DALL-E 3 ist da und generiert exaktere KI-Bilder inkl. Text dank ChatGPT-Integration 21.September 2023
Videoclip: Adobe Premiere Pro erklärt: Mit KI Pausen und Füllwörter schnell entfernen u.v.m. 19.September 2023
Adobe führt Credit-basiertes Modell für generative KI ein (und die Creative Cloud wird teurer) 18.September 2023
Aus Text wird nun auch Audio: Stable Audio generiert Musik und Soundeffekte per KI 18.September 2023
alle Newsmeldungen zum Thema KI


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 28.September 2023 - 16:09
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*