Logo Logo
/// News

KI ermöglicht automatisches Layering von bewegten Video-Objekten

[10:57 Do,3.Dezember 2020 [e]  von ]    

Forscher von Google und der Universität Oxford haben einen interessanten neuen AI-Algorithmus zur Manipulation von bewegten Personen in Videos vorgestellt. Der auf neuronalen Netzen beruhende Algorithmus erkennt verschiedene bewegte Objekte in einem Video und weist sie unterschiedlichen Ebenen zu - dadurch wird eine Vielzahl interessanter Effekte per Compositing der einzelnen LayerLayer im Glossar erklärt in Bezug zueinander möglich.


KI-Retiming
Aus Videos erzeugte

LayerLayer im Glossar erklärt der Personen
Zum Beispiel können so verschiedenen Objekte (samt ihrer Bewegung korrelierende Bildobjekte wie etwa ihr Schatten und ihre Reflektionen!) spurenlos entfernt, dupliziert, eingefroren oder per Retiming zeitlich zueinander versetzt und etwa Bewegungs-synchronisiert werden. Im Beispielvideo werden so etwa einige chaotisch auf verschiedenen Trampolins springende Personen per Time-Remapping zu einer im Takt hüpfenden Gruppe.



Das speziell auf die Erkennung von Personen trainierte neuronale Netz erledigt dabei eine Vielzahl von aufwändigen klassischen Compositing-Aktionen: es rekonstruiert etwa eine im Hintergrund vorbeilaufende verdeckte Person; es weist jeder Person den ihr zugehörigen Schatten und Reflektionen zu und generiert daraus eine Maske und es trennt sogar zwei sich temporär überlappende Schatten in einzelne Repräsentationen auf.



Die Methode ermöglicht das sehr einfache Erstellen bewegte Masken / Layern von Personen samt ihrer korrelierenden Spuren im Bild und deren simple Manipulation (wie etwa per Retiming) in einem Compositingprogramm. Die Möglichkeiten des intelligenten, objektbasierten Videoeditings und -compositings durch so einen Algorithmus sind gewaltig: so lassen sich - etwa zum Zweck einer besseren Bildkomposition - ganz einfach die Bewegungen von Menschen in einem Video nachträglich vollkommen verändern. Und das Ganze funktioniert auch bei einer bewegten Kamera.

KI-Layer
Aus Videos erzeugte

LayerLayer im Glossar erklärt der Personen
Der Wermutstropfen besteht noch in der sehr geringen Videoauflösung von 448 × 256 Pixeln - um zum Einsatz im professionellen Umfeld zu gelangen, müsste der Algorithmus noch weiter optimiert werden bzw. auf stärkerer Hardware laufen, aber AI-Forschungsprojekte sind ja immer auch erst einmal Machbarkeitsstudien. Es ist nur eine Frage der Zeit bis ein für praktische Anwendungen interessanter KI-Algorithmus bis zur allgemeinen Einsatzfähigkeit weiterentwickelt wird.

AI-Training
Training


Im Video des Projekts wird schön erklärt, wie das neuronale Netz trainiert wird, um bewegte Objekte samt korrelierten Effekten zu erkennen und daraus eine eigene Ebene zu erstellen - so wird auch schön der vollkommen andere Ansatz von Deep Learning im Gegensatz zu traditionellem Programmieren veranschaulicht.

Hier die Vorstellung der Methode durch Two Minute Papers:



Das Paper Layered Neural Rendering for Retiming People in Video wird auf der am 4.Dezember beginnenden SIGGRAPH Asia offiziell vorgestellt, dann sollte auch der Programm-Code auf GitHub online gehen, der in klassischen Compositingprogrammen manipulierbare LayerLayer im Glossar erklärt aus herkömmlichen Videos erzeugen soll.

KI-Layer-in-Comp
Compositing mittels der erzeugten Layer



Link mehr Informationen bei retiming.github.io

  
[6 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
AndySeeon    09:46 am 5.12.2020
Auf der anderen Seite wird für KI/AI immer viel versprochen und in den Vorzeigefilmchen sieht das auch alles immer total toll aus. In der Realität kommt dann die Ernüchterung...weiterlesen
Christian Schmitt    09:11 am 5.12.2020
So sehr mich das technisch auch interessiert, mir dreht sich der Magen um wenn ich daran denke dass wir kurz davor stehen, dass Bilder/Videos rechtlich ihren Beweisstatus verlieren...weiterlesen
ChillClip    20:49 am 4.12.2020
Wird dann irgendwann jede App auf dem Smartphone können. Hätte nix dagegen. Die meisten Drehbücher werden eh fast alle nur aus dem Baukasten zusammengesetzt und sind...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildSigma: Drei neue 24, 35 und 65mm Vollformat-Objektive der I-Serie für DSLMs bildPhilips 326P1H und Philips 329P1H: Neue 31.5" Monitore mit integrierter USB-C Dockingstation


verwandte Newsmeldungen:
Machine Learning:

fylm.ai: Professionelles KI-gestütztes Color Grading im Browser 16.Oktober 2021
KI lernt kämpfen - und synthetisiert neue Martial Arts Moves 10.Oktober 2021
KI trennt Musik in separate Gesangs- und Begleitmusik-Tonspuren 20.September 2021
Perfekt für Musikvideos: Räumliches, objektbasiertes Videoediting per KI und 16 Kameras 19.September 2021
Nvidia Broadcast App 1.3: Besseres Livestreaming und Videokonferenzen per KI 6.September 2021
Omnimatte: Nahezu perfekte Masken bewegter Objekte per KI 27.August 2021
Per DeepFake selbst im Filmtrailer von "Reminiscene" mit Hugh Jackman mitspielen 22.August 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 20.Oktober 2021 - 12:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*