Logo Logo
/// News

Filme im Stil der alten Meister per neuronalem Netzwerk

[07:30 So,14.August 2016 [e]  von ]    

Videos wie von Rembrandt, Picasso oder Van Gogh gemalt? Der Informatiker Manuel Ruder hat einen Algorithmus erschaffen, der es ermöglicht, einen Videoclip ganz im Stile eines Malers zu rendern. Er setzt dabei auf ein Verfahren, welches unter anderem Google vor ein paar Monaten schon genutzt hat, nämlich per Deep Learning Bilder berühmter Maler mit distinkten Malstilen als Vorlagen einzulesen, um diese dann auf einzelne Bilder zu übertragen.

Die Herausforderung bestand darin, diesen neuen Stil auf eine ganze Bildreihe anzuwenden und größere Schwankungen in der Kontinuität der Darstellung zu vermeiden. So sorgt das Programm per Optical Flow unter anderem dafür, daß Bildteile, welche kurzzeitig durch sich vorbeibewegende Objekte verdeckt werden, bei ihrem Wiedererscheinen noch gleich aussehen und nicht mit einem etwas anderen Look versehen werden (schön zu sehen im Demovideo unten), was irritierend auf den Betrachter wirken würde.



Schon damals gab es Demos einer App, die die von den neuronalen Netzwerken gelernten Stile auch auf Videos anwenden konnte, doch waren diese Stile von den Machern der App vorgegeben. Die Software von Manuel Ruder dagegen steht als Linux Open Source Projekt zur Verfügung und kann so von jedermann mit beliebigen Bildern trainiert werden um einen bestimmten Look zu reproduzieren. Sein Projekt nutzt den Neural Style Algorithmus, der Einzelbilder mit fremden Stilen versehen kann und der auf das (ebenso quelloffene) Torch Framework für neuronale Netze aufsetzt.

Artistic-Style
Der Freiburger Münsterplatz im Stile von Vincent van Gogh


Voraussetzung ist allerdings eine leistungsstarke GPU mit deren Hilfe die Berechnungen per CUDA oder auch OpenCL beschleunigt werden - einmal beim Lernen und das andere Mal beim Rendern. Für eine Auflösung von 450x350 wird etwa ein Minimum von 4GB VRAM empfohlen. Trotzdem ist Geduld gefordert - das RendernRendern im Glossar erklärt eines 1080p-Frames kann schon mal über 10 Minuten dauern.

Es gibt zwar auch schon Apps, welche einen Stil-Transfer für Smartphone Photos und Videos ermöglichen, allerdings nur mit vorgegeben Stilen: Pikazo, Alter, Prisma und Artisto - letzteres arbeitet als einziges zwar auch mit Videos, aber die Clips können maximal 10 Sekunden lang sein. Ganze Videos per App mobil zu berechnen, scheitert an der Leistungsschwäche von Smartphone bzw. Tablet CPUs und GPUs im Vergleich mit ausgewachsenen Desktopcomputern - vor allem natürlich solchen mit aktuellen rechenstarken Grafikkarten. Deswegen findet die eigentliche Berechnung der 14 Filter auf einem externen Server statt. Bei einigen der Photo-Apps kann man z.T. auch selbst ein Photo mit dem gewünschten neuen Stil zum Server des jeweiligen Anbieters schicken, um einen gewünschten Stil implementieren zu können.

Der Unterschied zu traditionellen Film-Looks bzw. Stil-Filtern ist die Universalität des neuen Verfahrens: per neuronaler Netzwerke können beliebige Bilder als Vorlage für einen neuen Stil verwendet werden - der neue Look ist somit nicht "hardcoded", sondern extrem flexibel.

Die im Video gezeigten Beispiele sind zwar spektakulär, aber nur in wenigen Fällen (wie z.b. psychedelischen Filmsequenzen) anwendbar bzw. ihr Sensationswert ist vermutlich schnell abgenutzt - wer will schon das x-te Video im Stile Picassos sehen? Interessanter ist wohl die Anwendung subtilerer Looks in Filmen - der Phantasie bzw. der Vorlage sind keine Grenzen gesetzt - wir sind jedenfalls gespannt auf die neuen, per Deep Learning einfach von Bildern zu eigenen Videos transferierten Looks. Ein neues interessantes Tool im Filmer-Werkzeugkasten - bald hoffentlich auch in eine anwenderfreundliche und weiter optimierte Software (Windows/OS X) für Endanwender gegossen.

Hier noch ein Beitrag der Tagesschau über Manuel Ruder und seinen Programm und hier das detaillierte Paper. (Danke an Rüssel und jwd96)

Hier ein weiteres Video, welches mit dem Algorithmus von Manuel Ruder produziert wurde:





  
[16 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
balkanesel    10:28 am 15.8.2016
das war ursprünglich sicher als Beispiel für die Leistungsfähigkeit neuronaler Netzwerke gedacht, daraus eine ernsthafte Anwendung machen zu wollen ist eine eigenartige Idee...weiterlesen
rush    17:54 am 14.8.2016
Passend in dem Zusammenhang vielleicht auch folgendes Musikvideo, welches mit Hilfe der populären Prisma-App in aufwendiger Kleinarbeit frame für frame realisiert wurde.....weiterlesen
klusterdegenerierung    11:16 am 14.8.2016
Seit dem Photoshop auch Videos verarbeiten kann, nutze ich auch schon mal die Mal oder Google Filter. Aber das hier ist wirklich eine andere Nummer und ich kann mir vorstellen, das...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildGoPros Omni VR Rig für gesyncte 360° Aufnahmen jetzt erhältlich bildVRig, ein Stativ speziell für Videoaufnahmen in 360°


verwandte Newsmeldungen:
PC:

Resolve Studio 17.1 Public Beta 10 mit Intel H.265-10Bit 4:2:2 Hardwareunterstützung 26.Februar 2021
Sony Alpha 7S III Firmware Update 2.0 bringt u.a. S-Cinetone 25.Februar 2021
Lenovo ThinkVision P40w: 39.7" 5K-Monitor mit Thunderbolt 4 Dock 24.Februar 2021
BenQ Mobiuz EX3415R: gekrümmter 34" Monitor mit 98% DCI-P3 23.Februar 2021
Neu: Blackmagic Web Presenter HD - Live-Streaming per USB, Ethernet oder Mobilfunk für SDI-Kameras 19.Februar 2021
Heute abend: Blackmagic Atem Mini und Camera Update Ankündigungen per Live Stream 17.Februar 2021
Firmware-Update 2.0 für Sony ZV-1 bringt besseres Live Streaming per USB 15.Februar 2021
alle Newsmeldungen zum Thema PC

Film:

Die 50 besten Filme 2020 - von über 230 Filmkritikern gewählt 1.März 2021
Frame.io Camera to Cloud: Cloud-basierter Echtzeit-Workflow von der Kamera bis zum Schnitt 22.Februar 2021
Nikon Z6/Z7 II-Kameras - Neue Firmware, neues Movie Kit und Blackmagic RAW 18.Februar 2021
Die besten Filme 2020 im Zusammenschnitt 29.Januar 2021
Neue Vereinbarung: TV-Dokumentarfilmer erhalten höhere Honorare 21.Januar 2021
Drehorte im Fokus: wo wurde ein Film oder eine Serie gedreht? 10.Januar 2021
Sundance Film Festival 2021: Online und an vielen Orten 7.Dezember 2020
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 1.März 2021 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*