Logo Logo
/// News

KI-Styletransfer für Video jetzt auch interaktiv in Echtzeit

[09:12 Mo,5.Oktober 2020 [e]  von ]    

Style Transfer war eine der ersten Deep Learning Anwendungen die der Welt andeutete, dass sich mit künstlicher Intelligenz in den nächsten Jahren so einiges verändern wird. Beim Style Transfer lässt sich ein Bild oder Video dadurch verändern, dass man einer KI ein zweites Bild zeigt, nach dessen Stil das erste Bild nachgezeichnet werden soll.

In der ersten Generation des Algorithmus hat man auf diese Art Bilder nach den Stilen berühmter Künstler wie van Gogh erzeugen lassen, danach kamen auch schon bewegte Videos an die Reihe. Tatsächlich ist es noch einmal eine größere Herausforderung auch über einen längeren Zeitraum hinweg einen Style konsistent aufrechtzuerhalten.



Doch dies ist mittlerweile auch nur noch ein Randproblem. Typische Szenenlängen von 10-20 Sekunden mit 24 fps stellen in der Regel (natürlich abhängig vom Schwierigkeitsgrad) nur noch selten ein Problem dar.

styletransfer_RT



Zeit also die nächste Stufe zu zünden. In diesem Fall haben sich einige Wissenschaftler nun die Interaktivität und die Echtzeit vorgeknöpft. Echtzeit ist insofern ein Problem, dass die typischen DeepLearnig Lernphasen immer noch sehr zeit- weil rechenaufwändig sind. Das Training eines entsprechenden Modells für Video nahm auf einer Mittelklasse GPU bisher mindestens mehrere Stunden in Anspruch. Und erst mit einem fertig trainierten Modell kann üblicherweise der Style Transfer angestoßen werden.

Ein neues Paper zeigt dagegen, dass "Learning while Painting" prinzipiell möglich ist. Ein Künstler kann also eine Style-Vorlage malen und bekommt währenddessen interaktiv und in Echtzeit eine Videovorschau mit laufenden Bildern angezeigt. Das dürfte für talentierte Zeichner ganz neue Workflows aufstoßen, deren Grenzen erst einmal erkundet werden wollen.



Und das ist noch nicht einmal das Ende der Fahnenstange, denn es ist zu erwarten, dass sich auf diese Weise in Zukunft auch Formen interaktiv retuschieren lassen werden. Man malt also seine Veränderungswünsche in einem Frame und diese übertragen sich immer in Echtzeit auf den gesamten Clip.

Das einzige, was uns an diesen Anwendungen noch wundert ist, dass solche Innovationen immer noch primär aus der unabhängigen Forschung stammen. Eigentlich würden wir erwarten, dass Firmen wie Adobe oder Blackmagic mit solchen Killerfeatures ihre Software-Suiten aufwerten, um sie deutlich von den Konkurrenz abzuheben. Allzulange dauert es hoffentlich nicht mehr, bis wir ähnliche Funktionen endlich auch in Premiere oder Resolve nutzen dürfen...

Link mehr Informationen bei www.youtube.com

  
[7 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
prime    15:15 am 6.10.2020
Bei sowas sichert man sich doch immer ab. Überall wo man etwas hochlädt muss man den Platformanbieter nicht-widerrufbare Verwendung-/Verwertungsrechte aller Art übertragen. Wer...weiterlesen
rudi    14:50 am 6.10.2020
Ich möchte jetzt nicht sagen, dass großen Einblick in die Sache habe, aber Patente sind im Gebiet des Machine Learning eher selten. Nicht nur, weil es sich primär um nicht...weiterlesen
cantsin    12:58 am 6.10.2020
Ja. Mein Einwurf mit den Patenten bezog sich ja nur auf eine mögliche Integration dieser Verfahren in Software wie Resolve und Premiere. In der Slashcam-Meldung klingt...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildNeues Tele-Makro für spiegellose Kameras: SIGMA 105mm F2,8 DG DN MACRO | Art bildOWC stellt ersten Thunderbolt 4 Hub vor: 3x Thunderbolt 4 plus 1x USB 3.2


verwandte Newsmeldungen:
Machine Learning:

Heavy Metal meets Midjourney: Musikvideo aus 10.000 KI-generierten Bildern 4.Dezember 2022
Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 4.Dezember 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*