Logo Logo
/// News

Der totale Remix: Neue KI Tune-A-Video macht neue Videos aus alten Clips

[13:07 Di,24.Januar 2023 [e]  von ]    

Vor einigen Monaten hatten Google und Meta ihre Text-to-Video KIs vorgestellt mit Imagen bzw. Make-a-Video - diese funktionieren ganz ähnlich zu den Text-to-Image KIs wie Stable Diffsion, Midjourney oder DALL-E2, die gerade einen Boom erleben: per Textbeschreibung werden Bilder bzw. Videos erzeugt.

tuneavideo-examples




Nun haben Forscher aus Singapur eine interessante Alternative bzw. Erweiterung zu dieser Art der Videogenerierung vorgestellt: der Tune-A-Video getaufte Algorithmus kombiniert ein Beispielvideo mit einer Beschreibung des gewünschten Resultats, ähnlich wie die Image-2-Image Funktion von Stable Diffusion, bei der mittels eines Eingabebildes das Aussehen (wie Bildkomposition und Formen der Objekte) des per KI zu erzeugenden Bildes grob vorgegeben wird, während per Text der konkrete Inhalt näher definiert wird. Bei Tune-A-Video wird analog dazu ein eigenes Video eingegeben, quasi Video-2-Video - mittels einer Beschreibung können dann die einzelnen Objekte im Vordergrund ebenso wie der Hintergrund beliebig ausgetauscht werden.



Die Möglichkeiten sind weitreichend, angefangen beim objektbasiertem Videoediting - es können gezielt Objekte manipuliert werden wie im folgenden Beispiel einer Katze, die einen Hut trägt: so kann die Katze verdoppelt, ihr Gesichtsausdruck geändert, ihr Hut gegen einen anderen ausgetauscht oder auch lückenlos aus dem Video entfernt werden. Ebenso lassen sich aber auch ganze Objekte aus dem Video gegen andere auswechseln, der Hintergrund gegen einen anderen ersetzen oder das ganze Video in einem völlig anderen Darstellungsstil (zum Beispiel als Comic, Ölgemälde, Anime oder Bleistiftzeichnung) wiedergeben - jeweils inklusive aller Bewegungen.

tuneavideo-cat
Katze mit Hut im Original und mit Variationen


Dies hat gegenüber der reinen Video-(bzw. Bild)generierung per Textprompt den Vorteil, daß die Art der Bewegung (wie schnell, in welchem Bewegungsstil, von wo nach wo) und die generelle Bildkomposition (wo soll sich jedes Objekt im Bild befinden, wie ist der Kamerawinkel) vorgegeben werden können, welche sonst in dieser Exaktheit nur schwer per Prompt zu beschreiben sind. Als Vorbildvideo können theoretisch genauso eigene Videos wie Clips aus beliebigen Filmen genommen werden. Letzteres öffnet natürlich die Tür zu einer unendlichen Menge an Remixes, Wiederholungen, Anlehnungen, Abwandlungen und Verfremdungen quasi auf Knopfdruck und in guter Qualität. Wie dies in Einklang mit bestehenden Urheberrechtgesetzen stehen kann oder zu bringen ist, wird die große juristische Frage der nächsten Jahre werden.

tuneavideo-examples2


Der Tune-A-Video Algorithmus vereint mehrere getrennte Techniken wie die Animation von Objekten mittels Motion Capturing, das Design und das dynamische Rendern dieser Objekte. Er liefert momentan schon eine sehr gute Kontinuität der Bewegungen und der Objekte, wenn auch die ausgetauschten Objekte an sich oft noch recht fehlerhaft dargestellt werden und die Framerate sehr gering ist. Aber wie wir wissen, nimmt bei der aktuellen Entwicklungsgeschwindigkeit von KIs die Qualität der Ergebnisse recht rasant zu und dürfte bald ausreichend gut sein.

Aktuell steht Tune-A-Video noch nicht frei zur Verfügung - "code coming soon" heißt es jedoch auf der Projekt-Webseite.

Link mehr Informationen bei tuneavideo.github.io

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildGroßer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)? bildVEGAS 20 Update 2 bringt zahlreiche Neuerungen plus Rabattaktion


verwandte Newsmeldungen:
Filmen:

Foto-Shooting plus KI: Schaut so die Zukunft der Fotografie aus? 27.Dezember 2022
Dramatron: KI erstellt aus Plot-Prompts Drehbücher mitsamt Dialogen 11.Dezember 2022
Nikon Z: Fernsteuerungshandgriff MC-N10 für ergonomischeres Filmen 3.November 2022
Neu: Clips aus längeren Videos einfach für YouTube Shorts ausspielen 8.August 2022
Wie Everything Everywhere All At Once gedreht wurde 24.Juli 2022
Xiaomi 12S Ultra Smartphone wird mit 1" Sensor filmen 30.Juni 2022
NAB 2022 Interview: Camera to Cloud, Frame IO und Premiere Pro 2.Mai 2022
alle Newsmeldungen zum Thema Filmen

Machine Learning:

Neuer KI-Effekt NVIDIA Eye Contact: Bye bye Teleprompter? 25.Januar 2023
Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)? 23.Januar 2023
OpenAI VALL-E: Neue KI macht jede Stimme nach - nur anhand von 3s Stimmsample 9.Januar 2023
Neue NVIDIA KI skaliert Videos in Echtzeit im Browser von 1080p nach 4K 6.Januar 2023
AMDs mobile Ryzen 70xx mit Zen 4, RDNA 3 and XDNA AI 5.Januar 2023
Foto-Shooting plus KI: Schaut so die Zukunft der Fotografie aus? 27.Dezember 2022
Neue Disney KI kann Schauspieler in Sekunden altern lassen - oder verjüngen 14.Dezember 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 26.Januar 2023 - 16:15
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*