Logo Logo
/// News

Runway Gen1: Neue Video-KI stilisiert Videos, maskiert Objekte, rendert 3D-Modelle

[23:10 Mo,6.Februar 2023 [e]  von ]    

Und zack! Da ist sie also, die erste quasi marktreife Video-KI - es lag ja schon länger in der Luft. Soeben präsentiert Runway Research, das Unternehmen hinter der Bild-KI Stable Diffusion, das KI-System Gen-1 für die Video-Generierung. Wie im September schon geteasert, ist Gen-1 ausgehend von einem Textprompt oder einem Beispielbild in der Lage, den Stil, die Komposition oder der Inhalt eines Videos zu manipulieren (ähnlich wie das neulich gezeigte, jedoch weniger ausgereifte Tune-a-Video). Video-to-Video nennt sich dieser Ansatz, da ein Ausgangsvideo benötigt wird. Das Resultat sieht in den ersten Demovideos beeindruckend kohärent aus.



Es stehen zum Start fünf Möglichkeiten zur Bearbeitung zur Auswahl, welche man so ähnlich schon von den Bild-KIs her kennt - das Besondere ist, das dies jetzt auch mit bewegten Bildern funktioniert. In einem Stilisierungsmodus kann der Stil oder Look eines Clips per Textbeschreibung verändert werden, während sich im Storyboard-Modus eine einfache, bewegte Skizze in eine fertige Animation umwandeln läßt. Ein dritter Modus bietet eine Maskenfunktionalität - Objekte können zB. per Text ausgewählt und verändert werden.

Runway-Gen1-Stylization
Stylization


Der vierte Modus nimmt krude 3D-Modelle und ergänzt Texturen, sodass gerenderte Objekte entstehen. Und schließlich soll es in einem weiteren Customization-Modus möglich sein, Gen-1 zusätzlich auf eigene Bedürfnisse anzupassen.

Runway-Gen1-Mask
Mask


Runway-Gen1-Render
Render


Auch wenn die Videos (noch) nicht fotorealistisch aussehen: Gen-1 verspricht, per textgesteuertem und objektbasiertem Editing vieles (nicht nur) im Bereich Video-VFX einfacher zu machen. Es sei wie Filmen, nur ohne zu Filmen, heißt es bei Runway - No lights. No cameras. All action.

Ganz öffentlich ist Gen-1 allerdings noch nicht, man kann aktuell nur einen frühen Zugang beantragen (zu Forschungszwecken).







Link mehr Informationen bei research.runwayml.com

  
[8 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
ChillClip    14:29 am 7.2.2023
Könnte mir sogar vorstellen, dass die großen Studios in der Zukunft auch mit sowas arbeiten. Um so besser das Material zum Anlernen, umso besser die KI-Ergebnisse. Und genau...weiterlesen
lensoperator    14:11 am 7.2.2023
Das Beispielvideo beeindruckt mich extrem. Ich denke das grad social Media bald von sowas überschwemmt wird. Entweder wandert man mit der Welle mit oder man wird weggespült...weiterlesen
Alex    13:18 am 7.2.2023
Kinderkrankheiten. Was uns gerade dargeboten wird, ist im Baby-Stadium.
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildNeue Einsteigerdrohne von DJI: Mini 2 SE wird das billigste Modell bildNeue Nikon Vollformat Objektive: Pancake Z 26 mm f/2.8 und Z 85 mm f/1.2 S für Pro-User


verwandte Newsmeldungen:
3D:

Asus: Neue 16" OLED Notebooks mit 3D ohne Brille und trotzdem voller 3.2K Auflösung 8.Januar 2023
Nvidia Magic3D - beliebige 3D-Objekte durch Textbeschreibung erzeugen 29.November 2022
PortKeys PT6: Günstiger 5.2" Kameramonitor mit 3D-LUTs, HDMI-Out und 100% DCI-P3 7.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
Luma AI: Neue Smartphone-App erstellt 3D-Modelle von beliebigen Objekten 21.Oktober 2022
DreamFusion: Neue Google KI generiert beliebige 3D Modelle - nur per Textbeschreibung 11.Oktober 2022
Neuer Nvidia Algorithmus erschafft aus Photos eines Objekts ein bearbeitbares 3D-Modell 24.Juni 2022
alle Newsmeldungen zum Thema 3D

Machine Learning:

Wie man einen Videoclip mit KI-Tools produziert - in nur 3 Stunden 24.März 2023
Microsoft mit generativen KI-Modellen für jedermann im Browser - Bing Image Creator 23.März 2023
Adobe kündigt Firefly an: Generative KI-Modelle nun direkt von Adobe 21.März 2023
Runway Gen2: Stable Diffusion Schöpfer stellen neue Text-to-Video-KI vor 20.März 2023
VideoFusion: Erste Open Source Video-KI ist da - und läuft auch auf dem Heim-PC 20.März 2023
Bild-KI Midjourney V5 liefert fotorealistische Bilder - und endlich auch korrekte Hände 19.März 2023
KI verwandelt WLAN Router in Raum-Radar 18.März 2023
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 25.März 2023 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*