Logo Logo
/// News

Video-Editing per Textkommando: Nach Text-zu-Bild kommt Text-zu-Video KI

[16:25 So,11.September 2022 [e]  von ]    

Ein interessanter Videoclip macht gerade die Runde, der vielleicht die Zukunft der Filmproduktion zeigt. Der von Runway ML produzierte Teaser demonstriert, wie Videos durch reine Textbeschreibungen editiert und produziert werden können. So wird gezeigt, wie durch eine Reihe von Texteingaben erst eine dynamische Strassenszene importiert und mit einem FilmLook versehen wird, woraufhin ein Objekt grob mit einem Pinsel markiert und nahtlos aus der Szene entfernt wird.

Danach ist zu sehen, wie per Textbefehl ein Bild eines "üppigen Gartens" generiert wird - ganz wie von einem KI Bildgenerator bekannt. Per "langsam vergössern" wird dann jedoch eine virtuelle Kamerazoomfahrt gestartet und ein Text langsam eingeblendet. Sehr interessant ist die dritte Szene - hier wird wie es scheint aus echtem Filmmaterial per simplem "Greenscreen charakter" Befehl eine Person maskiert, dann der Hintergrund unscharf gemacht und schließlich noch entsättigt.





Demonstriert werden damit verschiedene, bereits bekannte KI-Techniken: die Generierung von Bildern, das gezielte nahtlose Entfernen von Objekten in einem Video, die Generierung von Hintergründen, die Maskierung von Objekten samt Keying - alles durch Textbefehle.

Der Clip suggeriert, dass all diese Techniken auch beim Video-Editing greifen, wobei natürlich aus dem Teaser nicht hervorgeht, wie weit die videospezifischen Funktionen tatsächlich gehen, und ob der Clip wirklich von den genannten Techniken erzeugt oder der angepeilte Funktionsumfang per Compositing nur simuliert wurde. Der ganz große Schritt zum KI-basierten Generieren von ganzen Videosequenzen scheint noch nicht vollzogen zu sein, denn die Videosequenz am Anfang wird ja ausdrücklich importiert und nicht erstellt.

Da der Clip jedoch von Runway ML stammt, darf man davon ausgehen, dass entsprechende Möglichkeiten des textgesteuerten und objektbasierten Editings per KI demnächst auch für Video kommen. Green Screen, Inpainting und Motion Tracking ist bereits Teil des Funktionsumfangs des Online Video Editors von Runway, neu wäre also vor allem die Bedienung per Textkommandos. Damit stünde allerdings eine absolute Revolution in der Videoproduktion vor der Tür - schneller als erwartet.

Video-2-Text-UI
Online Video Editor Oberfläche



Runway ML (Machine Learning) bietet schon seit einigen Jahren den Online Video Editor mit zahlreichen KI Funktionen an. Teil des Teams ist unter anderem auch der Heidelberger KI Forscher Patrick Esser, der maßgeblich auch an der Entwicklung des erst kürzlich kostenlos öffentlich zugänglich gemachten KI-Bildgenerators Stable Diffusion mitgearbeitet hat. Esser hatte vor kurzem auch schon ein Video veröffentlich, in dem der Hintergrund eines Videos dynamisch per Textbeschreibung ausgetauscht wird.

Man kann sich aktuell für eine geschlossene Betaphase anmelden, um Zugang zu den im Clip demonstrierten Text-to-Video-Funktionen im Online Video Editor zu erhalten. Wir sind extrem gespannt.

Video-2-Text-fadein


Video-2-Text-greenscreen


Link mehr Informationen bei runwayml.com

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildLETsDOK: Ab Montag Dokumentarfilmfestival in 149 Kinos bildIBC 2022: Blackmagic`s neue Ultimatte 12 Keyer im slashCAM Videoüberblick


verwandte Newsmeldungen:
Machine Learning:

Deepfake: Bruce Willis digitaler Zwilling tritt in Werbeclips auf 1.Oktober 2022
Nach der Bild- die Videorevolution: Neue KI "Make-a-Video" generiert Videos nach Text 30.September 2022
Whisper: Neue kostenlose KI verwandelt Sprache in Text und übersetzt automatisch in alle Sprachen 26.September 2022
VFX leicht gemacht: mit KI Gesichter animieren und Stimmen synthetisieren 22.September 2022
KI Bilder mit Stable Diffusion jetzt auch direkt in Photoshop und Gimp erzeugen 18.September 2022
Neuer Algorithmus ermöglicht eigene Objekte in KI-generierten Bildern 15.September 2022
Kostenlose Bildgenerierung per KI: Stable Diffusion jetzt mit einfachem Installer 13.September 2022
alle Newsmeldungen zum Thema Machine Learning

Videoschnitt:

Intel ARC A770 Desktop-Grafikkarte ab 12.Oktober für ca. 400 Euro im Handel 30.September 2022
Neue Nvidia RTX 6000 Profi-Grafikkarte: 48 GB VRAM und 18.176 CUDA Cores 23.September 2022
Neue Plugin-Pakete für Final Cut Pro von Boris FX kosten 59 Dollar 19.September 2022
IBC 2022: Anwendungsfälle für Frame.io und Camera to Cloud 15.September 2022
Vom Rekorder direkt in die Timeline: Frame.io C2C Support für Atomos Connect 12.August 2022
Vegas Pro 20 erschienen mit einigen Verbesserungen 11.August 2022
Welche Effekte sind in Blackmagic DaVinci Resolve 18 GPU-beschleunigt? 7.August 2022
alle Newsmeldungen zum Thema Videoschnitt

Montage:

LumaFusion v3.1 Update - mobile Editing-App jetzt mit Histogramm, Vektorskop uä. 20.Juli 2022
KI revolutioniert die Photographie: Objektbasiertes Editing mit Hilfe von DALL-E 2 30.Juni 2022
Video Editing per KI läßt Objekte verschwinden und ersetzt Hintergründe 21.Januar 2022
Audio Design Desk 1.9: Echtzeit-Editing Tool für Sound-Effekte jetzt mit neuen Funktionen und Lite Version 15.Januar 2022
Magix Vegas 19 verfügbar - u.a. mit BRAW Editing und Text-to-Speech 19.August 2021
Audio Design Desk 1.7: Echtzeit-Editing Tool für SFX jetzt mit DAW Synchronisation 18.Juli 2021
Alter, Geschlecht oder Mimik eines Gesichts per KI Photo Editing ändern 4.April 2021
alle Newsmeldungen zum Thema Montage


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 1.Oktober 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*