Logo Logo
/// News

KI statt Greenscreen: Videohintergründe per Kommandozeile ändern

[22:37 Sa,13.August 2022 [e]  von ]    

Wir hatten ja schon berichtet über den KI-gestützen Bildgenerator DALL-E 2 und darüber, daß es nur noch eine Frage der Zeit ist, bis ähnliches auch für Videos verfügbar ist. Nun ist es bald so weit - früher als gedacht: Der Heidelberger KI Forscher Patrick Esser hat auf Twitter eine Demonstration davon gezeigt, was bald an textbasiertem Editing von Video möglich sein wird im Rahmen des Online Video Editors Runway, bei dem Esser arbeitet. In einem kleinen Clip mit einem Tennisspieler wird gezeigt, wie der Hintergrund des Tennisplatzes nur mittels unterschiedlicher Textprompts dynamisch geändert wird. Der Algorithmus beruht auf dem bildgenerierenden DeepLearning Netzwerk Stable Diffusion, das bald auch kostenlos auf Heim PCs verfügbar sein wird.


Tennis-court-duo
Tennisplatz Original und auf dem Mond


So wird der Untergrund des Tennisplatzes etwa zu einem Strand oder das Match findet auf dem Mond oder in einer Phantasielandschaft statt. Im Democlip scheint das dynamische Freistellen des Tennisspielers samt Schatten und Ball in Echtzeit zu erfolgen, inklusive Tracking der Bewegung, um den Hintergrund korrekt zu bewegen, sowie der Generierung eines neuen Hintergrundes. Wie gut die Bildqualität letztendlich sein wird, kann aufgrund der recht niedrigen Qualität des Clips noch nicht beurteilt werden, aber wenn die Funktion erst einmal umgesetzt ist, lassen sich durch Optimierung des Algorithmus und mehr Rechenpower verschiedene Aspekte des Algorithmus auch recht einfach verbessern.



Diese Demo zeigt ein noch recht frühes Stadium von auf Machine Learning basierenden Funktionen - es scheint nur der Hintergrund auswechselbar zu sein -, aber sie zeigt schon eindrücklich, welch mächtige Funktionen schon bald durch das objektbasierte Editieren/Generieren von Videos (sei es wie hier mit Textkommandos oder auch durch Skizzen) möglich sein wird.

Tennis-court-beach
Tennisplatz auf dem Strand


Der kollaborative Online-Videoeditor Runway bietet schon jetzt einige interessante KI Funktionen wie das intelligente Entfernen oder Maskieren von Objekten. Wir sind gespannt, wann die hier gezeigte, neue Funktionalität verfügbar sein wird.

Link mehr Informationen bei twitter.com

  
[5 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
SamSuffy    09:11 am 17.8.2022
Ja, aber bei den KI's hier im Forum bestehen die meisten den Turing-Test nicht ;) :) :) :)
carstenkurz    02:35 am 16.8.2022
Ist doch schon längst so.
MK    00:23 am 16.8.2022
Und schreiben Beiträge in Foren.
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildNeue Intel Arc Pro Desktop GPUs für Workstations - bahnt sich Konkurrenz für Nvidia und AMD an? bildSeagate kündigt 30 TB Festplatten für 2023 an, 50 TB und mehr sollen 2026 kommen


verwandte Newsmeldungen:
Keying:

Netflix - besseres Keying mit Magenta-Greenscreen? 12.Juli 2023
Drei Greenscreen-Lichtsetups für eine Netflix-Trailer Produktion erklärt 18.Juni 2023
IBC 2022: Blackmagic`s neue Ultimatte 12 Keyer im slashCAM Videoüberblick 12.September 2022
Blackmagic Design Ultimatte 12: Echtzeit-Compositing und Chroma Keying 9.September 2022
Manfrotto Hintergrund-Kit Chroma Key FX: Transportabler Green-/Bluescreen mit großer Fläche 15.Oktober 2020
Nvidia zeigt Echtzeit Greenscreen Keyer ohne Greenscreen sowie Facetracker 13.Oktober 2019
DeckLink und Ultrastudio ermöglichen Live-Keying mit Adobe Character Animator 31.Mai 2019
alle Newsmeldungen zum Thema Keying

KI:

YouTube: neue Editing-App verfügbar - und bald kommen die Video-KI-Tools 22.September 2023
DALL-E 3 ist da und generiert exaktere KI-Bilder inkl. Text dank ChatGPT-Integration 21.September 2023
Videoclip: Adobe Premiere Pro erklärt: Mit KI Pausen und Füllwörter schnell entfernen u.v.m. 19.September 2023
Adobe führt Credit-basiertes Modell für generative KI ein (und die Creative Cloud wird teurer) 18.September 2023
Aus Text wird nun auch Audio: Stable Audio generiert Musik und Soundeffekte per KI 18.September 2023
Grass Valley kündigt EDIUS 11 an mit KI-Funktionen, neuem Audio Editor und mehr 15.September 2023
Premiere Pro, After Effects und Frame.io - Mehr KI, 3D-Workspace und AWS-Cloud 13.September 2023
alle Newsmeldungen zum Thema KI


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

September - August - Juli - Juni - Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 23.September 2023 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*