Logo Logo
/// News

Nvidia AI Video Compression spart Streaming-Datenrate mit künstlicher Intelligenz

[08:35 Mi,7.Oktober 2020 [e]  von ]    

Auch das kommt eigentlich nicht überraschend: Nvidia hat eine neue KI-Anwendung vorgestellt, um die Datenrate beim Streaming deutlich zu reduzieren. Unter dem Schlagwort AI Video Compression reduziert Nvidia die Übertragung von Streaming Daten auf Schlüsselpunkte im Gesicht wie Augenposition oder Mundöffnung. Aus diesen Daten plus einem vorher übertragenen Referenzbild berechnet anschließend ein GAN (Generative Adversarial Network) eine plausible Darstellung eines sprechenden Darstellers. Und das mit fließenden Bewegungen.

Gegenüber einem H.264-Strom spart dies natürlich signifikant Datenrate und sorgt damit indirekt für eine deutlich klarere Darstellung bei geringen Datenraten. Dafür wirkt der übertragene Stream oftmals nicht echt, sondern eher unnatürlich wie mittelmäßige DeepFakes, bei denen die Proportionen im Gesicht oft subtil verschroben wirken.



NvidiaAICodec_PIC1



Wie man im oberen Bild auch klar sehen kann, entspricht das Bild der AI-Kompression nicht dem wirklich aufgezeichneten Bild, sondern ist "nur" eine plausible Prognose, wie das Original zu diesem Zeitpunkt vielleicht auf der anderen Seite des Senders aussehen könnte.

Da nur primär Bewegungs-/Positionsdaten übertragen werden ist es mit dieser Technologie auch möglich beispielsweise den Kopf interaktiv zu drehen und so den Anwender in eine andere Richtung schauen zu lassen. Im gezeigten Fall gelingt damit von einer seitlichen Blickrichtung eine direkte Ausrichtung mit Blick in die Kamera.
Spätestens wenn ein Anwender einen Gegenstand in die Kamera hält, oder das Gesicht kurzfristig verdeckt wird, dürfte der Algorithmus ein Problem haben. Somit dürfte das ganze wahrscheinlich wirklich nur für reine "Talking Heads"-Anwendungen brauchbar sein, bei denen die persönlichen Nuancen des Gegenübers eher nebensächlich sind.

Am Rande wird von Nvidia jedoch auch noch ein Sonder-Anwendungsfall präsentiert, dem wir weitaus größeres Erfolgspotential zusprechen würden: Das Austauschen des Sprechers durch einen glaubhaft animierten Charakter.

NvidiaAICodec_PIC2



Letzteres könnte wirklich frischen Wind in viele dröge Videokonferenzen blasen...



Link mehr Informationen bei www.youtube.com

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildSony FX9 Firmware 2.01 fixt Noise-Bug in 2.0 Firmware. bildHighspeed S35 Cinecam für 10.000 Dollar - Freefly Wave


verwandte Newsmeldungen:
Streaming:

RØDE Streamer X, RØDECaster Duo: kompakte Streaming-/Podcast-Konsolen vorgestellt 18.April 2023
Accsoon SeeMo Pro SDI - macht iPhone/iPad zu 1080p60 SDI-Streaming Monitor-Recorder 16.April 2023
AMD Alveo MA35D: FPGA-Beschleuniger für AV1-, H.265- und H.264-Codecs 12.April 2023
Blackmagic ATEM Television Studio HD8: Neuer All-in-one-Live-Produktionsmischer 24.Februar 2023
Neue Blackmagic Studio Camera 6K Pro mit Super35-Sensor, EF-Mount und Live-Streaming 24.Februar 2023
Loupedeck Live S: Frei konfigurierbares Bedienpult fürs Streaming und mehr 2.Dezember 2022
Canon bringt das EOS Webcam Utility in den USA als Pro Version im Abo 15.November 2022
alle Newsmeldungen zum Thema Streaming

KI:

AMDs neue Adrenalin Treiber 23.5.1 verdoppeln Rechenleistung in Stable Diffusion 3.Juni 2023
KI-Drohne des US Militärs tötet Operator, um effektiver töten zu können - in Simulation 2.Juni 2023
Japan und Israel mit liberalen Copyright Positionen beim KI-Training 2.Juni 2023
Roll - virtuelles KI-Ministudio für Interviews (iPhone und Web) 1.Juni 2023
Making of - So entstehen die viralen Wes Anderson KI-Videos 29.Mai 2023
Microsoft Olive: Neues kostenloses Tool verdoppelt Performance von Stable Diffusion 24.Mai 2023
Adobe Generative Fill - KI-Bildergänzung in Photoshop, einfach für jedermann! 23.Mai 2023
alle Newsmeldungen zum Thema KI

Codecs:

Panasonic S5IIX (DC-S5M2X) Ende Mai verfügbar- mit Blackmagic RAW Ausgabe 9.Mai 2023
AMD Alveo MA35D: FPGA-Beschleuniger für AV1-, H.265- und H.264-Codecs 12.April 2023
Blackmagic: Camera Update 8.0 und neue Empfehlungen für USB-C SSDs für BRAW-Aufnahme 3.März 2023
Chrome, Firefox und VLC profitieren: FFmpeg 6.0 bringt u.a. AV1-Decoding per GPU 1.März 2023
BRAW Toolbox - Blackmagic RAW Import in FCPX ab Montag verfügbar 27.Januar 2023
Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3 21.November 2022
BRAW Toolbox erlaubt nativen Blackmagic RAW File Import unter Final Cut Pro 1.November 2022
alle Newsmeldungen zum Thema Codecs


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Juni - Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 4.Juni 2023 - 12:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*