Logo
/// News

Nvidia AI Video Compression spart Streaming-Datenrate mit künstlicher Intelligenz

[08:35 Mi,7.Oktober 2020 [e]  von ]    

Auch das kommt eigentlich nicht überraschend: Nvidia hat eine neue KI-Anwendung vorgestellt, um die DatenrateDatenrate im Glossar erklärt beim StreamingStreaming im Glossar erklärt deutlich zu reduzieren. Unter dem Schlagwort AI Video Compression reduziert Nvidia die Übertragung von StreamingStreaming im Glossar erklärt Daten auf Schlüsselpunkte im Gesicht wie Augenposition oder Mundöffnung. Aus diesen Daten plus einem vorher übertragenen Referenzbild berechnet anschließend ein GAN (Generative Adversarial Network) eine plausible Darstellung eines sprechenden Darstellers. Und das mit fließenden Bewegungen.



Gegenüber einem H.264-Strom spart dies natürlich signifikant DatenrateDatenrate im Glossar erklärt und sorgt damit indirekt für eine deutlich klarere Darstellung bei geringen Datenraten. Dafür wirkt der übertragene Stream oftmals nicht echt, sondern eher unnatürlich wie mittelmäßige DeepFakes, bei denen die Proportionen im Gesicht oft subtil verschroben wirken.

NvidiaAICodec_PIC1



Wie man im oberen Bild auch klar sehen kann, entspricht das Bild der AI-Kompression nicht dem wirklich aufgezeichneten Bild, sondern ist "nur" eine plausible Prognose, wie das Original zu diesem Zeitpunkt vielleicht auf der anderen Seite des Senders aussehen könnte.

Da nur primär Bewegungs-/Positionsdaten übertragen werden ist es mit dieser Technologie auch möglich beispielsweise den Kopf interaktiv zu drehen und so den Anwender in eine andere Richtung schauen zu lassen. Im gezeigten Fall gelingt damit von einer seitlichen Blickrichtung eine direkte Ausrichtung mit Blick in die Kamera.
Spätestens wenn ein Anwender einen Gegenstand in die Kamera hält, oder das Gesicht kurzfristig verdeckt wird, dürfte der Algorithmus ein Problem haben. Somit dürfte das ganze wahrscheinlich wirklich nur für reine "Talking Heads"-Anwendungen brauchbar sein, bei denen die persönlichen Nuancen des Gegenübers eher nebensächlich sind.

Am Rande wird von Nvidia jedoch auch noch ein Sonder-Anwendungsfall präsentiert, dem wir weitaus größeres Erfolgspotential zusprechen würden: Das Austauschen des Sprechers durch einen glaubhaft animierten Charakter.

NvidiaAICodec_PIC2



Letzteres könnte wirklich frischen Wind in viele dröge Videokonferenzen blasen...



Link mehr Informationen bei www.youtube.com

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildSony FX9 Firmware 2.01 fixt Noise-Bug in 2.0 Firmware. bildHighspeed S35 Cinecam für 10.000 Dollar - Freefly Wave


verwandte Newsmeldungen:
Streaming:

Atomos Connect: HDMI nach USB Konverter fürs Streaming 29.September 2020
Loupedeck Live: Steuerpult fürs Streaming und mehr 19.September 2020
Update für die Insta360 ONE R -- 360° Live-Streaming, Webcam-Funktion und höhere Bitraten 14.September 2020
Teradek Airmix: Live Streaming Steuerung für Teradek Encoder per App 12.September 2020
Blackmagic Design: Morgen Livestream zu neuen Kamera-Updates und Resolve 16.2.4 Update 15.Juli 2020
Kostenloses LUMIX Tether for Streaming Tool macht aus manchen Pansonic-Kameras Webcams 9.Juni 2020
Z Cam: E2 bald Live-Streaming-fähig, Preissenkungen und neue E2-M4 vorgestellt 25.Mai 2020
alle Newsmeldungen zum Thema Streaming

Codecs:

Nikon Z6II und Z7II mit Dual Card Slots und erstmalig externem Blackmagic Raw Support 14.Oktober 2020
Blackmagic DaVinci Resolve 16.3 Beta 3 bringt geringeren GPU-Speicherverbrauch und BRAW 12K für Linux 11.Oktober 2020
Neuronale Kompression zum Ausprobieren HiFiC- High-Fidelity Generative Image Compression 20.September 2020
Apple: iPad Air mit A14 Bionic CPU: Noch mehr Leistung für Echtzeit 10 Bit H.265 4:2:2 Editing? 17.September 2020
YouTube in 4K bald auch für Apple User: VP9 Codec Unterstützung in macOS und iOS kommt 12.August 2020
Blackmagic RAW 2.0 Beta 2 bringt BRAW 12K für Adobe Premiere und Avid Media Composer unter Windows 11.August 2020
Blackmagic DaVinci Resolve Update 16.3 Beta 2: Jetzt auch Unterstützung für BRAW 12K unter Windows 10.August 2020
alle Newsmeldungen zum Thema Codecs

Computer:

Adobe CC Update: Audio Transkription per KI und neue GPU-Beschleunigung für Premiere Pro 20.Oktober 2020
Apple iPhone 12 Pro mit Dolby Vision Videoaufnahme, 1.200 nits Display und LiDAR 13.Oktober 2020
Blackmagic DaVinci Resolve 16.3 Beta 3 bringt geringeren GPU-Speicherverbrauch und BRAW 12K für Linux 11.Oktober 2020
Linearisierung einfach erklärt - Computer Color is Broken... 10.Oktober 2020
AMD Zen 3 Ryzen 5000 CPUs - jetzt durch die Bank schneller als Intel 9.Oktober 2020
Minisforum H31G - Kleinster Mini-PC mit GPU 26.September 2020
Blackmagic DaVinci Resolve Update 16.2.7 bringt Unterstützung für neue Nvidia RTX 3080, RTX 3090 und RTX 3070 GPUs 17.September 2020
alle Newsmeldungen zum Thema Computer


[nach oben]

















passende Forenbeiträge zum Thema
Codecs:
Fraunhofer Institut zeigt 50% besseren HEVC Nachfolger VVC auf der // IBC 2018
Panavision: 11 neue Primo Artiste Primes für 8K DXL Kamera
mehr Beiträge zum Thema Codecs

mehr Beiträge zum Thema Streaming


Archive

2020

Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
15. August - 15. November / Düsseldorf
upfront! young european video award
30-31. Oktober / Espelkamp
Filmfestival SPITZiale
6-8. November / Freyung
Kurzfilmfest Dreiländereck
27. November / Bielefeld
31. Bilderbeben zum Thema „Abschied“
alle Termine und Einreichfristen


update am 25.Oktober 2020 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*