Logo Logo
/// News

Nvidia AI Video Compression spart Streaming-Datenrate mit künstlicher Intelligenz

[08:35 Mi,7.Oktober 2020 [e]  von ]    

Auch das kommt eigentlich nicht überraschend: Nvidia hat eine neue KI-Anwendung vorgestellt, um die Datenrate beim Streaming deutlich zu reduzieren. Unter dem Schlagwort AI Video Compression reduziert Nvidia die Übertragung von Streaming Daten auf Schlüsselpunkte im Gesicht wie Augenposition oder Mundöffnung. Aus diesen Daten plus einem vorher übertragenen Referenzbild berechnet anschließend ein GAN (Generative Adversarial Network) eine plausible Darstellung eines sprechenden Darstellers. Und das mit fließenden Bewegungen.

Gegenüber einem H.264-Strom spart dies natürlich signifikant Datenrate und sorgt damit indirekt für eine deutlich klarere Darstellung bei geringen Datenraten. Dafür wirkt der übertragene Stream oftmals nicht echt, sondern eher unnatürlich wie mittelmäßige DeepFakes, bei denen die Proportionen im Gesicht oft subtil verschroben wirken.



NvidiaAICodec_PIC1



Wie man im oberen Bild auch klar sehen kann, entspricht das Bild der AI-Kompression nicht dem wirklich aufgezeichneten Bild, sondern ist "nur" eine plausible Prognose, wie das Original zu diesem Zeitpunkt vielleicht auf der anderen Seite des Senders aussehen könnte.

Da nur primär Bewegungs-/Positionsdaten übertragen werden ist es mit dieser Technologie auch möglich beispielsweise den Kopf interaktiv zu drehen und so den Anwender in eine andere Richtung schauen zu lassen. Im gezeigten Fall gelingt damit von einer seitlichen Blickrichtung eine direkte Ausrichtung mit Blick in die Kamera.
Spätestens wenn ein Anwender einen Gegenstand in die Kamera hält, oder das Gesicht kurzfristig verdeckt wird, dürfte der Algorithmus ein Problem haben. Somit dürfte das ganze wahrscheinlich wirklich nur für reine "Talking Heads"-Anwendungen brauchbar sein, bei denen die persönlichen Nuancen des Gegenübers eher nebensächlich sind.

Am Rande wird von Nvidia jedoch auch noch ein Sonder-Anwendungsfall präsentiert, dem wir weitaus größeres Erfolgspotential zusprechen würden: Das Austauschen des Sprechers durch einen glaubhaft animierten Charakter.

NvidiaAICodec_PIC2



Letzteres könnte wirklich frischen Wind in viele dröge Videokonferenzen blasen...



Link mehr Informationen bei www.youtube.com

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildSony FX9 Firmware 2.01 fixt Noise-Bug in 2.0 Firmware. bildHighspeed S35 Cinecam für 10.000 Dollar - Freefly Wave


verwandte Newsmeldungen:
Streaming:

Blackmagic Camera 7.8 Public Beta bringt Live-Streaming für URSA Broadcast G2 3.Mai 2022
AJA HELO Plus: Professionelles H.264 Recording und duales Streaming 27.April 2022
YoloBox Mini vorgestellt: Mobiles Live-Streaming-Produktionssystem mit Touchscreen 20.April 2022
Teradek Prism Flex: H.264/H.265-Encoding/Decoding und Streaming in 4K HDR 27.März 2022
Elgato Stream Deck Pedal - Live-Streaming und Videoschnitt mit den Füßen 1.Februar 2022
Roland AeroCaster VRC-01: Drahtloser Live-Streaming Mixer für bis zu vier Smartphones 11.Januar 2022
Aputure Live-Stream mit Verlosung und Deals heute ab 19h 14.Dezember 2021
alle Newsmeldungen zum Thema Streaming

Machine Learning:

In der Dunkelheit farbig sehen: KI gibt schwarz-weißen Infrarotbildern die Farbe zurück 22.Mai 2022
Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
alle Newsmeldungen zum Thema Machine Learning

Codecs:

Adobe Premiere Pro Update 22.4 bringt 10x schnelleren 4:2:0-HEVC Export 12.Mai 2022
AJA HELO Plus: Professionelles H.264 Recording und duales Streaming 27.April 2022
Teradek Prism Flex: H.264/H.265-Encoding/Decoding und Streaming in 4K HDR 27.März 2022
Vegas Pro Update: Unterstützung von ProRes Codecs, Sprache-zu-Text (beta) 11.März 2022
Blackmagic DaVinci Resolve 17.4.4 Update bringt BRAW 2.3 und schnellere H.265 Kodierung 16.Februar 2022
Grass Valley Edius X in Version 10.30 erschienen, ua. mit neuem H.265 Software-Encoder 21.Dezember 2021
Firmware-Update bringt Blackmagic RAW Ausgabe für Panasonic GH5S und BGH1 7.November 2021
alle Newsmeldungen zum Thema Codecs


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 22.Mai 2022 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*