Logo Logo
/// News

Nvidia AI Video Compression spart Streaming-Datenrate mit künstlicher Intelligenz

[08:35 Mi,7.Oktober 2020 [e]  von ]    

Auch das kommt eigentlich nicht überraschend: Nvidia hat eine neue KI-Anwendung vorgestellt, um die DatenrateDatenrate im Glossar erklärt beim StreamingStreaming im Glossar erklärt deutlich zu reduzieren. Unter dem Schlagwort AI Video Compression reduziert Nvidia die Übertragung von StreamingStreaming im Glossar erklärt Daten auf Schlüsselpunkte im Gesicht wie Augenposition oder Mundöffnung. Aus diesen Daten plus einem vorher übertragenen Referenzbild berechnet anschließend ein GAN (Generative Adversarial Network) eine plausible Darstellung eines sprechenden Darstellers. Und das mit fließenden Bewegungen.



Gegenüber einem H.264-Strom spart dies natürlich signifikant DatenrateDatenrate im Glossar erklärt und sorgt damit indirekt für eine deutlich klarere Darstellung bei geringen Datenraten. Dafür wirkt der übertragene Stream oftmals nicht echt, sondern eher unnatürlich wie mittelmäßige DeepFakes, bei denen die Proportionen im Gesicht oft subtil verschroben wirken.

NvidiaAICodec_PIC1



Wie man im oberen Bild auch klar sehen kann, entspricht das Bild der AI-Kompression nicht dem wirklich aufgezeichneten Bild, sondern ist "nur" eine plausible Prognose, wie das Original zu diesem Zeitpunkt vielleicht auf der anderen Seite des Senders aussehen könnte.

Da nur primär Bewegungs-/Positionsdaten übertragen werden ist es mit dieser Technologie auch möglich beispielsweise den Kopf interaktiv zu drehen und so den Anwender in eine andere Richtung schauen zu lassen. Im gezeigten Fall gelingt damit von einer seitlichen Blickrichtung eine direkte Ausrichtung mit Blick in die Kamera.
Spätestens wenn ein Anwender einen Gegenstand in die Kamera hält, oder das Gesicht kurzfristig verdeckt wird, dürfte der Algorithmus ein Problem haben. Somit dürfte das ganze wahrscheinlich wirklich nur für reine "Talking Heads"-Anwendungen brauchbar sein, bei denen die persönlichen Nuancen des Gegenübers eher nebensächlich sind.

Am Rande wird von Nvidia jedoch auch noch ein Sonder-Anwendungsfall präsentiert, dem wir weitaus größeres Erfolgspotential zusprechen würden: Das Austauschen des Sprechers durch einen glaubhaft animierten Charakter.

NvidiaAICodec_PIC2



Letzteres könnte wirklich frischen Wind in viele dröge Videokonferenzen blasen...



Link mehr Informationen bei www.youtube.com

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildSony FX9 Firmware 2.01 fixt Noise-Bug in 2.0 Firmware. bildHighspeed S35 Cinecam für 10.000 Dollar - Freefly Wave


verwandte Newsmeldungen:
Streaming:

Z CAM IPMAN Ambr: Live-Streaming mit 5.5" Touchscreen und zwei HDMI Eingängen 13.Oktober 2021
DJI Fly App 1.4.12 Update bringt Live-Streaming und Video-Cache für DJI Mini und Mavic 11.Oktober 2021
Roland V-02HD MK II Streaming Video Mixer vorgestellt 19.September 2021
Blackmagic Web Presenter 4K: UltraHD-Live-Streaming von SDI über USB, Ethernet oder Mobilfunk 30.Juli 2021
Kleine Sony ZV-E10 Systemkamera mit APS-C Sensor und Webcam-/Streaming-Funktion vorgestellt 27.Juli 2021
Abaton Kino startet Streaming-Kanal 12.Juni 2021
Nicht nur wegen Corona: Mehr Streaming-Anbieter, mehr Abos - und mehr illegale Downloads 8.Juni 2021
alle Newsmeldungen zum Thema Streaming

Machine Learning:

fylm.ai: Professionelles KI-gestütztes Color Grading im Browser 16.Oktober 2021
KI lernt kämpfen - und synthetisiert neue Martial Arts Moves 10.Oktober 2021
KI trennt Musik in separate Gesangs- und Begleitmusik-Tonspuren 20.September 2021
Perfekt für Musikvideos: Räumliches, objektbasiertes Videoediting per KI und 16 Kameras 19.September 2021
Nvidia Broadcast App 1.3: Besseres Livestreaming und Videokonferenzen per KI 6.September 2021
Omnimatte: Nahezu perfekte Masken bewegter Objekte per KI 27.August 2021
Per DeepFake selbst im Filmtrailer von "Reminiscene" mit Hugh Jackman mitspielen 22.August 2021
alle Newsmeldungen zum Thema Machine Learning

Codecs:

Panasonic Firmware-Update bringt Blackmagic RAW für GH5S und BGH1 8.Oktober 2021
Neues von Fujifilm -- Support für BRAW angekündigt sowie ua. FUJIFILM X-T30 II 2.September 2021
Magix Vegas 19 verfügbar - u.a. mit BRAW Editing und Text-to-Speech 19.August 2021
Neue Blackmagic HyperDeck Studio Rekorder nehmen H.264-, ProRes- und DNx auf 30.Juli 2021
Neue Firmware für Panasonic S1H, S1R, S1, S5 bringt Support für BRAW und DJIs Active Track mit Ronin Gimbals 13.Juli 2021
Blackmagic DaVinci Resolve 17.2.2 bringt BRAW 2.1 Support sowie weitere Verbesserungen 6.Juli 2021
Blackmagic RAW 2.1 verfügbar - mit Verbesserungen für Premiere Pro und M1-Macs 24.Juni 2021
alle Newsmeldungen zum Thema Codecs


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 16.Oktober 2021 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*