Logo Logo
/// News

Nvidia AI Video Compression spart Streaming-Datenrate mit künstlicher Intelligenz

[08:35 Mi,7.Oktober 2020 [e]  von ]    

Auch das kommt eigentlich nicht überraschend: Nvidia hat eine neue KI-Anwendung vorgestellt, um die DatenrateDatenrate im Glossar erklärt beim StreamingStreaming im Glossar erklärt deutlich zu reduzieren. Unter dem Schlagwort AI Video Compression reduziert Nvidia die Übertragung von StreamingStreaming im Glossar erklärt Daten auf Schlüsselpunkte im Gesicht wie Augenposition oder Mundöffnung. Aus diesen Daten plus einem vorher übertragenen Referenzbild berechnet anschließend ein GAN (Generative Adversarial Network) eine plausible Darstellung eines sprechenden Darstellers. Und das mit fließenden Bewegungen.



Gegenüber einem H.264-Strom spart dies natürlich signifikant DatenrateDatenrate im Glossar erklärt und sorgt damit indirekt für eine deutlich klarere Darstellung bei geringen Datenraten. Dafür wirkt der übertragene Stream oftmals nicht echt, sondern eher unnatürlich wie mittelmäßige DeepFakes, bei denen die Proportionen im Gesicht oft subtil verschroben wirken.

NvidiaAICodec_PIC1



Wie man im oberen Bild auch klar sehen kann, entspricht das Bild der AI-Kompression nicht dem wirklich aufgezeichneten Bild, sondern ist "nur" eine plausible Prognose, wie das Original zu diesem Zeitpunkt vielleicht auf der anderen Seite des Senders aussehen könnte.

Da nur primär Bewegungs-/Positionsdaten übertragen werden ist es mit dieser Technologie auch möglich beispielsweise den Kopf interaktiv zu drehen und so den Anwender in eine andere Richtung schauen zu lassen. Im gezeigten Fall gelingt damit von einer seitlichen Blickrichtung eine direkte Ausrichtung mit Blick in die Kamera.
Spätestens wenn ein Anwender einen Gegenstand in die Kamera hält, oder das Gesicht kurzfristig verdeckt wird, dürfte der Algorithmus ein Problem haben. Somit dürfte das ganze wahrscheinlich wirklich nur für reine "Talking Heads"-Anwendungen brauchbar sein, bei denen die persönlichen Nuancen des Gegenübers eher nebensächlich sind.

Am Rande wird von Nvidia jedoch auch noch ein Sonder-Anwendungsfall präsentiert, dem wir weitaus größeres Erfolgspotential zusprechen würden: Das Austauschen des Sprechers durch einen glaubhaft animierten Charakter.

NvidiaAICodec_PIC2



Letzteres könnte wirklich frischen Wind in viele dröge Videokonferenzen blasen...



Link mehr Informationen bei www.youtube.com

  
[noch keine Leserkommentare] [Kommentar schreiben]   

  Vorige News lesen Nächste News lesen 
bildSony FX9 Firmware 2.01 fixt Noise-Bug in 2.0 Firmware. bildHighspeed S35 Cinecam für 10.000 Dollar - Freefly Wave


verwandte Newsmeldungen:
Streaming:

Abaton Kino startet Streaming-Kanal 12.Juni 2021
Nicht nur wegen Corona: Mehr Streaming-Anbieter, mehr Abos - und mehr illegale Downloads 8.Juni 2021
Neue Firmware für Panasonic CX350, CX10 und CX4000GJ Kameras bringt u.a. AVC-Proxys und 4K-Streaming 27.April 2021
RØDE Connect: Kostenloses Podcast- und Streaming-Tool für bis zu vier NT-USB Mini Mikros 17.April 2021
AnkerWork PowerConf C300 - Smarte HD-Webcam mit integrierter KI-Unterstützung 13.April 2021
Vegas Stream:Neue Live-Streaming Software mit Integration in Vegas Pro 5.März 2021
Neu: Blackmagic Web Presenter HD - Live-Streaming per USB, Ethernet oder Mobilfunk für SDI-Kameras 19.Februar 2021
alle Newsmeldungen zum Thema Streaming

Machine Learning:

In Farbe und 4K: Pornhub restauriert über 100 Jahre alte Pornofilme per KI 11.Juni 2021
Flim: KI-basierte Filmstillsuche bekommt Intelligenz-Upgrade 4.Juni 2021
Professionelle KI-Sprecher für Jedermann? MARVEL.ai 27.Mai 2021
Visuelles Dubbing per KI macht jeden Schauspieler zum Mehrfach-Muttersprachler 25.Mai 2021
Bald leisere Drohnen durch neues KI-gestütztes Rotoren-Design? 2.Mai 2021
Colourlab Ai 1.2: Neues Kameraprofil-Tool und neue Formate 30.April 2021
Dynascore Musik-Engine -- KI passt Musikstücke an Videoprojekte an 19.April 2021
alle Newsmeldungen zum Thema Machine Learning

Codecs:

Leica SL2-S mit verbessertem Video-AF und interner 4K 10 Bit 60p Aufnahme (H.265) 7.Mai 2021
Atomos bringt neue Ninja-Optionen mit 4K120p, 8Kp30 und HEVC /H.265 28.April 2021
Firmware-Feuerwerk bei Panasonic - u.a. BRAW für S1H und internes 6K MOV für S1 18.März 2021
Blackmagic RAW für Nikon Z6 II und Z7 II ist da (- via BMD Video Assist) 12.März 2021
Resolve Studio 17.1 ist final: Support für Apple M1 und H.265 Hardware En- und Dekodierung 10.März 2021
Resolve Studio 17.1 Public Beta 10 mit Intel H.265-10Bit 4:2:2 Hardwareunterstützung 26.Februar 2021
Nikon Z6/Z7 II-Kameras - Neue Firmware, neues Movie Kit und Blackmagic RAW 18.Februar 2021
alle Newsmeldungen zum Thema Codecs


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
1. April - 30. September / Düsseldorf
Young Film Lab
9-20. Juni / Berlin
Berlinale Summer Special
19-30. Juni / Düsseldorf
24h to take
1-10. Juli / München
Filmfest München
alle Termine und Einreichfristen


update am 14.Juni 2021 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*