Nvidia AI Video Compression spart Streaming-Datenrate mit künstlicher Intelligenz

Auch das kommt eigentlich nicht überraschend: Nvidia hat eine neue KI-Anwendung vorgestellt, um die Datenrate beim Streaming deutlich zu reduzieren. Unter dem Schlagwort AI Video Compression reduziert Nvidia die Übertragung von Streaming Daten auf Schlüsselpunkte im Gesicht wie Augenposition oder Mundöffnung. Aus diesen Daten plus einem vorher übertragenen Referenzbild berechnet anschließend ein GAN (Generative Adversarial Network) eine plausible Darstellung eines sprechenden Darstellers. Und das mit fließenden Bewegungen.

Gegenüber einem H.264-Strom spart dies natürlich signifikant Datenrate und sorgt damit indirekt für eine deutlich klarere Darstellung bei geringen Datenraten. Dafür wirkt der übertragene Stream oftmals nicht echt, sondern eher unnatürlich wie mittelmäßige DeepFakes, bei denen die Proportionen im Gesicht oft subtil verschroben wirken.

Wie man im oberen Bild auch klar sehen kann, entspricht das Bild der AI-Kompression nicht dem wirklich aufgezeichneten Bild, sondern ist "nur" eine plausible Prognose, wie das Original zu diesem Zeitpunkt vielleicht auf der anderen Seite des Senders aussehen könnte.

Da nur primär Bewegungs-/Positionsdaten übertragen werden ist es mit dieser Technologie auch möglich beispielsweise den Kopf interaktiv zu drehen und so den Anwender in eine andere Richtung schauen zu lassen. Im gezeigten Fall gelingt damit von einer seitlichen Blickrichtung eine direkte Ausrichtung mit Blick in die Kamera.

Spätestens wenn ein Anwender einen Gegenstand in die Kamera hält, oder das Gesicht kurzfristig verdeckt wird, dürfte der Algorithmus ein Problem haben. Somit dürfte das ganze wahrscheinlich wirklich nur für reine "Talking Heads"-Anwendungen brauchbar sein, bei denen die persönlichen Nuancen des Gegenübers eher nebensächlich sind.

Am Rande wird von Nvidia jedoch auch noch ein Sonder-Anwendungsfall präsentiert, dem wir weitaus größeres Erfolgspotential zusprechen würden: Das Austauschen des Sprechers durch einen glaubhaft animierten Charakter.

Letzteres könnte wirklich frischen Wind in viele dröge Videokonferenzen blasen...