NVIDIA hat die neue Version 1.4 seines kostenlosen Tools "Broadcast" für Livestreaming und Videokonferenzen veröffentlicht, welches jetzt per KI zwei interessante neue GPU-Effekte mitbringt, Blickkontakt und Vignette. Da App-Entwickler alle NVIDIA Broadcast Effekte via SDK in ihre eigene Software integrieren können, sind die neuen Funktionen auch (bald) in den verschiedensten Tools wie zum Beispiel OBS, Streamlabs und Elgato Camera Hub verfügbar.
Blickkontakt - der direkte Blick in die Augen
Der neue Effekt "Blickkontakt" (Eye Contact) passt in Echtzeit die Blickrichtung eines Sprechers im Video an, um den Blickkontakt mit der Kamera (und so auch dem Zuschauer) zu simulieren. Die Augen behalten ihre natürliche Farbe und ihr natürliches Blinzeln bei und es gibt sogar eine Unterbrechungsfunktion für den Fall, dass der Blick (und die Ausrichtung des Kopfes) zu weit abschweift, um noch einen simulierten realistischen Augenkontakt aufrechtzuerhalten.
Ideal ist der neue Effekt zum Beispiel, wenn der Sprechende in einem Video seinen Text von einem Skript abliest - dem Zuschauer wird dann trotzdem vorgespiegelt, daß er direkt angeschaut wird. Je nachdem wie gut das funktioniert, könnte dies den Einsatz von Telepromptern in Zukunft überflüssig machen, denn der Sprechende würde per Blickkontakt-Effekt auf Wunsch immer genau in die Kamera und so dem Betrachter scheinbar in die Augen sehen. Blickkontakt erzeugt normalerweise einen direkteren Draht vom Sprecher zum Zuschauer und ist deswegen meist wünschenswert.
Bisher ist ein ähnlicher Effekt schon in diversen Videokonferenz-Tools wie etwa Microsoft Teams und sogar Windows 11 integriert, um das inhärente Problem lösen, daß Teilnehmer aufgrund der versetzten Lage der Webcam sich nicht in die Augen, sondern an einander vorbeischauen, was höchst irritierend wirken kann. Wenn der künstliche Blickkontakt allerdings nicht gut funktioniert, dann wird es noch seltsamer.
Der neue NVIDIA Blickkontakt-Effekt scheint den Demos nach allerdings eine höhere Qualität zu besitzen (vermutlich durch die Nutzung der Leistung einer RTX GPU), könnte per SDK allerdings auch gezielt in anderen Programmen eingesetzt werden und so seine Wirkung entfalten. Noch befindet er sich allerdings in der Betaphase; NVIDIA bittet um Rückmeldungen von Usern über Situationen, in denen der Effekt nicht wie gewünscht funktioniert, um ihn weiter zu verbessern.
Vignette und mehr
Der zweite neue Effekt ist der Vignetteneffekt, welcher ein KI-simuliertes Bokeh auf die Webcam generiert - ähnlich wie in Apps wie Instagram oder anderen Videokonferenz-Tools. Darüber hinaus wurden die Effekte "Weichzeichnen", "Ersetzen" und "Entfernen des virtuellen Hintergrunds" um zeitliche Informationen erweitert, um eine bessere Segmentierung und Stabilität zu erreichen. Broadcast hat außerdem zwei der am häufigsten von der Community geforderten Funktionen integriert: die Möglichkeit, die Kamera zu spiegeln und einen Screenshot der Webcam zu machen.
Die neue Version von NVIDIA Broadcast kann ab sofort kostenlos heruntergeladen werden - Voraussetzung ist eine NVIDIA GeForce RTX Grafikkarte, mit deren Hilfe die KI-Berechnungen für die verschiedenen Effekte erfolgen. (Danke an Alex für den Hinweis)
