Nvidia hat die neueste Version seiner Broadcast-App veröffentlicht, deren zwei neue Features – Studio Voice und Virtual Key Light – zum einen den Ton von Mikrofonen, zum anderen auch das Bild von Webcams verbessern; letzteres geschieht per virtueller Beleuchtung. Zudem bringt das Update auch Optimierungen bestehender Effekte sowie eine überarbeitete Benutzeroberfläche mit.
Das Schöne ist, dass die per (Nvidia) GPU beschleunigten KI-Funktionen der Broadcast-App in allen Programmen genutzt werden können, die eine Webcam samt Mikrofon für den Input nutzen, wie zum Beispiel OBS Studio, Streamlabs, XSplit Broadcaster, Twitch Studio, Skype, Zoom, Microsoft Teams und Google Meet. Nvidia Broadcast wird dort einfach in Form eines virtuellen Geräts eingebunden.
Studio Voice und Virtual Key Light
Die neue Studio Voice-Funktion verbessert den Klang eines einfachen Mikrofons, wie zum Beispiel das Mikro einer Webcam – Nvidia zufolge sollen sich Sprachaufnahmen so anhören, als wären sie mit einem hochwertigen Studiomikrofon aufgenommen.
Die Virtual Key Light-Funktion soll für eine nachträgliche, gleichmäßige Ausleuchtung der aufgenommenen Person sorgen, so als ob tatsächlich ein echtes Key Light, also ein auf die Person gerichtetes Hauptlicht, genutzt würde, um die Form und Tiefe des Bildes hervorzuheben. The Verge hat die beiden neuen Features ausprobiert.
Weitere Verbesserungen
Die neue Version der Broadcast-App verbessert zudem einige der bisher schon angebotenen KI-Funktionen, wie zum Beispiel die Sprachqualität per Hintergrundgeräuschunterdrückung, und will mittels kleiner, zufälliger Augenbewegungen für eine natürlichere Darstellung in der Eye Contact-Funktion sorgen. Zudem wird die Trennung von Vorder- und Hintergrund bei der Verwendung virtueller Hintergründe verbessert.
Die Benutzeroberfläche der NVIDIA Broadcast-App wurde grundlegend überarbeitet und ermöglicht es jetzt, mehr Effekte gleichzeitig anzuwenden und bietet auch eine side-by-side Kamera-Vorschau, eine GPU-Auslastungsanzeige und mehr.
Die KI-Funktionen der Broadcast-App 2.0.0
Damit umfasst die Palette der per Broadcast-App 2.0.0 möglichen KI-Effekte für Live-Webcam-Bilder jetzt folgende Funktionen:
- Rauschunterdrückung: per KI (aka DeepLearning) können automatisch Nebengeräusche - wie etwa laute Tastaturgeräusche oder eine Türklingel - aus dem Mikrofonsignal entfernt werden. Dieser Filter kann auch auf den ankommenden Ton angewendet werden.
- Entfernen von Raumecho: der Algorithmus kann für einen klareren Ton auch störendes Raumecho oder Hall herausfiltern
- Verbesserung des Mikrofontons per Studio Voice
- Virtueller Hintergrund - diese Funktion hatte Nvidia bereits 2019 vorgestellt: per KI kann der Hintergrund des eigenen Live-Videofeeds in Echtzeit durch einen anderen (etwa eine Ersatzgrafik oder eine unaufdringliche Unschärfe) ersetzt werden
- Auto Frame: durch eine Erkennung des Gesichts passt der Algorithmus automatisch das Bild an (per Zuschneiden und Zoomen), sodass das Gesicht trotz Bewegungen immer im Zentrum bleibt
- Video-Rauschentfernung: die Funktion verbessert die Bildqualität einer Webcam und entfernt besonders das visuelle Rauschen, das bei schlechten Lichtverhältnissen oft entsteht
- Virtual Key Light: nachträgliche Setzung eines Key Lights
- Eye Contact - die nachträgliche Änderung der Blickrichtung der Augen, damit diese scheinbar immer direkt den Betrachter ansehen.
Nvidia will durch diese Funktionalität seine Highend-Grafikkarten auch für andere, alltäglichere Anwendungen als Games, Videobearbeitung oder KI für Anwender schmackhaft machen, indem deren enorme Rechenleistung genutzt wird, um einfache Webcam-Setups nachträglich so aufzuwerten, dass diese (semi-)professionelle Qualität erreichen.
Beide neuen Effekte sind noch in der Beta und erfordern mindestens eine Nvidia GeForce RTX 4080 oder 5080 GPU oder höher. Sie sollten nicht gleichzeitig zusammen mit CPU-lastigen Programmen wie etwa Spielen ausgeführt werden. Nvidia Broadcast kann mit Hilfe von Tools wie Canons EOS Webcam Utility, Nikons Webcam Utility und Sonys Imaging Edge auch zusammen mit professionellen DSLRs/DSLMs genutzt werden, wenn diese als Webcam genutzt werden.
