Nvidia Broadcast App 1.3: Besseres Livestreaming und Videokonferenzen per KI

Nvidia hat für Besitzer seiner Grafikkarten eine neue Version der Broadcast-App zum kostenlosen Download bereitgestellt. Nvidia Broadcast optimiert per GPU-beschleunigter KI-Algorithmen die Sprach- und Videoübertragung von Livestreams, Voice Chats und Videokonferenzen und arbeitet zusammen mit populären Programmen wie etwa OBS Studio, Streamlabs, XSplit Broadcaster, Twitch Studio, Skype, Zoom, Microsoft Teams und Google Meet. Eingesetzt werden können in diesen Apps so KI-Effekte wie Unterdrückung von Mikrofonrauschen und Raumecho, virtuelle Hintergründe, Webcam-Auto-Framing sowie Unterdrückung von Videorauschen.

Die neue Funktion 1.3 erweitert die Unterstützung auch auf zahlreiche von Kameraherstellern im letzten Jahr veröffentlichten Tools, welche es ermöglichen, DSLRs/DSLMs als Webcams zu nutzen, wie etwa Canons EOS Webcam Utility, Nikons Webcam Utility und Sonys Imaging Edge. Außerdem soll die neue Version die VRAM Nutzung um 40% reduzieren und die Unterdrückung von Geräuschen optimieren, auch wenn laut oder besonders emotional gesprochen wird (hier filterte die KI bisher oft fälschlich auch die Stimme aus). Bereits das letzte Update 1.2 ermöglichte es, mehrere Effekte auch parallel zu nutzen.

Die Funktionen der Nvidia Broadcast App

- Rauschunterdrückung: per KI (aka DeepLearning) können automatisch Nebengeräusche - wie etwa laute Tastaturgeräusche oder eine Türklingel - aus dem Mikrofonsignal entfernt werden. Dieser Filter kann auch auf den ankommenden Ton angewendet werden.

- Entfernen von Raumecho: der Algorithmus kann für einen klareren Ton auch störendes Raumecho oder Hall herausfiltern

- Virtueller Hintergrund - diese Funktion hatte Nvidia bereits 2019 vorgestellt: per KI kann der Hintergrund des eigenen Live-Videofeeds in Echtzeit durch einen anderen (etwa eine Ersatzgrafik oder eine unaufdringliche Unschärfe) ersetzt werden

- Auto Frame: durch eine Erkennung des Gesichts passt der Algorithmus automatisch das Bild an (per Zuschneiden und Zoomen), sodass das Gesicht trotz Bewegungen immer im Zentrum bleibt

- Video-Rauschentfernung: die Funktion verbessert die Bildqualität einer Webcam und entfernt besonders das visuelle Rauschen, das bei schlechten Lichtverhältnissen oft entsteht

Nutzung der Effekte in anderen Apps

Interessant ist die Möglichkeit, die Effekte/Filter der Nvidia Broadcast App auch in anderen Programmen zu nutzen, wie etwa Adobe Premiere Pro, Adobe Audition, Notch oder Audacity:

- Livestreamer können Nvidias Rauschunterdrückung in OBS Studio 27, Streamlabs, XSplit Broadcaster 4.0 oder Gamecaster 4 gezielt für eine Audioquelle anwendet. Per Xaymars StreamFX-Plugin für OBS kann auch Nvidias Auto-Frame-Technologie genutzt werden

- Videobearbeiter und Podcaster können die Nvidia-Rauschunterdrückung als VST-Filter zu allen kompatiblen Anwendungen mit Xaymars VoiceFX hinzufügen. Dies funktioniert in Adobe Premiere Pro, Adobe Audition oder Audacity 64-bit.

- VFX-Künstler können die native Integration von virtuellem Hintergrund, Face Tracking und 3D Body Tracking in Notch nutzen

- Besitzer von AVerMedia-Mikrofonen, -Headsets oder -Kameras erhalten alle relevanten Nvidia Broadcast-Funktionen direkt in die Software des Geräts integriert. Die CamEngine und VoiceEngine Software von AVerMedia kann bereits Broadcast-Funktionen aktivieren.

Systemanforderungen

Die Systemanforderungen für Nvidias Broadcast App (Windows 10) sind allerdings recht hoch - es muss mindstens eine GeForce RTX 2060, Quadro RTX 300, Titan RTX oder ein höheres Modell verbaut sein sowie minimal eine Intel Core i5 8600 oder AMD Ryzen R5 2600 CPU mit 8 GB RAM. NVIDIA Broadcast funktioniert mit den meisten PC-Mikrofonen, Lautsprechern oder Headsets sowie Webcams. Dazu gehören die neuesten Modelle von Herstellern wie Logitech, ElGato, AverMedia, Razer, Asus, HyperX, SteelSeries, Rode, Bose und auch mit Apples Airpods.