In den letzten Jahren hat der Einsatz von Künstlicher Intelligenz (KI) bzw. Machine Learning (ML) in der Forschung riesige Sprünge gemacht. Mittlerweile gibt es kaum noch Zweifel, dass dieser neue IT-Bereich sehr viele Aspekte unseres Lebens im nächsten Jahrzehnt spürbar umkrempeln wird. Und davon ist auch die Video- und Filmbearbeitung nicht ausgeschlossen.
Bereits heute haben alle großen Hersteller KI-Engines in ihren Schnitt-, Compositing- und Grading-Systemen integriert. Allerdings als proprietäre Lösungen, die fest kompiliert in Form von speziellen Effekten abrufbar sind. The Foundry hat mit Nuke nun jedoch einen radikaleren Ansatz geöffnet und stellt für alle Interessierten eine offene Client/Server Schnittstelle für Machine Learning Projekte zur Verfügung.
Das Plugin sendet dabei als Client Frames sowie zusätzliche Parameter an einen konfigurierbaren Server, auf dem via Python die Frames angenommen werden und in gängige KI-Frameworks wie Tensorflow oder PyTorch gefüttert werden können. Auf so einem Server können dann unter anderem auch GPUs die rechenlastigen Lernalgorithmen massiv (und parallel) beschleunigt ausführen. Die berechneten Frames werden anschließend wieder an Nuke zurück geschickt. Das Plugin in Nuke verhält sich für den Anwender dabei dann wie ein normaler Effekt-Node.
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google

So können schon jetzt mit dem neuen Plugin unter anderem ein DeBlur-Algorithmus, ein Posenerkenner oder ein automatisches Maskierungs-Tool ausprobiert werden. Da die ML Frame-Server Architektur als Open Source Projekt zur Verfügung gestellt wird, wäre es auch denkbar, dass Adobe oder Blackmagic die gleiche Schnittstelle in ihre Applikationen einbinden. Wir würden es jedenfalls extrem begrüßen, wenn hier eine ähnliche Idee nicht noch zweimal in anderen Standards implementiert werden würde...