Wir berichteten im September bereits auf slashCAM von einem KI-Modell, das aus einem Einzelbild (!!) eine 3D Ken Burns Animation erstellen kann.
Hierbei werden diverse Technologien kombiniert und teilweise optimiert. Unter anderem wird die Z-Tiefenschätzung mit einer Objekt Separation zusammengefasst um definierte Kanten zu erhalten und Objekte nicht in der Tiefe "zerreißen" zu lassen. Ebenso hilft die KI dabei, fehlende Bildinhalte, die hinter Objekten in der Bewegung freigelegt werden, schlüssig zu ergänzen.
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Bisher gab es nur ein Paper von Simon Niklaus, welches das Modell beschreibt. Da die Forschung u.a. mit Adobe erfolgte, waren noch einige Genehmigungen einzuholen, bevor er auch den Sourcecode freigeben konnte. Letzteres ist nun vor vier Stunden auf Github passiert.
Wer also Lust hat mal eigene 3D Ken Burns Effekte von Einzelbildern zu erzeugen (und weiß wie man Python Umgebungen einrichtet) der findet ab sofort das gesamte PyTorch Projekt zum 3D-Ken Burns Paper auf GitHub. Schöne Sache…
