Und mal wieder ein KI-Paper, das man eigentlich schon vorhersehen konnte - und trotzdem staunt, dass solche Dinge nun einfach möglich sind. Diesmal geht es es darum, tanzende Menschen aus Youtube Videos in jeder Phase ihrer Bewegung von allen Seiten "schätzen" zu können. Klingt erst mal sperrig, darum am Beispiel erklärt. Nachdem sich HumanNeRF ein Video aus dem Netz angesehen hat, kann es...
a) den tanzenden Menschen im Video aus einem nahezu beliebigen Hintergrund freistellen und
b) die Kamera beliebig um das erzeugte menschliche 3D-Objekt fahren lassen.

Die KI lernt also aus einem relativ willkürlichen Tanz, wie das Objekt von allen Seiten aussieht und kann somit auch zu jedem Frame seine Vorstellung dazu rendern, wie das Objekt aus einem anderen Blickwinkel aussehen würde. Dies geht soweit, dass sogar der korrekte Faltenwurf der Kleider simuliert wird.
// Top-News auf einen Blick:
- Blackmagic DaVinci Resolve 20 Beta 2 bringt neue Funktionen und Bugfixes
- Blackmagic Camera for Android 2.1 bringt neue Features
- Neuer superschneller PoX Flash-Speicher könnte DRAM und SSDs ersetzen
- Achtung: Verpixelte Videos können wieder kenntlich gemacht werden
- KI-generierte Fake-Trailer: Wie Hollywood an der Irreführung der Zuschauer ...
- Beleuchtung für Foto und Video lernen mit kostenlosem Tool von Google
Die Qualität der erzeugten Perspektivenänderung ist sehr unterschiedlich und natürlich extrem von dem Trainingsmaterial abhängig. Allerdings liegt sie deutlich über älteren KI-Verfahren und meistens mindestens auf dem Niveau einer guten Videospiel 3D-Simulation. Und somit schon heute sicherlich brauchbar um Menschen in einer Virtuellen Umgebung im Hintergrund mitzubewegen oder im Bokeh unscharf verschwimmen zu lassen.
Im Gegensatz zu speziellen 3D-Scans gewinnt HumanNeRF seine Daten nur durch das Betrachten einer Bewegung. Es muss also nicht spezifisch getanzt werden. Der Körper sollte nur einmal von allen Seiten gesehen worden sein. Fantastische Zeiten....