Logo Logo
/// News

HumanNeRF - KI modelliert menschliche Körper

[09:41 Fr,14.Januar 2022 [e]  von ]    

Und mal wieder ein KI-Paper, das man eigentlich schon vorhersehen konnte - und trotzdem staunt, dass solche Dinge nun einfach möglich sind. Diesmal geht es es darum, tanzende Menschen aus Youtube Videos in jeder Phase ihrer Bewegung von allen Seiten "schätzen" zu können. Klingt erst mal sperrig, darum am Beispiel erklärt. Nachdem sich HumanNeRF ein Video aus dem Netz angesehen hat, kann es...

a) den tanzenden Menschen im Video aus einem nahezu beliebigen Hintergrund freistellen und
b) die Kamera beliebig um das erzeugte menschliche 3D-Objekt fahren lassen.

HumanNERF





Die KI lernt also aus einem relativ willkürlichen Tanz, wie das Objekt von allen Seiten aussieht und kann somit auch zu jedem Frame seine Vorstellung dazu rendern, wie das Objekt aus einem anderen Blickwinkel aussehen würde. Dies geht soweit, dass sogar der korrekte Faltenwurf der Kleider simuliert wird.

Im extremen Fall kann das KI-Modell sogar ein plausiblen Blick 180 Grad von hinten auf die Person "erfinden". Also eine Perspektive in der kein echtes Pixel vom Originalclip zu sehen ist. Das erstaunliche an diesem Algorithmus ist somit, dass hier ein Programm aus der Sicht einer einzigen Kamera ein Modell zur 3D-Struktur von Menschen und Kleidern gewinnen kann. Und dieses Modell anschließend auch ziemlich als beeindruckendes 3D-Modell wiedergibt.



Die Qualität der erzeugten Perspektivenänderung ist sehr unterschiedlich und natürlich extrem von dem Trainingsmaterial abhängig. Allerdings liegt sie deutlich über älteren KI-Verfahren und meistens mindestens auf dem Niveau einer guten Videospiel 3D-Simulation. Und somit schon heute sicherlich brauchbar um Menschen in einer Virtuellen Umgebung im Hintergrund mitzubewegen oder im Bokeh unscharf verschwimmen zu lassen.

Im Gegensatz zu speziellen 3D-Scans gewinnt HumanNeRF seine Daten nur durch das Betrachten einer Bewegung. Es muss also nicht spezifisch getanzt werden. Der Körper sollte nur einmal von allen Seiten gesehen worden sein. Fantastische Zeiten....

Link mehr Informationen bei grail.cs.washington.edu

  
[2 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
teichomad    10:37 am 14.1.2022
Sehr nice. Was nicht alles möglich ist.
Frank Glencairn    09:47 am 14.1.2022
3D Model mit eingebauter Motion Blur Geometrie - hmmm....
[Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildLeica M11 mit 60 MP Sensor vorgestellt: Ohne Video besser? bildAudio Design Desk 1.9: Echtzeit-Editing Tool für Sound-Effekte jetzt mit neuen Funktionen und Lite Version


verwandte Newsmeldungen:
KI:

PIKA 1.0 angekündigt - Generative KI-Videos mit erstaunlicher Qualität 29.November 2023
Der nächste Schritt ist da: KI trainiert KI (und braucht den Menschen nicht mehr) 28.November 2023
Insta360 Ace Pro - Action Cam mit 8K-Sensor, Leica Optik und viel KI 24.November 2023
Stable Video Diffusion - Freies KI-Diffusionsmodell zur Videoerzeugung vorgestellt 23.November 2023
Boris FX: Continuum bekommt KI-Funktionen - Denoiser und Upscaler 21.November 2023
Meta Emu Video / Edit - verbessert Konsistenz in generativen KI Videos 20.November 2023
Adobe-KI zerlegt Audioclip in verschiedene Spuren - Project Sound Lift 17.November 2023
alle Newsmeldungen zum Thema KI


[nach oben]

















passende Forenbeiträge zur News:

Archive

2023

Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2022
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 2.Dezember 2023 - 23:03
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*