[15:14 Fr,21.Juni 2019 [e] von Thomas Richter] |
Die Resultate des neuen Deep Learning Algorithmus Photo Wake-Up erinnern an die magischen Bilder in Harry Potter, denn er erweckt Figuren aus Bildern oder Photos per 3D Animation zum Leben. Per Augmented Reality oder VR kann die Figur sogar dreidimensional aus dem Bild heraustreten und dem Zuschauer entgegenkommen. Die Methode benötigt nur ein einziges Bild, um darin vorkommende Charaktere - egal ob realistisch oder abstrakt dargestellt - exakt aus der Umgebung herauszuschneiden und relativ realistisch zu animieren. So können einfach Gestalten aus Photos, Gemälden, Zeichnung oder auch Graffitis animiert werden. Voraussetzung: die ganze Figur muß von Kopf bis Fuß von vorne zu sehen sein.
Eine besondere Herausforderung stellt dabei die Haltung dar: aus einem 2D-Abbild muß für eine realistische Animation die Stellung der Figur im Raum erschlossen werden, auch wenn etwa ein Körperteil einen anderen verdeckt - die neue Methode kann das ziemlich gut, zumindest wenn nicht allzuviel vom Körper verdeckt ist. Der Algorithmus mappt zuerst die Gliedmaßen des menschlichen Körper auf die Figur im Bild und projiziert die Figur auf ein 3D-Mesh. Das Mesh kann dann animiert werden, um das Foto oder Gemälde zum Leben zu erwecken. Die Figur kann (auf Wunsch auch interaktiv) gehen, hüpfen oder winken, doch der Algorithmus erledigt neben der komplexen Animation auch eine weitere Aufgabe: der leere Hintergrund an der Stelle, wo die Gestalt im Bild zu sehen war, muss extrapoliert und gefüllt werden. Grade für AR/VR bietet sich der Algorithmus an, um die virtuellen Räume simpel mit animierten Gestalten zu beleben. Mit dem Algorithmus eröffnet sich in Zukunft eine einfache Quelle für animierte Charaktere - ein Bild reicht als Grundlage aus. Eine weitere einfache Anwendungsmöglichkeit bietet die realistische nachträgliche Änderung der Pose einer Figur auf einem Bild. Der Phantasie sind keine Grenzen gesetzt, wenn man sich vorstellt, wie die Methode in Zukunft - dann in eine App gegossen - wohl angewendet werden wird. ;) Die Methode detailliert dargestellt Bild zur Newsmeldung:
 mehr Informationen bei grail.cs.washington.edu |
;)
 |
|
|
Ist HDR10+ eine reine Luftnummer?
Retro in HD - YouTube und Universal remastern Musikvideo-Klassiker
