Logo Logo
/// News

Neue KI generiert photorealistische Bilder auf Wunsch

[10:48 So,28.März 2021 [e]  von ]    

Die neue Folge von "Two Minute Papers" stellt ein sehr interessantes neues DeepLearning Projekt vor, daß gleich auf mehrere Arten für die kreative Arbeit eingesetzt werden kann, denn es ist spezialisiert auf das Generieren hochauflösender photorealistischer Bilder.





Zwar konnte auch schon das auf Transformer-Netzwerk Algorithmen basierende GPT-3 von Open AI, ( hier einige interessante Beispiele für seine Universalität), nicht nur sinnvolle Texte, sondern per Image-GPT auch Bilder generieren, aber diese waren in der Qualität (im Gegensatz zu den Texten) mit einer maximalen Auflösung von 192x192 Pixeln noch ziemlich schlecht.



Die neue Technik, die an der Universität Heidelberg entwickelt wurde, verbessert dagegen gerade die Fähigkeiten des neuronalen Transformer Netzwerks in Bezug auf Bilder durch seine Kombination einem Convolutional Netzwerk (CNN) radikal. Sie ereicht dies, indem Bilder nicht nur als Sequenzen von Pixeln gesehen werden (wie von einem bloßen Transformer Netzwerk), sondern vor dem Training damit erst von einem CNN in visuell sinnvolle (semantische) Bildbestandteile abstrahiert werden, was im Resultat Bilder mit viel höheren Auflösungen möglich macht.

Depth-Map
Bild-Generierung per Depth Map


So kann der neue Algorithmus auf Basis des gelernten Bildmaterials sowohl aus einfachen Depth-Maps beliebige passende Bilder und 3D-Objekte erzeugen, als auch aus einer schematischen Skizze (hier Himmel, dort Wasser und Berge) photorealistische Landschaftsaufnahmen generieren, aus unscharfen Bildern per Superresolution detaillierte Versionen zaubern, Photos von Menschen generieren, die eine per Skizze vorgegebene Pose einnehmen oder die abgeschnittene Hälfte von Photos zu ergänzen.

Label-to-Image
Bild-Generierung von Landschaften per Skizze



Superresolution
Superresolution



Landscape
Landschaften ergänzt



Wie immer dokumentiert Károly Zsolnai-Fehér durch Vergleiche auch die erstaunlich schnelle Entwicklung der verschiedenen KI-Algorithmen - was vor einem Jahr noch mehr schlecht als recht möglich war, ist jetzt schon passabel und ein, zwei Projekte und Weiterentwicklungen später schon nahezu perfekt möglich. Und meist folgen auf KI-Anwendungen für Photos auch Versionen für Videos, die aufgrund der Vielzahl von Bildern und deren zeitlichen Zusammenhang zwar schwieriger zu berechnen sind, aber im Grunde nach den gleichen Prinzipien manipuliert werden können wie Photos.

Wie wir schon in unserem Artikel Schnitt- und Compositing-Trends 2030 - Videoanwendungen im nächsten Jahrzehnt spekuliert hatten, werden in Zukunft durch solche KI-Algorithmen immer intelligentere Arten des (objektbasierten)-Videoeditings möglich.

Link mehr Informationen bei www.youtube.com

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
medienonkel    15:39 am 28.3.2021
Da sind mir glatt die papers aus der Hand gefallen... ;-)
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildARRI SUP 7.0 Update Beta - ALEXA Mini LF jetzt auch mit vielen S35-Optionen bildLG 27GP850: WQHD Monitor mit 98% DCI-P3 und 180Hz


verwandte Newsmeldungen:
Machine Learning:

Nvidias KI erschafft noch realistischere Animationen von künstlichen Gesichtern 27.Juli 2021
Neue Parrot Anafi Ai Drohne kann per LTE geflogen werden 19.Juli 2021
Deep ja, Fake nein? Dokumentarfilmer läßt O-Töne von KI einsprechen 18.Juli 2021
Topaz Video Enhance AI 2.3: Neue Super-Zeitlupe per KI und Rabattaktion 2.Juli 2021
In Farbe und 4K: Pornhub restauriert über 100 Jahre alte Pornofilme per KI 11.Juni 2021
Flim: KI-basierte Filmstillsuche bekommt Intelligenz-Upgrade 4.Juni 2021
Professionelle KI-Sprecher für Jedermann? MARVEL.ai 27.Mai 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

Juli - Juni - Mai - April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000




































Specialsschraeg
1. April - 30. September / Düsseldorf
Young Film Lab
12-16. August / Weiterstadt
Open Air Filmfest Weiterstadt
15-19. September / Oldenburg
Internationales Filmfestival Oldenburg
6. Februar 2022/ Hanau
JUNG & ABGEDREHT – 10. Hanauer Jugend-Kurzfilmfestival
alle Termine und Einreichfristen


update am 29.Juli 2021 - 12:33
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*