Logo Logo
/// News

Neue KI generiert photorealistische Bilder auf Wunsch

[10:48 So,28.März 2021 [e]  von ]    

Die neue Folge von "Two Minute Papers" stellt ein sehr interessantes neues DeepLearning Projekt vor, daß gleich auf mehrere Arten für die kreative Arbeit eingesetzt werden kann, denn es ist spezialisiert auf das Generieren hochauflösender photorealistischer Bilder.





Zwar konnte auch schon das auf Transformer-Netzwerk Algorithmen basierende GPT-3 von Open AI, ( hier einige interessante Beispiele für seine Universalität), nicht nur sinnvolle Texte, sondern per Image-GPT auch Bilder generieren, aber diese waren in der Qualität (im Gegensatz zu den Texten) mit einer maximalen Auflösung von 192x192 Pixeln noch ziemlich schlecht.



Die neue Technik, die an der Universität Heidelberg entwickelt wurde, verbessert dagegen gerade die Fähigkeiten des neuronalen Transformer Netzwerks in Bezug auf Bilder durch seine Kombination einem Convolutional Netzwerk (CNN) radikal. Sie ereicht dies, indem Bilder nicht nur als Sequenzen von Pixeln gesehen werden (wie von einem bloßen Transformer Netzwerk), sondern vor dem Training damit erst von einem CNN in visuell sinnvolle (semantische) Bildbestandteile abstrahiert werden, was im Resultat Bilder mit viel höheren Auflösungen möglich macht.

Depth-Map
Bild-Generierung per Depth Map


So kann der neue Algorithmus auf Basis des gelernten Bildmaterials sowohl aus einfachen Depth-Maps beliebige passende Bilder und 3D-Objekte erzeugen, als auch aus einer schematischen Skizze (hier Himmel, dort Wasser und Berge) photorealistische Landschaftsaufnahmen generieren, aus unscharfen Bildern per Superresolution detaillierte Versionen zaubern, Photos von Menschen generieren, die eine per Skizze vorgegebene Pose einnehmen oder die abgeschnittene Hälfte von Photos zu ergänzen.

Label-to-Image
Bild-Generierung von Landschaften per Skizze



Superresolution
Superresolution



Landscape
Landschaften ergänzt



Wie immer dokumentiert Károly Zsolnai-Fehér durch Vergleiche auch die erstaunlich schnelle Entwicklung der verschiedenen KI-Algorithmen - was vor einem Jahr noch mehr schlecht als recht möglich war, ist jetzt schon passabel und ein, zwei Projekte und Weiterentwicklungen später schon nahezu perfekt möglich. Und meist folgen auf KI-Anwendungen für Photos auch Versionen für Videos, die aufgrund der Vielzahl von Bildern und deren zeitlichen Zusammenhang zwar schwieriger zu berechnen sind, aber im Grunde nach den gleichen Prinzipien manipuliert werden können wie Photos.

Wie wir schon in unserem Artikel Schnitt- und Compositing-Trends 2030 - Videoanwendungen im nächsten Jahrzehnt spekuliert hatten, werden in Zukunft durch solche KI-Algorithmen immer intelligentere Arten des (objektbasierten)-Videoeditings möglich.

Link mehr Informationen bei www.youtube.com

  
[1 Leserkommentar] [Kommentar schreiben]   Letzter Kommentar:
medienonkel    15:39 am 28.3.2021
Da sind mir glatt die papers aus der Hand gefallen... ;-)
[Kommentar ganz lesen]

  Vorige News lesen Nächste News lesen 
bildARRI SUP 7.0 Update Beta - ALEXA Mini LF jetzt auch mit vielen S35-Optionen bildLG 27GP850: WQHD Monitor mit 98% DCI-P3 und 180Hz


verwandte Newsmeldungen:
Machine Learning:

Alter, Geschlecht oder Mimik eines Gesichts per KI Photo Editing ändern 4.April 2021
Kinefinity MAVO Edge 8K - Erster Demo Film 22.März 2021
Flim - die KI Suchmaschine für Filmstandbilder aus großen Kinofilmen 28.Februar 2021
Topaz Labs Video Enhance AI 2.0: Videoverbesserungen per KI zum Sonderpreis 28.Februar 2021
Colourlab Ai 1.1 bringt KI Farbkorrektur per Look Designer für DaVinci Resolve 27.Februar 2021
JPEG beginnt Standardisierung der KI-Bildkompression - JPEG AI 11.Januar 2021
KI erfindet Bilder nach Textbeschreibung - DALL-E 6.Januar 2021
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2021

April - März - Februar - Januar

2020
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 12.April 2021 - 14:06
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*