Logo
///  >

News : DeOldify: Schwarz-Weiß Photos und Videos per KI kolorieren

von Do, 23.Januar 2020 | 4 Seiten | diesen Artikel auf einer Seite lesen

  Einleitung
  Wie funktioniert die Kolorierung per Deep Learning?
  Kolorierungs-Fehler
  DeOldify online oder lokal selbst ausprobieren



Wie funktioniert die Kolorierung per Deep Learning?


Trainiert wird das neuronale Netz (ein Self-Attention Generative Adversarial Network) anhand von S/W-Versionen von Farbbildern, denen zusätzlich noch zufällige Änderungen unter anderem von Helligkeit und Kontrast hinzugefügt wurden, um typische Alterungsschäden von Photos zu simulieren. Die Farb-Originale werden von einem weiteren neuronalen Netz dazu genutzt, die Ergebnisse des ersten zu beurteilen. Das erste kann daraufhin seine Gewichtungen verändern, um bessere Ergebnisse zu erzielen. Das führt dazu, dass das Netz allmählich lernt typische Formen/Muster/Objekte zu erkennen und welche Farbe diese normalerweise besitzen. Dieses Wissen setzt es dann beim Kolorieren ein.

Eine hochauflösende Straßenansicht von New York um 1900


Ein großes Problem jeder nachträglichen Kolorierung bleibt: die Farben beruhen auf Erfahrungen bzw. Wahrscheinlichkeiten und indirekten Hinweisen auf den Bildern, die die Farbversionen von Schwarz-/weiß-Photos zwar relativ realistisch aussehen lassen, aber nicht stimmen müssen. Unterschiedliche Farben können in demselben Grauton resultieren - wird das Objekt also wieder eingefärbt, muss aufgrund der verlorengegangenen Informationen geraten werden, welche Farbe dem Grau zugrunde lag.

The IMAX of the 1890s - ending colorized by DeOldify



Deep Learning führt aufgrund der vielen Beispielbilder automatisiert zu wahrscheinlichen/realistischen Einfärbungen, die unseren Erwartungen entsprechen, weil auch diese aufgrund von Erfahrungen zu gewissen Erwartungen führen. So erwarten wir von einem hellgrauen Herrenhemd auf einem S/W-Photo eher, dass es eingefärbt hellblau ist als rosa, auch wenn es in Wirklichkeit letzteres gewesen sein kann.

Allerdings vermutet der Entwickler von DeOldify Jason Antic, dass die relativ hohe Konsistenz der Einfärbungen auch dadurch entsteht, dass der Algorithmus für uns kaum erkennbare Hinweise (wie etwa Reflektionen) auf die ursprüngliche Farbe in einzelnen Objekten der S/W-Bilder erkennt und sie so zum Teil korrekt koloriert - was auf eine Besonderheit neuronaler Netze hinweist, sie finden nämlich ihre Regeln selbst und können für den Entwickler eine Black Box sein: er sieht nur den In- und Output und versucht, letzteren seinen Zielen entsprechend zu optimieren - wie das Netz das letztendlich macht, ist ihm unersichtlich. Hier eine ausführliche Erklärung der Funktionsweise von DeOldify.

Hier ein schönes Beispiel (ein Gesicht wird gezeichnet), das zeigt, wann der Algorithmus einzelne Objekte erkennt und entsprechend einfärbt:

Coloring Hyper-realistic Art With AI



Mithilfe von DeOldifiy könnte man im Zusammenspiel mit Tools wie DAIN alte Stummfilme nicht nur kolorieren, sondern auch nachträglich mittels interpolierten Frameraten flüssiger laufen lassen. Weitere Tools könnten sich darum kümmern, die Bildqualität zu verbessern etwa durch nachträgliche Bildschärfung, Entfernung von Bildschäden und Angleichung stark schwankender Helligkeit zwischen einzelnen Frames.



Einleitung
Kolorierungs-Fehler / DeOldify online oder lokal selbst ausprobieren


4 Seiten:
Einleitung
Wie funktioniert die Kolorierung per Deep Learning?
Kolorierungs-Fehler / DeOldify online oder lokal selbst ausprobieren
  

[8 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Rick SSon    16:46 am 20.2.2020
naja. da du den farbkontrast verlierst gehts du in der regel immer weiter mit dem s/w kontrast nach oben, je entsättigter dein Bild wird. An sich easy. Viel interessanter...weiterlesen
ruessel    13:59 am 24.1.2020
Ich bin mal frech: Gehts auch anders rum? Aus Farbe ein anständiges SW Material zu machen? Nein, nur Farbe rausdrehen macht keine gute SW Aufnahme aus. Deshalb wundert es mich...weiterlesen
tom    12:41 am 24.1.2020
Interessant zu sehen, welches Potential es noch gibt in der Weiterentwicklung: Hier ein Bildvergleich zwischen dem aktuellen Open Source Modell und einer neuen noch...weiterlesen
[ Alle Kommentare ganz lesen]

Weitere Artikel:


News: Unsere Empfehlungen für die 70. Berlinale: Filme und Veranstaltungen Fr, 21.Februar 2020
Das 70-jährige Jubiläum der Berlinale ist ein stürmisches: Das Filmfestival ist im Umbruch und dürfte gerade deshalb auch inhaltlich spannend wie selten zuvor werden. Und dann gibt es ja auch noch die Top-besetzten Berlinale Talents 2020. Hier unsere Film- und Veranstaltungs-Empfehlungen (inkl. Trailer!):
News: Black Friday, Cyber Monday und andere Rabatt-Angebote für Filmer 2019 Fr, 22.November 2019
Der "Black Friday" ist inzwischen Anlass für zahlreiche Rabattaktionen und damit ein guter Zeitpunkt für einen Neukauf zum Sonderpreis für alle diejenigen, die auf der Suche nach einer neuen Kamera, Zubehör, Notebook oder Software sind. Wir geben hier deshalb eine Übersicht über die vielen aktuellen Cashbacks und Black Friday Deals, die für die Filmer relevant sind.
News: Orbiter: ARRI´s bestes LED-Licht - ultraheller LED-Scheinwerfer mit Wechseloptiken uvm. // IBC 2019 Mi, 11.September 2019
Nach der erfolgreichen Einführung der Skypanel Flächenleuchten hat ARRI jetzt einen gerichteten, hellen LED-Scheinwerfer namens Orbiter vorgestellt der Dank neuem Quick Lighting Mount im Verbund mit Projektionsoptiken/Lichtformern und diversen Vorsätzen sehr unterschiedliche Lichtformungen zulässt. Und dies mit der besten Licht- und Farbqualität aller bisheriger ARRI Lichtengines …
News: Die Panasonic Lumix S1H - Erste 6K-FullFrame Kamera unter 4.000 Euro Di, 27.August 2019
Jetzt kommt der dritte Streich von Panasonic: Die S1H will die erste Vollformat Lumix speziell für Filmer sein. Dafür ist ua. ein Dual ISO-Modus sowie die Varicam Color Science an Bord -- ein ausführlicher Blick auf eine interessante Kameravorstellung.
News: Hands-On Manfrotto: Mobiles, lichtstarkes Lykos 2.0 LED Panel + Nitrotech Fluidköpfe 608/6012 // NAB 2019 Di, 16.April 2019
News: Berlinale 2019 Tips: Horror auf St. Pauli, PJ Harvey in Afghanistan, Filmer-Workshops uvm. Mi, 6.Februar 2019
News: Kommentierte Gerüchte zu Panasonics S1(R) und weiterer L-Mount Kamera Di, 11.Dezember 2018
News: Panasonic GH5s - Die Unterschiede zur GH5 am Vorserienmodell näher betrachtet Mo, 8.Januar 2018
News: Blade Runner 2049 -- wie der Film entstand (Schnitt, Effekte..) Do, 9.November 2017
News: Videos automatisch per AI transkribieren: SpeedScriber und Transcriptive Fr, 13.Oktober 2017
News: 15. Berlinale Talents: Veranstaltungen für Filmemacher, jetzt auch im Netz Fr, 10.Februar 2017
News: Neue Funktionen: Adobe Premiere Pro, After Effects und Character Animator // IBC 2016 Di, 6.September 2016


[nach oben]


[nach oben]
















Specialsschraeg
20. Februar - 1. März / Berlin
Berlinale
11-18. März / Regensburg
Internationale Kurzfilmwoche Regensburg
18-22. März / Hofheim
Naturfilmfestival im Taunus
20. März / Schwerte
Ruhrfilmfestival
alle Termine und Einreichfristen


update am 28.Februar 2020 - 10:39
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*