Logo
///  >

News : DeOldify: Schwarz-Weiß Photos und Videos per KI kolorieren

von Do, 23.Januar 2020 | 4 Seiten (Artikel auf einer Seite)


Wie funktioniert die Kolorierung per Deep Learning?
Kolorierungs-Fehler
DeOldify online oder lokal selbst ausprobieren



Ein interessantes Einsatzgebiet für moderne KI/Deep Learning Anwendungen ist die nachträgliche Kolorierung von Schwarz-Weiß Photos. Mussten früher noch mühsam die Einzelbilder von Hand koloriert werden, kann heutzutage ein neuronales Netzwerk anhand einer großen Anzahl von Photos trainiert werden, um relativ zuverlässig die verschiedenen Objekte in Photos zu erkennen und entsprechend seiner Erfahrung korrekt einzufärben. Alte Photos werden so überraschend lebendig und bringen uns vergangenes viel näher.


Seit etwas über einem Jahr gibt es das Open Source Hobby-Projekt DeOldify von Jason Antic, welches genau das macht - seit einiger Zeit kann es nicht nur Photos, sondern auch Videos kolorieren. Der verwendete spezielle Algorithmus für Videos ist dabei so konsistent, dass er tatsächlich alle Einzelbilder ohne Bezug auf die Bilder davor oder danach so zuverlässig gleich einfärbt, dass es nicht zu den sonst so berüchtigten Effekten wie Flackern und Farbsprüngen kommt. Interessanterweise kommen verschiedene Modelle mit unterschiedlichen Trainingsmethoden mehr oder weniger zu ähnlichen Ergebnissen, was die Farben z.B. von Kleidung, Autos oder sogar Spezialeffekten (wie in Metropolis) betrifft.











Wie funktioniert die Kolorierung per Deep Learning?


Trainiert wird das neuronale Netz (ein Self-Attention Generative Adversarial Network) anhand von S/W-Versionen von Farbbildern, denen zusätzlich noch zufällige Änderungen unter anderem von Helligkeit und Kontrast hinzugefügt wurden, um typische Alterungsschäden von Photos zu simulieren. Die Farb-Originale werden von einem weiteren neuronalen Netz dazu genutzt, die Ergebnisse des ersten zu beurteilen. Das erste kann daraufhin seine Gewichtungen verändern, um bessere Ergebnisse zu erzielen. Das führt dazu, dass das Netz allmählich lernt typische Formen/Muster/Objekte zu erkennen und welche Farbe diese normalerweise besitzen. Dieses Wissen setzt es dann beim Kolorieren ein.

Eine hochauflösende Straßenansicht von New York um 1900


Ein großes Problem jeder nachträglichen Kolorierung bleibt: die Farben beruhen auf Erfahrungen bzw. Wahrscheinlichkeiten und indirekten Hinweisen auf den Bildern, die die Farbversionen von Schwarz-/weiß-Photos zwar relativ realistisch aussehen lassen, aber nicht stimmen müssen. Unterschiedliche Farben können in demselben Grauton resultieren - wird das Objekt also wieder eingefärbt, muss aufgrund der verlorengegangenen Informationen geraten werden, welche Farbe dem Grau zugrunde lag.




Deep Learning führt aufgrund der vielen Beispielbilder automatisiert zu wahrscheinlichen/realistischen Einfärbungen, die unseren Erwartungen entsprechen, weil auch diese aufgrund von Erfahrungen zu gewissen Erwartungen führen. So erwarten wir von einem hellgrauen Herrenhemd auf einem S/W-Photo eher, dass es eingefärbt hellblau ist als rosa, auch wenn es in Wirklichkeit letzteres gewesen sein kann.

Allerdings vermutet der Entwickler von DeOldify Jason Antic, dass die relativ hohe Konsistenz der Einfärbungen auch dadurch entsteht, dass der Algorithmus für uns kaum erkennbare Hinweise (wie etwa Reflektionen) auf die ursprüngliche Farbe in einzelnen Objekten der S/W-Bilder erkennt und sie so zum Teil korrekt koloriert - was auf eine Besonderheit neuronaler Netze hinweist, sie finden nämlich ihre Regeln selbst und können für den Entwickler eine Black Box sein: er sieht nur den In- und Output und versucht, letzteren seinen Zielen entsprechend zu optimieren - wie das Netz das letztendlich macht, ist ihm unersichtlich. Hier eine ausführliche Erklärung der Funktionsweise von DeOldify.

Hier ein schönes Beispiel (ein Gesicht wird gezeichnet), das zeigt, wann der Algorithmus einzelne Objekte erkennt und entsprechend einfärbt:




Mithilfe von DeOldifiy könnte man im Zusammenspiel mit Tools wie DAIN alte Stummfilme nicht nur kolorieren, sondern auch nachträglich mittels interpolierten Frameraten flüssiger laufen lassen. Weitere Tools könnten sich darum kümmern, die Bildqualität zu verbessern etwa durch nachträgliche Bildschärfung, Entfernung von Bildschäden und Angleichung stark schwankender Helligkeit zwischen einzelnen Frames.





Kolorierungs-Fehler


Aber natürlich hat auch diese Methode die typischen Probleme mit schwer zu erkennenden Teilen von Objekten und oft schillern die Farben eines Objekts (z.B. Kleidung) auch lila (ein inhärentes Problem des verwendeten Verfahrens - lila bedeutet, dass das neuronale Netzwerk eine Farbe nicht sicher bestimmen kann) oder die Farben eines Objekts bluten in die Umgebung aus. Und - je nach Trainingsmaterial - wirken die Ergebnisse den Einfärbung oft wie Hobby Super 8 Filme.


Zombie-Hände: Die Hände werden nicht als Teil des Körpers erkannt und deswegen falsch eingefärbt





DeOldify online oder lokal selbst ausprobieren


Wer alte S/W-Photos hat, kann sie hier vom DeOldify-Algorithmus online kolorieren lassen (allerdings wird hier nicht die aktuell beste Version genutzt).

Wer Videos kolorieren will, und mehr Kontrolle über das Verfahren haben will, kann den Orginal Code von DeOldify selbst ausprobieren. Hier ein Tutorial für die Installation und das Setup von DeOldify online per Google Colab:



Oldify kann aber natürlich auch lokal installiert werden - als Betriebssystem für das Setup aller notwendigen Deep Learning Tools (die Fast.AI Biblitothek, PyTorch, Jupyter Lab, Tensorboard und ImageNet) wird Linux oder Windows 10 empfohlen. Fürs Training wird eine leistungsstarke Grafikkarte benötigt - die 11 GB RAM in seiner GeForce 1080Ti erscheinen dem Entwickler Jason Antic dürftig (sie braucht fürs Training vier Tage), weniger wären seiner Meinung schlecht (wer gleich starten will, findet fertige Trainingsdaten auf der Github-Seite des Projekts).

Die Kolorierung selbst dagegen benötigt nur eine GPU mit 4 GB RAM und erfolgt in wenigen Sekunden. Es gibt zur Auswahl drei Kolorierungs-Modelle mit jeweils spezifischen Vor- und Nachteilen (eines davon speziell für Video). Eine einfacher zu installierende und bedienende DeOldify-Software ist aber in laut Entwickler schon Arbeit. Laufend neue Beispiele von kolorierten Photos (mit der jeweils besten Version von DeOldify) sowie Neuigkeiten zur Entwicklung finden sich auf Jason Antics Twitter-Kanal.

Interessant ist auch zu sehen, welches Potential es noch gibt in der Weiterentwicklung: Hier ein Bildvergleich zwischen dem aktuellen Open Source Modell und einer neuen noch unveröffentlichten Version von DeOldify:



  

[8 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Rick SSon    16:46 am 20.2.2020
naja. da du den farbkontrast verlierst gehts du in der regel immer weiter mit dem s/w kontrast nach oben, je entsättigter dein Bild wird. An sich easy. Viel interessanter...weiterlesen
ruessel    13:59 am 24.1.2020
Ich bin mal frech: Gehts auch anders rum? Aus Farbe ein anständiges SW Material zu machen? Nein, nur Farbe rausdrehen macht keine gute SW Aufnahme aus. Deshalb wundert es mich...weiterlesen
tom    12:41 am 24.1.2020
Interessant zu sehen, welches Potential es noch gibt in der Weiterentwicklung: Hier ein Bildvergleich zwischen dem aktuellen Open Source Modell und einer neuen noch...weiterlesen
[ Alle Kommentare ganz lesen]

Weitere Artikel:


News: Aktuelle Black Friday, Cyber Monday und andere Rabatt-Angebote für Filmer 2020 Do, 26.November 2020
Jetzt ist wieder die Zeit der Schnäppchen in Tradition des amerikanischen "Black Fridays" gestartet, die auch schon Wochen davor und danach um das eigentliche Datum - dieses Mal der 27.11.2020 - andauert. Deswegen haben wir - wie schon wie die letzten Jahre - wieder unsere Übersicht attraktiver "Black Friday" bzw "Cyber Monday" Deals plus aktuelle andere Rabatt- bzw. Cashback-Aktionen für Euch zusammengestellt.
News: Eine für Alle(s)? - Panasonic stellt DC-BGH1 Cine-/ Streaming-/ Broadcast-/ Studio MFT-Boxkamera vor Di, 13.Oktober 2020
Bei der DC-BGH1 packt Panasonic viel Technik in einen kompakten Kamerawürfel mit MFT-Sensor. Dieser soll sowohl für szenische Arbeit und Vlogging, aber auch für Studio- und Streamingeinsätze gleichermaßen gerüstet sein..
News: Nvidia mit brachialem Grafikkarten-Update - Neue Ampere GPU für den Videoschnitt Di, 1.September 2020
Nun ist es endlich nach 2 Jahren wieder soweit, dass Nvidia eine komplett runderneuerte GPU Architektur für Desktops vorstellt.
News: Heißer Herbst 2020 - Neue CPUs,GPUs und Apple Silicon für die Videobearbeitung Do, 2.Juli 2020
Diesen Herbst werden so viele Hardware-Neuerscheinungen den PC- und Mac-Markt aufrütteln wie schon lange nicht mehr - manche der kommenden Produkte werden sogar einen einen eher revolutionären Paradigmenwechsel einleiten. Wir wagen einen Ausblick...
News: Unsere Empfehlungen für die 70. Berlinale: Filme und Veranstaltungen Fr, 21.Februar 2020
News: Black Friday, Cyber Monday und andere Rabatt-Angebote für Filmer 2019 Fr, 22.November 2019
News: Orbiter: ARRI´s bestes LED-Licht - ultraheller LED-Scheinwerfer mit Wechseloptiken uvm. // IBC 2019 Mi, 11.September 2019
News: Die Panasonic Lumix S1H - Erste 6K-FullFrame Kamera unter 4.000 Euro Di, 27.August 2019
News: Hands-On Manfrotto: Mobiles, lichtstarkes Lykos 2.0 LED Panel + Nitrotech Fluidköpfe 608/6012 // NAB 2019 Di, 16.April 2019
News: Berlinale 2019 Tips: Horror auf St. Pauli, PJ Harvey in Afghanistan, Filmer-Workshops uvm. Mi, 6.Februar 2019
News: Kommentierte Gerüchte zu Panasonics S1(R) und weiterer L-Mount Kamera Di, 11.Dezember 2018
News: Panasonic GH5s - Die Unterschiede zur GH5 am Vorserienmodell näher betrachtet Mo, 8.Januar 2018


[nach oben]


[nach oben]















Artikel-Übersicht



Artikel-Kategorien:



update am 4.Dezember 2020 - 10:51
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*