Infoseite // Automatisierte Kolorierung von Schwarzweiß-Filmen mit neuronalen Netz

Newsmeldung von slashCAM:


Wir berichteten ja schon vor kurzem über neuronale Netze in der Bildverarbeitung, insbesondere https://www.sla...



Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Automatisierte Kolorierung von Schwarzweiß-Filmen mit neuronalen Netzen



Antwort von Axel:

Beruhigend. Dann dauert es ja noch lange, bis Siri mir freundlich mitteilt: "Das Gespräch hat keinen Zweck mehr. Es führt zu nichts. Leb wohl, Axel ..."

Hätte es was gebracht, das erste Bild manuell und sehr detailliert zu kolorieren und die Software einzusetzen, um die Farben in Bewegung zu tracken und anzupassen, ganz ohne Roto?

Zu SD 4.3 TV-Zeiten gab es mal eine Wette bei Wetten Dass. Der Herausforderer behauptete, er könne die Farbe des T-Shirts in einem Schwarzweiß-Video erkennen. Er gewann. Mein Bruder (damals Farbproofer in der Druckvorlagenherstellung) kann das auch. Es hat was mit den Referenzfarben zu tun und mit einer charakteristischen Art, wie entsättigtes Video Farbkanäle unterschiedlich gut auflöst. Oder so. Jedenfalls ging das auch in SD.

Jeder Mensch hat auch eine eingebaute Farbkorrektur:


Das ist das Hauptproblem beim Colorgrading. Der rote Kaffeebecher neben der Maus lässt mich kühlere Farben für das Video auf dem Monitor wählen. Zum Beispiel.



Antwort von maxx miliano:

Wenn Siri das zu Dir sagt, wird es zeit, Lowtec+Marketingtandradei gegen Hitec
zu tauschen. Oder soll Georg mit "Dumm wie Stroh" ( Sri+co) mit dem Interpreter_
delete_delete_Axel_bis_Xylophonei_kill_------00_out/match/clear/ zum Mittag mit Godot(t)
speisen und aus deiner Seele Gedärm die Wahrheit deiner Vorahnung quälen?

das Teil ist doch nur Nachhilfe für die Flatliners des schon vorher vergessenen verdummten
und wollen das Du bald total still bist-- im Emrg würde wir keine weiteren Hapticis deiner elektrischen Aktivität sehen..
Und dann verlasst das Gasthaus und bist glücklich?

9mm---------------------------------------------------------- noch 0,02 milisec-----Proband---x



Antwort von maxx miliano:

Nachtrag..ja alles wird automatisch.
-automatisch scheissen gehen
-automatisch Kaufreflexx
-automatisch Speibreflexx
-automatisch Luft holen lassen ( da ist dann die eherne Lunge die für dich weiß was gut ist)
Und übers Haupt des Jüngern strich er und so sahen sie in all die Länder und Zeiten und wussten was ward gut.. und er ging hin und nahm den Esel..
( ein Berater hätte gesagt.. " glaubst die Arsch wissen was du für sie machst...??)
Der Esel aber wurde noch 30 Jahre alt :)



Antwort von enilnacs:

Also dass ist OHNE ReferenzFARBbilder zum Scheitern verurteilt:

1. Auch wenn man zB. weiss dass ein Gesicht Hautfarbe hat, weiss man nicht welches Hue, Shift. Es fehlt einfach, aus dem Grauwert kann man das nicht rekonstruieren.
2. Alles andere, Kleider, etc.. kann man nicht aufgrund der Emulsion des Filmes kolorieren, da man ja nicht weiss, ist das nun Dunkelrot oder Hellblau (gleiches Emulsionsresponse/Grauwert)
3. Lichtinteraktionen verfärben additiv, dass allein macht es unmöglich Farbverläufe mit gleichem Gain zu kolorieren, da man auf einer gleichmässigen Fläche nie weiss ob da ein Chromaverlauf war oder nicht.

Deswegen ist das kolorierte Video auch so sepialastig.

Mit anderen Worten, auch das schlaueste System kann ohne vorhandene Information nichts anfangen.
Kommt mir wie in den Filmen vor, ein 4x4 Pixel Gesicht: "Machen Sie es 8K scharf!", "Sofort Sir!" "Jaaaaa, wir haben ihn!" :-D



Antwort von Rudolf Max:

Hurra, nun kann ich bei der Aufnahme endlich auf Schwarzweiss umsteigen und dadurch den Weissabgleich und das ganze Bayertheater beim Sensor vergessen... *smile

Später macht man Farbe eben wieder auf künstlichem Wege... *welch ein Scheiss

Wenn das automatisieren so weitergeht, kommt sicher bald eine vollautomatische Kamera, die mir meine Filme selber dreht und ich währenddem gemütlich zu Hause hocken kann... *welch ein Scheiss

Habe gerade vollautomatisch und mit neuronaler Hilfe etwas gegessen... mein Roboter hat mich gefüttert... *welch ein Scheiss

Lächerlich, auf welch bizarre Ideen gewisse Spinner so kommen...



Antwort von -paleface-:


Lächerlich, auf welch bizarre Ideen gewisse Spinner so kommen... Etwas instirnig, oder?

Ich finde sowas interessant. Und für irgend etwas wird es auch nützlich sein, vielleicht für etwas an was wir jetzt noch gar nicht denken.

Ich würde psycho zb. auch noch einmal in Farbe anschauen.



Antwort von Skeptiker:

... Ich würde psycho zb. auch noch einmal in Farbe anschauen. Kein Problem: http://www.imdb.com/title/tt0155975/



Antwort von Rudolf Max:

@: vielleicht für etwas an was wir jetzt noch gar nicht denken. ...

Die Betonung auf "vielleicht"... und auf "denken"... oder so...

Aber natürlich, es müssen unbedingt halbgare Lösungen für noch nicht existierende Probleme her... sowas nennt sich dann irgendwie "Innovativ"...

Ich habe da auch gleich noch eine ebenso blöde Idee:

Man macht aus völlig kaputtgegradeten Farbfilmen einfach Schwarzweisse Filme... dann kann man sie problemlos sehen, ohne Augenkrebs zu bekommen... *grins

Man stelle sich vor, im Louvre in Paris würde die Mona Lisa in Schwarzweiss ausgestellt... so mancher Kunstliebhaber und auch der Maler da Vinci würden sich da wohl glatt schreiend hinlegen, bzw. im Grabe umdrehen... ich tue selbiges, mich am Boden wälzen und schreien, wenn ich Chaplins damalige Kunstwerke in solchenFalschfarben sehen müsste...

Ach ja, schon vor bald zwanzig Jahren wurde "Casablanca" koloriert... von richtigen Profis und nicht von neuronalen Idioten der virtuellen Sorte... trotzdem, der Film hat viel von seinem Charakter und seinem Stil eingebüsst.

Charakter und Stil ist eben das, was heute kaum noch existiert... *leider

Meine Meinung...

Rudolf






Antwort von -paleface-:

... Ich würde psycho zb. auch noch einmal in Farbe anschauen. Kein Problem: http://www.imdb.com/title/tt0155975/ Da haben die wohl beim colorieren gleich die Schauspieler ausgetauscht ;-)



Antwort von balkanesel:

so wie ich das verstanden habe brauchts da eben kein Referenzbild und "jetzt track mal schön" sondern der Computer entscheidet auf Grund seiner "Erfahrung" ( = Millionen eingegebener Bilder ) selbstständig wie gefärbt wird.
Neuronale Netzwerke sind die KI der Zukunft und Projekte wie dieses Färbetool sind ein Nebenprodukt der Forschung, wo die Beteiligten zeigen können welche Fortschritte ihre Arbeit macht.



Antwort von medialex:

Also ich bin begeistert von dem Ergebnis, das mich sehr stark an die ersten Farbfilme aus der Zeit vor dem Ersten Weltkrieg, die entweder handkoloriert oder durch verschiedene Farbscheiben hindurch aufgenommen bzw. projiziert wurden. Damals hat man die Farben auch nicht immer perfekt getroffen, d.h. die automatisierte Kolorierung ist aus meiner Sicht nichts anderes als die Weiterentwicklung des Schablonenverfahrens von Pathé Frères aus dem Jahre 1895.

Fazit: Für mich muss ein Film in erster Linie authentisch sein, d.h. ein Schwarzweiß-Streifen sollte, wenn er koloriert wird, so aussehen, als sei er mit den damaligen Möglichkeiten in Farbe gedreht worden. Die automatisierte Kolorierung erscheint mir daher geradezu ideal für (frühe) Stummfilme.

Einen schönen Abend wünscht euch

medialex



Antwort von enilnacs:

so wie ich das verstanden habe brauchts da eben kein Referenzbild und "jetzt track mal schön" sondern der Computer entscheidet auf Grund seiner "Erfahrung" ( = Millionen eingegebener Bilder ) selbstständig wie gefärbt wird.
Neuronale Netzwerke sind die KI der Zukunft und Projekte wie dieses Färbetool sind ein Nebenprodukt der Forschung, wo die Beteiligten zeigen können welche Fortschritte ihre Arbeit macht. ja, schön. Aber der Computer kann es gar nicht wissen, es war ja nicht da, es färbt einfach so wie es "vermutet" aufgrund der Bilder die es ja im neuronalen Database hat. Aber wie soll es wissen was der Grauwert ist, nicht nur dass es nicht dort war, es gibt auch keine Info bzgl. Chroma Lift. Die Grauwerte können ja ALLES sein. 16,7 Mio Farben hoch 8 bit = eine Zillion.
Ja, hätte man ganz klar definierte Belichtung/daten, dann vielleicht, weil man hätte eine art LUMA > RGB LUT. Aber so...



Antwort von Frank Glencairn:

Hurra, nun kann ich bei der Aufnahme endlich auf Schwarzweiss umsteigen und dadurch den Weissabgleich und das ganze Bayertheater beim Sensor vergessen... *smile

Später macht man Farbe eben wieder auf künstlichem Wege...
... Eigentlich passier bei einer raw Aufnahme genau das.



Antwort von balkanesel:

...ja, schön. Aber der Computer kann es gar nicht wissen, es war ja nicht da, es färbt einfach so wie es "vermutet" aufgrund der Bilder die es ja im neuronalen Database hat. Aber wie soll es wissen was der Grauwert ist, nicht nur dass es nicht dort war, es gibt auch keine Info bzgl. Chroma Lift. Die Grauwerte können ja ALLES sein. 16,7 Mio Farben hoch 8 bit = eine Zillion.
Ja, hätte man ganz klar definierte Belichtung/daten, dann vielleicht, weil man hätte eine art LUMA > RGB LUT. Aber so... es geht weniger um das korrekte Ergebnis als darum dass der Computer das selbstständig machen kann, der Weg ist das Ziel.^^



Antwort von Rudolf Max:

Hallo Frank,

Danke für diese Info... nun weiss ich endlich, wie RAW funktioniert... *smile

Spass beiseite, so ganz kapiert habe ich es trotzdem noch nicht, wie das mit dem "komischen" Raw geht...

Rudolf



Antwort von balkanesel:

..ja, schön. Aber der Computer kann es gar nicht wissen, es war ja nicht da, es färbt einfach so wie es "vermutet" aufgrund der Bilder die es ja im neuronalen Database hat. Aber wie soll es wissen was der Grauwert ist, nicht nur dass es nicht dort war, es gibt auch keine Info bzgl. Chroma Lift. Die Grauwerte können ja ALLES sein. 16,7 Mio Farben hoch 8 bit = eine Zillion.
Ja, hätte man ganz klar definierte Belichtung/daten, dann vielleicht, weil man hätte eine art LUMA > RGB LUT. Aber so... es geht weniger um das korrekte Ergebnis als darum dass der Computer das selbstständig machen kann, der Weg ist das Ziel.^^



Antwort von Bergspetzl:

ich finde dass durchaus interessant. jetzt nicht um umbedingt spielfilme nachzukolorieren, aber durchaus um dokumentarisches material aufzuwerten. bei mir persönlich beobachte ich dass ich colorierten fotos und filmaufnahmen von "damals" mehr aufmerksamkeit schenke, auch wenn sie nicht 100% real wiedergegeben sind.

Gerade aufnahmen aus den beiden großen kriegen und der zwischenzeit gewinnen für mich an realtitätsnähe wenn dieser "weit-weg-schwarz-weiss" charakter entfällt. Dieses lethargische oder dramatische, was oft glockenhaft wirkt weicht einem eindruck des eher "teilhabens" und der realtität wie wir sie heute aus medien kennen. auch die schwarz-weiss grenze zwischen "das war damals und wird nie mehr" wird ein wenig aufgebrochen und reeller.

So finde ich hat diese (oder andere ähnliche) Anstrengung durchaus seine Berechtigung, vor allem unter den hintergrund das archive es kaum schaffen historisches material so zu behalten und konservieren - geschweige denn aufzubereiten um informationen zu erhalten. da wäre eine automation die mir material bei der anforderung von material auf wunsch coloriert doch wünschenswert.