RAW vs RAW Verbessert

[klusterdegenerierung]

Habe gerade nochmal ein bisschen mit dem ACR Verbesserungstool rumgespielt.
Dafür kam ein Raw der Mavic Air2S mit 20MP zum Einsatz.

Verbessert wird auf 200%, also 80MP.
Dass das Bild größer wird war mir klar, aber das hier bei gleichen Schärfensettings es scheinbar auch Detailreicher wird, hätte ich nich jedacht. :-)
Hier 2 Screenshots.

[-paleface-]

Das nennt man wohl Pixelpeeping...

[klusterdegenerierung]

Wenn man für so einen signifikanten Unterschied peepen muß, dann weißs ichs auch nicht.

[iasi]

Habe gerade nochmal ein bisschen mit dem ACR Verbesserungstool rumgespielt.
Dafür kam ein Raw der Mavic Air2S mit 20MP zum Einsatz.

Verbessert wird auf 200%, also 80MP.
Dass das Bild größer wird war mir klar, aber das hier bei gleichen Schärfensettings es scheinbar auch Detailreicher wird, hätte ich nich jedacht. :-)
Hier 2 Screenshots.

Mehr Details kann ich aber nicht erkennen.

[Mantas]

hm wirkt nur bissel überschärft

[klusterdegenerierung]

Hier noch mal ein Test.
Ja sieht schärfer aus, aber es scheint für mich auch detailreicher.

Kleiner crop aus 300 & 200%

[Frank Glencairn]

Die Illusion von "schärfer und mehr Details" entsteht hauptsächlich durch erhöhten Midtone-Contrast.
Kannste in Resolve ja mal selbst ausprobieren.

Funktioniert übrigens auch in die andere Richtung als Beauty Filter.

[klusterdegenerierung]

Die Illusion von "schärfer und mehr Details" entsteht hauptsächlich durch erhöhten Midtone-Contrast.
Kannste in Resolve ja mal selbst ausprobieren.

Funktioniert übrigens auch in die andere Richtung als Beauty Filter.

Sicher, wenn man sich die Aufnahmen nicht wirklich anguckt, kann man zu dieser These kommen, aber wenn man sie vergrößert sieht man ja nicht nur eine kontrastierung & nachschärfung, sondern eine inteligenntere Skallierung als noch vor einiger Zeit.

Hier wird ja schärfen als ein Prozess und skallieren als ein weiterer angewendet und so sieht man doch an den Schatten oder Ästen ganz klar, das hier nicht einfach nur geschärft wurde, denn dann wären die Träppchen ja noch immer so groß aber nur geschärft.

[cantsin]

Die Superresolution-Funktion von LightRoom/Adobe ist schon mehr als nur eine Kontrastverstärkung, weil da Bildinhalte durch KI/Machine Learning hochgerechnet bzw. auf Basis der KI-Heuristiken Bilddetails verbessert/hinzuerfunden werden, die im Original gar nicht vorhanden sind.

Hier mal ein eigenes Beispiel (geschossen mit einer Panasonic S5 + Sigma 35mm/2.0, 1:1-Crops):

Bildausschnitt 1

P1052389_DxO-conventional-crop.jpg

klassische Raw-Konvertierung/Debayering

P1052389_DxO-enhanced-crop.jpg

Lightroom-200% Super Resolution, anschließend wieder 50% verkleinert - praktisch perfekte Bilddetails auf 1:1-Pixelebene. Wenn man genau hinsieht, stellt man fest, dass der Super Resolution/AI-Algorithmus Details bzw. Texturen hinzuerfindet, weil er wahrscheinlich auf diese Objekte (Pflanzen etc.) trainiert ist.



Bildausschnitt 2

P1052389_DxO-conventional-crop-2.jpg

klassische Raw-Konvertierung/Debayering

P1052389_DxO-enhanced-crop-2.jpg

Lightroom-Super Resolution. Hier geht's gründlich schief - der AI-Algorithmus erkennt und rekonstruiert ein Gitter, wo keins ist, und erfindet sogar noch Moiré hinzu... [Und das Gitter ist noch nicht mal sauber abgegrenzt.] Das sind genau die Art von Processingartefakten, die man auch häufig bei Smartphone-Photos findet.

[klusterdegenerierung]

Sieht aber schon so aus als sei dort eine Art Sieb an der Wand.
Vielleicht hat LR ja garnicht so unrecht, nur bissl übertrieben? :-)

[cantsin]

Sieht aber schon so aus als sei dort eine Art Sieb an der Wand.
Vielleicht hat LR ja garnicht so unrecht, nur bissl übertrieben? :-)

Tatsächlich. So sieht das aus direkter Nähe aufgenommen (und ohne KI-Verbesserung) aus:

DSCF9716.JPG

[roki100]

weil da Bildinhalte durch KI/Machine Learning hochgerechnet bzw. auf Basis der KI-Heuristiken Bilddetails verbessert/hinzuerfunden werden, die im Original gar nicht vorhanden sind.

Ist das wirklich so? Ich habe mich nämlich mal informiert, wie fast alle diese KI upscale Methoden funktionieren, nämlich; das bild wird geschärft, vergrößert (upscale) und danach (das eigentliche KI) eine art Anti-Aliasing bzw. Pixel an den kanten werden verschoben / geglättet?

[cantsin]

weil da Bildinhalte durch KI/Machine Learning hochgerechnet bzw. auf Basis der KI-Heuristiken Bilddetails verbessert/hinzuerfunden werden, die im Original gar nicht vorhanden sind.

Ist das wirklich so?

Das sagt Adobe dazu:
"Enlarging a photo often produces blurry details, but Super Resolution has an ace up its sleeve — an advanced machine learning model trained on millions of photos. Backed by this vast training set, Super Resolution can intelligently enlarge photos while maintaining clean edges and preserving important details. [...] The idea is to train a computer using a large set of example photos. Specifically, we used millions of pairs of low-resolution and high-resolution image patches so that the computer can figure out how to upsize low-resolution images."

https://blog.adobe.com/en/publish/2021/ ... resolution

[roki100]

"clean edges and preserving important details" das meinte ich mit eine Art AntiAliasing (das eigentliche KI an der ganze Sache).

Die Methode AntiAliasing auf Pixelbasis (benachbarte Pixel an den Rändern werden quasi dupliziert, verschoben, ausgeglichen...) begann mit OpenCL.
Verbesserte Variante davon ist in Cuda implementiert.
Auch in OpenGL gibt es das schon länger, jedoch nicht so hochwertig wie z.B. das von Cuda. Eyeon bzw. BMD nutzt die OpenGL Variante (mit allen Parameter) auch in Fusion (OpenGL Renderer)... Wirkt sich auch auf Images, z.B. wenn man ImagePlane hinzufügt und Video oder Bild drauf zieht.

Bildschirmfoto 2022-04-19 um 13.46.14.png

Man muss aber vorher auch sharping Node zwischen ImagePlane und Bild oder Video anhängen und auch da ein wenig justieren...


Ein Beispiel:

ohne

Bildschirmfoto 2022-04-19 um 14.09.39.png

mit

Bildschirmfoto 2022-04-19 um 14.10.42.png

Die Kanten von weiße Schrift auf dem orangen Pullover, sind danach besser/glatter, danach kann man es logischerweise auch hochskalieren.

Code: Alles auswählen

{
	Tools = ordered() {
		Renderer3D1 = Renderer3D {
			CustomData = {
				ToolVersion = 2,
			},
			Inputs = {
				GlobalOut = Input { Value = 119, },
				Width = Input { Value = 1920, },
				Height = Input { Value = 1080, },
				UseFrameFormatSettings = Input { Value = 1, },
				["Gamut.SLogVersion"] = Input { Value = FuID { "SLog2" }, },
				SceneInput = Input {
					SourceOp = "Merge3D1",
					Source = "Output",
				},
				RendererType = Input { Value = FuID { "RendererOpenGL" }, },
				["RendererOpenGL.AntiAliasing.Nest"] = Input { Value = 1, },
				["RendererOpenGL.AntiAliasing.Channels.RGBA.HighQuality.Enable"] = Input { Value = 1, },
				["RendererOpenGL.AntiAliasing.Presets.Nest"] = Input { Value = 1, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Supersampling.LowQuality.RateX"] = Input { Value = 16, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Supersampling.LowQuality.RateY"] = Input { Value = 16, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Supersampling.HighQuality.RateX"] = Input { Value = 16, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Supersampling.HighQuality.RateY"] = Input { Value = 16, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Supersampling.Filter.Type"] = Input { Value = FuID { "BesselSSFilter3D" }, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Supersampling.Filter.WindowMethod"] = Input { Value = 3, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Multisampling.LowQuality.SampleCount"] = Input { Value = 3, },
				["RendererOpenGL.AntiAliasing.Presets.Color.Multisampling.HighQuality.SampleCount"] = Input { Value = 3, },
				["RendererOpenGL.AntiAliasing.Presets.Aux.Supersampling.HighQuality.RateX"] = Input { Value = 3, },
				["RendererOpenGL.AntiAliasing.Presets.Aux.Supersampling.HighQuality.RateY"] = Input { Value = 3, },
				["RendererOpenGL.AntiAliasing.Presets.Aux.Multisampling.LowQuality.SampleCount"] = Input { Value = 2, },
				["RendererOpenGL.AntiAliasing.Presets.Aux.Multisampling.HighQuality.SampleCount"] = Input { Value = 3, },
				["RendererOpenGL.AccumQuality"] = Input { Value = 32, },
			},
			ViewInfo = OperatorInfo { Pos = { 668.667, 75.2424 } },
			SubInputsData = {
				RendererOpenGL = {
					Version = 1
				}
			}
		},
		Merge3D1 = Merge3D {
			Inputs = {
				["Transform3DOp.Translate.Z"] = Input { Value = -0.402326379103733, },
				SceneInput1 = Input {
					SourceOp = "ImagePlane3D1",
					Source = "Output",
				},
				SceneInput2 = Input {
					SourceOp = "Camera3D1",
					Source = "Output",
				},
			},
			ViewInfo = OperatorInfo { Pos = { 533.333, 75.2424 } },
		},
		ImagePlane3D1 = ImagePlane3D {
			Inputs = {
				["SurfacePlaneInputs.ObjectID.ObjectID"] = Input { Value = 1, },
				MaterialInput = Input {
					SourceOp = "Sharpen2",
					Source = "Output",
				},
				["MtlStdInputs.MaterialID"] = Input { Value = 1, },
			},
			ViewInfo = OperatorInfo { Pos = { 415.333, 74.6364 } },
		},
		Camera3D1 = Camera3D {
			Inputs = {
				["Transform3DOp.Translate.Z"] = Input { Value = 1.66038543949097, },
				AoV = Input { Value = 19.2642683071402, },
				["Stereo.Mode"] = Input { Value = FuID { "OffAxis" }, },
				FilmGate = Input { Value = FuID { "BMD_URSA_4K_16x9" }, },
				ApertureW = Input { Value = 0.831496062992126, },
				ApertureH = Input { Value = 0.467716535433071, },
				["SurfacePlaneInputs.ObjectID.ObjectID"] = Input { Value = 2, },
				["MtlStdInputs.MaterialID"] = Input { Value = 2, },
			},
			ViewInfo = OperatorInfo { Pos = { 532, 39.4848 } },
		},
		Sharpen2 = ofx.com.blackmagicdesign.resolvefx.sharpen {
			Inputs = {
				sharpen = Input { Value = 1.79999995231628, },
				detailGroup = Input { Value = 1, },
				finest = Input { Value = 0.02, },
				fine = Input { Value = 5, },
				medium = Input { Value = 1, },
				large = Input { Value = 1, },
				lcGroup = Input { Value = 1, },
				chroma = Input { Value = 1, },
				blendGroup = Input { Value = 1, },
				blend = Input { Value = 0, },
				ignoreContentShape = Input { Value = 0, },
				legacyIsProcessRGBOnly = Input { Value = 0, },
				resolvefxVersion = Input { Value = "1.0", },
			},
			ViewInfo = OperatorInfo { Pos = { 405.333, 30.3939 } },
		}
	}
}

Einfach im Fusion Node Bereich hinzufügen und Bild oder Video mit Sharpen2 Node verbinden.
Nur wie bereits erwähnt, ist natürlich nicht so toll wie Cuda Upscale...

[cantsin]

Hier mal spaßeshalber noch ein Test der verschiedenen Auflösungs-/Super Resolution-Modi, die bei der Kombination von S5 und Lightroom möglich sind; Ergebnisse immer wieder zurückskaliert auf 24MP (da sie in den höhergerechneten Auflösungen auf Pixelebene nicht wirklich sauber sind).

a1-24mp conventional debayer.png

24MP-Aufnahme + Lightroom konventionelles Debayering

a2-24 mp lightroom enhanced.png

24MP-Aufnahme + Lightroom Super Resolution

a3-96 mp camera hires.png

96MP-Sensor Shift-Aufnahme kameraintern + Lightroom konventionelles Debayering

a4-96 mp camera hires lightroom enhanced.png

96MP-Sensor Shift-Aufnahme kameraintern + Lightroom Super Resolution



Jetzt das ganze nochmal mit dem problematischen Gittermotiv:

b1-24mp conventional debayer.png

24MP-Aufnahme + Lightroom konventionelles Debayering

b1-24mp lightroom enhanced.png

24MP-Aufnahme + Lightroom Super Resolution

b3-96 mp camera hires.png

96MP-Sensor Shift-Aufnahme kameraintern + Lightroom konventionelles Debayering

b4-96 mp camera hires lightroom enhanced.png

96MP-Sensor Shift-Aufnahme kameraintern + Lightroom Super Resolution