Capture-Kugel ermöglicht völlig variable, nachträgliche Lichtanpassung von 3D-Körpermodellen

[slashCAM]

Möchte man per dreidimensionalem Ganzkörper-Capturing aufgenommene Schauspieler in neue computergenerierte oder reale Szenen einfügen, ist die realistische Anpassung der ...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Capture-Kugel ermöglicht völlig variable, nachträgliche Lichtanpassung von 3D-Körpermodellen

[Frank Glencairn]

Wow!

[dosaris]

irgendwas fehlt doch noch?!

das ist ja weder green-screen noch motion capturing.

Also muss man doch zuerst das relevante Objekt vom Hintergrund ablösen.
Vermutlich per Objekt-tracking, aber dazu wäre ja - wegen der 3d-Erfassung -
doch einiges an manueller Intervention nötig, da ja jede der 90 cams ein
anderes Bild erfasst. Daher kann man nicht eine Maske auf alle anderen 89 shots ansetzen.

2. Ansatz:
jede cam kennt ihr leeres Referenzbild (ohne Nutzobjekt, Kalibrierungsphase)
und subtrahiert macroblock-weise diesen Anteil, wenn es im Nutzbild enthalten ist,
Aber dies würde an den Objektkanten Probleme bringen (Kantenflirren).
Und die Beleuchtung müsste extrem konstant sein: < 1 Bit Helligkeitsfehler

spannend!
?!?

[-paleface-]

Hab auch für ein Projekt meinen ersten eingescannten Schauspieler auf dem Tisch.
Ist mega spannend. Aber auch viele Daten und nacharbeiten.

Aber das Ergebnis sieht wirklich gut aus.

[dosaris]

Aber das Ergebnis sieht wirklich gut aus.

zeig mal!

[-paleface-]

Hier.

Screenshot_20191127_165801_com.huawei.himovie.overseas.jpg

[canti]

irgendwas fehlt doch noch?!

das ist ja weder green-screen noch motion capturing.

Also muss man doch zuerst das relevante Objekt vom Hintergrund ablösen.
Vermutlich per Objekt-tracking, aber dazu wäre ja - wegen der 3d-Erfassung -
doch einiges an manueller Intervention nötig, da ja jede der 90 cams ein
anderes Bild erfasst. Daher kann man nicht eine Maske auf alle anderen 89 shots ansetzen.

2. Ansatz:
jede cam kennt ihr leeres Referenzbild (ohne Nutzobjekt, Kalibrierungsphase)
und subtrahiert macroblock-weise diesen Anteil, wenn es im Nutzbild enthalten ist,
Aber dies würde an den Objektkanten Probleme bringen (Kantenflirren).
Und die Beleuchtung müsste extrem konstant sein: < 1 Bit Helligkeitsfehler

spannend!
?!?

Ich bin mir nicht ganz sicher, ob ich deine Problemstellung richtig verstehe, aber nein, ich glaube nicht, dass der Schauspieler in der LED Kugel nochmal freigestellt werden muss. Der wird ja mit Tiefeninformation volumetrisch als 3D Objekt aufgenommen. Mit 3D ist hier tatsächlich geometrisches 3D, keine Stereoskopie gemeint.

[dosaris]

... ich glaube nicht, dass der Schauspieler in der LED Kugel nochmal freigestellt werden muss. Der wird ja mit Tiefeninformation volumetrisch als 3D Objekt aufgenommen.

na klar.
aus Nutzersicht wird es dort nix zusätzlich zu tun geben. Der bekommt die Datensätze bereinigt
angeliefert (wahrscheinlich, ich kenne das Ding natürlich nicht genauer).

Meine Einschätzung kam aus der Entwicklerperspektive, wie das Ding intern wohl funktionieren
könnte. Und da erscheint mir die Variante der Bilddifferenzen der aktuellen shots gegenüber
den Kalibrierungs-shots am wahrscheinlichsten (alle Bilddifferenzen ungleich NULL sind Nutzdaten).

Aber vielleicht hat jemand noch 'ne bessere Theorie?

[canti]

... ich glaube nicht, dass der Schauspieler in der LED Kugel nochmal freigestellt werden muss. Der wird ja mit Tiefeninformation volumetrisch als 3D Objekt aufgenommen.

na klar.
aus Nutzersicht wird es dort nix zusätzlich zu tun geben. Der bekommt die Datensätze bereinigt
angeliefert (wahrscheinlich, ich kenne das Ding natürlich nicht genauer).

Meine Einschätzung kam aus der Entwicklerperspektive, wie das Ding intern wohl funktionieren
könnte. Und da erscheint mir die Variante der Bilddifferenzen der aktuellen shots gegenüber
den Kalibrierungs-shots am wahrscheinlichsten (alle Bilddifferenzen ungleich NULL sind Nutzdaten).

Aber vielleicht hat jemand noch 'ne bessere Theorie?

Wie gesagt, Tiefeninformation. Kein "Vorher-Nacher" sondern ähnlich dem menschlichen Sehen: Von dieser Perspektive sieht es so aus, von dieser so, der Unterschied ergibt Position xyz. Vielleicht anders ausgedrückt, kein "Das ist das Bild mit Person" und "Das ist das Bild ohne Person, rechne mir den Unterschied raus", sondern "Dieser Voxel gehört zum Mensch, der steht im Kordinatenkreuz auf Position xyz, also soundso viel cm vom Hintergrund weg". Jede Kameraunit hat ja 2 IR Cams, vielleicht bekommen die daher die Stereodaten. Zusammen mit den ganzen andern Einheiten, deren Position ja gegeben ist, kann man da wohl gut das Objekt dreidimensional tracken. Bei ner Kinekt oder den ganzen Tracking Boxen für VR Headsets wird ja auch nicht der Unterscheid aus nem Referenzbild rausgerechnet.

[patfish]

... es tut mir leid, aber Lichtanpassungen sehen extrem daneben aus :D ... für so ein Ergebnis brauch ich weder die ganze Technik noch den Aufwand.

[patfish]

Ich bin mir nicht ganz sicher, ob ich deine Problemstellung richtig verstehe, aber nein, ich glaube nicht, dass der Schauspieler in der LED Kugel nochmal freigestellt werden muss. Der wird ja mit Tiefeninformation volumetrisch als 3D Objekt aufgenommen. Mit 3D ist hier tatsächlich geometrisches 3D, keine Stereoskopie gemeint.

genau so ist es.