Was bedeutet perfektes Tracking für die Postproduktion?
Tatsächlich liegt im "perfekten Tracking" der Schlüssel zu weiteren qualitätssteigernden Möglichkeiten in der Postproduktion. Kennt man die Position jedes Pixels zu jeder Zeit, so ist dies eine extrem wertvolle Information für die Noise Reduction. Denn an jeder Stelle im Bild weiß der Algorithmus dann, was sich eigentlich an dieser Stelle im Bild befinden sollte - und was bzw. wie viel davon hier genau vom Rauschen überdeckt wird.
Letztlich könnten Omnimotion oder TAPIR die Daten für eine extrem exakte Pointcloud der gefilmten Szene liefern, welche den Rauschanteil jedes Pixels durch sein internes Modell der Szene ziemlich genau bestimmen kann. Dies könnte wiederum in Folge auch ein Relighting weiter qualitativ verbessern, da man von jedem Pixel nun seine Farbe und Helligkeit abzüglich des Rauschens abschätzen kann. Durch das Modell bekommt man als Anwender zudem auch eine sehr gute Schätzung des Z-Puffers, also der Tiefe eines Pixels im Raum, was unter anderem die exakte Berechnung eines synthetischen Bokehs ermöglicht.
Kurz gesagt: Der Computer wird in naher Zukunft jedes Pixel einer Szene sehr viel besser "verstehen" und kann daraufhin die Algorithmen der Postproduktion besser optimieren. Omnimotion und TAPIR sind daher mit Sicherheit ein großer und ausgesprochen relevanter Schritt in der Computational Videography.
