Meinung Die Zukunft des Tracking - das Ende der High-Speed-Kameras?

Die Zukunft des Tracking - das Ende der High-Speed-Kameras?

Zuverlässiges Tracking ist die Basis für bewährte Optical Flow Algorithmen. Nun steht in diesem Gebiet eine qualitative Revolution vor der Tür und dies dürfte nicht nur die synthetische Slow Motion verbessern.

// 08:30 Di, 27. Jun 2023von

Nachdem wir ja kürzlich etwas kritisch auf die Zukunft der Kameraentwicklung geblickt haben, stehen wir vielleicht auch etwas in der Beweislast, welche Funktionen in Zukunft von der Computational Videography übernommen werden könnten.



Ein dabei von uns bislang wenig beachtetes Feld ist das Tracking, denn Verbesserungen in diesem Bereich ziehen in der Postproduktion extreme Möglichkeiten synthetischer Optimierungen nach sich. Nicht nur bei der Stabilisierung und der Berechnung von Slow Motions oder nachträglichem Motion Blur - in zweiter Instanz kann Motion Tracking sogar "über Bande" beim Denoising und damit der Dynamik helfen, sofern man damit Objekte zuverlässig erkennen und über die Zeit verfolgen kann.



Die Zukunft des Tracking - das Ende der High-Speed-Kameras? : PIC1


Für die meisten Tracking-Anwendungen sind Optical Flow Algorithmen aktuell der Goldstandard. Hierbei versucht ein Algorithmus einzelne Pixel im Bild zu erfassen und in ihrer Bewegung vorherzusagen. Sogenannte Solver versuchen dann ein komplexes Gleichungssystem für einige Pixel im Bild so zu lösen, dass die Abweichung von der Vorhersage mit den tatsächlich verfolgten Pixeln bestmöglich übereinstimmt.



Hat man so die Bewegung einiger Pixel als Bewegungsvektor gelernt, so kann man leicht Zwischenbilder generieren, weil die Position des Pixels zwischen zwei Bildern durch das gefundene Formel-System interpoliert werden kann.




In der Praxis

In der Praxis funktioniert dies oft auch erstaunlich gut. Gerade synthetische SlowMotion-Bewegungen können bereits ziemlich realistisch gerendert werden, was den Einsatz einer HighSpeed-Kamera in manchen Fällen überflüssig gemacht hat. Bzw. man kann Slow Motion damit sogar nachträglich in Bereichen einsetzen, in denen eine High Speed Kamera nicht zur Verfügung stand.



Pixelpeeper finden bei vielen synthetischen Bewegungen jedoch oft Stellen, die optisch nicht stimmen und gar nicht so selten kommt es bei vielen Optical Flow Anwendungen auch zu deutlich sichtbaren Artefakten, die nicht erst bei genauem Hinsehen offensichtlich werden.





Allerdings weiß man beim Dreh nie, ob man eventuell problematisches Tracking-Material für die Postproduktion erzeugt hat - weshalb man sich bei wichtigen Produktionen lieber nicht auf Optical Flow Algorithmen verlässt. Zumindest solange sie nicht noch zuverlässiger agieren...






Leserkommentare // Neueste
Rick SSon  //  10:02 am 5.7.2023
Ich finde die Entwicklung ja schön, aber sind nicht heutzutage sowieso schon beinah alle Medien überstilisiert? Persönlich messe ich den Erfolg eines Drehs eigentlich daran,...weiterlesen
medienonkel  //  15:50 am 29.6.2023
Indiana Jones 6 -auf der Suche nach dem bewährten Artefakt
MK  //  20:38 am 28.6.2023
Aber immerhin bewährte Artefakte... ;-)
Ähnliche Artikel //
Umfrage
    Was hältst du von den neuen Bild/Video-KIs?





    Ergebnis ansehen
RSS Facebook Twitter slashCAM-Slash