Videostabilisierung: Mercalli V6 SAL erschienen mit KI-Unterstützung

[slashCAM]

proDAD hat seine Videostabilisierungs-Software Mercalli in der V6 veröffentlicht. Es soll eine verbesserte Stabilisierungsqualität sowie gleichzeitig auch eine schnellere...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Videostabilisierung: Mercalli V6 SAL erschienen mit KI-Unterstützung

[Frank Glencairn]

[Bruno Peter]

"Die Benutzeroberfläche insgesamt wurde für Mercalli V6 neu entworfen."

Mich erinnert die Benutzeroberfläche eher an ProDRENALIN V2, das funktionierte
bei der Stabilisierung auch schon sehr gut.

Die eigentlichen Fortschritte der MC-6 SAL findet man in den Stabilisierungssettings:
Wird die CMOS-Korrektur(Rolling-Shutter-Effekt) aktiviert, dann stehen drei Möglichketen zu Verfügung:
Turbo, Wobbeln entfernen und Intensiv Reparatur zu Verfügung.
Im Turbo-Modus läuft das in Echtzeit.

Im Falle der aktivierten "Bewegung glätten, gemeint ist die Aufnahme-Bewegung der Kamera" stehen
ebenfalls drei Methoden zu Verfügung:
Turbo, AI und AI+3D.
Im Turbo-Modus erfolgt die Analyse in Echtzeit.

[VBehrens]

Ich konnte mit mehreren Videos die V6 mit der V5 vergleichen.

Das Ergebnis war für mich sehr überraschend: Die V5 ist deutlich besser. Gerade bei Schwenks, was ja die Mehrzahl der Fälle betrifft, konnte ich eine wesentlich bessere Stabilisierung mit der V5 erreichen.

Deswegen lege ich mir das Upgrade auch nicht zu und freue mich umso mehr über meine wunderbare Version V5.

[Bruno Peter]

Ich konnte mit mehreren Videos die V6 mit der V5 vergleichen.

Bei welchen Einstellungen?

[Rick SSon]

Is das besser als Stabilizer in PP, oder Resolve?

[medienonkel]

[quote="Rick SSon" post_id=1144866 time=1658173749 user_id=29618]
Is das besser als Stabilizer in PP, oder Resolve?
[/quote]
Ist der stabilizer in pp eigentlich immer noch nur single threaded?
Wenn ja, dann ist mercalli schon seit Jahren besser.

[Frank Glencairn]

Ehrlich gesagt ist mir die Geschwindigkeit völlig wurscht - was hinten raus kommt ist entscheidend.
Was nutzt mir denn irgendein "Turbo" wenn das Material danach aussieht wie stabilisierter Wackelpudding?

Ich hatte kürzlich Material zum Graden hier - eigentlich gar nicht so schlimm, schlecht balancierter Gimbal mit dem üblichen Bobbing folgt zwei Leuten durch einen Gang, andere kommen entgegen - der Kunde hat mich gefragt ob ich da noch was machen kann, da er mit seinem FInalCut nicht zu befriedigten Ergebnissen gekommen ist.

Weder Resolve, noch Mercalli noch Mocca haben es vernünftig hinbekommen, von dem unseligen Adobe Wrap Stabilizer (Nomen est Omen) mal ganz abgesehen. Bei solchen Perspektivverschiebungen wie in dieser Szene gehen die alle in die Knie. Womöglich hätte man mit entsprechenden Masken in Mocca noch was reißen können, wer weiß?

Ich werd mir jetzt mal ne Testversion runter laden, und schauen ob die AI da tatsächlich irgendwas besser kann.

[dosaris]

...
Ich werd mir jetzt mal ne Testversion runter laden, und schauen ob die AI da tatsächlich irgendwas besser kann.

AI ist mE eher ein Hype, damit lässt sich heute alles verkaufen, weil:
AI ist auch nix anderes als ein Algorithmus. Irgendwie muss ja zuvor definiert (= programmiert) worden sein,
wie sich die AI intern verhalten und was sie machen soll.

Aber teste mal.
Ich kann mir kaum vorstellen, wie man zuverlässig Jello aus einem verwackelten Bild vollständig rausrechnen könnte.
Dazu benötigt man eine eindeutige Referenz der sauberen Bildinfo gegen die man korrigieren kann.
Das wäre fast ein Münchhausen-Algorithmus, der sich selbst aus dem Wackelsumpf heraus ziehen will.

Womit ich aber nix gegen Prodad sagen will.
Einige Sachen von denen haben exzellente Algorithmen.

[Bruno Peter]

Man muss sich halt in die Settings von Mercalli 6 SAL "eingraben" um erfolgreich zu sein
was die CMOS-Fehlerkorrektur z.B. auch auch gegen das hochfrequente Zittern leistet
was selbst eGimbal aus dem Stand heraus aus näherer Entfernung wegen der Trägheit
der Ausgleichsmotore nicht leisten können.

Ich kenne kein Nachstabilisierungsprogramm welche es besser als Mercalli realisieren
könnte....

[VBehrens]

Ich empfehle Videoaufnahmen mit 60 FPS.

Dann hat man selbst bei langsamen Schwenks kaum ein Zittern.

[Darth Schneider]

Kann ich bestätigen, auch mit 50fps schwenkt es auf dem Monitor gleichmässiger, fast ganz ohne Micro Ruckeln, als mit 24/25 FpS…

(Mit 24/25 FpS geht das nur ohne Ruckeln, wenn man gaaanz langsam schwenkt.)
Gruss Boris

[Frank Glencairn]

Aber teste mal.
Ich kann mir kaum vorstellen, wie man zuverlässig Jello aus einem verwackelten Bild vollständig rausrechnen könnte.
Dazu benötigt man eine eindeutige Referenz der sauberen Bildinfo gegen die man korrigieren kann.
Das wäre fast ein Münchhausen-Algorithmus, der sich selbst aus dem Wackelsumpf heraus ziehen will.

Hab's eben ausprobiert, auch die AI in der 6 beißt sich an dem Material die Zähne aus, im Gegenteil das unstabilisierte Material ist stabiler.

Gegenläufige Bewegungen sind anscheinend der Endgegner jeder Stabilisierungssoftware.

Wobei Jello raus rechnen (bei anderem Material) sogar erstaunlich gut funktioniert, aber stabilisieren halt nicht - jedenfalls nicht mit dem Problemclip, mit anderem Material (typisches Feihand rumgeeiere) geht es eigentlich ganz gut.

[Jörg]

im Gegenteil das unstabilisierte Material ist stabiler.

stelle ich häufig fest.

[Bruno Peter]

Hier zeigt die Filmpraxis welche Vorteile die SAL-Version gegenüber den Plug-ins hat,
zwar noch mit der älteren SAL 5 im Video aber die Vorstellung von Herrn Wagner ist überzeugend.
Im Falle der SAL 6 kommt noch der Vorteil der KI-Technik hinzu und die höhere Hardware-Beschleunigung
zum tragen. Wer den Vorteil der SAL 6 Version nicht erkennt und nicht heben kann, der tut mir sehr leid!

[CameraRick]

Gegenläufige Bewegungen sind anscheinend der Endgegner jeder Stabilisierungssoftware.

Irgendwo auch verständlich, die Bewegung passiert auf mindestens zwei Ebenen und er kann vermutlich nicht so gut feststellen, welche er den Vorzug gibt; im Zweifel müsste man ihm das sagen können. Entweder hat die KI da ihre Grenzen oder es ist eben eher was anderes, was man mal wieder KI genannt hat :)

Um es komplett stabil zu kriegen müsste man die Ebenen trennen, stabilisieren und wieder kombinieren - tricky, weil ja massiv viele Bildinformationen an Rändern (von Bildrand so wie Bildinhalten) fehlen. Kann man mit einer elaborierten Projektion meist lösen, je nach Shot ist das natürlich aber den Aufwand nicht wert.

[Frank Glencairn]

Ja, wie ich oben schon sagte, wahrscheinlich wär's mit handanimierten Masken in Mocca einigermaßen gegangen, gab aber kein Budget dafür.

[dosaris]

...Entweder hat die KI da ihre Grenzen oder es ist eben eher was anderes, was man mal wieder KI genannt hat :)

es ist "was anderes"
ein grundsätzliches mathematisch-physikalisches Problem:

das System muss (min) 1fach überbestimmt sein.
d.h. es muss min 1 Parameter mehr zur Referenzierung existieren, der als Bezug dienen kann.

analoges Problem zB beim GPS.
um den Schnittpunkt (= Empfangsort) zw 3 Kreisen (je gleiche Signallaufzeit wenn auf Kugel projiziert) zu ermitteln muss man min 4 Sats empfangen,
weil die Entfernung über die Signallaufzeit ermittelt wird. Da die Start-Uhrzeit unten aber zunächst unbekannt ist muss man
einen Wert zusätzlich haben, mit dem man die genaue Sat-Uhrzeit am Boden errechnen kann.

Es wird aber bei der Bildstabiliserung einige Szenarien geben, bei denen es mit ein paar plausiblen key-asumptions brauchbare Resultate gibt.
Dann kann - je nach Motiv/Störung - auch Stabilisierung UND Jello-Korrektur gleichzeitig funktionieren.
Zum Glück.

[VBehrens]

@Bruno Peter:

Wenn ich Mercalli V5 SAL auf meinem PC mit Windows 10, 64 Bit PRO sowie CPU AMD Ryzen Threadripper PRO 3995WX mit 64 Cores und 128 Threads / GPU NVidia RTX 3090 laufen lasse, setzt die Software selbst sehr viele Clips extrem schnell um. Und dies in absoluter TOP-Qualität, wenn ich die Einstellungen bzgl. "Kameraschwenk glätten", "Skalierung" sowie "Rauschunterdrückung / Schärfe" zuvor Clip spezifisch angepasst habe.

Damit bin ich sehr zufrieden.

[Bruno Peter]

Glaube ich Dir, allerdings ist Dein PC nicht besonders umweltfreundlich,
mit dem Stromverbrauch könntest Du bestimmt einen Ochsen braten?

[VBehrens]

Ich freue mich jeden Tag über diesen PC, den Stromverbrauch kann ich mir leisten.

[Frank Glencairn]

Viel hilft viel :-)

[andieymi]

(Mit 24/25 FpS geht das nur ohne Ruckeln, wenn man gaaanz langsam schwenkt.)
Gruss Boris

Oder eben die 7 Sekunden. Das kommt von 24 Frames, 180° Shutter.

Kann man aber auch ausrechnen:
https://www.red.com/panning-speed