Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

[Bladerunner]

Ergänzung zum Beitrag von gestern:

Auch bei mir ist der Modus "Upsampling HQ-CG" von Anfang an der einzig Brauchbare.
Der Modus "Upsampling HQ" ist selten hilfreich, da hier die Schärfe zwar etwas höher ist, aber erst Recht Strukturen und Gesichter nahezu "zerstört"
Der Modus "Upsamling LQ" erzeugt ein deutlich unreineres Bild mit zusätzlich erzeugten Artekfakten.

HIer sei noch bemerkt, dass ich mit Video-Material 480p und niedriger experimentiere.

Weitere Erfahrungen dem Tool:
- das Rendern geht verhältnismäßig schnell und gleich ungefähr dem Tempo, was ich bei Neat Video habe (RTX 2060, 8GB im Einsatz)
- das Deblocking ist sehr beeindruckend
- Kanten werden in der Regel beeindruckend geglättet ("stabilisiert")
- Bildrauschen wird meist vollständig beseitigt
- Die Bildschärfe wird gerade bei Kanten sichtbar erhöht (nicht übertrieben). Leider führt das bei Gesichtern zu z.B. Überschärfungen im Augenbereich.
- in einigen wird das gesamte Bild leider zu stark geglättet, dass das Bild unnatürlich wirkt. Hier braucht man definitiv manuelle Anpassungsmöglichkeiten

[Asjaman]

Ich habe die Demoversion von Topaz Video Enhance (1.2.0) installiert und musste gleich entsetzt feststellen, dass dort kein Deinterlacer integriert ist. Das heißt, man muss diesen Schritt vorher gehen und verliert damit durch die Neu-Encodierung bereits an Qualität.
Das Programm wäre für mich also nur interessant, wenn es die nativen Dateien mit allem Nötigen verarbeiten kann. Dieser ganze alte SD-Kram sowie auch HDV sind doch allermeistens interlaced, deshalb verstehe ich nicht, wieso Topaz das nicht gleich berücksichtigt und hochwertiges De-Interlacing integriert. Immerhin heißt es auf der Website: "We are working on a deinterlacer AI at this moment, stay tuned."

[Bladerunner]

Ich habe nun seit Wochen Video Enhance AI umfangreich im Einsatz; nach wie vor in der Testversion, die ich mir habe verlängern lassen.
Mittlerweile ist die Version 1.2.0 veröffentlich, die man downloaden kann.
Seit den letzten Updates wird nun auch Audio verarbeitet und bei Einsatz von GTX/RTX sieht man deutlich Performance-Verbesserungen.
Gesichter und Strukturen werden seit den letzten Versionen zum Glück nur noch in seltenen Fällen "zerstört".
Nur mit dem Modus CG erreiche ich deutliche Verbesserungen bei altem VHS/SVHS/Hi8-Material. Und die sind in der Regel sehr sehr beeindruckend. Bedenkt man, dass das Ausgangsmaterial wirklich sehr "dirty" ist (Bildrauschen auf höchstem Niveau, Blöckchenbildungen über das ganze Bild, ausgefranzte/undeutliche Kanten, Unschärfe sowieso), grenzt das fast schon an Zauberei, was Video Enhance AI, da teilweise leistet. Eigentlich hatte ich mal' gelernt "Garbage in/Garbage out" und verschlimmbessert solche Videos nur. Da habe ich in den letzten Wochen ganz andere und sehr positive Erfahrungen gemacht.
ALLERDINGS: die Schwäche des Tools liegt beim CG-Modus im Addieren von neuen Artefakten/Strukturen. Das passiert nicht bei jedem Clip. Meist werden die netzartigen/punktartigen Artefakte bei Landschaftsaufnahmen z.B. Pflanzen, Bäumen und Gras dazuaddiert; mal stärker/größer und mal weniger ausgeprägt. Offenbar ist die AI immer noch am lernen, wie mit Pflanzen, Gräsern usw. umzugehen ist. Ob das überhaupt jemals möglich sein wird, weiß ich nicht.
Ich habe aber längst einen Workflow herausgefunden, dies einigermaßen in den Griff zu bekommen. UND, die Ergebnisse sind teilweise unfassbar; gerade im vorher/nachher-Vergleich:
1. AVI-Material mit Tmpgenc Masterworks 6 oder 7 mit Deinterlace im Modus HIGH PRECISION deinterlacen und mit 1280x720, 25FPS, 30Mbit in MP4 rendern
2. Das neue v.g. MP4 mit Neat Video entrauschen....aber nur ganz "zart"...bis das Bildrauschen im Himmel fast verschwunden ist (nur fast!) (nutze es in Magix Video ProX)
3. Color Grading im Himmel vornehmen >>> bei VHS/S-VHS/HI8 war der Himmel damals meist lila..(nutze das Farbanpassungstool in Magix Video ProX...sehr schnell/einfach dafür)
4. Video Enhance im Modus CG und 200% rendern lassen
5. Color-Grading am besten in meinem Fall = ColorDirector von Cyberlink (funktioniert ähnlich wie z.B. Luminar...von daher einfach und schnell und hat Bewegungsverfolgung)
Das klingt natürlich nach viel Arbeit im Vorfeld und danach....stimmt! :-) Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte. Natürlich sieht das Endergebnis nicht wie 1080p/2K oder 4K aus.....

[cantsin]

Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.

Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!

[Bladerunner]

Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.

Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!

Ja, wenn ich das eine Projekt abgeschlossen habe, kann ich das sicher mal auf Youtube oder Vimeo laden.

[Serge]

Interessant wäre ein Vergleich desselben mit dem (schon älteren und kostenlosen) "Neural network resizer NNEDI3", siehe auch:
https://forum.blackmagicdesign.com/view ... 59#p603885

Ok, Leute, jetzt hab ich es endlich geschafft, ein wenig miniDV und DVCam Material durch diese Enhance Video AI Software zu schicken. Guckst euch an, es sind erstmal ein paar Testaufnahmen für euch.

Vorweg: Es ist nix zum staunen, aber interessant allemal. Das PRoblem ist eben die Kamera mit ihrer Kantenanhebung und auch DV mit der 4:2:0 Farbkodierung.
Die entstandenen Artefakte stören mich nicht so sehr. Eher finde ich die maue/akutell unscharfe Version des Films nicht so gut.
Das Material der DVCam Aufnahmen ist besser, da die Kamera (Sony DSR 500 WSP) dann doch schärfer aufgelöst hatte.

Viel Spaß beim reinschnuppern. Ich denke mal, in 4 bis 6 Wochen habe ich die etwas schärfere Version vom "Teufel von Rudow" auf Amazon Prime hochgeladen/ersetzen . Mal schauen.

[Frank Glencairn]

Das ist doch schon ganz beachtlich.

[Serge]

Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:

Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).

Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55“ TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.

Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).

[marty_mc]

Hallo in die Runde!

Nun endlich hat Amazon die KI VERSION unseres alten SD - Trash Spielfilmes "Der Teufel von Rudow" freigegeben. Nice, nice, aber wie gesagt, das könnte irgendwann noch besser aussehen, wenn diese Art der Software sich noch mehr entwickelt.
Wir haben das Streaming abgestellt, sehts uns nach. Wer aber Interesse hat, sich den Film anzuschauen, der könnte als günstigstes die HD Version für 3,99 leihen.
Aber wie gesagt, es war ein Studenten Abschluss Projekt aus dem Jahr 2002, den wir mit der Canon XL-1 aufgenommen hatten, bitte kein Premium Film erwarten.;-)

https://amzn.to/37E83JG

Martin :-)
Schöne Ostern euch!°

[apevel]

Habe das Proggi gekauft und bin leicht der Verzweiflung nahe. Bei mir rendert das immer nur ein paar Sekunden. Ich habe es natürlich frei geschaltet. Ich gebe Start und Endframe ein und nach ein paar Sekunden ist schicht im Schacht. Kann mir da wer helfen?

Danke

[iasi]

Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:

Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).

Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55“ TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.

Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).

Interessant. Danke für das Teilen deiner Tests.

Braucht es bei Resolve eigentlich den separaten Deinterlacer?