Bladerunner
Beiträge: 13

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von Bladerunner »

Ergänzung zum Beitrag von gestern:

Auch bei mir ist der Modus "Upsampling HQ-CG" von Anfang an der einzig Brauchbare.
Der Modus "Upsampling HQ" ist selten hilfreich, da hier die Schärfe zwar etwas höher ist, aber erst Recht Strukturen und Gesichter nahezu "zerstört"
Der Modus "Upsamling LQ" erzeugt ein deutlich unreineres Bild mit zusätzlich erzeugten Artekfakten.

HIer sei noch bemerkt, dass ich mit Video-Material 480p und niedriger experimentiere.

Weitere Erfahrungen dem Tool:
- das Rendern geht verhältnismäßig schnell und gleich ungefähr dem Tempo, was ich bei Neat Video habe (RTX 2060, 8GB im Einsatz)
- das Deblocking ist sehr beeindruckend
- Kanten werden in der Regel beeindruckend geglättet ("stabilisiert")
- Bildrauschen wird meist vollständig beseitigt
- Die Bildschärfe wird gerade bei Kanten sichtbar erhöht (nicht übertrieben). Leider führt das bei Gesichtern zu z.B. Überschärfungen im Augenbereich.
- in einigen wird das gesamte Bild leider zu stark geglättet, dass das Bild unnatürlich wirkt. Hier braucht man definitiv manuelle Anpassungsmöglichkeiten
Windows 10 64Bit, i7 4790 Quad-Core, 32GB Ram, AS Rock Z97 Extreme 4, NVidia GeForce GTX 2060, Sony AX53 4K, DJ Mavic Air, GoPro5 Black Hero, Magix Video Deluxe 2019, Cyberlink Power Director 18/19, Davinci Resolve, Adobe (all applications)



Asjaman
Beiträge: 298

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von Asjaman »

Ich habe die Demoversion von Topaz Video Enhance (1.2.0) installiert und musste gleich entsetzt feststellen, dass dort kein Deinterlacer integriert ist. Das heißt, man muss diesen Schritt vorher gehen und verliert damit durch die Neu-Encodierung bereits an Qualität.
Das Programm wäre für mich also nur interessant, wenn es die nativen Dateien mit allem Nötigen verarbeiten kann. Dieser ganze alte SD-Kram sowie auch HDV sind doch allermeistens interlaced, deshalb verstehe ich nicht, wieso Topaz das nicht gleich berücksichtigt und hochwertiges De-Interlacing integriert. Immerhin heißt es auf der Website: "We are working on a deinterlacer AI at this moment, stay tuned."



Bladerunner
Beiträge: 13

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von Bladerunner »

Ich habe nun seit Wochen Video Enhance AI umfangreich im Einsatz; nach wie vor in der Testversion, die ich mir habe verlängern lassen.
Mittlerweile ist die Version 1.2.0 veröffentlich, die man downloaden kann.
Seit den letzten Updates wird nun auch Audio verarbeitet und bei Einsatz von GTX/RTX sieht man deutlich Performance-Verbesserungen.
Gesichter und Strukturen werden seit den letzten Versionen zum Glück nur noch in seltenen Fällen "zerstört".
Nur mit dem Modus CG erreiche ich deutliche Verbesserungen bei altem VHS/SVHS/Hi8-Material. Und die sind in der Regel sehr sehr beeindruckend. Bedenkt man, dass das Ausgangsmaterial wirklich sehr "dirty" ist (Bildrauschen auf höchstem Niveau, Blöckchenbildungen über das ganze Bild, ausgefranzte/undeutliche Kanten, Unschärfe sowieso), grenzt das fast schon an Zauberei, was Video Enhance AI, da teilweise leistet. Eigentlich hatte ich mal' gelernt "Garbage in/Garbage out" und verschlimmbessert solche Videos nur. Da habe ich in den letzten Wochen ganz andere und sehr positive Erfahrungen gemacht.
ALLERDINGS: die Schwäche des Tools liegt beim CG-Modus im Addieren von neuen Artefakten/Strukturen. Das passiert nicht bei jedem Clip. Meist werden die netzartigen/punktartigen Artefakte bei Landschaftsaufnahmen z.B. Pflanzen, Bäumen und Gras dazuaddiert; mal stärker/größer und mal weniger ausgeprägt. Offenbar ist die AI immer noch am lernen, wie mit Pflanzen, Gräsern usw. umzugehen ist. Ob das überhaupt jemals möglich sein wird, weiß ich nicht.
Ich habe aber längst einen Workflow herausgefunden, dies einigermaßen in den Griff zu bekommen. UND, die Ergebnisse sind teilweise unfassbar; gerade im vorher/nachher-Vergleich:
1. AVI-Material mit Tmpgenc Masterworks 6 oder 7 mit Deinterlace im Modus HIGH PRECISION deinterlacen und mit 1280x720, 25FPS, 30Mbit in MP4 rendern
2. Das neue v.g. MP4 mit Neat Video entrauschen....aber nur ganz "zart"...bis das Bildrauschen im Himmel fast verschwunden ist (nur fast!) (nutze es in Magix Video ProX)
3. Color Grading im Himmel vornehmen >>> bei VHS/S-VHS/HI8 war der Himmel damals meist lila..(nutze das Farbanpassungstool in Magix Video ProX...sehr schnell/einfach dafür)
4. Video Enhance im Modus CG und 200% rendern lassen
5. Color-Grading am besten in meinem Fall = ColorDirector von Cyberlink (funktioniert ähnlich wie z.B. Luminar...von daher einfach und schnell und hat Bewegungsverfolgung)
Das klingt natürlich nach viel Arbeit im Vorfeld und danach....stimmt! :-) Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte. Natürlich sieht das Endergebnis nicht wie 1080p/2K oder 4K aus.....
Windows 10 64Bit, i7 4790 Quad-Core, 32GB Ram, AS Rock Z97 Extreme 4, NVidia GeForce GTX 2060, Sony AX53 4K, DJ Mavic Air, GoPro5 Black Hero, Magix Video Deluxe 2019, Cyberlink Power Director 18/19, Davinci Resolve, Adobe (all applications)
Zuletzt geändert von Bladerunner am Mo 30 Mär, 2020 13:42, insgesamt 2-mal geändert.



cantsin
Beiträge: 14144

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von cantsin »

Bladerunner hat geschrieben: Mo 30 Mär, 2020 11:08 Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.
Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!



Bladerunner
Beiträge: 13

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von Bladerunner »

cantsin hat geschrieben: Mo 30 Mär, 2020 11:35
Bladerunner hat geschrieben: Mo 30 Mär, 2020 11:08 Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.
Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!
Ja, wenn ich das eine Projekt abgeschlossen habe, kann ich das sicher mal auf Youtube oder Vimeo laden.
Windows 10 64Bit, i7 4790 Quad-Core, 32GB Ram, AS Rock Z97 Extreme 4, NVidia GeForce GTX 2060, Sony AX53 4K, DJ Mavic Air, GoPro5 Black Hero, Magix Video Deluxe 2019, Cyberlink Power Director 18/19, Davinci Resolve, Adobe (all applications)



Serge
Beiträge: 63

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von Serge »

Interessant wäre ein Vergleich desselben mit dem (schon älteren und kostenlosen) "Neural network resizer NNEDI3", siehe auch:
https://forum.blackmagicdesign.com/view ... 59#p603885

marty_mc hat geschrieben: Do 20 Feb, 2020 17:50 Ok, Leute, jetzt hab ich es endlich geschafft, ein wenig miniDV und DVCam Material durch diese Enhance Video AI Software zu schicken. Guckst euch an, es sind erstmal ein paar Testaufnahmen für euch.

Vorweg: Es ist nix zum staunen, aber interessant allemal. Das PRoblem ist eben die Kamera mit ihrer Kantenanhebung und auch DV mit der 4:2:0 Farbkodierung.
Die entstandenen Artefakte stören mich nicht so sehr. Eher finde ich die maue/akutell unscharfe Version des Films nicht so gut.
Das Material der DVCam Aufnahmen ist besser, da die Kamera (Sony DSR 500 WSP) dann doch schärfer aufgelöst hatte.

Viel Spaß beim reinschnuppern. Ich denke mal, in 4 bis 6 Wochen habe ich die etwas schärfere Version vom "Teufel von Rudow" auf Amazon Prime hochgeladen/ersetzen . Mal schauen.



Frank Glencairn
Beiträge: 22703

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von Frank Glencairn »

Das ist doch schon ganz beachtlich.
Sapere aude - de omnibus dubitandum



Serge
Beiträge: 63

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von Serge »

Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:

Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).

Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55“ TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.

Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.



marty_mc
Beiträge: 230

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von marty_mc »

Hallo in die Runde!

Nun endlich hat Amazon die KI VERSION unseres alten SD - Trash Spielfilmes "Der Teufel von Rudow" freigegeben. Nice, nice, aber wie gesagt, das könnte irgendwann noch besser aussehen, wenn diese Art der Software sich noch mehr entwickelt.
Wir haben das Streaming abgestellt, sehts uns nach. Wer aber Interesse hat, sich den Film anzuschauen, der könnte als günstigstes die HD Version für 3,99 leihen.
Aber wie gesagt, es war ein Studenten Abschluss Projekt aus dem Jahr 2002, den wir mit der Canon XL-1 aufgenommen hatten, bitte kein Premium Film erwarten.;-)

https://amzn.to/37E83JG

Martin :-)
Schöne Ostern euch!°



apevel
Beiträge: 27

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von apevel »

Habe das Proggi gekauft und bin leicht der Verzweiflung nahe. Bei mir rendert das immer nur ein paar Sekunden. Ich habe es natürlich frei geschaltet. Ich gebe Start und Endframe ein und nach ein paar Sekunden ist schicht im Schacht. Kann mir da wer helfen?

Danke
Wir digitalisieren Ihre alten Schätze.
www.filmrolle.tv - www. imagevideo.tv - www.panoramafoto.com



iasi
Beiträge: 24217

Re: Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K

Beitrag von iasi »

Serge hat geschrieben: Sa 04 Apr, 2020 22:26 Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:

Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).

Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55“ TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.

Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).
Interessant. Danke für das Teilen deiner Tests.

Braucht es bei Resolve eigentlich den separaten Deinterlacer?



 Aktuelle Beiträge [alle Foren]
 
» Red Komodo 6K + Gimbal, Advanced Ring Grip und viel Zubehör
von Sevenz - Do 16:35
» Neues SIGMA 50mm F1,2 DG DN | Art Objektiv wiegt 745g
von dienstag_01 - Do 16:33
» Mac SSD Speed Messung?
von rush - Do 16:11
» Firmwareupdates für Sony Alpha 1, 7 IV, 7S III, 7R V, 7CR, 7CII, ZV-E1
von klusterdegenerierung - Do 16:08
» Tieraufnahmen mit dem MKE600 + H1 Essential rauschen
von Swat - Do 16:06
» 4 Gründe hartes Licht zu nutzen
von ruessel - Do 15:45
» Blackmagic Camera 8.6 Public Beta
von Frank Glencairn - Do 15:12
» [gelöst] 3.5mm Klinkenstecker Überwurfmutter
von Skeptiker - Do 14:42
» Panasonic S5 - Allgemeine Fragen, Tipps und Tricks, Zeig deine Bilder/Videos usw.
von Darth Schneider - Do 13:49
» -SONY FX- Erfahrungsaustausch
von rush - Do 13:40
» AOC bringt 44.5" OLED-Riesenmonitor mit 98.5% DCI-P3
von MK - Do 12:07
» Adobe führt die neue Funktion "Structure Reference" in Firefly ein
von slashCAM - Do 10:54
» Sondergagen - Wer aufmuckt, wird nicht mehr besetzt
von stip - Do 9:49
» Was schaust Du gerade?
von Frank Glencairn - Do 9:00
» Nikon stellt NIKKOR Z 28-400mm f/4-8 VR Superzoom-Objektiv vor
von rush - Do 8:51
» Exhuma - die Südkoreaner können erfolgreiche Filme drehen
von -paleface- - Do 8:46
» FCPX/Motion, DaVinci/Fusion... Tipps&Tricks
von Frank Glencairn - Do 4:00
» Was hörst Du gerade?
von roki100 - Do 0:22
» Sony A9 III im Praxistest - ein echter Überraschungscoup auch für Filmer
von Mantas - Mi 23:27
» Video Pro X stürzt beim Multi Cam Schnitt ab
von MisterX - Mi 21:47
» Uwe Boll: Wie man Filme produziert ohne pleite zu gehen!
von iasi - Mi 19:53
» Nach 7 Jahren mit der OG BMPCC finde ich das Bild noch immer schön.
von Darth Schneider - Mi 18:58
» Verschachtelte Timeline im richtigen Seitenformat
von Clemens Schiesko - Mi 18:43
» Untertitel in FCPX bei vorhandener Textdatei?
von R S K - Mi 18:34
» Deckenlicht mobil abschatten
von Frank Glencairn - Mi 17:31
» LUTs für Canon R6 Mark II
von TomStg - Mi 12:24
» RED versucht User nach Übernahme durch Nikon zu beruhigen
von dienstag_01 - Mi 11:52
» Entfesseltes Storytelling mit der Video-KI Sora?
von Frank Glencairn - Mi 5:54
» Slashcam 2001 - Das Internet vergisst nichts!
von macaw - Di 21:37
» Dehancer Pro - Filmsimulation auf höchstem Niveau
von Frank Glencairn - Di 18:54
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von iasi - Di 13:32
» 3 Body Problem - so verfilmt man heute Bücher
von stip - Di 8:30
» Neue Sora Version
von Frank Glencairn - Di 7:54
» IDEENFINDUNG: Wie man spannende Filme entwickelt! mit Vi-Dan Tran (Actiondesigner DUNE)
von berlin123 - Di 6:47
» Kafka Serie
von rabe131 - Mo 23:09