KI Forum



Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
slashCAM
Administrator
Administrator
Beiträge: 11262

Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von slashCAM »


Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearn...
Bild
Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?



Jott
Beiträge: 21802

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Jott »

Viel interessanter wäre ein Vergleich in Sachen Bewegtbild, was ja erheblich komplexer ist. Da gibt's ja inzwischen ein paar Kandidaten.

Beispiel: altes Interlaced-Archivmaterial (Beta/Beta SP/DV) in glaubhaftes progressives HD verwandeln - was geht real?

Wir haben gerade altes (gutes) HDV-Material in einem Projekt, da muss ich selber mal rumspielen, ob die Versprechen gehalten werden können. Bis jetzt habe ich zwar leichte Verbesserungen, aber nicht das versprochene Wunder aus den Demos gesehen. Wäre schon nett. Und muss gar nicht kostenlos sein.



medienonkel
Beiträge: 678

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von medienonkel »

Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )

Ansonsten ist VEAI von topaz ganz gut beim skalieren. In der aktuellen 3.1 wird schnell gerechnet. Ich habe aber einen Bug: laut Log verabschiedet sich bei mir nach ein paar tausend frames die rtx3090 aus dem System. Black Screen, der Rest läuft weiter...
Die 3.0.12 läuft stabil, aber im Vergleich zur 3.1 deutlich langsamer.

Am deutlichsten sieht man den Detailgewinn bei DV und sonstigem SD Material.
Kompressionsartefakte lassen sich auch gut rausrechnen.
Farbinformationen werden auch "ergänzt". Kommen zwar keine echten 10bit raus, aber das Material wird stabiler beim keying/Grading.



Totao
Beiträge: 246

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Totao »

Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.



Darth Schneider
Beiträge: 19006

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Darth Schneider »

Wie denn sonst ?
Die KI ist immer noch etwas unberechenbar…;)))
Gruss Boris



Axel
Beiträge: 16233

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Axel »

medienonkel hat geschrieben: Mo 23 Jan, 2023 18:27 Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )
Cool, danke, kannte bloß die Clip Attributes.
Bild
Was nimmt man denn? Schärfer? Weicher? Bikubisch? Erfahrungen?
Na und? Im Fernsehen wird ja auch alles wiederholt ...



tom
Administrator
Administrator
Beiträge: 1485

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von tom »

Lorphos hat geschrieben: Mo 23 Jan, 2023 18:45 Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.
Steht doch im Text:
Super Resolution Verfahren nutzen für das "Mehr an Pixeln" und damit mehr an Bildinformationen nicht die alte und eher primitive Interpolation zwischen bekannten Pixeln, sondern erfinden Details schlüssig hinzu.
....
Man sollte allerdings im Hinterkopf behalten, daß die entstehenden hochskalierten Bilder nur sehr wahrscheinliche, zusätzliche Details enthalten und nicht die "wahren" Details aus der der ursprünglichen Aufnahmesituation des Bildes.
Thomas
slashCAM



Vectorizer
Beiträge: 27

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Vectorizer »

In Sachen Bewegtbild wird ja seit einiger Zeit Topaz AI breit beworben. Ich hab es mir vor kurzem tatsächlich gekauft, weil ich ein paar alte DV-Film für den Upload auf youtube aufwerten wollte und kann dazu folgendes sagen:

Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.

Was mich sehr überrascht hat: Topaz AI kann die starke elektronische Nachschärfung von altem SD-Material quasi wegrechnen!! DAS ist für mich ein echtes Highlight, da ich bis dato immer dachte, elektronische Schärfe im Bild ist quasi nicht entfernbar im Nachhinein. Es gibt natürlich Szenen, wo es weniger gut funktioniert und zum Beispiel bei weichen Blenden tauchen die Artefakte dann wieder kurz auf, aber grundsätzlich für mich eines der besten features!

Der eigentliche USP der Software, also das Upscaling: Naja. Die "dazu erfundenen Details" sehen für mich einfach nicht gut aus. Bei klaren Linien schafft es die Software gut, diese nachzuzeichnen. Bei chaotischen Details, wie Haaren oder Blattwerk und Zweige, werden, soweit ich das beurteilen kann, weitere Linien parallel dazu erzeugt und die sehen dann aus die Echowellen oder Rasterdruck. Also für eine Verdopplung der Auflösung mag das noch gehen, aber das was beworben wird ist ja "Von SD auf 4K (oder 8K)" und das ist Quatsch, bzw. sieht einfach nur sch*** aus.

Ich denke mal, wenn in ein paar Jahren die KI versteht, was menschliche Haut ist und was Blattwerk, Haare, Asphalt, etc. dann kann das richtig geil werden. Zur Zeit steckt es noch sehr in den Kinderschuhen meiner Meinung nach.
TopazAIComp.jpg
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.



cantsin
Beiträge: 14103

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von cantsin »

Bei Deinem vorletzten Bild (der Mann im beigen Jackett) werden für meinen Geschmack zuviele Bilddetails/Texturen glattgegebügelt...



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

Vectorizer hat geschrieben:Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.



freezer
Beiträge: 3240

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von freezer »

dienstag_01 hat geschrieben: Di 24 Jan, 2023 09:17
Vectorizer hat geschrieben:Was das Programm phantastisch kann: Deinterlacing. Der Wandel von 25i in 50p Material ist absolut tadellos, ohne die sonst oft auftretende Treppchenbildung durch Deinterlacing. Auch das Farbsubsampling wird glattgebügelt und die grobklotzigen Farbinformationen (auffällig grade bei rot) sind danach quasi komplett unauffällig.
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Treppchen können beim Deinterlacing immer dort auftreten, wo der Algorithmus versagt und die Halbbilder nicht korrekt ineinander verrechnen kann.
Da siehst Du schön beim DaVinci Deinterlacer in den Einstellungen "Normal" und "High", aber selbst bei der "Neural Engine" kommt es vor, wobei mir vorkommt, dass letztere mit Resolve 18 nochmals einen Qualitätssprung gegenüber DVR17 hatte.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

freezer hat geschrieben: Di 24 Jan, 2023 09:39
dienstag_01 hat geschrieben: Di 24 Jan, 2023 09:17
Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Treppchen können beim Deinterlacing immer dort auftreten, wo der Algorithmus versagt und die Halbbilder nicht korrekt ineinander verrechnen kann.
Da siehst Du schön beim DaVinci Deinterlacer in den Einstellungen "Normal" und "High", aber selbst bei der "Neural Engine" kommt es vor, wobei mir vorkommt, dass letztere mit Resolve 18 nochmals einen Qualitätssprung gegenüber DVR17 hatte.
Ah, ok, ist mir neu.
Ich hatte vor Jahren sehr viel deinterlaced, da ist mir sowas nie untergekommen, da ging es eher darum, dass es nicht zu weich/matchig wird.
Hat wahrscheinlich mit den neuen Methoden zu tun, muss ich mich wieder mal damit beschäftigen, danke.



Vectorizer
Beiträge: 27

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Vectorizer »

dienstag_01 hat geschrieben: Di 24 Jan, 2023 09:17 Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

Vectorizer hat geschrieben: Di 24 Jan, 2023 10:05
dienstag_01 hat geschrieben: Di 24 Jan, 2023 09:17 Nur zum Verständnis: Wenn ein Deinterlacer Treppchen an Kanten produziert, dann hat der Schalter auf AUS gestanden. Treppchen hat man nur, wenn kein Deinterlacing durchgeführt wird, sondern die beiden Halbbilder ohne jegliche Verrechnungsmethode zusammen angezeigt werden.
Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.
Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)

Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?



Vectorizer
Beiträge: 27

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Vectorizer »

dienstag_01 hat geschrieben: Di 24 Jan, 2023 10:26
Vectorizer hat geschrieben: Di 24 Jan, 2023 10:05

Wenn der Deinterlacer AUS ist, sieht man "Kämme" auf einem progressivem Display, keine Treppchen. Bei meinem Beispielbild ist das Ausgangsmaterial auch schon deinterlaced, so wie es Premiere standardmäßig macht. Aber ohne deinterlacing fand ich es schwerer mit dem Endergebnis zu vergleichen.
Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)

Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?
Oben ist das original, auf gleiche Größe skaliert mit den Einstellungen von Premiere. Unten ist mein Ergebnis mit zwei Durchgängen in Topaz AI: Erster Durchgang deinterlacing und "dehalo"ing - so nennt Topaz das Schärfe wegrechnen - zweiter Durchgang Upscaling durch den Proteus-algorithmus mit angepassten Einstellungen.



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

Vectorizer hat geschrieben: Di 24 Jan, 2023 11:27
dienstag_01 hat geschrieben: Di 24 Jan, 2023 10:26
Ja, hatte sich ja schon geklärt, dass ich keine Ahnung hab ;)

Andere Frage: Was genau wird eigentlich in deinem Bild oben verglichen? Original mit Topaz? Originalgröße, skaliert...?
Oben ist das original, auf gleiche Größe skaliert mit den Einstellungen von Premiere. Unten ist mein Ergebnis mit zwei Durchgängen in Topaz AI: Erster Durchgang deinterlacing und "dehalo"ing - so nennt Topaz das Schärfe wegrechnen - zweiter Durchgang Upscaling durch den Proteus-algorithmus mit angepassten Einstellungen.
Ah, ok.
Finde es schon interessant, was gerade bei der künstlichen Nachschärfung damit geht.
(Verwenden werde ich es wahrscheinlich trotzdem eher nie, ich wüsste keinen Zweck, altes Material seines ursprünglichen Charakters zu berauben. Ist allerdings eine ästhetische Ansicht; und über die kann man ja bekanntlich streiten ;)



medienonkel
Beiträge: 678

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von medienonkel »

Axel hat geschrieben: Mo 23 Jan, 2023 19:26
medienonkel hat geschrieben: Mo 23 Jan, 2023 18:27 Bei gutem HDV Material sollte es bzgl. deinterlacing schon sehr gute Ergebnisse in Davinci geben. Dort kann man auch eine KI rechnen lassen, bei Bedarf inkl. superresolution ( hängt ganz hinten in den Sequenz Einstellungen )
Cool, danke, kannte bloß die Clip Attributes.
Bild
Was nimmt man denn? Schärfer? Weicher? Bikubisch? Erfahrungen?
Ich weiß ehrlich gesagt nicht, ob die superresolution in resolve wirklich was mit der superresolution zu tun hat, die slashcam meint. Also, ob da wirklich ein trainiertes Netz Details dazu erfindet.
Ich kenne den Begriff der superresolution eher im Sinne von spatialem oversampling. Würde auch zu den Auswahlmöglichkeiten passen: 2x,4x,...
Superresolution habe ich mal so verstanden, dass man die originale Auflösung z.b. vervierfacht (z.b. bikubisch) und dann mit einem anderen Filter wieder auf die Zielauflösung runter rechnet. So können z.b. aliasing Artefakte oder leichtes moiré verschönert werden. Und das skalierte Bild wirkt weniger matschig. Hinzu kommt quasi eine Suche nach Details in den umgebenden frames.

Ich weiß allerdings nicht, ob das wirklich was mit neuronalen Netzen zu tun hat.


Gab es auch schon vor Jahren so in avisynth, virtual dub usw.
http://www.infognition.com/articles/wha ... ution.html



Axel
Beiträge: 16233

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Axel »

Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Na und? Im Fernsehen wird ja auch alles wiederholt ...



Frank Glencairn
Beiträge: 22533

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Frank Glencairn »

medienonkel hat geschrieben: Di 24 Jan, 2023 18:03
Ich weiß ehrlich gesagt nicht, ob die superresolution in resolve wirklich was mit der superresolution zu tun hat, die slashcam meint. Also, ob da wirklich ein trainiertes Netz Details dazu erfindet.
Ja, ich glaub auch nicht, daß SuperScale schon auf AI basiert.

"However, DaVinci Resolve provides advanced Super Scale image processing in the Clip Attributes of
every video and image clip, that make it possible to resize clips beyond their native resolution while
maintaining the perceptible sharpness of a clip that’s still within it’s native resolution. This is an illusion,
but it’s a convincing one."
Sapere aude - de omnibus dubitandum



freezer
Beiträge: 3240

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von freezer »

Axel hat geschrieben: Di 24 Jan, 2023 18:23 Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Mühselig wählen?

Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.

In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.

Ich hab so einen SmartBin für mein Olympus 12-100mm um alle Clips mit einer bestimmten Brennweite auszuwählen und eine Optikkorrektur anzuwenden.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



cantsin
Beiträge: 14103

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von cantsin »

Klassische Superresolution-Algorithmen kombinieren Bilddetails benachbarter Frames, ohne irgendwelches machine learning/KI. Selbst Avisynth kann das. Hier ein guter Artikel zu dem Thema (der Autor arbeitet als Softwareentwickler für Adobe):

https://www.filmkorn.org/zwischen-den-z ... n/?lang=en



Axel
Beiträge: 16233

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Axel »

freezer hat geschrieben: Di 24 Jan, 2023 19:19
Axel hat geschrieben: Di 24 Jan, 2023 18:23 Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Mühselig wählen?

Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.

In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.
:-)
Ich denke im Moment immer aus der Perspektive „Resolve auf iPad“, wo es keine Edit- oder Mediapage gibt (der Hack sorgt für Abstürze, deswegen ignoriere ich den hier mal). Sonst: klar, das meinte ich. „Mühselig“ ist sicherlich relativ, sagen wir mal die Markierungsmethode ist mühseliger als Auto.
Na und? Im Fernsehen wird ja auch alles wiederholt ...



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

freezer hat geschrieben: Di 24 Jan, 2023 19:19
Axel hat geschrieben: Di 24 Jan, 2023 18:23 Hab bisher alle 1080-Clips (APSC-Modus der A7Siii) farbig markiert und vor dem Export, wenn ich auf UHD umgeschaltet habe, mühselig Superscale gewählt. Schön, dass das auch Auto für die ganze Timeline geht.
Mühselig wählen?

Einen SmartBin anlegen der per Metadaten alle Clips der A7S-III beinhaltet. Kann man auch als Default für alle Projekte anlegen.
SmartBin auswählen um alle Clips der A7S-III im Media Pool zu selektieren und dann mit einer Clip-Farbe belegen.

In der Timeline dann aus dem Menü wählen "Select Clips with Clip Color" und der entsprechenden Farbe. Damit sind alle passenden Clips in der Timeline selektiert.
Dann Rechts-Klick und "Clip Attributes" und einmal SuperScale für alle auswählen. Fertig.

Ich hab so einen SmartBin für mein Olympus 12-100mm um alle Clips mit einer bestimmten Brennweite auszuwählen und eine Optikkorrektur anzuwenden.
Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.



freezer
Beiträge: 3240

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von freezer »

dienstag_01 hat geschrieben: Mi 25 Jan, 2023 12:57 Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.
Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.

Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

freezer hat geschrieben: Mi 25 Jan, 2023 16:54
dienstag_01 hat geschrieben: Mi 25 Jan, 2023 12:57 Frage. Nein, Behauptung: man kann doch Superresolution global aktivieren, muss nichts "mühselig" auswählen, da es sowieso nur auf Clips angewendet wird, die skaliert werden. Alle anderen bleiben unberührt.
Auswählen nur, wenn man unterschiedliche Skalierungen mit unterschiedlichen Einstellungen in einer Timeline verwendet.
Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.

Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.
Wie ist das zu verstehen, "ohne Änderung der Auflösung"?



freezer
Beiträge: 3240

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von freezer »

dienstag_01 hat geschrieben: Mi 25 Jan, 2023 17:13
freezer hat geschrieben: Mi 25 Jan, 2023 16:54

Ja, kannst Du machen wenn das auf Deinen Anwendungsfall zutrifft.
Ich will oft nur bestimmte Clips per SR behandeln lassen - nämlich quasi als leichte Nachschärfung und Kantenglättung ohne Änderung der Auflösung.

Die SmartBin Variante kommt bei mir eher für die schnelle Korrektur von Optikverzerrung zur Anwendung. Ich finde die sehr praktisch um mal schnell durch hunderte Clips nach bestimmten immer wiederkehrenden Kriterien zu filtern.
Wie ist das zu verstehen, "ohne Änderung der Auflösung"?
Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.
LAUFBILDkommission
Robert Niessner - Graz - Austria
Blackmagic Cinema Blog
www.laufbildkommission.wordpress.com



Axel
Beiträge: 16233

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Axel »

freezer hat geschrieben: Mi 25 Jan, 2023 18:47
dienstag_01 hat geschrieben: Mi 25 Jan, 2023 17:13
Wie ist das zu verstehen, "ohne Änderung der Auflösung"?
Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.
Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.
Na und? Im Fernsehen wird ja auch alles wiederholt ...



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

Axel hat geschrieben: Mi 25 Jan, 2023 22:29
freezer hat geschrieben: Mi 25 Jan, 2023 18:47

Ein HD Clip in einer HD Timeline. Aktiviert man SR dann wird der Clip per SR hochskaliert und wieder in die Timeline eingepasst. Ein Up+Downscaling sozusagen.
Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.
Ja, funktioniert.
Probieren muss man trotzdem ;)



Axel
Beiträge: 16233

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Axel »

dienstag_01 hat geschrieben: Mi 25 Jan, 2023 22:44
Axel hat geschrieben: Mi 25 Jan, 2023 22:29

Interessant. Das funktioniert? Dann könnte man in die native Auflösung skalieren (ihr wisst schon, wie digital zoomen). Man müsste später nur den Clip 2 x oder 4 x superscalen. Muss ich mal probieren.
Ja, funktioniert.
Probieren muss man trotzdem ;)
Wie gut (unter anderem), dass es Render in Place gibt!
Na und? Im Fernsehen wird ja auch alles wiederholt ...



dienstag_01
Beiträge: 13368

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von dienstag_01 »

Axel hat geschrieben: Do 26 Jan, 2023 12:17
dienstag_01 hat geschrieben: Mi 25 Jan, 2023 22:44
Ja, funktioniert.
Probieren muss man trotzdem ;)
Wie gut (unter anderem), dass es Render in Place gibt!
Da kannst du ja mal Bescheid sagen, bei welchen Einstellungen du überhaupt was siehst (ich meine den 1:1 Workflow ohne wirkliches Scaling).
Ich hab jetzt 3 Tage gesucht und 1 Pixel gefunden ;)



Totao
Beiträge: 246

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Totao »

tom hat geschrieben: Mo 23 Jan, 2023 20:32
Lorphos hat geschrieben: Mo 23 Jan, 2023 18:45 Etwas irreführend, es werden keine zusätzlichen Details sichtbar gemacht sondern plausibel hinzugedichtet.
Steht doch im Text:
Super Resolution Verfahren nutzen für das "Mehr an Pixeln" und damit mehr an Bildinformationen nicht die alte und eher primitive Interpolation zwischen bekannten Pixeln, sondern erfinden Details schlüssig hinzu.
....
Man sollte allerdings im Hinterkopf behalten, daß die entstehenden hochskalierten Bilder nur sehr wahrscheinliche, zusätzliche Details enthalten und nicht die "wahren" Details aus der der ursprünglichen Aufnahmesituation des Bildes.
Aber gleich die ersten zwei Sätze des Artikels suggerieren etwas anderes:
Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearning KI-Algorithmen ist aber genau das seit einigen Jahren möglich...



tom
Administrator
Administrator
Beiträge: 1485

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von tom »

Totao hat geschrieben: Fr 14 Apr, 2023 17:46
tom hat geschrieben: Mo 23 Jan, 2023 20:32 Steht doch im Text:
Aber gleich die ersten zwei Sätze des Artikels suggerieren etwas anderes:
Noch vor kurzem wäre die Idee, die Auflösung eines Bildes nachträglich zu erhöhen und so mehr Bilddetails sichtbar zu machen, als unmöglich abgetan worden. Dank DeepLearning KI-Algorithmen ist aber genau das seit einigen Jahren möglich...
Ja, stimmt. Eigentlich ist es ja noch komplexer - es werden zwar Details dazuerfunden, aber diese sind nicht beliebig, sondern sehr wahrscheinlich (weil aus vielen Beispielen realer Bilder gelernt), d.h. sie werden in den meisten Fällen sehr nahe an der Realität sein. Ich werde das bei der nächstes Superresolution-News besser erklären :-)

Thomas
slashCAM
slashCAM



TheBubble
Beiträge: 1910

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von TheBubble »

tom hat geschrieben: Fr 14 Apr, 2023 21:55 Eigentlich ist es ja noch komplexer - es werden zwar Details dazuerfunden, aber diese sind nicht beliebig, sondern sehr wahrscheinlich (weil aus vielen Beispielen realer Bilder gelernt), d.h. sie werden in den meisten Fällen sehr nahe an der Realität sein.
Bei solchen Verfahren für Fotos muss man sich zukünftig noch ein wenig mehr als bisher von der Vorstellung verabschieden, immer möglichst nah an einer für Vergleichszwecke hochauflösend gemessenen Wahrheit sein zu wollen.

Die erfundenen Details müssen der Realität eigentlich gar nicht besonders nahe kommen, es reicht völlig aus, wenn sie von der Wahrnehmung als plausible Möglichkeit akzeptiert werden. Wir werden nie erfahren, welchen Zahlenwert die hinzugefügten Pixel gehabt hätten, wenn sie tatsächlich erfasst worden wären.

Aus dem Raum aller möglichen hochauflösenden Varianten eines geringer auflösenden Fotos muss eine solche ausgewählt werden, die von der Wahrnehmung als möglichst real akzeptiert wird. Da die als Trainingsdaten verwendeten Fotos von der Wahrnehmung als echt akzeptiert werden (das ist hier eine der gemachten Festlegungen/Voraussetzungen), kann man mit ihrer Hilfe eine Berechnungsvorschrift entwerfen die, anschließend auf unbekannte Daten angewendet, eine Variante auswählt, die für die Wahrnehmung hoffentlich möglichst plausibel erscheint.



Frank Glencairn
Beiträge: 22533

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von Frank Glencairn »

Allerdings sind die Unterschiede zwischen AI Scaling (also hier z.B. Topaz) und Resolves Super Resolution jetzt auch nicht so riesig wie man meinen möchte, und oft genug lohnt sich der zusätzliche Zeit/Rechen Aufwand für AI dann auch nicht wirklich.


Sapere aude - de omnibus dubitandum



TheBubble
Beiträge: 1910

Re: Großer Vergleichstest: Upscaling per KI - welches Tool ist am besten (und kostenlos)?

Beitrag von TheBubble »

AI Scaler für Video sind IMO im Vergleich zum Foto-Einsatzbereich auch schwieriger. Das gibt bei den klassischen Skalierverfahren in anderer Form aber auch schon: Aliasing fällt z.B. beim Betrachtern von Videos viel schneller auf als Aliasing bei Fotos.

Bei Fotos ist es relativ egal welche plausible Variante von der AI aus allen Möglichkeiten als Ergebnis ausgewählt wird. Die konkrete Wahl kann beispielsweise durch Rauschen oder andere Pixelwerte in einzelnen Bereichen beeinflusst werden. Solange die Wahrnehmung die Ausgabe als hochauflösend akzeptiert, reicht es.

Wenn bei Videos allerdings ständig wechselnde Varianten ausgewählt werden, dann dürfte das sofort als eine neue Form temporaler Artefakte auffallen.

Die Verfahren für Video-Anwendungen müssen daher stabiler bzw. so angelegt sein, dass solche Probleme entlang der Zeitachse entweder nicht auftreten oder nicht auffallen.



 Aktuelle Beiträge [alle Foren]
 
» Was schaust Du gerade?
von roki100 - Di 0:52
» ZRAW - Allgemeines und Umwandlung
von roki100 - Mo 22:49
» Warnung vor LED-Leuchten mit internem Akku
von Blackbox - Mo 22:36
» After Effects CS6 Green Screen Frage
von macaw - Mo 22:07
» Wie Dune Teil 2 entstand - DoP Greig Fraser und Hans Zimmer im Interview
von iasi - Mo 22:02
» Apple setzt auf lokale KIs in iPhone, iPad und Mac
von Jost - Mo 20:48
» Sony Alpha 9 III Sensor Test: Shutter, Debayering und Dynamik
von iasi - Mo 20:35
» IDEENFINDUNG: Wie man spannende Filme entwickelt! mit Vi-Dan Tran (Actiondesigner DUNE)
von Nigma1313 - Mo 16:54
» Panasonic AG AC 90 Zubehörschuh
von martin2 - Mo 16:53
» Zu verkaufen Viltrox 56mm 1.4 Viltrox 85mm 1.8 MKII Fuji X mount
von Jörg - Mo 14:27
» Musk macht GROK zu Open Scource
von SamSuffy - Mo 13:09
» The Next Big Thing? LED-Riesenkugel Sphere will Massen-Immersion neu definieren
von Alex - Mo 13:08
» Mocha Pro 2024 integriert 3D-Tracking von SynthEyes
von slashCAM - Mo 13:00
» Was hast Du zuletzt gekauft?
von Funless - Mo 12:54
» Software Tools für Productivity
von Frank Glencairn - Mo 12:51
» welches mikro für live-konzerte?
von Skeptiker - Mo 11:11
» Mikrohalterung Sony FS5 und Z150
von nicecam - Mo 11:05
» Apple Vision Pro: Verkaufsstart (USA) ab Februar für 3.499,- Dollar + neuer Werbeclip
von Frank Glencairn - Mo 9:18
» Drohne bauen, die nicht zu orten ist …?
von Jalue - So 22:02
» Werbung - es geht auch gut ;) Sammelthread
von 7River - So 17:07
» Monitor-Leuchte als Alternative zur Tischlampe ? - Quntis ScreenLinear Pro
von Jack43 - So 16:14
» Oppenheimer - inhaltlich und spirituell
von Frank Glencairn - So 15:43
» - Erfahrungsbericht - DJI Pocket 3
von klusterdegenerierung - So 13:20
» LG investiert 1 Milliarde Dollar in OLED-Produktion
von slashCAM - So 11:36
» 30-300mm T4 Cinezoom von Viltrox
von rush - So 8:03
» Revolutionäre Video-KI Sora soll noch dieses Jahr kommen
von Alex - So 7:49
» Wenn nennt man die Musik?
von Alex - So 7:29
» 7Artisans Sprite 24-96mm T2.9 - 4x Cinezoom für S35
von roki100 - Sa 22:57
» Was hörst Du gerade?
von klusterdegenerierung - Sa 20:42
» Biete: Manfrotto MH057M0-Q5 Kugelkopf
von beiti - Sa 18:17
» Suche LUT names Acuity
von jojo1243 - Sa 17:40
» Plant Nikon eine REDCODE RAW-Offensive zur NAB 2024?
von iasi - Sa 14:57
» The Crow — Rupert Sanders
von Gol - Sa 12:09
» Lohnt Kauf Canon HV40
von Bruno Peter - Sa 12:00
» Pika integriert Sound-Effekte in seine KI-Videos
von slashCAM - Sa 10:24