Logo Logo
/// 

Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K



Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum News-Kommentare-Forum

Newsmeldung von slashCAM:



Wer noch alte Videos mit niedriger Auflösung im Archiv hat, bekommt jetzt eine interessante neue Möglichkeit in die Hand, diese nicht nur auf aktuellere Auflösungen hochz...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Video enhance AI Tool: Videos selbst hochinterpolieren - aus SD wird HD, aus HD wird 4K




Antwort von mash_gh4:

mittlerweile ist das kja mirklich etwas derart selbstverständliches, dass es natürlich auch schon im freien ffmpeg unterstützt wird:

https://ffmpeg.org/ffmpeg-filters.html#sr



Antwort von iasi:

BUY NOW .99 statt .99








Antwort von tom:


BUY NOW .99 statt .99

Hi iasi,
Wo siehst Du das?



Antwort von tom:


mittlerweile ist das kja mirklich etwas derart selbstverständliches, dass es natürlich auch schon im freien ffmpeg unterstützt wird:

https://ffmpeg.org/ffmpeg-filters.html#sr

Danke für den Hinweis, wir schauen uns das genauer an!



Antwort von iasi:



BUY NOW .99 statt .99

Hi iasi,
Wo siehst Du das?

hier:
https://topazlabs.com/video-enhance-ai/



Antwort von tom:



Hi iasi,
Wo siehst Du das?

hier:
https://topazlabs.com/video-enhance-ai/

Danke - das ist neu! Zeit für ein Update der News :)



Antwort von marty_mc:

Sooo, hab mal eben altes DV Material für eine kurze Sequenz durchgejagt.

Ok, es ist schärfer im Gesamteindruck.
Rauschen ist angenehm weggefiltert, manche Kanten sehen recht sauber und scharf aus. Auf einem Feld sind ein paar Gräser nun zu erkennen.
ABER, die ganzen Fehler, die DV produziert, sind erstmal nicht weg. z.B. die Probleme die 4:2:04:2:0 im Glossar erklärt macht: Da werden nach dem RendernRendern im Glossar erklärt Doppellinien verstärkt. Auch Runde Linien bei roten Farben werden nicht sauber geglättet. usw.
Ich denke, bei unscharfen Filmmaterial sehen die Ergebnisse besser aus.

Die Frage ist für mich: WER sagt der KI nun, dass er die DV Probleme glätten kann?

Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen und auch bei Amazon Video hochladen, wo er aktuell in der normalen DV Fassung, hochskaliert auf HD (mit neuem HD Abspann) zu sehen ist.



Antwort von Frank Glencairn:

So wie ich es verstanden habe, ist die KI aktuell auf hochwertiges Material trainiert.



Antwort von dosaris:



Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen und auch bei Amazon Video hochladen

jagen?

naja, das könnte schon fast 2 Tage Rechenzeit kosten.

irgendwie ne hektische Jagd?



Antwort von dosaris:


Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen ...,

jagen?

naja, das könnte schon fast 2 Tage Rechenzeit kosten.

das wird aber ne hektische Jagd?



Antwort von tom:


Rauschen ist angenehm weggefiltert, manche Kanten sehen recht sauber und scharf aus. Auf einem Feld sind ein paar Gräser nun zu erkennen.
ABER, die ganzen Fehler, die DV produziert, sind erstmal nicht weg. z.B. die Probleme die 4:2:04:2:0 im Glossar erklärt macht: Da werden nach dem RendernRendern im Glossar erklärt Doppellinien verstärkt. Auch Runde Linien bei roten Farben werden nicht sauber geglättet. usw.
Ich denke, bei unscharfen Filmmaterial sehen die Ergebnisse besser aus.

Die Frage ist für mich: WER sagt der KI nun, dass er die DV Probleme glätten kann?

Um DV-Material mitsamt seinen typischen Artefakten verbessern zu können, müsste ein neuronales Netz wohl speziell mithilfe von DV-Videos trainiert werden.








Antwort von marty_mc:


So wie ich es verstanden habe, ist die KI aktuell auf hochwertiges Material trainiert.

Ja, aber es gibt auch eine Einstellung für SD Material. Da wird dann digitales Rauschen ein wenig weggebügelt.
Das sieht bei DV besser aus, als wenn man die Einstellung nimmt, die unscharfes Material anpackt, dass aber früher mal Hochauflösend war.



Antwort von marty_mc:



Ich werde auf jeden Fall mal den Spielfilm "Der Teufel von Rudow" dort durchjagen ...,

jagen?

naja, das könnte schon fast 2 Tage Rechenzeit kosten.

das wird aber ne hektische Jagd?

Ich sags dir heute Abend. :D

Aber so wie es sich gerade verhält, tippe ich auf ca. 14 Stunden. Is ne GTX 1070 im Rechner. Also für AI rechnet mir das zu schnell...



Antwort von MK:


Also für AI rechnet mir das zu schnell...

Die AI besteht aus einem trainierten Datensatz bei welchem die Unterschiede zwischen vielen hoch aufgelösten Videos und den selben Video auf eine niedrige Auflösung heruntergerechnet erfasst wurden... an Hand dieser Datensätze wird dann mit eigenem Material analysiert was am ehesten passt, das kann dann schon hinkommen von der Zeit.



Antwort von MK:


Danke - das ist neu! Zeit für ein Update der News :)

Ihr könnt auch gleich noch dazuschreiben dass es nach dem Kauf keinen Downloadlink in der Bestätigungsmail gibt und der auch im Account fehlt... scheint als ob da jemand schneller Geld brauchte als er seine Bestellabwicklung anpassen konnte.

Passt auch dazu dass das Produkt auf der Hauptseite noch garnicht gelistet wird. Mal schauen was sonst nicht funktioniert :D



Antwort von rkunstmann:

Könnte es nicht vielleicht helfen bei DV Material vorher ein Denoising mit Net Video oder ähnlichem zu machen?



Antwort von marcszeglat:

Ich habe es mit DV-Material ausprobiert: 8 Stunden Rechenzeit für 2 Minuten mit einem i5er. Leider soviele ArtefakteArtefakte im Glossar erklärt drin, dass es unbrauchbar ist!



Antwort von eXp:

Warum lasst ihr nicht erstmal ne kleine Vorschau rendernrendern im Glossar erklärt statt gleich mit 8 Stunden voll loszulegen ? Ich hab es mal mit 640x480 Material von meinem damaligen Sony Handy probiert, das Ergebnis sieht überraschend gut aus. Dann FHD Material von meiner alten EOS550D, hier sieht man auf 4K hochgerechnet fast keinen Unterschied und Material von einer Hi-8 Kamera sah danach eher zu Digital und aufgesetzt aus dass man lieber das Original benutzt.



Antwort von marty_mc:

Bei mir haben die 82min nun ca. 37 Stunden gedauert. :-D



Antwort von Salcanon:

Das ist natürlich "Doof", denn das 4:2:04:2:0 im Glossar erklärt Problem Betrift auch HDV; nach 11 Jahren Pause schneide ich einen Dokumentarfilm weiter,
den ich damals bei den Redaktionen "nicht los wurde". Glücklicherweise ist es ein Wendethema, es flossen keine Aktualitäten von 2009 ein,
sowenig wie jetzt von 2020. Das ungübte Auge erkennt es nur daran, dass hornbebrillte Rauschebärte und Smombies im Strassenbild fehlen.
Aber technisch ist das Material der XH-A1 der Horror. Teileise starke Unschärfen in den Gesichtern, Mosquito NoiseNoise im Glossar erklärt, miese Farben.
Letztere habe ich einfach rausgedreht, was sogar inhaltlich hilft. Gesichter wirken portraithafter, vieles spielt auch in kontrastreichen Umgebungen.
Aber die knallrot geschminkten Lippen mancher Interviewpartnerin sind auch in S/W ein Quaderbrei...
Wobei FCP7 @home mit HDVHDV im Glossar erklärt in einer 4:22 HQ TimelineTimeline im Glossar erklärt besser abschneidet als auf der Arbeit Premiere CC oder AVID MC per AMA-Link...
Also bleibt nur zu hoffen, dass sich bis Sommer was tut...

Was ist mit den erwähnten FFmpeg Filtern? Ich habe mich lange nicht mehr darum gekümmert und erinnere mich nur noch an JES Deinterlacer,
der meines Wisens auf FFmpeg aufbaut, aber lange nicht mehr weiterentwickelt wurde... Wäre er der "Host", die Filter anzuwenden?
Gibt es Bildbeispiele?
Grüße,
Salcanon








Antwort von marty_mc:


Das ist natürlich "Doof", denn das 4:2:04:2:0 im Glossar erklärt Problem Betrift auch HDV; nach 11 Jahren Pause schneide ich einen Dokumentarfilm weiter,
den ich damals bei den Redaktionen "nicht los wurde". Glücklicherweise ist es ein Wendethema, es flossen keine Aktualitäten von 2009 ein,
sowenig wie jetzt von 2020. Das ungübte Auge erkennt es nur daran, dass hornbebrillte Rauschebärte und Smombies im Strassenbild fehlen.
Aber technisch ist das Material der XH-A1 der Horror. Teileise starke Unschärfen in den Gesichtern, Mosquito NoiseNoise im Glossar erklärt, miese Farben.
Letztere habe ich einfach rausgedreht, was sogar inhaltlich hilft. Gesichter wirken portraithafter, vieles spielt auch in kontrastreichen Umgebungen.
Aber die knallrot geschminkten Lippen mancher Interviewpartnerin sind auch in S/W ein Quaderbrei...
Wobei FCP7 @home mit HDVHDV im Glossar erklärt in einer 4:22 HQ TimelineTimeline im Glossar erklärt besser abschneidet als auf der Arbeit Premiere CC oder AVID MC per AMA-Link...
Also bleibt nur zu hoffen, dass sich bis Sommer was tut...

Probiere es doch einfach aus für ein paar Sekunden deines Materials. Vielleicht bringt es dir was in Puncto Schärfe.

Ja, die XH-A1 war leider nie knackig scharf und ich erinnere mich eher am chromatische Aberrationen der Linsen, die diese Kamera noch nicht wegrechnen konnte. Aber immerhin HDV. Das war gegenüber DV schon ein Quantensprung! Wenn auch mit miesen Farben...;-)

Gruß!!



Antwort von dosaris:


Bei mir haben die 82min nun ca. 37 Stunden gedauert. :-D

also etwa wie erwartet.

Geht auch OpenCL zur GPU?
Kannste mal irgendwohin ein kurzes sample legen?
Wie gut ist das anti-aliasing?



Antwort von marty_mc:



Bei mir haben die 82min nun ca. 37 Stunden gedauert. :-D

also etwa wie erwartet.

Geht auch OpenCL zur GPU?
Kannste mal irgendwohin ein kurzes sample legen?
Wie gut ist das anti-aliasing?

Jip, du lagst mit der Vermutung wesentlich näher als ich. :-D

OpenCL, was ist das? Also man kann die Grafikkarte anwählen oder nur CPU oder so.

Ein Beispiel zeigen ist ne gute Idee. Eigentlich wollte ich nen ausführlicheren Youtube Clip draus bauen, aber vielleicht zeige ich einfach nur 2 bis 3 Vorhger nachher Szenen mit kurzer Erklärung. Bis Ende der Woche werd ichs schaffen.

Anti Aliasing, ist so lala. Die könnte tatsächlich wesentlich besser sein...also VIELES könnte sehr viel besser sein. Aber, tatsächlich besitzt das Bildmaterial jetzt eine Schärfe, die meiner MEinung nach die Zuschauer eher dran hält.
Ihr könnt ja mal bei A.Prime reinschauen beim "Teufel von Rudow". Definitiv sehr unscharfes Bild. Und Anti Alias Problem gibt es hier auch, keine Ahnung, ob ich beim hochskalieren auf HD nicht aufgepasst habe, aber ich denke, das Problem liegt eher in der SD Auflösung des Original Material.



Antwort von Bladerunner:

So, habe Topaz Video Enhance AI nun ein paar Tage sehr intensiv getestet. Zum Glück habe ich die geforderte Hardware schon länger im Einsatz.
Die Idee ist schon großartig, aber steckt offenbar noch in den Kinderschuhen.

Ich habe eine Vielzahl kleiner Szenen aus Videomaterial 640x480 (von damals :-) ) gerendet.

Es gibt 3 Modi's zur Auswahl (neben den verschiedenen oder frei bestimmbaren Videoauflösungen). Das in Kombination habe ich x-Mal ausgetestet.
Letztlich bekommt man sichtbare Verbesserungen nur mit dem Modus "Upsampling(HQ-CG)". Die beiden anderen Modi - insbesondere "Upscaling (LQ)" - kann man komplett vergessen.
Hier werden sogar teilweise Blöckchen dazu addiert und das Bild sieht noch unreiner als das Original aus.

Die Ergebnisse im Modus "Upsampling (HQ-CG) sind auf den ersten Blick sehr beeindruckend.
Das Bild wird geglättet, die Blöckchen werden so gut wie vollständig eliminiert und das Bild ist deutlich Schärfer. Sind z.B. Schriftzüge im Bild irgendwo platziert, kann man sie nun sehr gut lesen.
Allgemein wirken Kanten nun stabil und klar. Das deutlich reduzierte Bildrauschen ist sehr beachtlich! Großartig bis hier her.
Ich hätte nie gedacht, dass es mal' möglich sein könnte, aus meinen alten Video so eine Qualität herauszuholen. Großartig!
ABER: die Software ist leider noch nicht ausgereift und der "Spaß" vergeht schnell. DENN: Gesichter werden quasi "zerstört". Da ändert sich sogar die Mimik und Gesichter werden oft verzerrt.
Auch ändert sich die Textur von Haaren und ist auf einmal total pixelig. SCHADE!!!!!!
Somit ist die Software im jetzigem Stadium unbrauchbar und aktuell maximal für z.B. Landschaftsaufnahmen nutzbar (wahrscheinlich aber nur ohne "Meer"/"Wellen" im Bild).

Auf alle Fälle ein interessanter Start. Ich hoffe sehr stark, dass hier irgendwann eine "Face recognition" implementiert wird und AI fleißig weiterlernt, so dass Gesichter und z.B. Haare im Bild nicht leiden.

Im jetzigen Entwicklungsstadium sind mir 199€ (Angebotspreis) definitiv zu viel des Guten. Da warte ich mal', wie sich die Software auf der Zeitachse verbessert.

Leider ist Topaz aktuell wohl der einzige Anbieter, der AI Video Enhancement in der Form angeht. Keine Sorge :-) ...ich Google hier immer wieder fleißig. Es gibt natürlich Anbieter, die "behaupten", sie haben AI Video Enhancement..... :-) Ich habe neulich z.B. DVDFAB ebenfalls intensiv getestet. Die haben die MKV.AI und MP.AI Video Enlarger Funktion. Da passiert übrigens orignal gar nichts in punkto Bildverbesserung :-) Ich stehe hierzu noch mit dem DVDFAB-Support im Kontakt.



Antwort von Bladerunner:


Könnte es nicht vielleicht helfen bei DV Material vorher ein Denoising mit Net Video oder ähnlichem zu machen?

Neat Video ist für mich seit vielen Jahren das Allergrößte und sorgt gerade auch bei altem Videomaterial für deutliche Verbesserungen.
Allerdings sind die Ergebnisse bei Topaz nochmal deutlich besser. Leider ist Topaz im Moment dennoch unbrauchbar, wenn Menschen im Bild sind.
Hier werden Gesichter quasi "zerstört" und Haare verlieren ihre Struktur. Die Software ist Stand Heute leider nicht ausgereift.



Antwort von mash_gh4:

Leider ist Topaz aktuell wohl der einzige Anbieter, der AI Video Enhancement in der Form angeht.

geht, so ein blödsinn!

es ist geradezu unglaublich wie viel aktuellen forschungsoutput und praktischen beispielcode man gerade von allen herstellern im GPU umfeld zu diesen dingen in letzter zeit angeboten bekommt! dass boomt, wie kaum ein anderer bereich der softwareentwicklung.

was allerdings die probleme mit den den gesichtern, haaren etc. betrifft, triffts du natürlich einen wunden punkt dieser lösungen. aber auch dort, wo es um die vermeidung von stochatischem flicker geht, gibt es noch immer große qualitätsunterschiede und zu lösende herausforderungen für derartige software.



Antwort von Bladerunner:


Leider ist Topaz aktuell wohl der einzige Anbieter, der AI Video Enhancement in der Form angeht.

geht, so ein blödsinn!

es ist geradezu unglaublich wie viel aktuellen forschungsoutput und praktischen beispielcode man gerade von allen herstellern im GPU umfeld zu diesen dingen in letzter zeit angeboten bekommt! dass boomt, wie kaum ein anderer bereich der softwareentwicklung.

was allerdings die probleme mit den den gesichtern, haaren etc. betrifft, triffts du natürlich einen wunden punkt dieser lösungen. aber auch dort, wo es um die vermeidung von stochatischem flicker geht, gibt es noch immer große qualitätsunterschiede und zu lösende herausforderungen für derartige software.

OK, welche Videobearbeitungssoftware gibt es denn aktuell sonst noch so am Markt, die ähnlich der hier diskutierten Topaz-Lösung arbeitet? (Online-Lösungen mal' außen vor).



Antwort von mash_gh4:


OK, welche Videobearbeitungssoftware gibt es denn aktuell sonst noch so am Markt, die ähnlich der hier diskutierten Topaz-Lösung arbeitet? (Online-Lösungen mal' außen vor).

gib einfach einmal z.b. "video enhance" als suchbegriff auf arxiv.org ein, und du wirst bestätigt finden, wovon ich hier spreche:

https://arxiv.org/search/?query=video+e ... rce=header

ich versteh schon, dass viele von uns einfach nur irgendwas fertiges käuflich erwerben wollen, und sich über den stand der technik und die fachspezifischen fortschritte gar nicht erst lange schlau machen wollen, trotzdem wird das spätestens dann zu ärgernis, wenn wirklich nur mehr völlig verzerrter werbesprüche ausgebreitet werden...



Antwort von Bladerunner:



OK, welche Videobearbeitungssoftware gibt es denn aktuell sonst noch so am Markt, die ähnlich der hier diskutierten Topaz-Lösung arbeitet? (Online-Lösungen mal' außen vor).

gib einfach einmal z.b. "video enhance" als suchbegriff auf arxiv.org ein, und du wirst bestätigt finden, wovon ich hier spreche:

https://arxiv.org/search/?query=video+e ... rce=header

ich versteh schon, dass viele von uns einfach nur irgendwas fertiges käuflich erwerben wollen, und sich über den stand der technik und die fachspezifischen fortschritte gar nicht erst lange schlau machen wollen, trotzdem wird das spätestens dann zu ärgernis, wenn wirklich nur mehr völlig verzerrter werbesprüche ausgebreitet werden...

Schönen Dank! Die Seite kannte ich nicht. Wenn man das Thema "Video Enhancement AI" allgemein googelt gibt es in der Tat eine Vielzahl an Researches/Forschungsbeiträgen. Einige davon habe ich schon gelesen oder meist überflogen. Sicher spannend; bin ja Technik-begeistert und "heavy user" :-)
Letztlich scheint es einfach doch noch etwas zu früh zu sein, um an eine brauchbare Consumer-Softwarelösung zu kommen, die nicht nur mit Werbebotschaften frönt :-)
Im Profi-Bereich bieten ja schon einige Firmen entsprechende Dienste an. Allerdings gehöre ich da weniger zur Zielgruppe, mein altes Videomaterial dort aufpeppen zu lassen; vom Investment ganz abgesehen. Also heißt es wohl: abwarten.








Antwort von marty_mc:

Ok, Leute, jetzt hab ich es endlich geschafft, ein wenig miniDV und DVCam Material durch diese Enhance Video AI Software zu schicken. Guckst euch an, es sind erstmal ein paar Testaufnahmen für euch.

Vorweg: Es ist nix zum staunen, aber interessant allemal. Das PRoblem ist eben die Kamera mit ihrer Kantenanhebung und auch DV mit der 4:2:04:2:0 im Glossar erklärt Farbkodierung.
Die entstandenen ArtefakteArtefakte im Glossar erklärt stören mich nicht so sehr. Eher finde ich die maue/akutell unscharfe Version des Films nicht so gut.
Das Material der DVCam Aufnahmen ist besser, da die Kamera (Sony DSR 500 WSP) dann doch schärfer aufgelöst hatte.

Viel Spaß beim reinschnuppern. Ich denke mal, in 4 bis 6 Wochen habe ich die etwas schärfere Version vom "Teufel von Rudow" auf Amazon Prime hochgeladen/ersetzen . Mal schauen.

https://youtu.be/HBgEbfLd7ZU



Antwort von Dietrichmann:

Hallo Marty,
ich finde Deine Ergebnisse sehr bemerkenswert. Da ich auch mit dieser Software herumexperimentiere, würden mich Deine Einstellungen interessieren: Welches Feature verwendest Du für den Input? HQ HQ-CG oder LQ? In welchem FormatFormat im Glossar erklärt gibst Du aus? MP4?

Herzliche Grüße Dietrich



Antwort von Lard:

Das beste Ergebnis mit meinem Video mit der Auflösung von 320x240 habe ich mit 200% ereicht, also 640x480.
Bei anderen Auflösungen, wie 768x576 oder 1280x960 wurde das Bild blasser und Details gingen verloren.
Könnte sein das dies auch andere Auflösungen über 200% betrifft, das habe ich nicht getestet.

Die einzig brauchbare Einstellung war HQ-CG.
Den Output habe ich in Bildern (png) ausgegeben, weil nur der Encoder H.263 unterstützt wird und garkeine Einstellungen angeboten werden.
Mit ffmpeg kann ich den Encoder und die Einstellungen für mein Video selber wählen.



Antwort von cantsin:

Ein Qualitätsvergleich zum "Super Resolution"-Upscaling in Resolve Studio würde mich mal interessieren...



Antwort von marty_mc:


Hallo Marty,
ich finde Deine Ergebnisse sehr bemerkenswert. Da ich auch mit dieser Software herumexperimentiere, würden mich Deine Einstellungen interessieren: Welches Feature verwendest Du für den Input? HQ HQ-CG oder LQ? In welchem FormatFormat im Glossar erklärt gibst Du aus? MP4?

Herzliche Grüße Dietrich

Hallo Dietrich!!

Danke! Ich verwende die dritte Einstellung, also den LQ Modus und die UHD (3840x2160 Pioxel) Auflösung. Als Ausgabe habe ich MP4 gewählt. Die anderen Codecs habe ich nicht probiert, weil ich mir da keine große Verbesserung darstellen kann. :-)
Ja, schon ganz nett, oder? Aber da geht noch mehr. Mir ging der Gedanke, wenn die (oder eine andere Software) besser wird, ist das irgendwann so ne Art CGI Bild... :-D

Viel Erfolg! Was versuchst du aus der unscharfen Vergangenheit in die klare Zukunft zu rendern?



Antwort von Bladerunner1962:

Ich expermentiere/teste auch fleißig zwischendurch weiter.
Das ist eines der bemerkenswertesten Video-Tools seit langem, was auf den Markt gebracht wurde, auch wenn es längst noch nicht ausgereift ist.
Was man da aus manchen alten Videos rausholen kann, hätte ich nie gedacht. Deutlich beeindruckender als via Neat Video.
Allerdings, wie hier schon öfter erwähnt: Strukturen und Gesichter sehr schlecht verarbeitet.
Hier fehlt es definitiv an "Reglern" für entsprechende Feinjustierungen.



Antwort von Bladerunner:

Ergänzung zum Beitrag von gestern:

Auch bei mir ist der Modus "Upsampling HQ-CG" von Anfang an der einzig Brauchbare.
Der Modus "Upsampling HQ" ist selten hilfreich, da hier die Schärfe zwar etwas höher ist, aber erst Recht Strukturen und Gesichter nahezu "zerstört"
Der Modus "Upsamling LQ" erzeugt ein deutlich unreineres Bild mit zusätzlich erzeugten Artekfakten.

HIer sei noch bemerkt, dass ich mit Video-Material 480p und niedriger experimentiere.

Weitere Erfahrungen dem Tool:
- das RendernRendern im Glossar erklärt geht verhältnismäßig schnell und gleich ungefähr dem Tempo, was ich bei Neat Video habe (RTX 2060, 8GB im Einsatz)
- das Deblocking ist sehr beeindruckend
- Kanten werden in der Regel beeindruckend geglättet ("stabilisiert")
- Bildrauschen wird meist vollständig beseitigt
- Die Bildschärfe wird gerade bei Kanten sichtbar erhöht (nicht übertrieben). Leider führt das bei Gesichtern zu z.B. Überschärfungen im Augenbereich.
- in einigen wird das gesamte Bild leider zu stark geglättet, dass das Bild unnatürlich wirkt. Hier braucht man definitiv manuelle Anpassungsmöglichkeiten



Antwort von Asjaman:

Ich habe die Demoversion von Topaz Video Enhance (1.2.0) installiert und musste gleich entsetzt feststellen, dass dort kein Deinterlacer integriert ist. Das heißt, man muss diesen Schritt vorher gehen und verliert damit durch die Neu-Encodierung bereits an Qualität.
Das Programm wäre für mich also nur interessant, wenn es die nativen Dateien mit allem Nötigen verarbeiten kann. Dieser ganze alte SD-Kram sowie auch HDVHDV im Glossar erklärt sind doch allermeistens interlaced, deshalb verstehe ich nicht, wieso Topaz das nicht gleich berücksichtigt und hochwertiges De-Interlacing integriert. Immerhin heißt es auf der Website: "We are working on a deinterlacer AI at this moment, stay tuned."



Antwort von Bladerunner:

Ich habe nun seit Wochen Video Enhance AI umfangreich im Einsatz; nach wie vor in der Testversion, die ich mir habe verlängern lassen.
Mittlerweile ist die Version 1.2.0 veröffentlich, die man downloaden kann.
Seit den letzten Updates wird nun auch Audio verarbeitet und bei Einsatz von GTX/RTX sieht man deutlich Performance-Verbesserungen.
Gesichter und Strukturen werden seit den letzten Versionen zum Glück nur noch in seltenen Fällen "zerstört".
Nur mit dem Modus CG erreiche ich deutliche Verbesserungen bei altem VHS/SVHS/Hi8-Material. Und die sind in der Regel sehr sehr beeindruckend. Bedenkt man, dass das Ausgangsmaterial wirklich sehr "dirty" ist (Bildrauschen auf höchstem Niveau, Blöckchenbildungen über das ganze Bild, ausgefranzte/undeutliche Kanten, Unschärfe sowieso), grenzt das fast schon an Zauberei, was Video Enhance AI, da teilweise leistet. Eigentlich hatte ich mal' gelernt "Garbage in/Garbage out" und verschlimmbessert solche Videos nur. Da habe ich in den letzten Wochen ganz andere und sehr positive Erfahrungen gemacht.
ALLERDINGS: die Schwäche des Tools liegt beim CG-Modus im Addieren von neuen Artefakten/Strukturen. Das passiert nicht bei jedem Clip. Meist werden die netzartigen/punktartigen ArtefakteArtefakte im Glossar erklärt bei Landschaftsaufnahmen z.B. Pflanzen, Bäumen und Gras dazuaddiert; mal stärker/größer und mal weniger ausgeprägt. Offenbar ist die AI immer noch am lernen, wie mit Pflanzen, Gräsern usw. umzugehen ist. Ob das überhaupt jemals möglich sein wird, weiß ich nicht.
Ich habe aber längst einen Workflow herausgefunden, dies einigermaßen in den Griff zu bekommen. UND, die Ergebnisse sind teilweise unfassbar; gerade im vorher/nachher-Vergleich:
1. AVI-Material mit Tmpgenc Masterworks 6 oder 7 mit Deinterlace im Modus HIGH PRECISION deinterlacen und mit 1280x720, 25FPS, 30Mbit in MP4 rendern
2. Das neue v.g. MP4 mit Neat Video entrauschen....aber nur ganz "zart"...bis das Bildrauschen im Himmel fast verschwunden ist (nur fast!) (nutze es in Magix Video ProX)
3. Color Grading im Himmel vornehmen >>> bei VHS/S-VHS/HI8 war der Himmel damals meist lila..(nutze das Farbanpassungstool in Magix Video ProX...sehr schnell/einfach dafür)
4. Video Enhance im Modus CG und 200% rendernrendern im Glossar erklärt lassen
5. Color-Grading am besten in meinem Fall = ColorDirector von Cyberlink (funktioniert ähnlich wie z.B. Luminar...von daher einfach und schnell und hat Bewegungsverfolgung)
Das klingt natürlich nach viel Arbeit im Vorfeld und danach....stimmt! :-) Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte. Natürlich sieht das Endergebnis nicht wie 1080p/2K oder 4K aus.....








Antwort von cantsin:


Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.

Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!



Antwort von Bladerunner:



Aber, die Ergebnisse lohnen sich definitiv. Ich hätte nie gedacht, dass ich aus dem altem, schlechten Material mal' so viel herausholen könnte.

Könntest Du vielleicht Beispielbilder oder -videos hochladen? Das wäre sehr interessant und hilfreich!

Ja, wenn ich das eine Projekt abgeschlossen habe, kann ich das sicher mal auf Youtube oder Vimeo laden.



Antwort von Serge:

Interessant wäre ein Vergleich desselben mit dem (schon älteren und kostenlosen) "Neural network resizer NNEDI3", siehe auch:
https://forum.blackmagicdesign.com/view ... 59#p603885

Ok, Leute, jetzt hab ich es endlich geschafft, ein wenig miniDV und DVCam Material durch diese Enhance Video AI Software zu schicken. Guckst euch an, es sind erstmal ein paar Testaufnahmen für euch.

Vorweg: Es ist nix zum staunen, aber interessant allemal. Das PRoblem ist eben die Kamera mit ihrer Kantenanhebung und auch DV mit der 4:2:04:2:0 im Glossar erklärt Farbkodierung.
Die entstandenen ArtefakteArtefakte im Glossar erklärt stören mich nicht so sehr. Eher finde ich die maue/akutell unscharfe Version des Films nicht so gut.
Das Material der DVCam Aufnahmen ist besser, da die Kamera (Sony DSR 500 WSP) dann doch schärfer aufgelöst hatte.

Viel Spaß beim reinschnuppern. Ich denke mal, in 4 bis 6 Wochen habe ich die etwas schärfere Version vom "Teufel von Rudow" auf Amazon Prime hochgeladen/ersetzen . Mal schauen.

https://youtu.be/HBgEbfLd7ZU




Antwort von Frank Glencairn:

Das ist doch schon ganz beachtlich.



Antwort von Serge:

Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:

Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).

Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55" TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.

Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).



Antwort von marty_mc:

Hallo in die Runde!

Nun endlich hat Amazon die KI VERSION unseres alten SD - Trash Spielfilmes "Der Teufel von Rudow" freigegeben. Nice, nice, aber wie gesagt, das könnte irgendwann noch besser aussehen, wenn diese Art der Software sich noch mehr entwickelt.
Wir haben das StreamingStreaming im Glossar erklärt abgestellt, sehts uns nach. Wer aber Interesse hat, sich den Film anzuschauen, der könnte als günstigstes die HD Version für 3,99 leihen.
Aber wie gesagt, es war ein Studenten Abschluss Projekt aus dem Jahr 2002, den wir mit der Canon XL-1 aufgenommen hatten, bitte kein Premium Film erwarten.;-)

https://amzn.to/37E83JG

Martin :-)
Schöne Ostern euch!°



Antwort von apevel:

Habe das Proggi gekauft und bin leicht der Verzweiflung nahe. Bei mir rendert das immer nur ein paar Sekunden. Ich habe es natürlich frei geschaltet. Ich gebe Start und Endframe ein und nach ein paar Sekunden ist schicht im Schacht. Kann mir da wer helfen?

Danke



Antwort von iasi:


Quintessenz nach einigen Tests mit "Video Enhance AI" und SD-Material:

Für gute Resultate braucht es als erstes einen sehr guten Deinterlacer.
Als weiteres hängt sehr viel von der Auflösung der verwendeten Kamera ab. Bilder meiner alten PD-170 ergeben ein sehr viel besseres Upscaling, als die meiner Ein-Chip TRV-10 (siehe Anhänge).

Je niedriger die Auflösung, desto unwirklicher werden die Resultate, bzw. selbst bei HQ SD-Material ist es fraglich, wie viele gesichtslose Phantome es auf einem 55" TV im Hintergrund verträgt. Von dem her müssen Bildteile isoliert werden können, was mit einem Plug-In einfacher wäre als mit einer standalone Software.

Bei VHS oder noch geringerer Auflösung würde ich den schon älteren NNEDI3 Upscaler bevorzugen, da dieser viel subtiler arbeitet und auch (nach dem Deinterlacing übrig gebliebene) treppenstufige Kanten glättet. Dieser in Verbindung mit temporaler Rauschunterdrückung liefert vielleicht etwas weniger scharfe Bilder, doch sieht, was hinten rauskommt, weniger glattgebügelt und rekonstruiert aus (im Vergleich zu AI LQ. HQ ist für Low-Res / VHS meiner Meinung nach kaum brauchbar).

Interessant. Danke für das Teilen deiner Tests.

Braucht es bei Resolve eigentlich den separaten Deinterlacer?




Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum News-Kommentare-Forum

Antworten zu ähnlichen Fragen:
Aus RED Germany wird Xinegear -- RED Support doch nicht aus England
Aus der Forschung: Autarker Bildsensor versorgt sich selbst aus Sonnenenergie
Tool zum automatischen Erstellen von Screenshots aus Videos
MXF Export ... aus Stereo wird Mehrkanal
Tool, das aus vielen Videos jeweils ein Frame abspeichert?
Premiere CC 2017 merkt sich die Spur nicht, in die aus den Quellen eingefügt wird
Jim Jannard zieht sich aus RED zurück - Hydrogen wird eingestellt - Fokus auf RED Komodo Launch
Selbst erstellte DVDs sehen nicht aus wie gekaufte
FCPX 10.4.1 löscht von selbst meine Daten aus der Timeline
High-end Rotoscoping- und Paint-Tool Silhouette wird Teil von Boris FX + Mocha Pro 2020 Preview // IBC 2019
Kostenloses Tool MoviePrint erstellt automatisch Poster aus Filmszenen
Beim Rendern des HD-Videos in Final Cut PRO X wird dieses dunkler
Kostenloses LUMIX Tether for Streaming Tool macht aus manchen Pansonic-Kameras Webcams
Cooles Tool ermöglicht Copy & Paste von Gegenstände aus der echten Welt per Smartphone
Videos aus dem Netz
"Contact Sheet" aus Videos
Videodatei wird nicht als Video erkannt
wie schnell wird das video übertragen?
Lexar aka Micron steigt aus SD-Karten Geschäft aus
Wird die EOS 6D Mark II interessant für 4K Video?
HD-Einzelbild aus SD-Folgebildern eines Videos erzeugen?
Wie Hochkant-Videos aus Digcam am PC drehen?
S-Video Out von PC zum TV (Bild wird heller und dunkler)
Vimeo wird zur Job-Börse für Video-Profis
ProDAD Erazr entfernt bewegte Objekte aus Videos
Aufregung um Sony Alpha 7III - wird Fullframe 4K Video vertikal gedehnt?

















weitere Themen:
Spezialthemen


16:9
3D
4K
ARD
ARTE
AVCHD
AVI
Adapter
Adobe After Effects
Adobe Premiere Pro
After effects
Akku
Akkus
Apple Final Cut Pro
Audio
Aufnahme
Aufnahmen
Avid
Band
Bild
Bit
Blackmagic
Blackmagic DaVinci Resolve
Blackmagic Design DaVinci Resolve
Blende
Book
Brennen
Cam
Camcorder
Camera
Canon
Canon EOS 5D MKII
Canon EOS C300
Capture
Capturing
Cinema
Clip
ClipKanal
Clips
Codec
Codecs
DSLR
Datei
Digital
EDIUS
ENG
EOS
Effect
Effekt
Effekte
Export
Fehler
Festplatte
File
Film
Filme
Filmen
Filter
Final Cut
Final Cut Pro
Firmware
Format
Formate
Foto
Frage
Frame
GoPro
Grass Valley Edius
HDMI
HDR
Hilfe
Import
JVC
Kabel
Kamera
Kanal
Kauf
Kaufe
Kaufen
Kurzfilm
Layer
Licht
Live
Lösung
MAGIX video deLuxe
MPEG
MPEG-2
MPEG2
Mac
Magix
Magix Vegas Pro
Menü
Mikro
Mikrofon
Mikrophone
Monitor
Movie
Musik
Musikvideo
NAB
Nero
News
Nikon
Objektiv
Objektive
PC
Panasonic
Panasonic GH2
Panasonic HC-X1
Panasonic S1 mit V-Log
Pinnacle
Pinnacle Studio
Player
Plugin
Plugins
Premiere
Projekt
RAW
RED
Recorder
Red
Render
Rendern
Schnitt
Software
Sony
Sound
Speicher
Stativ
Stative
Streaming
Studio
TV
Test
Titel
Ton
USB
Umwandeln
Update
Vegas
Video
Video-DSLR
Videos
Videoschnitt
Windows
YouTube
Zoom

Specialsschraeg
15. August - 15. November / Düsseldorf
upfront! young european video award
30-31. Oktober / Espelkamp
Filmfestival SPITZiale
6-8. November / Freyung
Kurzfilmfest Dreiländereck
27. November / Bielefeld
31. Bilderbeben zum Thema „Abschied“
alle Termine und Einreichfristen