RIFE - KI-Frame-Interpolation jetzt 10x schneller und zum selber ausprobieren

[slashCAM]

Erst vor ein paar Monaten im September 2020 berichteten wir zuletzt über DAIN. Hinter dem Begriff versteckt sich ein KI-Modell, dass in Filmen und Videoclips fehlende Zw...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
RIFE - KI-Frame-Interpolation jetzt 10x schneller und zum selber ausprobieren

[CandyNinjas]

Klingt ja super !!! Werd ich mal testen.

[medienonkel]

Ich hab gestern mal ein paar Stunden getestet und bin sehr begeistert:
Auf meiner 8 GB Grafikkarte lief DAIN bis jetzt maximal bis 720p und es gab oft Abbrüche wegen zu wenig CUDA Speicher.
Nicht nur, dass RIFE tatsächlich sehr schnell ist, auch das obere Auflösungslimit liegt nun bei 1180p.

1080p mit 240 fps aus der Osmo Action lässt sich sehr schön zu 960 fps interpolieren, man muss dann allerdings schon mit ner Tausendstel aufnehmen (da hat dann meine Schreibtischlampe gestern nicht mehr so ganz gereicht.... ;-) )

Dem Filmklassiker, der hier gerade vom 35 mm 4k Scan eine Behandlung mit Phoenix erfährt stehen die 48 fps ganz gut zu gesicht. Jedoch kann jeder Fernseher mit "Motion Engine" usw. da ähnliche Effekte in Echtzeit eigentlich genausogut.

Die Batchfunktion habe ich anfänglich vergeblich gesucht, sie ist aber da, funktioniert nicht auf Anhieb Intuitiv, klappt aber dann Problemlos. Knapp 15 Minuten HD Material waren in einer guten Stunde durch.

Der Blender Guru hat die Software empfohlen, um 3d Renderzeiten zu halbieren. Da fehlt leider noch der Alpha.

[kling]

Für PseudoSlowMotion oder die Interpolation bei extrem ruckeligen Animation machen solche Apps schon Sinn. Doch niemals sollten 24/25Fps-Originale beispielsweise auf 60Fps hochgerechnet werden! Außer man möchte partout den Film-Effekt verlieren und sich als inkompetenter Video-Fuzzie outen.

[medienonkel]

Für PseudoSlowMotion oder die Interpolation bei extrem ruckeligen Animation machen solche Apps schon Sinn. Doch niemals sollten 24/25Fps-Originale beispielsweise auf 60Fps hochgerechnet werden! Außer man möchte partout den Film-Effekt verlieren und sich als inkompetenter Video-Fuzzie outen.

geht gar nicht um "ruckelige" Animationen, sondern darum nur jedes zweite Frame zu rendern.... Wenn ein Frame mal eben 15 Minuten zu rechnen braucht kann das eine immense Einsparung sein.
Die genauso inkompetenten Film Fuzzies wehren sich halt immer noch dagegen, dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren und die Ästhetik (aka Sehgewohnheit) mit der Zeit erlernt wurde.
Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen... auch kein Purismus ;-)

[Frank Glencairn]

dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren ..

Du darfst nicht immer alles glauben, was du denkst.
Das war kein Kompromiss sondern der Sweetspot.

[Jott]

Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen ;-)

24fps zu 60 Halbbildern? Aber hallo, so kommen alle Spielfilme und andere 24p-Programme ins US-Fernsehen, schon immer. Hoppelnde Schwenks wurden den Amerikanern in die Wiege gelegt, die stört das nicht.

[medienonkel]

dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren ..

Du darfst nicht immer alles glauben, was du denkst.
Das war kein Kompromiss sondern der Sweetspot.

Ich denke, ich glaube zu wissen, was ich weiß...
Dann nennen wir es technischen sweetspot. Eine rein ästhetische Entscheidung war es meines Wissens nach nicht. Die Studios wollten die Kosten für Material so niedrig wie möglich halten, der Bildschaffende eine flüssige Bewegung. Gegen 30 fps hätte sich jetzt kein Kameramann damals gewehrt behaupte ich mal. Man möge mich nun beratungsresistent nennen, es ist ein Kompromiss, einer, der sich ganz viel um Technik und Kosten dreht. Ein kurzer Blick beim Malkiewicz sagt da auch nur, 24 sind für Bewegung nicht ideal, die Leute haben sich aber daran gewöhnt gehabt, als der Tonfilm daher kam. Ich mag die 24er Ästhetik und die Arbeitsweise die daraus erwächst auch, aber Dogma sollte die Bildrate so langsam keines mehr sein.

[medienonkel]

Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen ;-)

24fps zu 60 Halbbildern? Aber hallo, so kommen alle Spielfilme und andere 24p-Programme ins US-Fernsehen, schon immer. Hoppelnde Schwenks wurden den Amerikanern in die Wiege gelegt, die stört das nicht.

Ich dachte der smiley reicht als Ironie Marker

[kling]

geht gar nicht um "ruckelige" Animationen, sondern darum nur jedes zweite Frame zu rendern.... Wenn ein Frame mal eben 15 Minuten zu rechnen braucht kann das eine immense Einsparung sein.
Die genauso inkompetenten Film Fuzzies wehren sich halt immer noch dagegen, dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren und die Ästhetik (aka Sehgewohnheit) mit der Zeit erlernt wurde.
Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen... auch kein Purismus ;-)

Das größte Problem bei Puppentrickfilmen war nunmal die meist zu geringe Anzahl der Bewegungsphasen, normalerweise 12, aber auch, wenn's einigermaßen vertretbar schien, nur 8 oder 6 verschiedenen Bilder pro Sekunde, jeweils durch Mehrfachauslösung effektiv auf 24B/s gebracht. Bei japanischen Manga-Animes ebenso wie bei den bekannten billigen Kinder-Serien wurde auf diese Weise gespart. Für neue computer-animierte Filme gibt es inzwischen einige Tools, die die Renderzeit dramatisch verkürzen können und zwar ohne Kompromisse durch eher willkürlich abgeschätzte Zwischenphasen, zumal ja sämtliche Bildinhalte im Rechner bereits detailliert vorliegen.
Zu der anderen Sache: Selbst bekannte Hollywood-Größen sind schon auf HighFrameRate-Gurus hereingefallen und haben sich dabei ziemlich blamiert. Wie zuvor bereits in den 60er Jahren die altehrwürdige BBC, die TV-Serien in teilweise 50 (Halb-)Bildern pro Sekunde realisierte. Oder der RBB, dessen Tatort-Beiträge aufgrund ihrer Live-Video-Anmutung beim Publikum gnadenlos gefloppt sind. 24 bzw. 25 Fps sind eben kein Kompromiss, sondern bei fiktiven Inhalten zwingend notwendig, wenn etwas nicht nach Theaterstück- oder Freilichtspiel-Übertragung aussehen soll! Eine Legende der Hoffnung von perfektionistischen Testbild-Filmern und Ingenieur-Naturen muss man bei der Gelegenheit leider zunichte machen: Ein Lerneffekt wird diesbezüglich niemals eintreten, weil die neuronale Takt-Frequenz des menschlichen Gehirns für die Rezeption von Bewegtbildern zuständig ist. Es sei denn, es käme zu einem gewaltigen Evolutionssprung innerhalb der nächsten paar Generationen...

[medienonkel]

Wie kommen wir denn jetzt auf Puppentrick? Es wäre glaube ich sehr verstörend, wenn das Sandmännchen auf einmal Butterweiche Bewegungen hätte.
Mal so ganz Nebenbei, mir ging es ja überhaupt nicht darum, über die heiligen 24 Bilder pro Sekunde zu diskutieren. Ich hab doch nur berichtet, dass ich neben Zeitlupenspielereien auch - moment, jetzt wird es hart: zum SPASS - 15 Minuten Filmmaterial durch die Software gejagt habe. Und das Ergebnis nicht zum davonlaufen schlimm war.

Die Tools, die du da ansprichst, durch die man die Renderzeiten "dramatisch" verkürzen kann müsstest du mir bitte, bitte noch nennen. Da könnte ich mir ja dann glatt die Investition in die Vergrößerung der Renderfarm sparen. Bei mir läuft hauptsächlich VRay auf CPU/CUDA und teilweise noch OpenCL. Man kann da auch einfach den Noise Level relativ weit oben lassen und dann mit dem integrierten Tensor Denoiser alles schön glatt bügeln. Spätestens wenn im Compositing der Motion Blur drauf kommt sind die Details eh dahin....also gerne mal nur mit halber Auflösung raus rendern...usw.

Mit Verlaub, dass das menschliche Gehirn Bilder, also ins verlängerte Gehirn geschossene Photonen, am liebsten mit einer Abtastfrequenz von 24 Hz verarbeitet, mag eine Koinzidenz sein, jedoch sollte nicht daraus geschlossen werden, dass irgendetwas im Gehirn mit just dieser Frequenz getaktet ist.
Davon abgesehen kann ich auch mit 24 Bildern/Sekunde und entsprechendem Shutter dafür sorgen, dass der Inhalt unansehbar wird... umgekehrt übrigens genauso.
Natürlich lasse ich mich hierbei auch gerne eines besseren belehren, da braucht es aber mehr, als irgendwelche emotional aufgeladenen Sätze mit Ausrufungszeichen. Gibt´s da Studien?

Zu der Sache mit der BBC hätte ich aus historischem Interesse tatsächlich gerne mehr Infos, weil 50 Vollbilder pro Sekunde würden ja 100 Halbbilder pro Sekunde bedeuten oder beziehst du dich darauf, dass PAL prinzipiell mit 50 Halbbildern pro Sekunde übertragen wird?

Und ein kleiner Schocker noch zum Schluss: im Kinoprojektor wird mit 48 Hz beleuchtet (Umlaufblende), bei 24 mal die Sekunde Leinwand beleuchten würde man ein Flackern wahrnehmen....

[kling]

Wie kommen wir denn jetzt auf Puppentrick? Es wäre glaube ich sehr verstörend, wenn das Sandmännchen auf einmal Butterweiche Bewegungen hätte.
Mal so ganz Nebenbei, mir ging es ja überhaupt nicht darum, über die heiligen 24 Bilder pro Sekunde zu diskutieren. Ich hab doch nur berichtet, dass ich neben Zeitlupenspielereien auch - moment, jetzt wird es hart: zum SPASS - 15 Minuten Filmmaterial durch die Software gejagt habe. Und das Ergebnis nicht zum davonlaufen schlimm war.

Die Tools, die du da ansprichst, durch die man die Renderzeiten "dramatisch" verkürzen kann müsstest du mir bitte, bitte noch nennen. Da könnte ich mir ja dann glatt die Investition in die Vergrößerung der Renderfarm sparen. Bei mir läuft hauptsächlich VRay auf CPU/CUDA und teilweise noch OpenCL. Man kann da auch einfach den Noise Level relativ weit oben lassen und dann mit dem integrierten Tensor Denoiser alles schön glatt bügeln. Spätestens wenn im Compositing der Motion Blur drauf kommt sind die Details eh dahin....also gerne mal nur mit halber Auflösung raus rendern...usw.

Mit Verlaub, dass das menschliche Gehirn Bilder, also ins verlängerte Gehirn geschossene Photonen, am liebsten mit einer Abtastfrequenz von 24 Hz verarbeitet, mag eine Koinzidenz sein, jedoch sollte nicht daraus geschlossen werden, dass irgendetwas im Gehirn mit just dieser Frequenz getaktet ist.
Davon abgesehen kann ich auch mit 24 Bildern/Sekunde und entsprechendem Shutter dafür sorgen, dass der Inhalt unansehbar wird... umgekehrt übrigens genauso.
Natürlich lasse ich mich hierbei auch gerne eines besseren belehren, da braucht es aber mehr, als irgendwelche emotional aufgeladenen Sätze mit Ausrufungszeichen. Gibt´s da Studien?

Zu der Sache mit der BBC hätte ich aus historischem Interesse tatsächlich gerne mehr Infos, weil 50 Vollbilder pro Sekunde würden ja 100 Halbbilder pro Sekunde bedeuten oder beziehst du dich darauf, dass PAL prinzipiell mit 50 Halbbildern pro Sekunde übertragen wird?

Und ein kleiner Schocker noch zum Schluss: im Kinoprojektor wird mit 48 Hz beleuchtet (Umlaufblende), bei 24 mal die Sekunde Leinwand beleuchten würde man ein Flackern wahrnehmen....

Von "butterweichen" Bewegungen war bei mir nicht die Rede, sondern von schlicht von normalen. Es gibt übrigens Tests mit den typisch ruckeligen Harryhausen-Compositionen, die nun auch wesentlich harmonischer aussehen. Wahrscheinlich aber auch nur zum Spaß.
Kein menschlichliches Hirn ist mit 24 Hz getakt, sondern mit etwas über 30 Hz bis zu fast 40 Hz, individuell von diversen Faktoren abhängig. Das bedeutet, dass Erinnerungen oder Träume niemals fließender sein können, also jede Form von visuell Erzähltem klar darunter liegen muss. Als besonders angenehm wird dabei empfunden, wenn die Belichtungszeit ungefähr der Hälfte der Aufnahmefrequenz, also ca. 1/50 Sek. (180° Umlaufblende bei Filmkameras) ausmacht - und das hat sich nun schon abermillionenfach als gut und richtig herausgestellt.
Wo stand bei mir je etwas von 50 Vollbildern? Es war zu PAL-Zeiten stets 50 Halbbilder, d.h. 50 unterschiedliche (!) Bewegungsphasen, freilich in jeweils nur halber vertikaler Auflösung, bei direkter elektronischer Aufzeichnung. Bei echten Filmen wurde einfach jedes Bild zweimal abgetastet, d.h. 25 unterschiedliche Phasen, wobei die +4% PAL-SpeedUp - entgegen vieler Behauptungen - völlig irrelevant sind, auch beim Ton.
Darum: Welcher Schocker soll die zwei-, bei Amateurfilm-Projektoren sogar drei-flügelige Umlaufblende zur augenschonenden Reduzierung des Flackerns sein? Entscheidend ist ganz allein, dass dem menschlichen Gehirn weniger als von einander abweichende 30 Bilder pro Sekunde angeboten werden, damit es das Gesehene nicht zwangsweise als Live-Geschehen empfindet.

[roki100]

Für MacOS gibt es da wie immer nichts...schade.

[Darth Schneider]

Wozu braucht es das eigentlich effektiv ?
Bei den meisten echt gefilmten Stop Motion Filmen geht eigentlich niemand über 15 FpS, besser bei 12 FpS, weil zu fliessende Bewegungen ist dann ja auch nicht wirklich gewünscht. Und künstlich rein gerechnete Bilder machen die Bewegungsabläufe der Puppen oder Figuren zudem auch nicht natürlicher.
Auf der anderen Seite, für Computeranimationen geht ja jetzt das rendern ja auch nicht mehr soo lange, und man kann die gewünschte Framerate doch einfach im 3D Programm eingestellten.
Nette Spielerei. Ich sehe jedoch darin nicht wirklich so einen grossen Sinn.
Profis die fürs Fernsehen und fürs Kino, Animationsfilme und Trickfilme drehen arbeiten mit Dragonframe.
Die brauchen sowas nicht, ich dachte Dragonframe bietet solche Möglichkeiten intern doch auch, und noch viel, viel mehr und ist für Stop Motion/2D3D Animationsfime längst Industrie Standart.

https://www.dragonframe.com/

Gruss Boris

[kling]

Wozu braucht es das eigentlich effektiv ?
Bei den meisten echt gefilmten Stop Motion Filmen geht eigentlich niemand über 15 FpS, besser bei 12 FpS, weil zu fliessende Bewegungen ist dann ja auch nicht wirklich gewünscht. Und künstlich rein gerechnete Bilder machen die Bewegungsabläufe der Puppen oder Figuren zudem auch nicht natürlicher.
Auf der anderen Seite, für Computeranimationen geht ja jetzt das rendern ja auch nicht mehr soo lange, und man kann die gewünschte Framerate doch einfach im 3D Programm eingestellten.
Nette Spielerei. Ich sehe jedoch darin nicht wirklich so einen grossen Sinn.
Profis die fürs Fernsehen und fürs Kino, Animationsfilme und Trickfilme drehen arbeiten mit Dragonframe.
Die brauchen sowas nicht, ich dachte Dragonframe bietet solche Möglichkeiten intern doch auch, und noch viel, viel mehr und ist für Stop Motion/2D3D Animationsfime längst Industrie Standart.

https://www.dragonframe.com/

Gruss Boris

Zu fließend sollten die Bewegungen bei Puppentrickfilmen tatsächlich nicht sein, sonst geht der Charme verloren. Bloß, 12 Phasen pro Sekunde wären durchaus wünschenswert, nicht wenige Animatoren aber versuchen mit 8 oder 6 Bildern durchzukommen. Grundfalsch jedoch wäre, mehr als 24/25 unterschiedliche Bewegungen pro Sekunde zu generieren. Einen animierten Film in billigem Video-Look will nun wirklich niemand.

[medienonkel]

Von "butterweichen" Bewegungen war bei mir nicht die Rede, sondern von schlicht von normalen. Es gibt übrigens Tests mit den typisch ruckeligen Harryhausen-Compositionen, die nun auch wesentlich harmonischer aussehen. Wahrscheinlich aber auch nur zum Spaß.
Kein menschlichliches Hirn ist mit 24 Hz getakt, sondern mit etwas über 30 Hz bis zu fast 40 Hz, individuell von diversen Faktoren abhängig. Das bedeutet, dass Erinnerungen oder Träume niemals fließender sein können, also jede Form von visuell Erzähltem klar darunter liegen muss. Als besonders angenehm wird dabei empfunden, wenn die Belichtungszeit ungefähr der Hälfte der Aufnahmefrequenz, also ca. 1/50 Sek. (180° Umlaufblende bei Filmkameras) ausmacht - und das hat sich nun schon abermillionenfach als gut und richtig herausgestellt.
Wo stand bei mir je etwas von 50 Vollbildern? Es war zu PAL-Zeiten stets 50 Halbbilder, d.h. 50 unterschiedliche (!) Bewegungsphasen, freilich in jeweils nur halber vertikaler Auflösung, bei direkter elektronischer Aufzeichnung. Bei echten Filmen wurde einfach jedes Bild zweimal abgetastet, d.h. 25 unterschiedliche Phasen, wobei die +4% PAL-SpeedUp - entgegen vieler Behauptungen - völlig irrelevant sind, auch beim Ton.
Darum: Welcher Schocker soll die zwei-, bei Amateurfilm-Projektoren sogar drei-flügelige Umlaufblende zur augenschonenden Reduzierung des Flackerns sein? Entscheidend ist ganz allein, dass dem menschlichen Gehirn weniger als von einander abweichende 30 Bilder pro Sekunde angeboten werden, damit es das Gesehene nicht zwangsweise als Live-Geschehen empfindet.

AHA! Ja danke für die Info mit den 30-40Hz, damit konnte ich mir jetzt die entsprechende Quelle selbst suchen... Ernst Pöppel ist da das Stichwort. Grob zusammengefasst kann das Hirn in dem Bereich am besten auf resourcenschonenden Durchzug stellen.
Jedoch sind trotzdem auch wesentlich höhere Erfassungsgeschwindigkeiten möglich, dann eben ohne Traumhafte - nicht als Live empfundene - Eindrücke.

Bei den 50 Bilder/s Experimenten der BBC habe ich dich leider falsch verstanden.

Dass die 180 Grad Regel den natürlichsten Bewegungseindruck vermittelt habe ich nie in Abrede gestellt.
Und wenn wir immer wieder beim Puppentrick landen, kann man da jetzt auch kurz Go-Motion ansprechen, um den größten Nachteil des Puppentricks, die fehlende Bewegungsunschärfe, technisch sehr schön gelöst zu sehen. Zum ersten mal nicht experimentell glaube ich bei Ghostbusters eingesetzt.

Es war aber auch, wie schon mal geschrieben, überhaupt nicht meine Intention hier eine Diskussion über das für oder wieder einer Bestimmten Wiedergabefrequenz zu starten.
Und freilich verdopple ich zu meinem privaten Vergnügen so oft ich will 24 fps Filme auf 48 oder sogar 96 fps, um mir die Verzehnfachung der Leistung eines neu implementierten neuronalen Netzwerkes mit Freude über den Fortschritt dieser Technik vor Augen zu führen.
Innerhalb eines guten Jahres wurden aus einem über ein Gigabyte trainiertem Netz(DAIN), das man nur über die Kommandozeile benutzen konnte, eine gut zu bedienende Software, die wesentlich kleiner ist und auch noch 10 mal schneller rechnet. Da freue ich mich halt und habe Spass.

Als MAC User kann man mal bei den entsprechenden Papers und der Präsenz auf Github schauen, ob es nicht eine Google Colab Umgebung dazu gibt. Darüber kann man Google Hardware unentgeltlich benutzen. Teilweise kommt man da mit Glück auf eine Maschine, in der schon mal ne Tesla P100 steckt.
Das Limit sind hier die Größe des Google Drives, die mageren 16 GB Arbeitsspeicher der Virtuellen Maschinen und dass man keine grafische Oberfläche hat, sondern ein paar Pfade und Einstellungen in den Code einfügen muss.

Zur Anwendung dieser Technik ((Zwischen)Bilder per K.I. zu generieren) fallen mir spontan folgende Beispiele ein:
- In der Filmrestaurierung, um dort stark beschädigte Einzelbilder automatisiert zu rekonstruieren
- Zur automatisierten Objektentfernung, ist ja schon fest in AE verbaut und von der SENSEI K.I. von Adobe befüllt
- Nachträgliches Overcranking, weil die Darstellerin doch ein wenig engelsgleicher schreiten soll z.B. mit 24 fps gedreht, auf 30 hochgerechnet und dann mit 24 abgespielt.
Macht man bis jetzt eher mit Motion Flow, hat aber dann oft Warping Artefakte. Die gibt´s bei der Methode so nicht.

[Panamatom]

Slomo ist die beste Anwendungsmöglichkeit. Funzt hervorragend. Gerade bei Material, das mit niedrigen Belichtungszeiten aufgenommen wurde. Was insbesondere für Actioncams, die ja oftmals tatsächlich Action aufnehmen, die man gerne in Slomo sehen würde, gut klappt.
Daneben finde ich die Beispiele auf youtube, die historische Aufnahmen restaurieren, auch sehr interessant, dann oft stabilisiert und gemeinsam mit KI-gestützter Hochskalierung und Kolorierung. Hierfür stört mich dann auch nicht 50 oder 60p. Im Gegenteil, das macht die Anmutung noch authentischer.

[kling]

AHA! Ja danke für die Info mit den 30-40Hz, damit konnte ich mir jetzt die entsprechende Quelle selbst suchen... Ernst Pöppel ist da das Stichwort. Grob zusammengefasst kann das Hirn in dem Bereich am besten auf resourcenschonenden Durchzug stellen.
Jedoch sind trotzdem auch wesentlich höhere Erfassungsgeschwindigkeiten möglich, dann eben ohne Traumhafte - nicht als Live empfundene - Eindrücke.

Bei den 50 Bilder/s Experimenten der BBC habe ich dich leider falsch verstanden.

Dass die 180 Grad Regel den natürlichsten Bewegungseindruck vermittelt habe ich nie in Abrede gestellt.
Und wenn wir immer wieder beim Puppentrick landen, kann man da jetzt auch kurz Go-Motion ansprechen, um den größten Nachteil des Puppentricks, die fehlende Bewegungsunschärfe, technisch sehr schön gelöst zu sehen. Zum ersten mal nicht experimentell glaube ich bei Ghostbusters eingesetzt.

Es war aber auch, wie schon mal geschrieben, überhaupt nicht meine Intention hier eine Diskussion über das für oder wieder einer Bestimmten Wiedergabefrequenz zu starten.
Und freilich verdopple ich zu meinem privaten Vergnügen so oft ich will 24 fps Filme auf 48 oder sogar 96 fps, um mir die Verzehnfachung der Leistung eines neu implementierten neuronalen Netzwerkes mit Freude über den Fortschritt dieser Technik vor Augen zu führen.
Innerhalb eines guten Jahres wurden aus einem über ein Gigabyte trainiertem Netz(DAIN), das man nur über die Kommandozeile benutzen konnte, eine gut zu bedienende Software, die wesentlich kleiner ist und auch noch 10 mal schneller rechnet. Da freue ich mich halt und habe Spass.

Als MAC User kann man mal bei den entsprechenden Papers und der Präsenz auf Github schauen, ob es nicht eine Google Colab Umgebung dazu gibt. Darüber kann man Google Hardware unentgeltlich benutzen. Teilweise kommt man da mit Glück auf eine Maschine, in der schon mal ne Tesla P100 steckt.
Das Limit sind hier die Größe des Google Drives, die mageren 16 GB Arbeitsspeicher der Virtuellen Maschinen und dass man keine grafische Oberfläche hat, sondern ein paar Pfade und Einstellungen in den Code einfügen muss.

Zur Anwendung dieser Technik ((Zwischen)Bilder per K.I. zu generieren) fallen mir spontan folgende Beispiele ein:
- In der Filmrestaurierung, um dort stark beschädigte Einzelbilder automatisiert zu rekonstruieren
- Zur automatisierten Objektentfernung, ist ja schon fest in AE verbaut und von der SENSEI K.I. von Adobe befüllt
- Nachträgliches Overcranking, weil die Darstellerin doch ein wenig engelsgleicher schreiten soll z.B. mit 24 fps gedreht, auf 30 hochgerechnet und dann mit 24 abgespielt.
Macht man bis jetzt eher mit Motion Flow, hat aber dann oft Warping Artefakte. Die gibt´s bei der Methode so nicht.

Einen Diskussionsbeitrag wie der Ihre empfindet man als erfreulich konstruktiv, danke! Dazu möchte ich noch ergänzen, dass sowohl das Max-Plank-Institut für Hirnforschung als auch die Uni Witten Herdecke auf diesem Gebiet gearbeitet haben.
Bereits Mitte der 80er habe ich selbst in der Zeitschrift "Film- & TV-Kameramann" und später in der "Professional Production" Artikel zum Thema geschrieben, anfangs mit erheblichem Gegenwind, der sich aber rasch gelegt hat.
Bei sämtlichen Musik-Videos, an denen ich mitarbeitete, warfen wir einfach ein Halbbild weg und verdoppelten dafür das andere, außerdem zogen wir sogenannte Scope-Balken ein, damit's noch wertiger aussah. Bis Sony endlich einen professionellen Mischer (ohne Broadcast-Zulassung) herausbrachte, war das eine recht abenteuerliche Angelegenheit, doch der Aufwand lohnte sich allemal, denn Synchron-Fehler zum Musik-Playback ebenso wie schauspielerische Defizite der Sänger/innen wurden angenehm verschliffen.
Das wirkte dermaßen toll, dass die Macher von "Wetten dass..?", die immer wahnsinnig stolz auf ihre opulenten Deko-Bauten für die MusicActs waren, diesen Trick auch anwandten. Meine eindringliche Warnung, damit ginge unweigerlich der (in diesem Fall ja erwünschte) LiveShow-Effekt flöten, ignorierten sie. Nun aber hatten plötzlich viele Fernsehzuschauer den Eindruck, dass es sich nur noch um fertig angelieferte Clip-Einspieler handelte. Mäßig lustig war es auch, weil oft während des Umschnitts aufs hinterher Beifall klatschende Saal-Publikum, jener (von manchen abwertend als StrobeShutter bezeichnete) Effekt mitten in der Szene deaktiviert wurde.
Die BBC erlebte ähnliche Reaktionen bei Serien wie "Die Onedin-Line", wenn zwischen mit 16mm gefilmten Außenszenen zum Studio-Set geswitched wurden. Das Publikum freilich wusste nicht richtig, wie ihm geschah, akzeptierte dies jedoch mit der Zeit als eine Art Stilmittel, auch wenn es eigentlich jedesmal aus der Story kippte. Der sperrhölzern anmutende deutsch-österreichische Versuch in der Richtung, die Gaststar-gespickte Serie "Luftsprünge" (mit Luis Trenker als Sport-Hotel-Chef) wurde, mangels positiver Resonanz, nach nur einer Staffel eingestellt.

[medienonkel]

Einen Diskussionsbeitrag wie der Ihre empfindet man als erfreulich konstruktiv, danke! Dazu möchte ich noch ergänzen, dass sowohl das Max-Plank-Institut für Hirnforschung als auch die Uni Witten Herdecke auf diesem Gebiet gearbeitet haben.
Bereits Mitte der 80er habe ich selbst in der Zeitschrift "Film- & TV-Kameramann" und später in der "Professional Production" Artikel zum Thema geschrieben, anfangs mit erheblichem Gegenwind, der sich aber rasch gelegt hat.
Bei sämtlichen Musik-Videos, an denen ich mitarbeitete, warfen wir einfach ein Halbbild weg und verdoppelten dafür das andere, außerdem zogen wir sogenannte Scope-Balken ein, damit's noch wertiger aussah. Bis Sony endlich einen professionellen Mischer (ohne Broadcast-Zulassung) herausbrachte, war das eine recht abenteuerliche Angelegenheit, doch der Aufwand lohnte sich allemal, denn Synchron-Fehler zum Musik-Playback ebenso wie schauspielerische Defizite der Sänger/innen wurden angenehm verschliffen.
Das wirkte dermaßen toll, dass die Macher von "Wetten dass..?", die immer wahnsinnig stolz auf ihre opulenten Deko-Bauten für die MusicActs waren, diesen Trick auch anwandten. Meine eindringliche Warnung, damit ginge unweigerlich der (in diesem Fall ja erwünschte) LiveShow-Effekt flöten, ignorierten sie. Nun aber hatten plötzlich viele Fernsehzuschauer den Eindruck, dass es sich nur noch um fertig angelieferte Clip-Einspieler handelte. Mäßig lustig war es auch, weil oft während des Umschnitts aufs hinterher Beifall klatschende Saal-Publikum, jener (von manchen abwertend als StrobeShutter bezeichnete) Effekt mitten in der Szene deaktiviert wurde.
Die BBC erlebte ähnliche Reaktionen bei Serien wie "Die Onedin-Line", wenn zwischen mit 16mm gefilmten Außenszenen zum Studio-Set geswitched wurden. Das Publikum freilich wusste nicht richtig, wie ihm geschah, akzeptierte dies jedoch mit der Zeit als eine Art Stilmittel, auch wenn es eigentlich jedesmal aus der Story kippte. Der sperrhölzern anmutende deutsch-österreichische Versuch in der Richtung, die Gaststar-gespickte Serie "Luftsprünge" (mit Luis Trenker als Sport-Hotel-Chef) wurde, mangels positiver Resonanz, nach nur einer Staffel eingestellt.

Dankeschön. Das kann ich genauso zurück geben.

Nach ein paar Tests muss man aber festhalten, dass die interpolierten frames doch recht detailarm werden. Feine Wassertropfen z.B. werden nicht rekonstruiert und fehlen in jedem zweiten frame.
Auch für per Simulation erzeugte gerenderte Flüssigkeitsanimationen taugt der Datensatz noch nichts. Das schaut schon sehr unnatürlich aus.