Logo Logo
/// 

RIFE - KI-Frame-Interpolation jetzt 10x schneller und zum selber ausprobieren



Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum News-Kommentare-Forum

Newsmeldung von slashCAM:



Erst vor ein paar Monaten im September 2020 berichteten wir zuletzt über DAIN. Hinter dem Begriff versteckt sich ein KI-Modell, dass in Filmen und Videoclips fehlende Zw...



Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
RIFE - KI-Frame-Interpolation jetzt 10x schneller und zum selber ausprobieren




Antwort von CandyNinjas:

Klingt ja super !!! Werd ich mal testen.



Antwort von medienonkel:

Ich hab gestern mal ein paar Stunden getestet und bin sehr begeistert:
Auf meiner 8 GB Grafikkarte lief DAIN bis jetzt maximal bis 720p und es gab oft Abbrüche wegen zu wenig CUDA Speicher.
Nicht nur, dass RIFE tatsächlich sehr schnell ist, auch das obere Auflösungslimit liegt nun bei 1180p.

1080p mit 240 fps aus der Osmo Action lässt sich sehr schön zu 960 fps interpolieren, man muss dann allerdings schon mit ner Tausendstel aufnehmen (da hat dann meine Schreibtischlampe gestern nicht mehr so ganz gereicht.... ;-) )

Dem Filmklassiker, der hier gerade vom 35 mm 4k Scan eine Behandlung mit Phoenix erfährt stehen die 48 fps ganz gut zu gesicht. Jedoch kann jeder Fernseher mit "Motion Engine" usw. da ähnliche Effekte in Echtzeit eigentlich genausogut.

Die Batchfunktion habe ich anfänglich vergeblich gesucht, sie ist aber da, funktioniert nicht auf Anhieb Intuitiv, klappt aber dann Problemlos. Knapp 15 Minuten HD Material waren in einer guten Stunde durch.

Der Blender Guru hat die Software empfohlen, um 3d Renderzeiten zu halbieren. Da fehlt leider noch der Alpha.








Antwort von kling:

Für PseudoSlowMotion oder die Interpolation bei extrem ruckeligen Animation machen solche Apps schon Sinn. Doch niemals sollten 24/25Fps-Originale beispielsweise auf 60Fps hochgerechnet werden! Außer man möchte partout den Film-Effekt verlieren und sich als inkompetenter Video-Fuzzie outen.



Antwort von medienonkel:

kling hat geschrieben:
Für PseudoSlowMotion oder die Interpolation bei extrem ruckeligen Animation machen solche Apps schon Sinn. Doch niemals sollten 24/25Fps-Originale beispielsweise auf 60Fps hochgerechnet werden! Außer man möchte partout den Film-Effekt verlieren und sich als inkompetenter Video-Fuzzie outen.
geht gar nicht um "ruckelige" Animationen, sondern darum nur jedes zweite FrameFrame im Glossar erklärt zu rendern.... Wenn ein FrameFrame im Glossar erklärt mal eben 15 Minuten zu rechnen braucht kann das eine immense Einsparung sein.
Die genauso inkompetenten Film Fuzzies wehren sich halt immer noch dagegen, dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren und die Ästhetik (aka Sehgewohnheit) mit der Zeit erlernt wurde.
Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen... auch kein Purismus ;-)



Antwort von Frank Glencairn:

medienonkel hat geschrieben:

dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren ..
Du darfst nicht immer alles glauben, was du denkst.
Das war kein Kompromiss sondern der Sweetspot.



Antwort von Jott:

medienonkel hat geschrieben:
Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen ;-)
24fps zu 60 Halbbildern? Aber hallo, so kommen alle Spielfilme und andere 24p-Programme ins US-Fernsehen, schon immer. Hoppelnde Schwenks wurden den Amerikanern in die Wiege gelegt, die stört das nicht.



Antwort von medienonkel:

"Frank Glencairn" hat geschrieben:
medienonkel hat geschrieben:

dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren ..
Du darfst nicht immer alles glauben, was du denkst.
Das war kein Kompromiss sondern der Sweetspot.
Ich denke, ich glaube zu wissen, was ich weiß...
Dann nennen wir es technischen sweetspot. Eine rein ästhetische Entscheidung war es meines Wissens nach nicht. Die Studios wollten die Kosten für Material so niedrig wie möglich halten, der Bildschaffende eine flüssige Bewegung. Gegen 30 fps hätte sich jetzt kein Kameramann damals gewehrt behaupte ich mal. Man möge mich nun beratungsresistent nennen, es ist ein Kompromiss, einer, der sich ganz viel um Technik und Kosten dreht. Ein kurzer Blick beim Malkiewicz sagt da auch nur, 24 sind für Bewegung nicht ideal, die Leute haben sich aber daran gewöhnt gehabt, als der Tonfilm daher kam. Ich mag die 24er Ästhetik und die Arbeitsweise die daraus erwächst auch, aber Dogma sollte die Bildrate so langsam keines mehr sein.



Antwort von medienonkel:

Jott hat geschrieben:
medienonkel hat geschrieben:
Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen ;-)
24fps zu 60 Halbbildern? Aber hallo, so kommen alle Spielfilme und andere 24p-Programme ins US-Fernsehen, schon immer. Hoppelnde Schwenks wurden den Amerikanern in die Wiege gelegt, die stört das nicht.
Ich dachte der smiley reicht als Ironie Marker



Antwort von kling:

medienonkel hat geschrieben:

geht gar nicht um "ruckelige" Animationen, sondern darum nur jedes zweite FrameFrame im Glossar erklärt zu rendern.... Wenn ein FrameFrame im Glossar erklärt mal eben 15 Minuten zu rechnen braucht kann das eine immense Einsparung sein.
Die genauso inkompetenten Film Fuzzies wehren sich halt immer noch dagegen, dass die 24 Bilder pro Sekunde einfach ein technischer Kompromiss waren und die Ästhetik (aka Sehgewohnheit) mit der Zeit erlernt wurde.
Zum Glück hat man nie Filme mit 24 fps in 50 oder 60 Halbbilder wandeln müssen... auch kein Purismus ;-)

Das größte Problem bei Puppentrickfilmen war nunmal die meist zu geringe Anzahl der Bewegungsphasen, normalerweise 12, aber auch, wenn's einigermaßen vertretbar schien, nur 8 oder 6 verschiedenen Bilder pro Sekunde, jeweils durch Mehrfachauslösung effektiv auf 24B/s gebracht. Bei japanischen Manga-Animes ebenso wie bei den bekannten billigen Kinder-Serien wurde auf diese Weise gespart. Für neue computer-animierte Filme gibt es inzwischen einige Tools, die die Renderzeit dramatisch verkürzen können und zwar ohne Kompromisse durch eher willkürlich abgeschätzte Zwischenphasen, zumal ja sämtliche Bildinhalte im Rechner bereits detailliert vorliegen.
Zu der anderen Sache: Selbst bekannte Hollywood-Größen sind schon auf HighFrameRate-Gurus hereingefallen und haben sich dabei ziemlich blamiert. Wie zuvor bereits in den 60er Jahren die altehrwürdige BBC, die TV-Serien in teilweise 50 (Halb-)Bildern pro Sekunde realisierte. Oder der RBB, dessen Tatort-Beiträge aufgrund ihrer Live-Video-Anmutung beim Publikum gnadenlos gefloppt sind. 24 bzw. 25 Fps sind eben kein Kompromiss, sondern bei fiktiven Inhalten zwingend notwendig, wenn etwas nicht nach Theaterstück- oder Freilichtspiel-Übertragung aussehen soll! Eine Legende der Hoffnung von perfektionistischen Testbild-Filmern und Ingenieur-Naturen muss man bei der Gelegenheit leider zunichte machen: Ein Lerneffekt wird diesbezüglich niemals eintreten, weil die neuronale Takt-Frequenz des menschlichen Gehirns für die Rezeption von Bewegtbildern zuständig ist. Es sei denn, es käme zu einem gewaltigen Evolutionssprung innerhalb der nächsten paar Generationen...



Antwort von medienonkel:

Wie kommen wir denn jetzt auf Puppentrick? Es wäre glaube ich sehr verstörend, wenn das Sandmännchen auf einmal Butterweiche Bewegungen hätte.
Mal so ganz Nebenbei, mir ging es ja überhaupt nicht darum, über die heiligen 24 Bilder pro Sekunde zu diskutieren. Ich hab doch nur berichtet, dass ich neben Zeitlupenspielereien auch - moment, jetzt wird es hart: zum SPASS - 15 Minuten Filmmaterial durch die Software gejagt habe. Und das Ergebnis nicht zum davonlaufen schlimm war.

Die Tools, die du da ansprichst, durch die man die Renderzeiten "dramatisch" verkürzen kann müsstest du mir bitte, bitte noch nennen. Da könnte ich mir ja dann glatt die Investition in die Vergrößerung der Renderfarm sparen. Bei mir läuft hauptsächlich VRay auf CPU/CUDA und teilweise noch OpenCL. Man kann da auch einfach den NoiseNoise im Glossar erklärt Level relativ weit oben lassen und dann mit dem integrierten Tensor Denoiser alles schön glatt bügeln. Spätestens wenn im Compositing der Motion BlurBlur im Glossar erklärt drauf kommt sind die Details eh dahin....also gerne mal nur mit halber Auflösung raus rendern...usw.

Mit Verlaub, dass das menschliche Gehirn Bilder, also ins verlängerte Gehirn geschossene Photonen, am liebsten mit einer Abtastfrequenz von 24 Hz verarbeitet, mag eine Koinzidenz sein, jedoch sollte nicht daraus geschlossen werden, dass irgendetwas im Gehirn mit just dieser Frequenz getaktet ist.
Davon abgesehen kann ich auch mit 24 Bildern/Sekunde und entsprechendem ShutterShutter im Glossar erklärt dafür sorgen, dass der Inhalt unansehbar wird... umgekehrt übrigens genauso.
Natürlich lasse ich mich hierbei auch gerne eines besseren belehren, da braucht es aber mehr, als irgendwelche emotional aufgeladenen Sätze mit Ausrufungszeichen. Gibt"s da Studien?

Zu der Sache mit der BBC hätte ich aus historischem Interesse tatsächlich gerne mehr Infos, weil 50 Vollbilder pro Sekunde würden ja 100 Halbbilder pro Sekunde bedeuten oder beziehst du dich darauf, dass PALPAL im Glossar erklärt prinzipiell mit 50 Halbbildern pro Sekunde übertragen wird?

Und ein kleiner Schocker noch zum Schluss: im Kinoprojektor wird mit 48 Hz beleuchtet (Umlaufblende), bei 24 mal die Sekunde Leinwand beleuchten würde man ein Flackern wahrnehmen....



Antwort von kling:

medienonkel hat geschrieben:
Wie kommen wir denn jetzt auf Puppentrick? Es wäre glaube ich sehr verstörend, wenn das Sandmännchen auf einmal Butterweiche Bewegungen hätte.
Mal so ganz Nebenbei, mir ging es ja überhaupt nicht darum, über die heiligen 24 Bilder pro Sekunde zu diskutieren. Ich hab doch nur berichtet, dass ich neben Zeitlupenspielereien auch - moment, jetzt wird es hart: zum SPASS - 15 Minuten Filmmaterial durch die Software gejagt habe. Und das Ergebnis nicht zum davonlaufen schlimm war.

Die Tools, die du da ansprichst, durch die man die Renderzeiten "dramatisch" verkürzen kann müsstest du mir bitte, bitte noch nennen. Da könnte ich mir ja dann glatt die Investition in die Vergrößerung der Renderfarm sparen. Bei mir läuft hauptsächlich VRay auf CPU/CUDA und teilweise noch OpenCL. Man kann da auch einfach den NoiseNoise im Glossar erklärt Level relativ weit oben lassen und dann mit dem integrierten Tensor Denoiser alles schön glatt bügeln. Spätestens wenn im Compositing der Motion BlurBlur im Glossar erklärt drauf kommt sind die Details eh dahin....also gerne mal nur mit halber Auflösung raus rendern...usw.

Mit Verlaub, dass das menschliche Gehirn Bilder, also ins verlängerte Gehirn geschossene Photonen, am liebsten mit einer Abtastfrequenz von 24 Hz verarbeitet, mag eine Koinzidenz sein, jedoch sollte nicht daraus geschlossen werden, dass irgendetwas im Gehirn mit just dieser Frequenz getaktet ist.
Davon abgesehen kann ich auch mit 24 Bildern/Sekunde und entsprechendem ShutterShutter im Glossar erklärt dafür sorgen, dass der Inhalt unansehbar wird... umgekehrt übrigens genauso.
Natürlich lasse ich mich hierbei auch gerne eines besseren belehren, da braucht es aber mehr, als irgendwelche emotional aufgeladenen Sätze mit Ausrufungszeichen. Gibt"s da Studien?

Zu der Sache mit der BBC hätte ich aus historischem Interesse tatsächlich gerne mehr Infos, weil 50 Vollbilder pro Sekunde würden ja 100 Halbbilder pro Sekunde bedeuten oder beziehst du dich darauf, dass PALPAL im Glossar erklärt prinzipiell mit 50 Halbbildern pro Sekunde übertragen wird?

Und ein kleiner Schocker noch zum Schluss: im Kinoprojektor wird mit 48 Hz beleuchtet (Umlaufblende), bei 24 mal die Sekunde Leinwand beleuchten würde man ein Flackern wahrnehmen....
Von "butterweichen" Bewegungen war bei mir nicht die Rede, sondern von schlicht von normalen. Es gibt übrigens Tests mit den typisch ruckeligen Harryhausen-Compositionen, die nun auch wesentlich harmonischer aussehen. Wahrscheinlich aber auch nur zum Spaß.
Kein menschlichliches Hirn ist mit 24 Hz getakt, sondern mit etwas über 30 Hz bis zu fast 40 Hz, individuell von diversen Faktoren abhängig. Das bedeutet, dass Erinnerungen oder Träume niemals fließender sein können, also jede Form von visuell Erzähltem klar darunter liegen muss. Als besonders angenehm wird dabei empfunden, wenn die Belichtungszeit ungefähr der Hälfte der Aufnahmefrequenz, also ca. 1/50 Sek. (180° Umlaufblende bei Filmkameras) ausmacht - und das hat sich nun schon abermillionenfach als gut und richtig herausgestellt.
Wo stand bei mir je etwas von 50 Vollbildern? Es war zu PAL-Zeiten stets 50 Halbbilder, d.h. 50 unterschiedliche (!) Bewegungsphasen, freilich in jeweils nur halber vertikaler Auflösung, bei direkter elektronischer Aufzeichnung. Bei echten Filmen wurde einfach jedes Bild zweimal abgetastet, d.h. 25 unterschiedliche Phasen, wobei die +4% PAL-SpeedUp - entgegen vieler Behauptungen - völlig irrelevant sind, auch beim Ton.
Darum: Welcher Schocker soll die zwei-, bei Amateurfilm-Projektoren sogar drei-flügelige Umlaufblende zur augenschonenden Reduzierung des Flackerns sein? Entscheidend ist ganz allein, dass dem menschlichen Gehirn weniger als von einander abweichende 30 Bilder pro Sekunde angeboten werden, damit es das Gesehene nicht zwangsweise als Live-Geschehen empfindet.








Antwort von roki100:

Für MacOS gibt es da wie immer nichts...schade.



Antwort von Darth Schneider:

Wozu braucht es das eigentlich effektiv ?
Bei den meisten echt gefilmten Stop MotionStop Motion im Glossar erklärt Filmen geht eigentlich niemand über 15 FpS, besser bei 12 FpS, weil zu fliessende Bewegungen ist dann ja auch nicht wirklich gewünscht. Und künstlich rein gerechnete Bilder machen die Bewegungsabläufe der Puppen oder Figuren zudem auch nicht natürlicher.
Auf der anderen Seite, für Computeranimationen geht ja jetzt das rendernrendern im Glossar erklärt ja auch nicht mehr soo lange, und man kann die gewünschte FramerateFramerate im Glossar erklärt doch einfach im 3D Programm eingestellten.
Nette Spielerei. Ich sehe jedoch darin nicht wirklich so einen grossen Sinn.
Profis die fürs Fernsehen und fürs Kino, Animationsfilme und Trickfilme drehen arbeiten mit Dragonframe.
Die brauchen sowas nicht, ich dachte Dragonframe bietet solche Möglichkeiten intern doch auch, und noch viel, viel mehr und ist für Stop Motion/2D3D Animationsfime längst Industrie Standart.

https://www.dragonframe.com/

Gruss Boris



Antwort von kling:

"Darth Schneider" hat geschrieben:
Wozu braucht es das eigentlich effektiv ?
Bei den meisten echt gefilmten Stop MotionStop Motion im Glossar erklärt Filmen geht eigentlich niemand über 15 FpS, besser bei 12 FpS, weil zu fliessende Bewegungen ist dann ja auch nicht wirklich gewünscht. Und künstlich rein gerechnete Bilder machen die Bewegungsabläufe der Puppen oder Figuren zudem auch nicht natürlicher.
Auf der anderen Seite, für Computeranimationen geht ja jetzt das rendernrendern im Glossar erklärt ja auch nicht mehr soo lange, und man kann die gewünschte FramerateFramerate im Glossar erklärt doch einfach im 3D Programm eingestellten.
Nette Spielerei. Ich sehe jedoch darin nicht wirklich so einen grossen Sinn.
Profis die fürs Fernsehen und fürs Kino, Animationsfilme und Trickfilme drehen arbeiten mit Dragonframe.
Die brauchen sowas nicht, ich dachte Dragonframe bietet solche Möglichkeiten intern doch auch, und noch viel, viel mehr und ist für Stop Motion/2D3D Animationsfime längst Industrie Standart.

https://www.dragonframe.com/

Gruss Boris
Zu fließend sollten die Bewegungen bei Puppentrickfilmen tatsächlich nicht sein, sonst geht der Charme verloren. Bloß, 12 Phasen pro Sekunde wären durchaus wünschenswert, nicht wenige Animatoren aber versuchen mit 8 oder 6 Bildern durchzukommen. Grundfalsch jedoch wäre, mehr als 24/25 unterschiedliche Bewegungen pro Sekunde zu generieren. Einen animierten Film in billigem Video-Look will nun wirklich niemand.



Antwort von medienonkel:

kling hat geschrieben:

Von "butterweichen" Bewegungen war bei mir nicht die Rede, sondern von schlicht von normalen. Es gibt übrigens Tests mit den typisch ruckeligen Harryhausen-Compositionen, die nun auch wesentlich harmonischer aussehen. Wahrscheinlich aber auch nur zum Spaß.
Kein menschlichliches Hirn ist mit 24 Hz getakt, sondern mit etwas über 30 Hz bis zu fast 40 Hz, individuell von diversen Faktoren abhängig. Das bedeutet, dass Erinnerungen oder Träume niemals fließender sein können, also jede Form von visuell Erzähltem klar darunter liegen muss. Als besonders angenehm wird dabei empfunden, wenn die Belichtungszeit ungefähr der Hälfte der Aufnahmefrequenz, also ca. 1/50 Sek. (180° Umlaufblende bei Filmkameras) ausmacht - und das hat sich nun schon abermillionenfach als gut und richtig herausgestellt.
Wo stand bei mir je etwas von 50 Vollbildern? Es war zu PAL-Zeiten stets 50 Halbbilder, d.h. 50 unterschiedliche (!) Bewegungsphasen, freilich in jeweils nur halber vertikaler Auflösung, bei direkter elektronischer Aufzeichnung. Bei echten Filmen wurde einfach jedes Bild zweimal abgetastet, d.h. 25 unterschiedliche Phasen, wobei die +4% PAL-SpeedUp - entgegen vieler Behauptungen - völlig irrelevant sind, auch beim Ton.
Darum: Welcher Schocker soll die zwei-, bei Amateurfilm-Projektoren sogar drei-flügelige Umlaufblende zur augenschonenden Reduzierung des Flackerns sein? Entscheidend ist ganz allein, dass dem menschlichen Gehirn weniger als von einander abweichende 30 Bilder pro Sekunde angeboten werden, damit es das Gesehene nicht zwangsweise als Live-Geschehen empfindet.
AHA! Ja danke für die Info mit den 30-40Hz, damit konnte ich mir jetzt die entsprechende Quelle selbst suchen... Ernst Pöppel ist da das Stichwort. Grob zusammengefasst kann das Hirn in dem Bereich am besten auf resourcenschonenden Durchzug stellen.
Jedoch sind trotzdem auch wesentlich höhere Erfassungsgeschwindigkeiten möglich, dann eben ohne Traumhafte - nicht als Live empfundene - Eindrücke.

Bei den 50 Bilder/s Experimenten der BBC habe ich dich leider falsch verstanden.

Dass die 180 Grad Regel den natürlichsten Bewegungseindruck vermittelt habe ich nie in Abrede gestellt.
Und wenn wir immer wieder beim Puppentrick landen, kann man da jetzt auch kurz Go-Motion ansprechen, um den größten Nachteil des Puppentricks, die fehlende Bewegungsunschärfe, technisch sehr schön gelöst zu sehen. Zum ersten mal nicht experimentell glaube ich bei Ghostbusters eingesetzt.

Es war aber auch, wie schon mal geschrieben, überhaupt nicht meine Intention hier eine Diskussion über das für oder wieder einer Bestimmten Wiedergabefrequenz zu starten.
Und freilich verdopple ich zu meinem privaten Vergnügen so oft ich will 24 fps Filme auf 48 oder sogar 96 fps, um mir die Verzehnfachung der Leistung eines neu implementierten neuronalen Netzwerkes mit Freude über den Fortschritt dieser Technik vor Augen zu führen.
Innerhalb eines guten Jahres wurden aus einem über ein Gigabyte trainiertem Netz(DAIN), das man nur über die Kommandozeile benutzen konnte, eine gut zu bedienende Software, die wesentlich kleiner ist und auch noch 10 mal schneller rechnet. Da freue ich mich halt und habe Spass.

Als MAC User kann man mal bei den entsprechenden Papers und der Präsenz auf Github schauen, ob es nicht eine Google Colab Umgebung dazu gibt. Darüber kann man Google Hardware unentgeltlich benutzen. Teilweise kommt man da mit Glück auf eine Maschine, in der schon mal ne Tesla P100 steckt.
Das Limit sind hier die Größe des Google Drives, die mageren 16 GB Arbeitsspeicher der Virtuellen Maschinen und dass man keine grafische Oberfläche hat, sondern ein paar Pfade und Einstellungen in den Code einfügen muss.

Zur Anwendung dieser Technik ((Zwischen)Bilder per K.I. zu generieren) fallen mir spontan folgende Beispiele ein:
- In der Filmrestaurierung, um dort stark beschädigte Einzelbilder automatisiert zu rekonstruieren
- Zur automatisierten Objektentfernung, ist ja schon fest in AE verbaut und von der SENSEI K.I. von Adobe befüllt
- Nachträgliches Overcranking, weil die Darstellerin doch ein wenig engelsgleicher schreiten soll z.B. mit 24 fps gedreht, auf 30 hochgerechnet und dann mit 24 abgespielt.
Macht man bis jetzt eher mit Motion Flow, hat aber dann oft Warping Artefakte. Die gibt"s bei der Methode so nicht.



Antwort von Panamatom:

Slomo ist die beste Anwendungsmöglichkeit. Funzt hervorragend. Gerade bei Material, das mit niedrigen Belichtungszeiten aufgenommen wurde. Was insbesondere für Actioncams, die ja oftmals tatsächlich Action aufnehmen, die man gerne in Slomo sehen würde, gut klappt.
Daneben finde ich die Beispiele auf youtube, die historische Aufnahmen restaurieren, auch sehr interessant, dann oft stabilisiert und gemeinsam mit KI-gestützter Hochskalierung und Kolorierung. Hierfür stört mich dann auch nicht 50 oder 60p. Im Gegenteil, das macht die Anmutung noch authentischer.



Antwort von kling:

medienonkel hat geschrieben:
kling hat geschrieben:

AHA! Ja danke für die Info mit den 30-40Hz, damit konnte ich mir jetzt die entsprechende Quelle selbst suchen... Ernst Pöppel ist da das Stichwort. Grob zusammengefasst kann das Hirn in dem Bereich am besten auf resourcenschonenden Durchzug stellen.
Jedoch sind trotzdem auch wesentlich höhere Erfassungsgeschwindigkeiten möglich, dann eben ohne Traumhafte - nicht als Live empfundene - Eindrücke.

Bei den 50 Bilder/s Experimenten der BBC habe ich dich leider falsch verstanden.

Dass die 180 Grad Regel den natürlichsten Bewegungseindruck vermittelt habe ich nie in Abrede gestellt.
Und wenn wir immer wieder beim Puppentrick landen, kann man da jetzt auch kurz Go-Motion ansprechen, um den größten Nachteil des Puppentricks, die fehlende Bewegungsunschärfe, technisch sehr schön gelöst zu sehen. Zum ersten mal nicht experimentell glaube ich bei Ghostbusters eingesetzt.

Es war aber auch, wie schon mal geschrieben, überhaupt nicht meine Intention hier eine Diskussion über das für oder wieder einer Bestimmten Wiedergabefrequenz zu starten.
Und freilich verdopple ich zu meinem privaten Vergnügen so oft ich will 24 fps Filme auf 48 oder sogar 96 fps, um mir die Verzehnfachung der Leistung eines neu implementierten neuronalen Netzwerkes mit Freude über den Fortschritt dieser Technik vor Augen zu führen.
Innerhalb eines guten Jahres wurden aus einem über ein Gigabyte trainiertem Netz(DAIN), das man nur über die Kommandozeile benutzen konnte, eine gut zu bedienende Software, die wesentlich kleiner ist und auch noch 10 mal schneller rechnet. Da freue ich mich halt und habe Spass.

Als MAC User kann man mal bei den entsprechenden Papers und der Präsenz auf Github schauen, ob es nicht eine Google Colab Umgebung dazu gibt. Darüber kann man Google Hardware unentgeltlich benutzen. Teilweise kommt man da mit Glück auf eine Maschine, in der schon mal ne Tesla P100 steckt.
Das Limit sind hier die Größe des Google Drives, die mageren 16 GB Arbeitsspeicher der Virtuellen Maschinen und dass man keine grafische Oberfläche hat, sondern ein paar Pfade und Einstellungen in den Code einfügen muss.

Zur Anwendung dieser Technik ((Zwischen)Bilder per K.I. zu generieren) fallen mir spontan folgende Beispiele ein:
- In der Filmrestaurierung, um dort stark beschädigte Einzelbilder automatisiert zu rekonstruieren
- Zur automatisierten Objektentfernung, ist ja schon fest in AE verbaut und von der SENSEI K.I. von Adobe befüllt
- Nachträgliches Overcranking, weil die Darstellerin doch ein wenig engelsgleicher schreiten soll z.B. mit 24 fps gedreht, auf 30 hochgerechnet und dann mit 24 abgespielt.
Macht man bis jetzt eher mit Motion Flow, hat aber dann oft Warping Artefakte. Die gibt"s bei der Methode so nicht.
Einen Diskussionsbeitrag wie der Ihre empfindet man als erfreulich konstruktiv, danke! Dazu möchte ich noch ergänzen, dass sowohl das Max-Plank-Institut für Hirnforschung als auch die Uni Witten Herdecke auf diesem Gebiet gearbeitet haben.
Bereits Mitte der 80er habe ich selbst in der Zeitschrift "Film- & TV-Kameramann" und später in der "Professional Production" Artikel zum Thema geschrieben, anfangs mit erheblichem Gegenwind, der sich aber rasch gelegt hat.
Bei sämtlichen Musik-Videos, an denen ich mitarbeitete, warfen wir einfach ein HalbbildHalbbild im Glossar erklärt weg und verdoppelten dafür das andere, außerdem zogen wir sogenannte Scope-Balken ein, damit's noch wertiger aussah. Bis Sony endlich einen professionellen Mischer (ohne Broadcast-Zulassung) herausbrachte, war das eine recht abenteuerliche Angelegenheit, doch der Aufwand lohnte sich allemal, denn Synchron-Fehler zum Musik-Playback ebenso wie schauspielerische Defizite der Sänger/innen wurden angenehm verschliffen.
Das wirkte dermaßen toll, dass die Macher von "Wetten dass..?", die immer wahnsinnig stolz auf ihre opulenten Deko-Bauten für die MusicActs waren, diesen Trick auch anwandten. Meine eindringliche Warnung, damit ginge unweigerlich der (in diesem Fall ja erwünschte) LiveShow-Effekt flöten, ignorierten sie. Nun aber hatten plötzlich viele Fernsehzuschauer den Eindruck, dass es sich nur noch um fertig angelieferte Clip-Einspieler handelte. Mäßig lustig war es auch, weil oft während des Umschnitts aufs hinterher Beifall klatschende Saal-Publikum, jener (von manchen abwertend als StrobeShutter bezeichnete) Effekt mitten in der Szene deaktiviert wurde.
Die BBC erlebte ähnliche Reaktionen bei Serien wie "Die Onedin-Line", wenn zwischen mit 16mm gefilmten Außenszenen zum Studio-Set geswitched wurden. Das Publikum freilich wusste nicht richtig, wie ihm geschah, akzeptierte dies jedoch mit der Zeit als eine Art Stilmittel, auch wenn es eigentlich jedesmal aus der Story kippte. Der sperrhölzern anmutende deutsch-österreichische Versuch in der Richtung, die Gaststar-gespickte Serie "Luftsprünge" (mit Luis Trenker als Sport-Hotel-Chef) wurde, mangels positiver Resonanz, nach nur einer Staffel eingestellt.



Antwort von medienonkel:

kling hat geschrieben:


Einen Diskussionsbeitrag wie der Ihre empfindet man als erfreulich konstruktiv, danke! Dazu möchte ich noch ergänzen, dass sowohl das Max-Plank-Institut für Hirnforschung als auch die Uni Witten Herdecke auf diesem Gebiet gearbeitet haben.
Bereits Mitte der 80er habe ich selbst in der Zeitschrift "Film- & TV-Kameramann" und später in der "Professional Production" Artikel zum Thema geschrieben, anfangs mit erheblichem Gegenwind, der sich aber rasch gelegt hat.
Bei sämtlichen Musik-Videos, an denen ich mitarbeitete, warfen wir einfach ein HalbbildHalbbild im Glossar erklärt weg und verdoppelten dafür das andere, außerdem zogen wir sogenannte Scope-Balken ein, damit's noch wertiger aussah. Bis Sony endlich einen professionellen Mischer (ohne Broadcast-Zulassung) herausbrachte, war das eine recht abenteuerliche Angelegenheit, doch der Aufwand lohnte sich allemal, denn Synchron-Fehler zum Musik-Playback ebenso wie schauspielerische Defizite der Sänger/innen wurden angenehm verschliffen.
Das wirkte dermaßen toll, dass die Macher von "Wetten dass..?", die immer wahnsinnig stolz auf ihre opulenten Deko-Bauten für die MusicActs waren, diesen Trick auch anwandten. Meine eindringliche Warnung, damit ginge unweigerlich der (in diesem Fall ja erwünschte) LiveShow-Effekt flöten, ignorierten sie. Nun aber hatten plötzlich viele Fernsehzuschauer den Eindruck, dass es sich nur noch um fertig angelieferte Clip-Einspieler handelte. Mäßig lustig war es auch, weil oft während des Umschnitts aufs hinterher Beifall klatschende Saal-Publikum, jener (von manchen abwertend als StrobeShutter bezeichnete) Effekt mitten in der Szene deaktiviert wurde.
Die BBC erlebte ähnliche Reaktionen bei Serien wie "Die Onedin-Line", wenn zwischen mit 16mm gefilmten Außenszenen zum Studio-Set geswitched wurden. Das Publikum freilich wusste nicht richtig, wie ihm geschah, akzeptierte dies jedoch mit der Zeit als eine Art Stilmittel, auch wenn es eigentlich jedesmal aus der Story kippte. Der sperrhölzern anmutende deutsch-österreichische Versuch in der Richtung, die Gaststar-gespickte Serie "Luftsprünge" (mit Luis Trenker als Sport-Hotel-Chef) wurde, mangels positiver Resonanz, nach nur einer Staffel eingestellt.
Dankeschön. Das kann ich genauso zurück geben.

Nach ein paar Tests muss man aber festhalten, dass die interpolierten frames doch recht detailarm werden. Feine Wassertropfen z.B. werden nicht rekonstruiert und fehlen in jedem zweiten frame.
Auch für per Simulation erzeugte gerenderte Flüssigkeitsanimationen taugt der Datensatz noch nichts. Das schaut schon sehr unnatürlich aus.




Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum News-Kommentare-Forum

Antworten zu ähnlichen Fragen:
3D-Ken Burns Effekte mit PyTorch selber ausprobieren
Alten camcorder bzw cinema Kamera zum Ausprobieren
Neuronale Kompression zum Ausprobieren HiFiC- High-Fidelity Generative Image Compression
Frame.io Integration jetzt auch für After Effects
Jetzt schneller: After Effects Plugin Ouroboros 2 für gescriptete Stroke-Effekte
AMD Zen 3 Ryzen 5000 CPUs - jetzt durch die Bank schneller als Intel
Frame.io Integration jetzt auch mit DaVinci Resolve Studio, Kyno, Silverstack ua. via öffentlicher API // NAB 2019
Frame.io plant Cloud-basierte Echtzeit-Workflows von der Kamera bis zum Schnitt
Frame.io startet Cloud-basierten Echtzeit-Workflow von der Kamera bis zum Schnitt
SIRUI G-10X Kugelkopf
Massenweise 50fps Clips mit selber Länge und Qualität in 25fps exportieren
kein Sound wenn man frame für frame springt
Frame Sampling, Frame Überblendung oder Optischer Fluss
Frame.io Camera to Cloud: Cloud-basierter Echtzeit-Workflow von der Kamera bis zum Schnitt
480p Interpolation unterbinden?
Interpolation einzelner Frames
.mov Frame-By-Frame konvertieren
MPEG-2 schneller und bequemer schneiden
Künstliche Intelligenz morpht Bilder besser mit semantischer Interpolation
Magix Video Pro X 12 -- schneller, schärfer und vertikal
Highspeed Filetransfer per MASV Version 3.0: schneller - und teurer
Magic Bullet Suite 13 - schneller und ähnlicher
Neue SSDs von Samsung 860 Evo und 860 Pro sind schneller und haltbarer
Edius X Update auf 10.20 -- schneller und mit neuer Formatunterstützung
Das sollten wir hier zusammen auch mal ausprobieren! :-)
Apple: Großes Update für 27" iMac - schneller und mehr Speicher

















weitere Themen:
Spezialthemen


16:9
3D
4K
AI
ARD
ARTE
AVCHD
AVI
Adapter
Adobe After Effects
Adobe Premiere Pro
After effects
Akku
Akkus
Apple Final Cut Pro
Audio
Aufnahme
Aufnahmen
Avid
Avid Media Composer
Band
Bild
Bit
Blackmagic
Blackmagic DaVinci Resolve
Blackmagic Design DaVinci Resolve
Blende
Book
Brennen
Cam
Camcorder
Camera
Canon
Canon EOS
Canon EOS 5D MKII
Canon EOS C300
Capture
Capturing
Cinema
Clip
ClipKanal
Clips
Codec
Codecs
DSLR
Datei
Digital
EDIUS
ENG
EOS
Effect
Effekt
Effekte
Euro
Export
Fehler
Festplatte
File
Film
Filme
Filmen
Filter
Final Cut
Final Cut Pro
Format
Formate
Foto
Frage
Frame
GoPro
Grass Valley Edius
HDMI
HDR
Hilfe
Import
JVC
KI
Kabel
Kamera
Kanal
Kauf
Kaufe
Kaufen
Kurzfilm
Layer
Licht
Light
Live
Lösung
MAGIX video deLuxe
MPEG
MPEG-2
MPEG2
Mac
Magix
Magix Vegas Pro
Menü
Mikro
Mikrofon
Mikrophone
Monitor
Movie
Musik
Musikvideo
NAB
Nero
News
Nikon
Objektiv
Objektive
PC
Panasonic
Panasonic GH2
Panasonic HC-X1
Panasonic S1 mit V-Log
Panasonic S5
Pinnacle
Pinnacle Studio
Player
Plugin
Plugins
Premiere
Projekt
RAW
RED
Recorder
Red
Render
Rendern
Schnitt
Software
Sony
Sony HDR
Sound
Speicher
Stativ
Stative
Streaming
Studio
TV
Test
Titel
Ton
USB
Umwandeln
Update
Vegas
Video
Video-DSLR
Videos
Videoschnitt
Windows
YouTube
Zoom

Specialsschraeg
1. April - 30. September / Düsseldorf
Young Film Lab
12-16. Mai / Bremen
realtime, festival für neue musik
19-30. Juni / Düsseldorf
24h to take
alle Termine und Einreichfristen