Filmschnitt und Post mittels Scriptsprache

[TheBubble]

Ich würde gerne einmal eine andere Vorgehensweise beim Schnitt und Postprocessing diskutieren, als allgemein üblich und durch die bekannten Schnittprogramme unterstützt.

Früher gab es EDLs (Edit Decision Lists), einfach vom Aufbau, aber natürlich sehr rudimentär.

Heute wird alles in GUIs zusammengeklickt, Filter draufgeworfen, usw. Vorlagen und Feineinstellungen bei Effekten sind natürlich möglich, können aber auch mühsam sein.

Hat man mehrere Schnittfassungen, dann hat man womöglich mehrere Projekte. Will man etwas ändern, muss man alle Projekte anfassen, auch wenn die Änderung alle gemeinsam betrifft.

Arbeiten mehrere Personen gleichzeitig, muss man sich gegebenenfalls absprechen. Versionsverwaltung mit der Möglichkeit zu Diffs und Patches und der Nachvollziehbarkeit von Änderungen ist praktisch unbekannt. Beim Workflow ist man teils sehr an die Vorstellungen der NLEs gebunden.

Ist das Projekt alt, ist es irgendwann womöglich nicht mehr völlig mit aktueller Software kompatibel. Vielleicht verändern sich nur Details beim Export, vielleicht lässt es sich gar nicht mehr einlesen. Das Format der Projektdateien ist zudem meist nicht dokumentiert.

Das war das Problem. Nun zu einer möglichen Lösung:

Stellt Euch eine Art textuelle Beschreibung (ähnlich einer Skriptsprache oder ähnlich von XML) des gesamten Nachbearbeitungsvorgangs vor, die man von Hand schreiben und präzise ändern kann. Variablen, Fallunterscheidungen usw. inkusive, vielleicht sogar Turing-Vollständig.

Natürlich kann und soll das Ganze mit visuellen Editoren unterstützt werden dürfen.

Vielleicht kennt jemand OpenSCAD oder LaTeX. Ich stelle mir so etwas in der Richtung für die gesamte Pipeline vor: Preprocessing, Grading, Schnitt(-fassungen), Ton, Export, usw. Eine Sprache, um das Layout eines Films zu beschreiben, so wie LaTeX und OpenSCAD das Layout eines Textdokuments bzw. die Geometrie eines 3D Objekts beschreiben.

Darauf basierend würde dann mit einer Engine und ggf. Plugins das Resultat gerendert werden.

Würde das Akzeptanz finden? Oder wäre ich der Einzige, der so etwas gut findet?

Einsatzgebiet wären vermutlich tendenziell grössere und länger zu pflegende Projekte. Es muss kein Ersatz zum Erstellen kurzer Videoclips sein.

[prime]

Klingt toll für Leute die auch LaTeX toll finden, für den Großteil der "normalen" Cutter vollkommen irrelevant. Änderung? Projekt öffnen, Footage ersetzen/ändern was auch immer, neu exportieren, fertig. Grafik wurde aktualisiert, dito. 10-20x wiederholen? Praktikant oder eben nen halben Tag sich durchklicken oder evtl. auch nur Grafikfootage ersetzen und erneut rausrendern. Wer ein wenig Python/Bash + ffmpeg beherscht, kann sich da evtl. auch nochmal einiges an Clicks sparen.

Ich bin nicht der Meinung das der Status quo gut ist und da nicht erheblich Potenzial nach oben für sowas gibt, aber sehr viel Content heutzutage ist sehr kurzlebig, Einzelstücke.

Einsatzgebiet wären vermutlich tendenziell grössere und länger zu pflegende Projekte.

Ich kann mir darunter nix vorstellen (im Kontext von Videoprojekten), vielleicht hast du da ein Beispiel. Generell, nach Abnahme durch den Kunden - nix mehr anfassen, archivieren und vergessen.

Mash hatte mal was zu nen offenen Austauschformat für Timelines zwischen verschiedenen NLEs/Programmen gepostet:
https://github.com/PixarAnimationStudios/OpenTimelineIO

Aber das was du anstrebst ist eher Richtung Avisynth.

PS: Vor mehr als 10 Jahren hab ich ein 100+ seitiges Dokument in LaTeX erstellt. Es sah gut aus, aber gemessen am Aufwand, auf keinen Fall nochmal.

[Frank Glencairn]

Ist ne XML oder OpenTimeline im Prinzip nicht genau das?

Wäre halt jetzt nur noch wünschenswert, wenn die XML mit allen NLEs kompatibel wäre, dürfte jedoch daran scheitern, daß verschiedene NLEs halt verschiedene Features haben, und man diese Features halt nicht per Textfile erzwingen kann - von Plugins die womöglich verwendet wurden ganz zu schweigen.

[TheBubble]

Klingt toll für Leute die auch LaTeX toll finden, für den Großteil der "normalen" Cutter vollkommen irrelevant.

Ich habe deswegen geschrieben, das es nichts für kleine kurzlebige Wegwerfprojekte ist.

Ich sehe es wie das Verhältnis von Word zu LaTeX: Beides hat seine Stärken und Einsatzgebiete.

Ich kann mir darunter nix vorstellen (im Kontext von Videoprojekten), vielleicht hast du da ein Beispiel.

Extrembeispiel:
Lokalisierter Kinofilm, nicht nur Titel, Abspann und Texteinblendungen sollen lokalisiert werden, sondern es gibt zum Teil speziell lokalisierte Einstellungen. Dazu noch für mehrere Regionen verschiedene Schnittfassungen (ab 12, 16, 18, ...), spezielle Landesfassungen, zensierte Fassungen (nicht unbedingt schön, aber Realität),
die übersetzten Tonspuren mit vielleicht leicht unterschiedlichen Anforderungen an die verwendete Einstellung, usw.
Später kommt dann noch eine für das Heimkino neu gegradete Variante hinzu und eine Fassung für TV oder Streaming.
Bei Erfolg dann der Extended Director's Cut.

Aufgrund des Umfangs müssen viele Menschen zudem daran parallel arbeiten können.

Wenn man das vereinfachen kann wäre es zudem kostengünstiger möglich, zunächst mehr unfertige Varianten parallel zu erstellen, bis sich der Verantwortliche entscheiden muß.

Ein sehr viel weniger aufwendiges Beispiel: Produktvorstellung, in 10 Sprachen lokalisiert, jeweils in Lang- und Kurzfassung.

Aber das was du anstrebst ist eher Richtung Avisynth.

In gewisser Weise ja, aber dann auch wieder nicht. Avisynth hat nicht den Anspruch einen NLE nebst "Zubehör" ersetzen zu können.

PS: Vor mehr als 10 Jahren hab ich ein 100+ seitiges Dokument in LaTeX erstellt. Es sah gut aus, aber gemessen am Aufwand, auf keinen Fall nochmal.

Für umfangreichere Dokumente verwende ich inzwischen tatsächlich gerne LaTeX. Die Vorteile überwiegen meistens.

Für normale Briefe nutze ich natürlich eine Textverarbeitung.

[TheBubble]

Ist ne XML oder OpenTimeline im Prinzip nicht genau das?

Wäre halt jetzt nur noch wünschenswert, wenn die XML mit allen NLEs kompatibel wäre, dürfte jedoch daran scheitern, daß verschiedene NLEs halt verschiedene Features haben, und man diese Features halt nicht per Textfile erzwingen kann - von Plugins die womöglich verwendet wurden ganz zu schweigen.

Ja und nein. Ein brauchbares Austauschformat kann man derzeit nicht etablieren, dafür sind die NLEs zu unterschiedlich. Dazu kommen noch finanziell motivierte Lock in Überlegungen der Hersteller.

Ich will eine über eine formale textuelle Repräsentation festgelegte Pipeline, in voller Ausbaustufe möglichst von den rohen Assets bis zum fertigen Produkt.

Spezielle Plugins oder externe Programme sollten möglichst integrierbar sein.

Rohe Assets werden importiert, vorverarbeitet und dann verwendet. Die eigentliche Pipeline soll möglichst frei wählbar sein, um unterschiedlichste Workflows abbilden zu können.

Auch sollte man zu jedem Zeitpunkt genau nachvollziehen können, welche Assets in welchem Umfang verwendet werden.

Für häufig gebrauchte Dinge sollte es optionale visuelle Editoren geben: Kaum ein Colorist wird wohl nur mit Texteditor und Compiler arbeiten wollen. Er soll aber in der Lage sein, per Text genauste Anpassungen zu tätigen oder auch Variablen zu nutzen: So könnten z.B. bestimmte Akzentfarben global festgelegt und verändert werden, ohne dass man diverse Szenen anfassen muss.

So ungefähr ist meine momentane Vorstellung.

[Frank Glencairn]

Okay, verstanden.

Aber warum dazu zurück zu einem umständlichen Text-Interface?
Das ist doch super nervig zu handhaben mich jedes mal durch tausende Zeilen von "Code" arbeiten zu müssen.
Ich hab lange genug mit sowas gearbeitet (3 Maschinen Beta Schnittplatz - und ja, ich kenne sogar noch EDLs auf Papier), und war heilfroh, als es endlich UIs gab, die mein Leben massiv vereinfacht haben, von der gesparten Zeit ganz zu schweigen.

Zumal gerade Schneiden IMHO einen visuellen Feedbackloop braucht, weil schneiden nach Zahlen halt ned funktioniert.
Das heißt deine Lösung würde sowieso nur für bereits geschnittene/fertige Projekte funktionieren.
Da stellt sich dann aber die Frage nach dem usecase. Wie oft muss ich in bereits fertigen Projekten nochmal rum pfuschen?
Das kommt so gut wie nie vor, sonst wären sie ja nicht bereits fertig - also wenigstens bei mir.

[TheBubble]

Aber warum dazu zurück zu einem umständlichen Text-Interface?

Mehrere Gründe, folgende fallen mir spontan ein, es gibt aber sicher noch weitere Argumente:

1. Jedes NLE, jedes Grading-Programm, usw. benötigt ohnehin eine Repräsentation seiner Daten, selbst wenn man nur visuelle Editoren zum bearbeiten dieser hat. Warum also kein Text, den man zugleich auch verstehen und bearbeiten kann?

2. Mit Text kann man relativ leicht Dinge tun, die man mittels GUIs nicht oder nur umständlich abbilden kann: Beispiele wären globale und lokale Variablen, Fallunterscheidungen, Schleifen, Unterroutinen oder auch Kommentare. In einer Textrepräsentation könnte man einen Verbund von Einstellungen auch einfach mal auskommentieren anstelle ihn zu löschen, vielleicht will man diese Schnittvariante später doch noch einmal verwenden.

3. Wenn es zum Textformat eine formale Spezifikation gibt, dann ist klar, was der Compiler/Processor daraus zu machen hat.

Das ist doch super nervig zu handhaben mich jedes mal durch tausende Zeilen von "Code" arbeiten zu müssen.

Das ist in der Tat ein nicht zu unterschätzendes Problem. Ich denke jedoch, dass man das lösen kann. Ich hatte anfangs OpenSCAD erwähnt: Klar ist es u.U. schwierig, sich in Objektbeschreibungen einzulesen. Man kann aber durchaus auch Verabredungen treffen, die das ganze leichter verständlich machen und Vorteile (auch zeitliche) gegenüber sehr GUI-Orientierter CAD Software nutzen. Kommentare sollten ja auch möglich sein. Welcher GUI-NLE bietet Kommentare, wo man beschreiben kann, warum welche Szene verwendet wurde, warum welche Filtereinstellung gewählt wurde?

Das ganze sehe ich wie beim Programmieren: Man kann in der gleiche Sprache klar verständlichen und kommentierten Code schreiben oder einen zusammengestöpselten Haufen, mit dem außer dem Compiler niemand mehr etwas anfangen kann.

Weitere Vorteile sehe ich in der Möglichkeit Versionsverwaltungen wie Git verwenden zu können und das es organisatorisch leichter umzusetzen sein sollte, wenn viele Personen gleichzeitig an einem Projekt arbeiten müssen.

Zumal gerade Schneiden IMHO einen visuellen Feedbackloop braucht, weil schneiden nach Zahlen halt ned funktioniert.

Ich denke der Schnitt sollte auch von GUIs unterstützt werden dürfen. Es muss auch eine direkte Vorschau ohne großes Rendern geben. Andererseits kann man auch sehr organisiert vorgehen (vor allem, wenn man sich ohnehin an ein Drehbuch zu halten hat), da braucht es dann nicht unbedingt eine GUI, bis man eine funktionierende Inspiration hat, wie man seine Filmschnipsel am Besten zusammensetzt. Aber ja, man solle natürlich eine GUI haben dürfen.

Das heißt deine Lösung würde sowieso nur für bereits geschnittene/fertige Projekte funktionieren.
Da stellt sich dann aber die Frage nach dem usecase. Wie oft muss ich in bereits fertigen Projekten nochmal rum pfuschen?

Eigentlich wäre meine Idee eher etwas, wenn man mit einem neuen Projekt und daher leerer Timeline anfängt. Ich hatte oben in einem Beitrag schon einmal zwei mögliche Use Cases erläutert. Vorteile sehe ich vor allem da, wo viel lokalisiert werden muss und verschiedene Schnittfassungen erstellen werden sollen. Aber auch kurze Projekte könnte man damit angehen. Vor allem, wenn viele Projekte dem gleichen Muster folgen, könnte es zu einer Zeitersparnis führen.

[Frank Glencairn]

Welcher GUI-NLE bietet Kommentare, wo man beschreiben kann, warum welche Szene verwendet wurde, warum welche Filtereinstellung gewählt wurde?

Resolve

Eigentlich wäre meine Idee eher etwas, wenn man mit einem neuen Projekt und daher leerer Timeline anfängt.... Andererseits kann man auch sehr organisiert vorgehen (vor allem, wenn man sich ohnehin an ein Drehbuch zu halten hat)

Das geht jetzt schon viel schneller und eleganter. Ich kann z.B. alle mit "Best Shot" markierten Clips in der richtigen Reihenfolge mit einem Mausklick auf die Timeline werfen - und fertig ist der Schnitt (jedenfalls einer nach deiner Vorstellung).

Ich verstehe deinen Ansatz schon (irgendwie), aber erstens gehen die meisten Sachen jetzt schon, und zweitens ist das die Denke eines Programmierers (no offense) nicht die eines Editors, und schon gar nicht die eines Kreativen. Letztere haben traditionell eine massive Abneigung gegen solche Abstrahierungen bei der Arbeit, da ihr Gehirn einfach hauptsächlich mit Bildern funktioniert. Die würden schlicht meschugge werden, wenn sie auf ner Textkonsole schneiden müßten.

[TheBubble]

Welcher GUI-NLE bietet Kommentare, wo man beschreiben kann, warum welche Szene verwendet wurde, warum welche Filtereinstellung gewählt wurde?

Resolve

Ja. Resolve sorgt endlich für frischen Wind in dem Bereich. Trotzdem ist meine Vorstellung etwas völlig anderes.

Ich verstehe deinen Ansatz schon (irgendwie), aber erstens gehen die meisten Sachen jetzt schon, und zweitens ist das die Denke eines Programmierers (no offense) nicht die eines Editors, und schon gar nicht die eines Kreativen. Letztere haben traditionell eine massive Abneigung gegen solche Abstrahierungen bei der Arbeit, da ihr Gehirn einfach hauptsächlich mit Bildern funktioniert. Die würden schlicht meschugge werden, wenn sie auf ner Textkonsole schneiden müßten.

Schon richtig, es geht mehr in eine abstraktere Richtung. Das ist aber unvermeidbar, um das nächste Level an Möglichkeiten und Produktivität zu erreichen.

Vor vielen vielen Jahren gab es Web-Designer, die nur mit visuellen Editoren HTML-Seiten bauten. Sie konnten kein oder nur wenig HTML, das hat die Editor GUI für sie alles aufbereitet. Leider waren die GUIs immer recht eingeschränkt, so auch die Ergebnisse.

Heute nutzt kein ernsthafter Webentwickler solche GUIs. Seiten bestehen heute aus einem HTML-Gerüst, CSS und meist Javascript. Programmierer haben übernommen.

Der Cutter/Editor ist bei großen Produktionen doch mehr Ausführender oder Umsetzender als Kreativer, der alleine entscheidet. Er setzt nicht seine alleinige Vision um, sondern die des Teams, des vorgesetzten Regisseurs oder des Produzenten. Warum soll sich seine Tätigkeit nicht verändern oder weiterentwickeln können?

Ich bin sicher, das viele gute Cutter, VFX Artists usw. mit etwas Abstraktion gut zurecht kommen können. Ausserdem verschwinden die anderen Tools ja nicht. Für Standardbriefe muss ja auch niemand LaTeX anwerfen.

[DKPost]

Welcher GUI-NLE bietet Kommentare, wo man beschreiben kann, warum welche Szene verwendet wurde, warum welche Filtereinstellung gewählt wurde?

Welche NLE bietet das denn nicht? Resolve, Premiere und Avid können das zumindest schon sehr sehr lange.

Sorry, nur ein kurzer Einwurf da ich zugeben muss, dass ich die eigentliche Idee nicht verstehe...

[TheBubble]

Welcher GUI-NLE bietet Kommentare, wo man beschreiben kann, warum welche Szene verwendet wurde, warum welche Filtereinstellung gewählt wurde?

Welche NLE bietet das denn nicht? Resolve, Premiere und Avid können das zumindest schon sehr sehr lange.

Sorry, nur ein kurzer Einwurf, da ich zugeben muss, dass ich die Idee nicht verstehe...

Es geht mir nicht einfach nur um Kommentare zum Kommentieren, das war einfach nur ein Beispiel. Vielleicht ein ungeschickt ausgewähltes.

Es geht mir um Dinge, die mit NLEs eher schlecht umsetzbar sind und wo ich vielleicht sogar erhebliches Potential sehe.

[DKPost]

Welche NLE bietet das denn nicht? Resolve, Premiere und Avid können das zumindest schon sehr sehr lange.

Sorry, nur ein kurzer Einwurf, da ich zugeben muss, dass ich die Idee nicht verstehe...

Es geht mir nicht einfach nur um Kommentare zum Kommentieren, das war einfach nur ein Beispiel. Vielleicht ein ungeschickt ausgewähltes.

Aber es gibt ja in alle NLEs die ich kenne eine riesige Auswahl an allen möglichen Metadaten die man den Clips zuweisen oder selbst erstellen kann. Also z.B. Take, Rolle, Objektiv, Brenweite, Kommentare, Gut / Schlecht, Color Coding etc. Damit könnte man ja schon jetzt einiges automatisieren. Allerdings der Punkt den ich nicht ganz begreife: Das geht doch alles nur in der Theorie, weil man ja zwangsweise den Bildinhalt eines Clips und auch im Zusammenhang mit dem vorherigen und folgenden Cliop beurteilen muss. Ich wüsste nicht wie das irgendwie automatisiert gehen soll. Es sei denn, Bildwirkung und Übergänge sind egal.

[TheBubble]

Wie leicht fällt es Dir bisher mehrere Schnittfassungen zu erstellen und danach erhebliche gemeinsame Teile zu verändern?

Wie gut kannst Du Entscheidungen von der Umsetzung entkoppeln? Z.B. eine durchgängig verwendete Akzentfarbe erst spät wählen?

Wie gut kannst Du mit vielen anderen gemeinsam an einem grossen Projekt arbeiten?

Kannst Du den Zwischenstand von vorletzter Woche wieder herstellen?

Wer stellt sicher, dass ein Effekt nach einem Update noch das gleiche Ergebnis abliefert?

Das sind alles nur Beispiele als Denkanregung. Einiges geht je nach IDE durchaus schon lange. Ich habe auch nichts gegen GUIs. Um beim obigen Vergleich zu bleiben: Mit Word wurden schon viele Bücher geschrieben, trotzdem gibt es Platz für LaTeX.

[dosaris]

...Das geht doch alles nur in der Theorie, weil man ja zwangsweise den Bildinhalt eines Clips und auch im Zusammenhang mit dem vorherigen und folgenden Cliop beurteilen muss. Ich wüsste nicht wie das irgendwie automatisiert gehen soll. Es sei denn, Bildwirkung und Übergänge sind egal.

genau,
man kann kaum cut-and-paste von mehreren Szenen über viele Projekte per script automatisieren.

Deswegen wird diese scripterei überwiegend für's lineare editing relevant sein.
Und damit kann's durchaus auch rekursiv einegesetzt werden, wenn zB die encoder-Parameter ihrerseits als sub-script eingebunden werden.

[TheBubble]

Allerdings der Punkt den ich nicht ganz begreife: Das geht doch alles nur in der Theorie, weil man ja zwangsweise den Bildinhalt eines Clips und auch im Zusammenhang mit dem vorherigen und folgenden Cliop beurteilen muss. Ich wüsste nicht wie das irgendwie automatisiert gehen soll. Es sei denn, Bildwirkung und Übergänge sind egal.

Das erfordert vielleicht eine etwas andere Organisation oder Reihenfolge: Zuerst schneiden, dann in der Gesamtheit jeden verwendeten Clip aneinander anpassen. Natürlich für alle Schnittfassungen. Das ist weiterhin eine manuelle gestalterische Entscheidung.

[DKPost]

Wie leicht fällt es Dir bisher mehrere Schnittfassungen zu erstellen und danach erhebliche gemeinsame Teile zu verändern?

Wie gut kannst Du Entscheidungen von der Umsetzung entkoppeln? Z.B. eine durchgängig verwendete Akzentfarbe erst spät wählen?

Wie gut kannst Du mit vielen anderen gemeinsam an einem großen Projekt arbeiten?

Kannst Du den Zwischenstand von vorletzter Woche wieder herstellen?

Wer stellt sicher, dass ein Effekt nach einem Update noch das gleiche Ergebnis abliefert?

Das sind alles nur Beispiele als Denkanregung. Einiges geht je nach IDE durchaus schon lange. Ich habe auch nichts gegen GUIs. Um beim obigen Vergleich zu bleiben: Mit Word wurden schon viele Bücher geschrieben, trotzdem gibt es Platz für LaTeX.

Also mehrere Schnittfassungen mache ich eigentlich bei jedem Projekt. Mit Typo, ohne Typo, mit r128 mix oder ohne, diverse Cutdowns eines Masterspots etc. Ich sehe da irgendwie das Verbesserungspotential nicht so recht, weil das mit eingespielten Workflows ja alles kein Problem darstellt. Das zeitintesivste dabei sind sicher Cutdowns, aber da geht es eben auch um kreative Entscheidungen und Schnittanpasungen, die ja auch erst während dem Schnitt entstehen. Da sagt ja niemand Sekunde 5-10 raus und Sekunde 17-21 raus und dann ist der Cutdown fertig. So funktioniert das ja nicht.

Das mit der Akzentfarbe ist sehr Situationsabhängig. Aber bei mir sind Grafikelemente in der Regel für alle Versionen so gebaut, dass z.B. in AE die Farbe genau ein mal geändert werden muss, auch für verschiedene Versionen. Geht ja alles über Expressions oder Skripte, was ja eigentlich schon Coding in AE ist.

Zwischenstände von Anfang an des Projektes kann ich absolut immer und in jedem NLE wieder herstellen, weil ich vor jeder größeren Anpassungen die Sequenz kopiere. Da ist so ziemlich jeder Step im Projekt noch vorhanden.

Bei Effektupdates muss man momentan auf die Entwickler vertrauen, da kann ich persönlich nichts tun.

Ich bin mir nicht sicher, ob es da wirklich so großes Verbesserungspotential gibt, um diesen Zusatzaufwand irgendwie zu rechtfertigen.

[Frank Glencairn]

Ja, ich hab auch irgendwie mehr den Eindruck, daß hier mehr nach nem Problem für eine Lösung gesucht wird :-)

Ich hab zwar ein gewisses Verständnis für die Grundidee, kann mir aber nicht vorstellen, daß jemand so arbeiten möchte (wenn er nicht gerade Programmierer ist). Für jeden Editor den ich kenne (mich eingeschlossen) wäre das nicht nur ein Alptraum, sondern ein riesiger Schritt zurück zu einer Arbeitsweise, von der wir froh waren, als sie endlich überwunden war. Die älteren von uns haben das ja alles bereits schon mal mitgemacht.

Für mich ist am wichtigsten, daß mir eine NLE (oder jedes andere Programm) aus dem Weg geht beim arbeiten. Mit der Entwicklung der NLEs in den letzten Jahren und mit besserer Hardware sind wir dieser Idealvorstellung schon recht nahe. Fast alles geht irgendwie in Echtzeit, und ich hab meistens ein sofortiges visuelles Feedback zu dem was ich gerade mache - ein Texteditor ist quasi das Gegenteil.

Mir kommt das ungefähr so vor, als würde mir jemand vorschlagen Drehbücher in einem Hex-Editor zu schreiben.

[cantsin]

Mal zurück zur Ausgangsfrage: Ja, so eine Lösung gibt's in Form von MLT (der Videoschnitt-Engine, die den meisten Open Source-Schnittprogrammen wie KDEnlive, Shotcut, Openshot und Flowblade zugrundeliegt) und dessen Kommandozeilenprogramm Melt:

https://www.mltframework.org/docs/melt/

[TheBubble]

Ich komme so langsam an die Grenze dessen, mit dem ich meine Idee über das Forum beschreiben kann. Im Prinzip verhält sie sich zu den bekannten GUI-Schnittprogrammen wie LaTeX zu Word.

Also mehrere Schnittfassungen mache ich eigentlich bei jedem Projekt. Mit Typo, ohne Typo, mit r128 mix oder ohne, diverse Cutdowns eines Masterspots etc. Ich sehe da irgendwie das Verbesserungspotential nicht so recht, weil das mit eingespielten Workflows ja alles kein Problem darstellt.

Ist ja alles machbar. Ich will es nur durch Formalisierung vereinfachen.

Mit Schnittfassungen meine ich vor allem diverse Lokalisierungen. Oder mal eine Fassung für TV, wo eine Einstellung etwas kürzer ist und die Zeit gefüllt werden muss, damit es vom Ton wieder passt. Solche Dinge halt. Stell Dir mal so etwas vor:
CLIP(122)
WENN(TV==WAHR) DANN
CLIP(123, -3 sec)
CLIP(124) # die Alternative Ergänzung 124 ist 3 Sekunden lang
SONST
CLIP(123)
CLIP(125)
ENDE
CLIP(126)
usw...

Musst einfach mal Schnittberichte lesen um zu sehen, wie viele minimal unterschiedlich Fassungen es zum Teil von einem Film gibt. Die unveröffentlichten Fassungen gar nicht mitgezählt. Da gibt es schon Bedarf.

Das mit der Akzentfarbe ist sehr Situationsabhängig. Aber bei mir sind Grafikelemente in der Regel für alle Versionen so gebaut, dass z.B. in AE die Farbe genau ein mal geändert werden muss, auch für verschiedene Versionen. Geht ja alles über Expressions oder Skripte, was ja eigentlich schon Coding in AE ist.

Ja, so meine ich das. Nur das Du die Farbe nun auch noch meinetwegen für beliebige weitere Effekte (z.B. als Tint für Traumszenen o.ä.) verwenden kannst. Es ist aber wie gesagt nur ein Beispiel für den Einsatz globaler Festlegungen.

[TheBubble]

Mal zurück zur Ausgangsfrage: Ja, so eine Lösung gibt's in Form von MLT (der Videoschnitt-Engine, die den meisten Open Source-Schnittprogrammen wie KDEnlive, Shotcut, Openshot und Flowblade zugrundeliegt) und dessen Kommandozeilenprogramm Melt:

https://www.mltframework.org/docs/melt/

Ja vielleicht so ähnlich, aber doch völlig anders, kein Backend oder eine Library für Programme, nicht durch Komandozeilenparameter sondern durch einen Quelltext gesteuert, erweiterbar, modern und flexibel :-D.

[Frank Glencairn]

CLIP(122)
WENN(FSK==6) DANN
CLIP(123, -3 sec)
CLIP(124) # die Alternative Ergänzung 124 ist 3 Sekunden lang
SONST
CLIP(123)
CLIP(125)
ENDE
CLIP(126)

Genau so was hab ich gemeint. Ich kann mir nicht vorstellen daß jemand so arbeiten möchte.
Nur Programmierer können auf solche Art denken.

Aber lass dich von mir nicht abhalten. Wenn es tatsächlich einen Markt für sowas gibt, wirst du das sicher verkaufen können.
Für mich ist es jedenfalls nix.

[DKPost]

Ich komme so langsam an die Grenze dessen, mit dem ich meine Idee über das Forum beschreiben kann. Im Prinzip verhält sie sich zu den bekannten GUI-Schnittprogrammen wie LaTeX zu Word.

Also mehrere Schnittfassungen mache ich eigentlich bei jedem Projekt. Mit Typo, ohne Typo, mit r128 mix oder ohne, diverse Cutdowns eines Masterspots etc. Ich sehe da irgendwie das Verbesserungspotential nicht so recht, weil das mit eingespielten Workflows ja alles kein Problem darstellt.

Ist ja alles machbar. Ich will es nur durch Formalisierung vereinfachen.

Mit Schnittfassungen meine ich vor allem diverse Lokalisierungen. Oder mal eine Fassung für TV, wo eine Einstellung etwas kürzer ist und die Zeit gefüllt werden muss, damit es vom Ton wieder passt. Solche Dinge halt. Stell Dir mal so etwas vor:
CLIP(122)
WENN(TV==WAHR) DANN
CLIP(123, -3 sec)
CLIP(124) # die Alternative Ergänzung 124 ist 3 Sekunden lang
SONST
CLIP(123)
CLIP(125)
ENDE
CLIP(126)
usw...

Musst einfach mal Schnittberichte lesen um zu sehen, wie viele minimal unterschiedlich Fassungen es zum Teil von einem Film gibt. Die unveröffentlichten Fassungen gar nicht mitgezählt. Da gibt es schon Bedarf.

Das mit der Akzentfarbe ist sehr Situationsabhängig. Aber bei mir sind Grafikelemente in der Regel für alle Versionen so gebaut, dass z.B. in AE die Farbe genau ein mal geändert werden muss, auch für verschiedene Versionen. Geht ja alles über Expressions oder Skripte, was ja eigentlich schon Coding in AE ist.

Ja, so meine ich das. Nur das Du die Farbe nun auch noch meinetwegen für beliebige weitere Effekte (z.B. als Tint für Traumszenen o.ä.) verwenden kannst. Es ist aber wie gesagt nur ein Beispiel für den Einsatz globaler Festlegungen.

Aber um zu wissen, dass Clip 123 in der TV-Fassung -3 Sekunden haben muss, muss den Schnitt ja erstmal jemand gemacht haben um zu sehen ob es funktioniert und Clip 124 auch dazu passt. Dann ist die Arbeit ja schon gemacht. Sorry, ich bin mir sicher, dass ich nicht ganz kapiere wie du das meinst.

[TheBubble]

Genau so was hab ich gemeint. Ich kann mir nicht vorstellen daß jemand so arbeiten möchte.

Es kann ja gerne optional zum großen Teil von GUIs verborgen werden. Aber was ist die Alternative? Auch jede GUI muss eine Fallunterscheidung intern so ähnlich speichern. Und ab einem gewissen Komplexitätsgrad ist die GUI-Variante mit Sicherheit viel umständlicher zu bedienen, als die Textdarstellung.

Theoretisch könnte man in einer Textdarstellung das auch anders formulieren:

WENN(TV==TRUE)
SEI CLIP 123 = CLIP(123, -3 sec), CLIP(124)
ENDE
...
CLIP(122)
CLIP(123)
CLIP(125)
...

[TheBubble]

Aber um zu wissen, dass Clip 123 in der TV-Fassung -3 Sekunden haben muss, muss den Schnitt ja erstmal jemand gemacht haben um zu sehen ob es funktioniert und Clip 124 auch dazu passt. Dann ist die Arbeit ja schon gemacht. Sorry, ich bin mir sicher, dass ich nicht ganz kapiere wie du das meinst.

Ich will letztlich eine von Menschen lesbare (und auch erstellbare) Beschreibung der nötigen Operationen, um aus allen Assets (Die Clips, usw.) unter Berücksichtigung von frei wählbaren Einstellungen (die globalen Variablen) das Ergebnis (den Film) berechnen zu können.

Letztlich das, was man im Video-Editor in Form der Timeline grafisch aufbereitet dargestellt bekommt, plus beliebiger darüber hinaus gehender Zusatzfeatures.

[TheBubble]

Aber lass dich von mir nicht abhalten. Wenn es tatsächlich einen Markt für sowas gibt, wirst du das sicher verkaufen können.

Ich hatte zumindest kurzzeitig sogar an open source als Möglichkeit gedacht ;-)

Ich sehe mich zumindest augenblicklich nicht in der Lage, mit Personalausstattung und Marketing eines großen Softwarevermieters mitzuhalten. :-D

[Frank Glencairn]

Ich will letztlich eine von Menschen lesbare (und auch erstellbare) Beschreibung der nötigen Operationen, um aus allen Assets (Die Clips, usw.) unter Berücksichtigung von frei wählbaren Einstellungen (die globalen Variablen) das Ergebnis (den Film) berechnen zu können.

Letztlich das, was man im Video-Editor in Form der Timeline grafisch aufbereitet dargestellt bekommt, plus beliebiger darüber hinaus gehender Zusatzfeatures.

...was uns dann wieder zur XML (oder meinetwegen einer erweiterten Version davon) bringt - die zwar theoretisch menschenlesbar und editierbar ist, aber halt auch schon bei 5 Clips und Titeln 8-10 Seiten zur Beschreibung braucht, durch die man sich durcharbeiten muß.

Es ist ja nicht mit "Clip 5" getan. Da sind zunächst mal alle Metadaten dabei, Timecode, Länge, so wie sämtliche Parameter die du irgendwie verändern kannst, von Zoom, Crop, Rotation, Position, Opacity, mathematische Operanden etc. Dazu kommen die Parameter für Stabilisierung, Grading, Audio, sämtlich Parameter die Plugins zur Verfügung stellen können etc.

[prime]

Extrembeispiel:
Lokalisierter Kinofilm, nicht nur Titel, Abspann und Texteinblendungen sollen lokalisiert werden, sondern es gibt zum Teil speziell lokalisierte Einstellungen. Dazu noch für mehrere Regionen verschiedene Schnittfassungen (ab 12, 16, 18, ...), spezielle Landesfassungen, zensierte Fassungen (nicht unbedingt schön, aber Realität),
die übersetzten Tonspuren mit vielleicht leicht unterschiedlichen Anforderungen an die verwendete Einstellung, usw.
Später kommt dann noch eine für das Heimkino neu gegradete Variante hinzu und eine Fassung für TV oder Streaming.
Bei Erfolg dann der Extended Director's Cut.

Wer das alles in "Scriptsprache" implementiert muss sich die Szenen ja trotzdem visuell und im Kontext einmal anschauen ob die neuen/alternativen Schnitte überhaupt "funktionieren". Und genau da kann man sich das ganze gleich sparen und wieder zu nen NLE greifen. Die verschiedenen Fassungen kann man alle in normalen NLEs von verschiedenen Leuten parallel machen lassen (ausgehend von einen abgenommen Master). Ein Scriptsystem funktioniert sicher gut wenn der gesamte Schnitt noch ständig in Veränderung ist, was glaub ich eher unrealistisch ist.

Ich will letztlich eine von Menschen lesbare (und auch erstellbare) Beschreibung der nötigen Operationen, um aus allen Assets (Die Clips, usw.) unter Berücksichtigung von frei wählbaren Einstellungen (die globalen Variablen) das Ergebnis (den Film) berechnen zu können.

Letztlich das, was man im Video-Editor in Form der Timeline grafisch aufbereitet dargestellt bekommt, plus beliebiger darüber hinaus gehender Zusatzfeatures.

Das ist im Grunde Timeline als XML. Aber den hervorgehobenen Teil muss du mir nochmal erklären. Wenn man es klassisch in nen NLE macht, schnipselt man paar Clips zusammen und speichert die Timeline als XML. In den Scriptsystem hätte man in den XML (oder JSON) alle Clips und ne "leere" Timeline. Welche globalen Variablen oder Einstellungen würden zur gleichen Schnittreihenfolge führen wie die per Hand (willkührlich) geschnittene Fassung?

Ich hab schon einiges an Content automatisch mit ffmpeg generiert (fixes Intro/Outro, lediglich Clip wählen), aber das hat nix mit kreativen Schnitt/VFX zu tun.

Um beim obigen Vergleich zu bleiben: Mit Word wurden schon viele Bücher geschrieben, trotzdem gibt es Platz für LaTeX.

Die Bücher sind aber nicht direkt aus Word gedruckt worden, da hat jemand am Ende die Arbeit nochmal separat gemacht, die bei Verwendung von LaTeX schon gemacht worden wäre. Den finalen gedruckten Buch ist es daher nicht anzusehen ob es mit Word, vi oder Notepad geschrieben wurde. Genauso ist es einen Film/Clip nicht anzusehen ob der mit Avid, FCP oder Resolve geschnitten wurde.

[cantsin]

Mal zurück zur Ausgangsfrage: Ja, so eine Lösung gibt's in Form von MLT (der Videoschnitt-Engine, die den meisten Open Source-Schnittprogrammen wie KDEnlive, Shotcut, Openshot und Flowblade zugrundeliegt) und dessen Kommandozeilenprogramm Melt:

https://www.mltframework.org/docs/melt/

Ja vielleicht so ähnlich, aber doch völlig anders, kein Backend oder eine Library für Programme, nicht durch Komandozeilenparameter sondern durch einen Quelltext gesteuert, erweiterbar, modern und flexibel :-D.

Aber das genau macht MLT. Sieh Dir mal MLT-Projektdateien an. MLT ist das TeX/LaTeX-Prinzip übertragen auf Videoediting.

[TheBubble]

...was uns dann wieder zur XML (oder meinetwegen einer erweiterten Version davon) bringt - die zwar theoretisch menschenlesbar und editierbar ist, aber halt auch schon bei 5 Clips und Titeln 8-10 Seiten zur Beschreibung braucht, durch die man sich durcharbeiten muß.

XML basiert wäre eine Möglichkeit, man kann aber auch angenehmere Möglichkeiten evaluieren. Und wenn man es gut macht, muss man keine Handbücher neben sich liegen haben. Braucht man für HTML ja auch nicht.

Es ist ja nicht mit "Clip 5" getan. Da sind zunächst mal alle Metadaten dabei, Timecode, Länge, so wie sämtliche Parameter die du irgendwie verändern kannst, von Zoom, Crop, Rotation, Position, Opacity, mathematische Operanden etc. Dazu kommen die Parameter für Stabilisierung, Grading, Audio, sämtlich Parameter die Plugins zur Verfügung stellen können etc.

Hier sehe ich eben grade Vorteile.

Während man vieles davon heute erst am Ort der Verwendung einstellt, könnte man methodisch etwas anders vorgehen:

Zuerst definiert man sich einen neuen Clip, meinetwegen "5b", der auf Clip 5 basiert, aber bereits die gewünschten Einstellungen bekommt. Danach kann die eigentliche Timeline sehr clean aufgebaut werden.

So kann man dann schrittweise vorgehen: Preprocessingeinstellungen (wie z.B. RAW zu RGB), Grober Zuschnitt von Clips, erstes Grading, usw., das kann alles entkoppelt und ggf. auch auf viele Teammitglieder verteilt werden.

Man muss auch nicht zwingend Texte per Hand schreiben, man kann es aber im Prinzip. Halt wie bei SVG Files.

[TheBubble]

Das ist im Grunde Timeline als XML. Aber den hervorgehobenen Teil muss du mir nochmal erklären.

Einfach Parameter, die man später für das "Movie Layout" und Filter aufgreift.

Es geht nicht darum, den Cutter durch eine AI zu ersetzen.

Um beim obigen Vergleich zu bleiben: Mit Word wurden schon viele Bücher geschrieben, trotzdem gibt es Platz für LaTeX.

Die Bücher sind aber nicht direkt aus Word gedruckt worden, da hat jemand am Ende die Arbeit nochmal separat gemacht, die bei Verwendung von LaTeX schon gemacht worden wäre.

Noch mal abgeschrieben/neu gesetzt hat die Word-Bücher mit Sicherheit niemand. Wie bei LaTeX wird wohl ein PDF erzeugt und dann verwendet worden sein.

[TheBubble]

Aber das genau macht MLT. Sieh Dir mal MLT-Projektdateien an. MLT ist das TeX/LaTeX-Prinzip übertragen auf Videoediting.

Danke, ich schaue es mir demnächst mal genauer an.

[prime]

Noch mal abgeschrieben/neu gesetzt hat die Word-Bücher mit Sicherheit niemand. Wie bei LaTeX wird wohl ein PDF erzeugt und dann verwendet worden sein.

Neu schreiben nicht, aber es gibt ja copy&paste. Dem Autor interessiert die genaue Formatierung und das Layout beim Schreiben nicht, der schreibt einfach nur seinen Text runter. Er überlässt das Setzen eben jemanden mit entsprechenden Wissen und Software und die erzeugt eine druckfähiges Dokument. Es gibt sicherlich auch Bücher direkt aus Word/PDF aber das meinte ich nicht.

[TheBubble]

Neu schreiben nicht, aber es gibt ja copy&paste. Dem Autor interessiert die genaue Formatierung und das Layout beim Schreiben nicht, der schreibt einfach nur seinen Text runter.

Mag sein, ich dachte eher an Fachbücher (MINT). Auch da gibt es unter Autoren Word Nutzer und der Formeleditor läuft heiß. Das wird vermutlich niemand mehr neu formatieren/setzen oder auch nur in eine andere Software kopieren, das Risiko etwas wichtiges zu verlieren oder zu verändern wäre wohl recht groß.

Im Fall von LaTeX kann ein Verlag vermutlich noch eher gewisse gestalterische Veränderungen vornehmen. Aber warum sollte er sich viel Arbeit machen?

In einigen Fachbüchern steht sogar drin, dass die druckfertige Vorlage direkt vom Autor kam.