Infoseite // Speicherlösung für 4k Dok-Filmschnitt

Frage von sergejpepper:


Grüß Euch!

Bin gerade am Recherchieren für ein neues Dokfilmprojekt, das wir mit Ursa 4.6 (4.6k Raw 4:1) und Gh5 (4k) drehen wollen. Wir hatten gestern den ersten Recherche-Dreh und abgesehen davon, dass eine Samsung Evo SSD im Cfast Adapter nach der Aufnahme offensichtlich abgekackt ist (pfui!), stellt sich uns die Frage:

Wie sollen wir die Unmengen an Daten am besten handlen?
Wir schneiden mit davinci resolve auf Windows, und werden vermutlich bis zu 40TB an Daten aufnehmen und dann verarbeiten müssen (bis dato als No-Budget-Produktion) .

Habt Ihr dafür eine praktikable, leistbare Lösung?

Über hilfreiche Anregungen freuen wir uns!

Ciao,

Christoph und Jan

P. S.: Wir werden nur lokal an einem Ort mit einem Rechner schneiden, Tonmischung, Farbkorrektur und finales Mastering werden wir auslagern.



Antwort von pillepalle:

Ist das denn sicher das es über Adapter nicht funktioniert?

Für den Rest ein paar große Platten im Rechner? Ich hatte bei meinem Projekt ca. 10TB Daten und hab die auf einem Laptop von einer externer Festplatte schneiden können. Lediglich der Cache Speicher füllt sich bei Resolve bei größeren Projekten schnell. Da hatte ich pro Tag meist über 500GB an Cache auf der Laptop Platte und musste den entsprechend oft löschen, damit mir Resolve nicht die Platte voll schreibt und dann keinen Platz mehr für's speichern des Projekts hat.

VG



Antwort von sergejpepper:

Hallo Pillepalle,

wir haben 2 ssds zu je einem tb in unserm cfast-ssd adapter an der ursa gehabt - eine platte hat funktioniert, die zweite wird (NACH dem Dreh und der Aufnahme von ca. 500gb) weder vom laptop noch von der ursa erkannt.

hast du mit den externen platten auch 4k raw geschnitten?

Bei mir beginnt mein schneller windows laptop in davinci bereits bei einem kurzrn raw 4:1 file angehängt von ssd per usb-c zu ruckeln...

Wir werden wahrscheinlich proxies erstellen müssen, aber trotzdem brauchen wir geschätzt 40tb speicherplatz, wenn wir auf nummer sicher gehen wollen, sogar das doppelte...
... und das kostet rund 2000-3000 Euro, wenn ich richtig recherchiert habe.

Oder lieg ich da falsch?

Gruß aus Wien!



Antwort von pillepalle:

@ sergejpepper

Nee, ich habe keine URSA Mini. Ich habe 'nur' in 10bit ProRes HQ gedreht (in 4K UHD), in einen Atomos Recorder und hatte auch 1TB Evo Platten dafür verwendet. 12bit ProRes RAW über HDMI ging bei mir auch problemlos auf die Evo Platten, aber ich habe damit keine langen Sequenzen gedreht, sondern nur ein paar kurze Testaufnahmen gemacht. Kann also wenig zur Zuverlässigkeit sagen. Wäre natürlich blöd (weil teuer) wenn ihr nur auf CFast aufnehmen könntet.

Ich hatte mir, um direkt von der externen Festplatte schneiden zu können, extra eine 8TB Thunderboldt 3 Paltte besorgt, habe dann aber festgestellt das es auch mit meinen normalen USB3 Platten (hab' relativ preiswerte von Western Digital) funktioniert :) Ist zwar nicht schlecht auch eine schnelle Platte zu haben, aber eigentlich hätte ich mir das Geld auch sparen können und dafür lieber die internen Platten in meinem Laptop (da passen 3 SSDs rein) aufrüsten sollen. Eben weil der Cache sie schnell vollmüllt. Auf der anderen Seite braucht es den Cache, sonst wird's bei mir schnell ruckelig, wenn ich z.B. Nodes mit Effekten (Denoising, Tracking, Stabilisierung, ect.) auf den Clips habe. Lief alles in allem geschmeidiger als ich vermutet hätte. Mein nächster Rechner mit dem ich schneide wird allerdings wieder ein Desktop-Rechner. Macht einfach mehr Sinn bei Film, weil dadurch alles günstiger wird und man mehr Leistung hat.

Wie gesagt, wenn es passt würde ich entweder große interne Platten, oder einen externen Raid für sowas holen. Bin aber kein Computer-Experte. Da können Dir andere hier sicher bessere Tips zu geben.

VG



Antwort von Jott:

Große Festplatten (8 Tera und mehr) sind doch spottbillig heutzutage? Western Digital 8TB mit Thunderbolt 130 Euro zum Beispiel. Wenn du sowieso mit kleinen Proxies schneiden willst, brauchst du nicht mal ein RAID. Sicherheit: Duplikate.



Antwort von Onkel Danny:

Also ein paar Euro für Speichermedien und Backup-Speicher sollten bei so einem großen Projekt schon drin sein.
Die 4:1 Einstellung lässt mich darauf schließen, das es CDNG ist, mit Braw und einer HD-Timeline hätte dein Lappi
bestimmt auch weniger Probleme. Bei sehr hellen Szenen ruhig etwas höhere Kompression und bei dunkel dann etwas weniger. Damit könnt ihr auch etwas Speicher sparen

So ein Adapter Gefummel würde ich mir gut überlegen, dann lieber ein paar kleine CFKarten und diese regelmäßig leeren.

Auch die eventuellen externen HDD's einfach nach Bedarf kaufen und dann besser kleinere als immer die größten.
Dann via Dockingstation/NAS anbinden und gut ist es.

Denk auch den guten Ton, der ist bei Doku sehr wichtig!


greetz



Antwort von sergejpepper:

Danke für Eure Antworten und

servus Onkel Danny,

an den guten Ton haben wir mit folgendem Equipment gedacht:

Sennheiser Lavalier
NtG3 Richtrohr
Zoom H4n Pro Stereoatmo
und Mixpre 10 II

Habe noch nie mit Raid gearbeitet, deshalb
frage ich zur Achivierung und zum Schnitt:

Unser Ausgangspunkt:
Bei 40 TB Rohmaterial brauchen wir 80TB Festplattenspeicher (40 TB "alte", langsame Platten zur Backup-Archivierung) und 40 TB schnelle Platten für den Schnitt, bzw. wenn wir mit Proxies arbeiten noch mehr!

Was für ein Raid mit welchen Anschlüssen empfiehlst Du/ empfehlt Ihr für den 4k-raw-Schnitt auf windows mit davinci Resolve?

Usb-C ist meines Wissens der schnellste Anschluss, den wir auf unsern Schnittsystemen haben.
Theoretisch könnte ich aber eine große Ssd auch intern anschließen...

Herzlichen Gruß,
Christoph



Antwort von Onkel Danny:

sergejpepper hat geschrieben:
Sennheiser Lavalier
NtG3 Richtrohr
Zoom H4n Pro Stereoatmo
und Mixpre 10 II Lavelier: gut
NTG3; geht so; würde eher Sennheiser MK416 oder aufwärts empfehlen.
Zoom H4n: für Atmo ok; sonst bei Zoom eher F4 aufwärts.
Mixpre 10 II: Oberklasse, sehr gute Wahl.
sergejpepper hat geschrieben:

Habe noch nie mit Raid gearbeitet, deshalb
frage ich zur Achivierung und zum Schnitt:

Unser Ausgangspunkt:
Bei 40 TB Rohmaterial brauchen wir 80TB Festplattenspeicher (40 TB "alte", langsame Platten zur Backup-Archivierung) und 40 TB schnelle Platten für den Schnitt, bzw. wenn wir mit Proxies arbeiten noch mehr!

Was für ein Raid mit welchen Anschlüssen empfiehlst Du/ empfehlt Ihr für den 4k-raw-Schnitt auf windows mit davinci Resolve?

Usb-C ist meines Wissens der schnellste Anschluss, den wir auf unsern Schnittsystemen haben.
Theoretisch könnte ich aber eine große Ssd auch intern anschließen...

Herzlichen Gruß,
Christoph Ich würde eher zu einem NAS raten. Diesen könnt ihr dann via USB oder Netzwerk nutzen.
Bei einem RAID5 spart ihr auch noch massiv Plattenspeicher. Denn ihr braucht nicht den doppelten Speicherplatz.
Hier mal ein RAID Calculator zum testen was man nehmen kann. Es kann neben Synology auch QNap sein oder andere.

USB-C ist nur der Stecker, da kann leider alles mögliche als Schnittstelle hinter stecken.
Aber ab 3.0 ist alles in Butter. Der Anschluss ist also egal.

Bei der Kompressionsrate der Kamera auch mal testen, welche Rate für euch ausreicht.
Denn für viele Dokus sind RAW einfach overkill. Bei Braw hättet ihr es, wie schon gesagt, einfacher.
Oder eine kleinere ProRes Stufe wählen. Einfach ein paar Probeaufnahmen machen, der Unterchied,
bei entsprechender Ausleuchtung, ist echt relativ gering. Und ihr könnt dabei eine Menge Platz sparen.

greetz



Antwort von Jost:

gelöscht






Antwort von sergejpepper:

?



Antwort von sergejpepper:

@Onkel Danny:
Danke für Deine Anregungen und den Calculator!



Antwort von tvontheradio:

Wenn ihr mit Proxies schneidet kann ja das gesamte Rohmaterial auf langsamen HDDs verweilen.

Aber auch dann wird man für eine redundante Speicherung der ganzen Rohdaten + ArbeitsSSD wo die Proxies drauf sind wohl >1200 euro einplanen müssen (15€/TB ist das günstigste was ich gefunden habe auf geizhals ... bei 40TB daten wären das 10 8TB USB3 HDDs um je 120 Euro) wenn nix vorhanden ist.

Datenrate runter schrauben wäre also wirklich notwenig bei keinem Budget.



Antwort von Paralkar:

Kurz zu USB C:

USB C ist nur ein Stecker, prinzipiell kann da so alles mögliche drüber laufen, USB 2.0, USB 3.0 bzw. 3.1 Gen 1, USB 4
das bedeutet es kommt stark auf Kabel und der zu nutzenden Hardware an, wenn es ein USB C 2.0 Anschluss ist, kommt da so gut wie nix rüber (480mbit) (Macbook 12" hatte ein solchen Anschluss). Wenn nicht Thunderbolt 3, dann ist USB-C in den meisten Fällen USB 3.0 bzw. 3.1 Gen 1 (5 Gbit) oder USB 3.1 Gen 2 (10gbit)

Wenn es ehh nur normale Festplatten sind reizen die noch nichtmal USB 3.0 bzw. 3.1 Gen 1 (5Gbit) aus,

5 Gbit entspricht ungefähr 350-420 Mbyte/s, eine normale HDD is bestenfalls in der Lage 200 Mbyte/s zu schreiben, meistens eher weniger. Ne Sata SSD schafft 5Gbit auszureizen, aber auch nicht jede. NVME SSDs schaffen dann wenige Sekunden weitaus mehr (3000-4000 Mbyte/s)

Ich selbst benutze bei Projekten mit mehreren Kameras, oder ArriRaw 3,4K OG bzw. 4,5k als Shuttle Backup NVME SSDs mit USB 3.1 Gen 2 (10 gbit) und komme so auf 800-900 Mbyte/s


Zu eurem anderen Problem, bei einem solchen Projekt würde ich dringend zu einem Proxy Edit raten, warum auch nicht, man spart sich soviel stress, du kannst deine 40 TB (4,6k Cinema DNG 4:1) zu handlichen 1,6TB DNXHD 1080-25p 36 mbit transkodieren. also keine tausend Festplatten für den Schnitt, keine Raids oder sonst was, eine simple kleine Festplatte oder SSD und flüssiges sauberes Arbeiten da DNXHD auch auf fast jedem älteren Notebook super läuft.

Fürs Grading hast du ja dann auch die gewünschte Qualität des Original Materials.

Die günstigste Sicherung eurer Daten wäre über einzelne HDDs (8 TB) beispielsweise. Je nachdem entweder 2 oder 3 x 40 TB. Ein Raid ist kein Backup und eine einzige Kopie von 40 TB is es auch nicht.

Für Sicherheit brauchst du 2 Kopien räumlich getrennt, in verschiedenen Gebäuden. Besser noch 3 Kopien, wenn die einzelnen Platten in keinem Raid Verbund stecken.

Eine Workflow Idee wäre,

Am lokalen Ort Tagesmaterial auf 2 Festplatten Sätze kopieren/ spiegeln, und am Abend über Nacht eine weitere Kopie örtlich getrennt auf einen dritten Festplatten Satz

Wenn ihr Geld sparen müsst eine Kopie auf 1 Festplatten Satz und räumlich getrennt dann auf den 2ten.



Antwort von Jost:

,sergejpepper hat geschrieben:
Grüß Euch!

das wir mit Ursa 4.6 (4.6k Raw 4:1) CinemaDNG RAW 4:1 – 137 MB/s (4,6K; 30fps). Das sollte sich eigentlich auch von einer HDD ohne Raid schneiden lassen.
Ein Test mit BRAW 5:1 (110 MB/s; 4,6K; 30fps) könnte sich ebenfalls lohnen.



Antwort von sergejpepper:

Danke für Eure Wiederaufnahme des Themas, das derzeit - nicht nur coronabedingt - auf Eis liegt. Das nächste Filmprojekt scharrt aber schon in den Startlöchern!

Das habe ich zur Ursa 4.6k gefunden, 4:1 gibt's und wird von Netflix als Hauptcam-Codierung akzeptiert:

https://partnerhelp.netflixstudios.com/ ... ge-Capture

Einen freundlichen Gruß aus Wien,
Christoph



Antwort von Jost:

sergejpepper hat geschrieben:
Danke für Eure Wiederaufnahme des Themas, das derzeit - nicht nur coronabedingt - auf Eis liegt. Das nächste Filmprojekt scharrt aber schon in den Startlöchern!

Das habe ich zur Ursa 4.6k gefunden, 4:1 gibt's und wird von Netflix als Hauptcam-Codierung akzeptiert:

https://partnerhelp.netflixstudios.com/ ... ge-Capture

Einen freundlichen Gruß aus Wien,
Christoph Danach wird auch BRAW 5:1 akzeptiert. Und das lässt sich ganz gewisse von einer HDD schneiden.



Antwort von sergejpepper:

Aber BRAW kann leider meine Ursa 4.6 nicht.
Nur "normales".
lg, C.



Antwort von Darth Schneider:

Kann man die Kamera schon nicht mehr updaten ? Wenn ihr so viel Material braucht wäre doch BRaw schon ein grosser, beziehungsweise platzsparender Vorteil.
Das wäre für mich ein Grund nach Möglichkeit die Kamera zu wechseln, sicher bei einem so grossen Projekt, wenn BRaw auf dieser Ursa Mini nicht geht...
Gruss Boris






Antwort von dosaris:

sergejpepper hat geschrieben:
... derzeit - nicht nur coronabedingt - auf Eis liegt. Das nächste Filmprojekt scharrt aber schon in den Startlöchern! seit Jahrzehnten kommen ständig wieder irgendwelche "Fachleute" um die Ecke und deklarieren, dass sie in Kürze die ultimative
Speicherlösung haben werden, die alle Sorgen verfliegen lässt. Od Rechnerleistung usw.

Das hat zwar nie gestimmt (O-Ton B.Gates: no one will ever need more than 640kB of RAM ),
aber diese Vison ist doch so verlockend.

Für das cutting bedeutet dies für uns:
Speicher ist immer knapp, ergo chapter-weise arbeiten!

d.h. nur die shots zu einem Thema (Handlungsstrang, Szene, usw) organisiert man im direkten online-Zugriff.
Ich portioniere das meist auf Segmente von je ca 10...15 Min resultierender Abspieldauer bis zum darauf
folgenden harten Schnitt. Wichtig ist nur, sich die Laufzeit der ausgelagerten Segmente genau zu notieren
(für's evtl notwendige trimmende frame-f*cking), da wir praktisch immer rigide Vorgaben zur resultierenden Gesamtlaufzeit haben
(z.B. 14:30, 29:30, 44:30, 59:30 etc).
Danach aktuelles Segment in's Zielformat (hier meist H.264 closed-GOP) encodieren, alles Rohmaterial in den Offline-Speicher auslagern
und so den online-filestore wieder freigeben für's nächste chapter.

Erst ganz am Schluss werden alle closed-GOP-Segmente zum gesamten movie zusammen "geklebt"

Die Projektdateien aller Segmente bleiben natürlich immer im direkten Zugriff.

Dies bedarf einer gewissen Arbeitsdisziplin, aber schon nach 1/2 Tag Arbeit ist es so selbstverständlich geworden,
dass man es nicht mehr als Restriktion wahrnimmt.



Antwort von tvontheradio:

und du machst die fertigstellung dann mit der h264-kette?

versteh jetzt nicht wieso man sich diesen organisatorischen aufwand antun soll wenn man doch einfach mit proxies schneiden kann und somit alle daten bei sich hat.

wie löst ihr zb dass, wenn man am ende der doku nochmal zu einem drehort vom anfang gehen will?



Antwort von Jott:

Dass moderne, voll ins Schnittprogramm integrierte Proxy-Workflows für solche Materialschlachten immer noch als "unmännlich" gelten, ist ein echtes Phänomen. Dass es damit keinerlei Auswirkungen auf die finale Qualität gibt, scheint vielen immer noch nicht klar zu sein.