wir haben seit kurzer Zeit die Scarlet-W als Arbeitspferd in unserem Besitz und nun mit dementsprechend größeren Datenmengen zu kämpfen.
Außerdem haben wir festgestellt, dass unsere Postproduktion nicht ganz reibungslos abläuft, weshalb ich nun ein paar Fragen an euch habe.
Generell zu unserem Setup der Workstation:
HP Z620 Workstation
2x Intel Xeon E5-2670
Grafikkarte: 1x GeForce GTX 1070
Arbeitsspeicher: 48GB
Festplatte 1 intern: 1x 2TB HDD
Festplatte 2 intern: 1x 256 GB SSD
Windows 7 Pro 64 bit
gearbeitet wird mit der Adobe Creative Cloud:
Schnitt mit Premiere
Grading aktuell intern in Premiere mit Lumetri , was aber eventuell mal mit Davinci gemacht werden soll.
Effekte mit After Effects
Folgendes Problem haben wir festgestellt:
1.
Früher hatten wir mit der FS100 gearbeitet und bei einem Projekt/Auftrag kam es beim AVCHD zu überschaubaren Datenmengen. Meistens zwischen 50 und 200 GB. Dieses Material speicherten wir dann auf die PC interne 2TB HDD Platte, arbeiteten an diesem Projekt intern von dieser Platte bis zur Finalisierung und kopierten nach Abschluss des Projektes den gesamten Projektordner inklusive Footage auf unsere externen Festplatten. Was am Ende auch zu Ansammlungen verschiedener externer Festplatten führte und in meinen Augen, mit den externen Platten auch keine ordentliche Lösung war.
Jetzt ist es so: Durch die Scarlet-W kommen da schon ganz andere Datenmengen zum Einsatz. Je nach Aufnahmeformat benötigen wir am Tag zwischen 1-2 240GB Mini Mags, was sich dann bei einem Projekt/Auftrag schnell summiert.
Folgendes ist mir aufgefallen: Ich habe eine ganze Karte 240GB auf die interne 2TB HDD kopiert. In Premiere ein Projekt angelegt und versucht zu schneiden. Ich könnte überhaupt nicht vernünftig arbeiten und das Footage flüssig abspielen.
Liegt das an der HDD Platte? Ist die zu lahm dafür?
Nun würde mich euer Workflow interessieren, wie Ihr an die ganze Sache ran geht.
Wie archiviert ihr euer Footage.
Wo liegt euer Material, wenn ihr an einem Projekt arbeitet?
Was gibt es für Lösungen, um eventuell das Footage extern zu sichern und von dort auch mit hoher Geschwindigkeit darauf zurück zu greifen?
Ich möchte mir da ein System anschaffen und deshalb würde es mich freuen, wenn ihr mir da ein paar Tipps geben könnt, welches sich in einem bezahlbaren Rahmen bewegt.
Das mit den größeren Datenmengen war aber doch schon vorher klar oder?
Die Scralet-W kann ja auch ProRes und DNxHD, wobei 4k 10:1 RedRAW auch nicht viel größer ist.
Wenn ihr lange Konzerte oder gar längere Dokus filmt, Kamera mit "modernerem" Codec wie XAVC oder AVC-Intra kaufen.
Also irgendwas zwischen VariCam und F5, die mit 400Mbit schon ein sehr gutes 10bit 422 Log-Bild liefern. Je nach Auftrag und Kunde reichen dann auch XAVC-S für ein 4k Webclip.
Was das aktuelle Produktions-System angeht, verbaut intern drei bis vier HDDs (4 bis 8Tb) als Raid5 zusammen und baut zusätzlich noch eine 1 bis 2TB große SSD ein.
Ihr könnt auch einfach parallel mit der Scarlet-W neben dem Red-RAW auch in ProRes LT aufzeichnen, den das sollte eigentlich noch flüssig auf eurem System laufen. Ist dann halt nur Offline.
Die Idee mit dem NAS und 10GbE ist schon mal nicht so verkehrt, kann euch aber von solchen fertigen NAS-Systemen von QNAP und Co nur abraten.
Einfach normalen Server mit i5, 32GB RAM (ZFS liebt RAM), 2x10GbE, 8xSata 8x3,5" Bay oder mehr kaufen. Danach FreeNAS oder OpenVault OS auf SSD aufspielen.
Als Festplatten am besten gleich zu 8 oder 10Tb greifen, diese mit ZFS als RAID1 oder 10 einrichten. Ist total simpel und braucht auch nicht das Mega Fachwissen.
Den Server kann man sich auch selber zusammenbauen, aber so viele spart man da dann auch nicht und Support gibt einem auch keiner.
Ein 8x 10GbE-Switch ist auch nicht so ganz verkehrt. Manchmal ist 10Gbit-Fibre auch etwas günstiger.
Veranschlagt so grob 5k bis 10k Euro für neue Hardware und Infrastruktur.
Eine Prüfsummen/Backup Software wie z. B. ShotPut Pro und Backup auf externe Festplatten, die nicht in der Firma lagern, ist auch nicht so verkehrt.
@Valentino:
danke dir für deine ausführliche Antwort.
Natürlich war es vorher klar, aber vieles merkt man eben dann doch erst beim tun ;-)
5-10k ist aber aktuell nicht in unserem Budget.
Wir wollten vorerst 2000 bis max. 3000€ ausgeben und dann nach Bedarf erweitern, deshalb sollte das System jederzeit erweiterbar sein.
Warum kannst du von solchen Lösungen ala Qnap abraten?
Fine das sieht doch recht solide aus
Es sind halt fertige Systeme, bei denen man meist nur Festplatten und Ram tauschen kann. Das interne Betriebssystem ist so weit vorgegeben, man kann glaub mit etwas Aufwand auch auf ein freies System umsteigen. Komponenten wie Mainboard, CPU, Netzteil und z. B. zweite Netzwerkkarte oder Raid-Controller passen halt nicht in so ein System.
Wenn an so einem System was defekt ist, kann man es meist nicht so einfach tauschen wie bei einem Server mit Standard-Komponenten.
Dazu kann man so ein NAS-Sytem auch mal nicht schnell als Ersatz-PC benutzten, bei einem Server hingegen benötigt man nur einen Datenträger mit Windows-Installation. So kann man den Server bzw. Selbstbau NAS als Rendernode benutzen.
Dazu kosten solchen 8-Bay-Server auch nicht mehr die Welt und sie gibt es von einige Herstellern von der Stange. Hier mal ein Anbieter den ich auf die Schnelle gefunden habe: https://www.thomas-krenn.com/de/produkt ... erver.html
Am Ende liegt man mit sparsamer 4/8-Kern CPU, 32GB-RAM und 10GbE-Karte bei knapp 2.000 Euro. Am besten ihr fangt mal mit zwei 10TB HDDs an und konfiguriert diese zu einem RAID1, dann habt ihr Netto knapp 9,x TB, was in etwa für 150h Red-Material reichen sollte.
Wenn euch das alles zu teuer ist, kauft doch erst mal ein externes Raid-Gehäuse mit 4x10TB HDDs und schließt das über USB3.0 oder eSata an.
Meine Favoriten sind Hardware-Raids von OWC, wobei Sharkoon auch in Ordnung geht. Von ICY, Dropo und Fantec halte ich nichts.
Aber auch hier sind es am Ende knapp 1.700 Euro für ein 4x10TB HW-Raid, dafür sollte ihr dann wenigsten etwas schneller arbeiten können.
Eine interne 2TB Samsung EVO SSD ist auch nicht verkehrt.
Am Ende fahrt ihr wahrscheinlich am besten, wenn ihr einfach die Projekte auf doppelt auch HDDs sichert (diese laufen eh unter Materialkosten und werden 1:1 an den Kunden weitergegeben).
Ein NAS bzw. zentraler Netzwerk-Speicher macht meiner Meinung erst ab drei Systemen, an denen gleichzeitig gearbeitet wird wirklich Sinn.
ich würde mich zwar Valentinos abraten von entsprechenden fertiglösungen anschließen, dürfte aber in einigen punkten doch auch wieder etwas andere zugänge als vertreten.
ich finde z.b. unter linux gute software-RAID lösungen in vielen fällen besser als teure hardware controller. die probleme, die man mit diesen dingern erlebt, unterscheiden sich leider kaum von dem, was oben bereits über die fertigsysteme gesagt wurde. man kann zwar mit linux boardmittlen volumes fast aller gängigen harware-controller irgendwie wieder zum leben erwecken und notdürftig restaurieren, aber das artet regelmäßig in ausgesprochen komplizierten und arbeitsintensiven einsätzen aus. so etwas vermeidet man besser gleich von vornherein.
ich bin auch kein ganz so überzeugter ZFS freund. es war zwar tatsächlich jenes filesystem, dass den weg zu offenen enterprise storage features für viele von uns eröffnet hat, aber das liegt schon wieder lange zurück. auch wenn ZFSonLinux mittlerweile recht zuverlässig funktionieren dürfte, und man nicht mehr zu OpenIndiana od.ä. greifen muss, um das zeug wirklich stabil nutzen zu können, fehlen dem ZFS einfach mittlerweile viele features, die in den letzten jahren bei anderen filesystemen hinzugekommen sind, um heutige hardware besser zu unterstützen. im übrigen fügt es sich einfach nicht wirklich sauber in linux basierende systeme -- d.h. es werden einfach zu viele ganz elementare systembestandteile unnötig verdoppelt bzw. in tlw. konkurrierender weise hinzugefügt. das war auch der grund, warum es damit unter sehr hoher last regelmäßig immer wieder probleme gab.
allerdings ist es wirklich schwer zu beantworten, was man als alternative dazu empfehlen soll? btrfs ist leider noch immer eine katastrophale baustelle, die nicht wirklich zu überzeugen vermag, und auch die entwicklung an bcachefs ist noch nicht weit genug fortgeschritten (noch keine snapshots), um es ernsthaft in erwägung zu ziehen. beide haben sie aber wichtige eigenschaften, die im zusammenspiel mit SSDs und deren spezifischen fehlerquellen und zugriffsmustern bereits besser umzugehen verstehen als ZFS. nicht ganz außer acht lasssen würde ich auch inkrementelle backupmöglichkeiten auf tapes (send/receive) und die replizierbarkeit auf ersatzserver.
all das kann man ohnehin nicht gleich beim ersten versuch perfekt lösen, trotzdem macht es natürlich sinn, sich wenigstens schrittweise in diese richtung vorzutasten...
Rechtliche Notiz: Wir übernehmen keine Verantwortung für den Inhalt der Beiträge
und behalten uns das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
