wow, meine erste Frage an euch, hoffe ich mach das richtig ;-)
In der Überschrift habe ich mal mehrere Begriffe verwendet, da ich nicht wirklich weiß wie ich das was ich suche einschrenken bzw definieren soll :-)
Wie in meinem Begrüßungsbeitrag schon erwähnt, erstelle ich mit einem Kumpel kleinere Auftragsproduktionen. Aufgrund der steigenden Nachfrage, möchten wir das ganze für uns etwas angenehmer gestalten und unseren Workflow verbessern, da es bis jetzt eher wie soll ich sagen "spartanisch" aufgestellt ist :-)
Wir hatten Glück und konnten im Januar von einem Bekannten eine Red Scarlet günstig abkaufen und kommen deshalb seit kurzem in den Genuss 5K RedRaw aufzunehmen. Die Scarlet finden wir eine super Kamera und möchten diese weiterhin als unser Arbeitspferd nutzen.
Wie ihr natürlich wisst und jeder der mit diesen Datenmengen arbeitet, stellt sich irgendwann mal die Frage: wie verwalte ich das ganze Footage.
Jaaaaa, und da sind wir nun. Wir sind am überlegen, wie wir unser Datenchaos auf einem professionellen und nachhaltigen Weg archivieren und verwalten.
Bis jetzt machen wir es so:
nach jedem Job kommt das Material auf den Pc (Windwos Workstation) wird dort mit Adobe CC geschnitten, exportiert und anschließend auf eine extrerne Festplatte zum archivieren gespeichert. Vielleicht mag das für viele schon ok und ausreichend sein, aber wir finden das extrem "unsauber" gelöst, weil wir mittlerweile x verschiedene Platten rum liegen haben, nicht wissen wo was drauf ist und wenn wir wissen welches Projekt auf welcher Platte liegt, suchen wir ewig nach bestimmten einzelnen Aufnahmen....
Deshalb wollte ich mich hier mal erkundigen, wie ihr das so macht und was es für professionelle Lösungen gibt?
Folgendes würden wir uns vorstellen:
- Ein vernünftiges Archivierungssystem, wie wir unser Footage am idealsten speichern und archivieren.
- Ein System welches nachhaltig und jederzeit vom Speicherplatz beliebeig erweiterbar ist
- Unser gesammtes Footage sollte sich dann quasi auch wie in einem Art "Pool" befinden, welches wir jederzeit suchen, finden können und im idealfall darauf zugreifen können.
- Vom Budget her sind wir erst ein mal offen, da wir nicht wissen, was es für Lösungen gibt und was für uns die idealste lösung ist. Wenn es aber eine kluge Lösung ist, sind wir bereit etwa Geld in die Hand zu nehmen. Immerhin ist unser Footage ja auch ein "Kapital" mit welchem wir nachhaltig arbeiten möchten
Was würdet ihr uns für eine Lösung empfehlen?
Kennt ihr auch Händler, Anbieter, die auf sowas spezialiseirt sind und wo man sich kompetent beraten lassen kann?
Danke für eure Hilfe!
Gruß Markus
Gruß Markus
Zuletzt geändert von maggy am Di 14 Jun, 2016 22:31, insgesamt 1-mal geändert.
Vom Arbeits PC zuerst einmal alles auf eine NAS, die mindestens mit Raid5 läuft. Eine weitere Sicherung auf LTO Bändern. Das reicht dann (fast) für die Ewigkeit.
NAS steht Network Attached Storage und ist erst einmal der Überbegriff für eine externe Festplatte mit Netzwerkanschluss. Das kann eine einzelne sein oder eben ein Verbund aus mehreren Festplatten, die in der Regel dann so verbunden werden, dass der Ausfall einer Platte nicht den Verlust aller Daten nach sich zieht. Das nennt man einen Raid Verbund. Vorteile einer NAS sind ua, dass alle Rechner in einem Netzwerk darauf zugreifen können, die Auslegung auf Dauerbetrieb usw. In der Top Klasse sind Systeme von Synology oder Qnap zu empfehlen. Hier einmal ein Beispiel für eine ausgewachsene Lösung:
Im professionellen Bereich (egal welche Branche) wird zudem noch immer auf Magnetband gesichert. Dazu braucht es ein externes LTO Laufwerk. DIe Idee dahinter ist, die Daten an einem externen Ort aufzubewahren. LTO Laufwerke gibt es als interne oder externe Lösung. Beispiel:
super Antworten, Danke ;-)
und wie sieht solch ein NAS in der Praxis aus?
wie greife ich darauf zurück bzw arbeite damit?
gibt es dazu auch eine Software mit welcher ich mein Footage qusi Archivieren und jederzeit leicht finden bzw durchgehen kann ? wie ne Art Gallerie meine ich. Ich frage weil wenn ich zB mal ein Projekt habe wie ne Doku zB welche sich über eine längere Zeit dreht und ich das Material quasi "ablegen" kann.
Oder wenn ich zB mal für ein Projekt auf mein Archivmaterial zurück greifen möchte und Beispielsweise eine Naturaufnahme benötige ich danach suchen kann...
es sollte quasi gesichert und archiviert und jederzeit leicht auffindbar sein.
Zb, ich habe heute nen tollen Sonnenaufgang gefilmt, dieser soll vorerst mal nur ins Archiv wandern und bei Bedarf wenn ich solch eine Aufnahme benötige soll diese leicht auffindbar sein.
hoffe ihr versteht was ich meine?
Schritt 1 wäre mal, die vielen rumliegenden Festplatten zu beschriften. Das kostet erst mal nichts, aber das Suchen entfällt! :-)
Schritt 2: wenn die Platte mit dem benötigten Material eines Auftraggebers mal hops geht (wird ganz sicher mal vorkommen), seid ihr weg vom Fenster. Also: alles mindestens doppelt vorhalten.
Schritt 3: dann unter diesem Aspekt bei einem fähigen Systemhaus ein paar langfristig sinnvolle Vorschläge einholen. Dazu auch über Cloudspeicherung nachdenken, die rasant billiger wird.
Das Archivieren und suchen nach Stichworten oder sonst was (Medien-Datenbank) ist dann eine Softwaresache und damit noch eine weitere Kiste.
Ob eure Kunden bereit sind, die nicht unerheblichen Kosten für all das direkt oder indirekt zu tragen, müsst ihr selber wissen.
1. ein SAN mit online Medienpool/Archiv für alle Rohdaten, darauf läuft ein weiterer Server mit deinem DAM, inklusive zweiten Mediendatacontroller für das SAN und USV
2. Projektdateien, ausgespielte Filme, Texte, Grafiken alles auf Cloudlösung (welche natürlich lokal ebenfalls liegt) wie zB Dropbox
2. Backups des gesamten SANs bzw. einfacher Volumes dessen auf LTO-7 mit robotischer Einheit. Backup-Magazine physisch doppelt lagern
Ich halte von NAS nicht viel, zu hohe Latenzzeit, keine Hochverfügbarkeit, kaum Caching, in der Praxis zu lahm und keine Lösung für paralleles Multiuser-Arbeiten. Mit 10 GBit/s könnte NAS aber langsam sinnvoll werden.
Von RAID-5 kann man gar nichts halten, das ist Amateurlevel. RAID-6 (bzw das ZFS-äquivalevt) mit BBU und Journaling plus USV ist schon seriöser.
PowerMac, was wäre denn an Raid5 Amateurlevel? Zumal es sich um eine 1-2 Personen Geschichte handelt, wo ein Desktop System am Schreibtisch steht und man auf einen Plattenausfall sofort reagieren kann? Wenn man oft außer Haus ist, dann halt Raid5 mit Hot Spare.
@PowerMac: Wenn du geschrieben hättest "Speicher deine Daten doch im Netzwerk!", wäre das von seiner Aussagekraft ungefähr auf einem Level gewesen, aber hätte nicht so gut verschleiert, dass du keine Ahnung hast, wovon du redest.
Die primäre Frage, welche Geräte den Storage liefern hast du einfach mal ausgeklammert. Es sollen "Server" sein. Aha! Und dass du NAS irgendwie doof findest. Bis auf wenns 10GE ist, hat zwar mit allen anderen genannten Punkten überhaupt nichts zu tun, aber egal. Du kannst ja einfach mal einen Taschenrechner zur Hand nehmen und ausrechnen, was im vorgestellten Szenario die anzustrebenden und zu erwartenden Durchsätze und Latenzen sind und wo sich die Flaschenhälse befinden. Aber das ist dir ja im Grunde egal, du wolltest nur ohne Sinn und Verstand ein paar Begriffe in den Raum werfen.
Dann kansnt du zur Scherheit nochmal externe Festplatten nehmen und nochmal in nem anderen Gebäude lagern (falls es mal brennen sollte, wobei ihr dann viell. ganz andere Probleme habt)
LTO is schön, aber viell. etwas over the top für eure Situation,
Dann könnt ihr im Büro und übers Netzwerk immer auf das Nas zugreifen und habt alles nochmal räumlich getrennt,
Außerdem kannst du um Speicherplatz zu sparen, Projekte consolidieren, sprich nur die Daten behalten die du für den Schnitt gebraucht hast und nicht das ganze Footage (das ist auch nur von Situation zu Situation sinnvoll, bei Naturaufnahmen natürlich weniger)
Aber damit sparrt man sich schon ordentrlich was,
Und dann verlang Geld von deinem Kunden für die Sicherung, dann kannst du auch alles unwichtige weghauen,
vielen Dank für eure Antworten.
Das ist natürlich sehr neu für mich wovon ihr da redet, da ich mich mit diesem Gebiet nicht befasst habe.
Ich habe mich beim Online Shop bei teltec mal umgesehen und bin auf folgende Kategorien gestoßen:
Die Produkte die du da rausgesucht hast sind viel zu hochpreisig und hochklassig für dich, der davon keine Ahnung hat. Dir wäre mit einem JBOD Gehäuse mit ein paar Platten oder ein NAS von QNap oder Synology wesentlich besser geholfen.
okay also ich denke dass ich wie empfohlen auf eine Lösung mit JBOD Gehäuse mit ein paar Platten oder ein NAS von QNap oder Synology zurück greifen werde. Dabne für den Tipp!
Was nun das Management bzw die Mediendatenbank angeht, suche ich nach einer Daten Management Software wie es auch Frank schon erwähnt hat.
Er hat hier zB Cahty angesprochen. kenne diese Software nicht und kann deshalb mir nicht vorstellen,w as diese kann oder wie das arbeiten mit ihr aussieht. Deshalb wäre es super Frank, wenn du dazu etwas sagen könnt. Ich werde auch gelich noch googeln...
Ich habe mir gerade bei Youtube die Software Pomfort Silverstack 4 angesehen und bin total begeistert davon. Genau sowas suche ich.
Schön übersichtlich, total praktisch und sehr professionell und auf unser Medium angepasst. .
Was mich leider aufregt, dass diese nur für Mac zu haben ist. Oder täusche ich mich da?
Kennt ihr noch eine Alternative zu diesem Program?
Wir drehen schon einige Jahre auf Red und nicht gerade wenig. Etwa 30 bis 50 TB pro Jahr. Alle Rohdaten der letzten Jahre sind zentral auf einem Volume verfügbar, die Technik dahinter ist ein Fibre Channel-SAN. SAN ist so etwas wie ein Speichernetz auf Blockebene; alle Clients greifen direkt auf Block-Ebene auf Daten zu, die ein Storage Server via RAID oder JBOD direkt anbietet. Das Gegenteil ist ein NAS, welches Daten die bereits durch ein Dateisystem verwaltet werden, im Netzwerk auf IP-Ebene freigibt (quasi eine Netzwerkfreigabe). Meist sind damit kleinere Storage Server oder Würfel mit vielen eingebauten Festplatten gemeint, die ein RAID anlegen, ein Dateisystem darauf verwalten und dies via Gigabit Ethernet freigeben. Wohlgemerkt sind dies meistens intern -bis zur Preisklasse von etwa 3000 Euro- nur triviale Linux Software RAIDs oder ZFS-RAIDS (recht anspruchsvoll, aber schnell und stabil).
Konkret zu unserem Setup: Ein Storage-Server mit 16 HDDs stellt auf Blockebene RAIDs (RAID 6 für Videodaten, RAID 1 für Metadaten und Journaling) zur Verfügung. Verwaltet wird das SAN (konkret welche Route Daten nehmen, Dateisystem, Rechte, (a)synchrone Zugriffe mehrere Clients) durch Apples XSAN (Stornext-kompatibel) über zwei redundant ausgelegte Metadaten Controller (MDC). Jeder Client ist eben via Fibre über ein Fibre Channel-Switch ans SAN angebunden. Ein eigenes Metadaten-Netzwerk verbindet alle Mitglieder des SANs und kapselt es von Intranet und Internet ab.
Mehrere Clients können gleichzeitig auf gleiche Dateien zugreifen, schlicht weil ein XSAN-MDCs sich nur um dieses SAN-Dateisystem kümmert. 500-600 MB/s erreichen wir so. Ideal zum Kopieren, ideal um parallel von mehreren Clients aus zu schneiden/zu archivieren/zu kopieren. Ohne Hänger. Das bekommt ein kleineres NAS nicht hin.
Backup: Ein weiterer Backup-Server (XSAN-Mitglied) ist über SAS 3 an eine Tandberg Tape Library angeschlossen (robotische Einheit, die Patz für viele Tapes bietet, wie ein CD-Wechsler ;-)), mit einem LTO-7-Laufwerk als Herz. Zwischen 6-10 TB kriegt man auf ein Tape.
Ein SAN wird immer schneller sein als ein NAS. Die Zugriffszeiten sind kürzer (Zugriff auf Blockebene vs. via LAN vermittelte Datenpakete auf IP-Ebene) und durch das eigene Speichernetz mit Fibrechannel und durch die Verwendung eines dezidierten Metadaten-Netzwerks können Angriffe auf das Netzwerk keinen Schaden und keine Leistungseinbußen bringen. Hochverfügbarkeit ist ein wichtiges Argument. Ausfallsicherheit ist auch gegeben durch Multipathing und die Möglichkeit mehrere SAN-Switches zu verwenden (redundante Pfade).
Die MDCs sollte man m.M. definitiv mit einer USV absichern, im Falle eines Stromausfalls steuert ein weiterer Server den Shutdown des XSAN-Dateisystems, fährt erst dann die beiden MDCs herunter. Ein gutes Backup ist dennoch unverzichtbar. Am besten wöchentlich machen und an einem anderen Ort aufbewahren.
Zu RAID 6: RAID 6 ist so gestaltet, dass die Paritätsdaten besser verteilt sind, so dass zwei Festplatten gleichzeitig ausfallen können. Nun würde man meinen, das sei unwahrscheinlich. Die Wahrscheinlichkeit dass bei unseren 16 Festplatten eine einzige ausfällt, dies ist sehr hoch. Fiele dann noch eine zweite aus, wären alle Daten dahin. 2 von 16 - das ist nicht viel. Idealerweise hat man in einem RAID baugleiche Platten, die oft eine Weile gut funktionieren und dann recht plötzlich nacheinander ausfallen. Das kann ganz am Anfang passieren oder nach zwei Jahren. Als Tipp sind da die jährlichen Statistiken von Storagepod zu empfehlen. Konkret zurück zu einem Ausfall: eine Platte ist defekt. Meistens hat man dann eine Platte im Storage Server definiert, die dann automatisch eingebunden wird (Hot Spare) und das RAID fängt mit seinem Rebuild an. Ein Rebuild dauert bei uns zwischen vier bis fünf Tage. Durch die ungewohnt starken Lese- und Schreibbewegungen während des Rebuilds sterben regelmäßig weitere Platten, die auch demnächst einen Ausfall hätten. Ausserdem steigen die Kapazitäten von Festplatten an, die Chance ist hoch dass irgendwo auf einer HDD ein Fehler liegt, der bei einem kleinen RAID-5 während des Rebuilds alles kaputt macht. Die Wahrscheinlichkeit hierfür ist bei einem RAID-6 viel kleiner. Ergo kann nur RAID 6 mit zwei Platten Sicherheit bei größeren RAIDs und steigenden HD-Kapazitäten eine sinnvolle Lösung sein. Im Übrigen ist RAID-6 weder teurer, noch langsamer, noch verliert man bei einer größeren Plattenanzahl signifikant an Kapazität.
Danke für deine ausführliche Antwort, auch wenn ich davon nur 20% verstehe ;-)
Das was du schreibst, klingt sehr professionell und höchstwahrscheinlich extrem durchdacht aber zugleich sehr sehr teuer? oder was bezahlt man für solch ein System?
wenn ich zb jetzt auf eine Lösung wie hier empfohlen auf JBOD Gehäuse mit ein paar Platten oder ein NAS von QNap oder Synology zurück greifen würde, was habe ich ich dann für Anschlussmölglichkeiten zu meinem PC bzw wie seiht den quasi mein "Schaltplan" dazu aus?
Ich denke mir, dass dies wahrscheinlich eine extrem professionelle Lösung ist, aber beim besten Willen, ist dies jenseits unser Budgets.
Wir haben uns gestern entschlossen, dass wir uns im Bereich von 3000€ - 5000€ bewegen wollen. Mehr ist leider nicht drin.
hehe :-) aber er meinte es ja nur gut ;-)
@powermac: das sieht doch schon gar nicht so ohne aus und auch in unserem Budget. Wie wird denn da die Verbindung zu unserer Workstation hergestellt?
Benötigen wir dazu noch eine Netzwerkkarte?
was ist denn der Unterschied zu den Qnap?
@motiongroup: auch eine super Lösung, aber ist das über Thunderbolt 2 Anschluss oder wie stelle ich die Verbindung zu meiner Windows Workstation her? habe doch keinen TB2 Anschluss...
Gruß Markus
Zuletzt geändert von maggy am Mi 15 Jun, 2016 19:12, insgesamt 1-mal geändert.
@powermac: das sieht doch schon gar nicht so ohne aus und auch in unserem Budget. Wie wird denn da die Verbindung zu unserer Workstation hergestellt?
Benötigen wir dazu noch eine Netzwerkkarte?
was ist denn der Unterschied zu den Qnap?
Das musst Du selbst nachlesen. Die Geräte sind alle recht ähnlich. Bei nur einem Schnittrechner etwa via USB 3.0 oder Thunderbolt ode SAS (als DAS, Direct Attached Storage), bei mehreren Schnittplätzen via Gigabit Ethernet, mehreren Gigabit-Anschlüssen gleichzeitig (aggregiert) oder auch via 10 GBit.
Ein Thunderbolt Anschluss an einer NAS ist weitgehend sinnfrei. Eine NAS nimmt man für die Einbindung in ein Netzwerk. Von daher sollte die NAS entweder mehrere GBit Anschlüsse haben (für Link Aggreggation) oder gleich 10GBit.
ich weiß zwar, dass für die meisten derartige fertiglösungen (qnap, synology) als das naheliegendenste erscheinen, trotzdem würde ich vermutlich weiterhin eher zu einem geeigneten 19" barebone und den dafür gebräuchlichen freien mitteln greifen. das stellt einen zwar am anfang vor gewisse hürden, aber dafür hat man dann auch wieder weit mehr kontrolle darüber, wenn es wirklich troubles gibt od. das ganze weiter ausgebaut und migriert werden soll, etc.
Rechtliche Notiz: Wir übernehmen keine Verantwortung für den Inhalt der Beiträge
und behalten uns das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
