Neuer Festplatten-Workflow zum Archivieren gesucht

[Darth Schneider]

@Mathias
Da gibt es doch bestimmt genügend Erfahrungswerte um ein Ablaufdatum zu definieren. Bei Festplatten war früher mal die Rede von 4 Jahren….
Ssds ?
Keine Ahnung, aber dort drin dreht sich zumindest schon mal nix…;)

Ich wechsle die Sd Karten so alle 3 Jahre.
Aber ich kaufe auch nicht die teuersten und besten.
Ich nutze eher günstige SD Karten SanDisk und Kingston.
Meine Samsung T5 Ssds habe ich erst seit 3 Jahren, hab die noch nie gegen neue getauscht.
Die sind gefühlt beim formatieren noch nicht langsamer geworden.
Gruss Boris

[Pianist]

Egal ob du Timemachine oder per Hand sicherst. Du brauchst eine offline/offsite Sicherung, genau für den Fall das der Blitz (oder Ransomware) einschlägt und/oder die Hütte abbrennt.

Ein feuer- und löschwassersicherer Schrank für die wichtigsten Aktenordner, Festplatten und SSDs sollte doch aber reichen, oder?

Matthias

[Darth Schneider]

Nun ja wenn die Hütte richtig brennt kriegen die Speicherkarten und die Platten auch im Schrank schnell mal zu heiss…Von dem her wer ganz sicher sein will lagert die Millionen Projekte besser noch zusätzlich ganz extern, nämlich in einem ganz anderen Haus.
Gruss Boris

[prime]

Egal ob du Timemachine oder per Hand sicherst. Du brauchst eine offline/offsite Sicherung, genau für den Fall das der Blitz (oder Ransomware) einschlägt und/oder die Hütte abbrennt.

Ein feuer- und löschwassersicherer Schrank für die wichtigsten Aktenordner, Festplatten und SSDs sollte doch aber reichen, oder?

Wenn du mich fragst, nein. Aber da musst du für dich eine Lösung finden die für dich funktioniert. Ich hab übrigens auch Festplatten + Dock, nur die Festplatten rotieren von Zeit zu Zeit und es gibt immer eine Kopie ausserhalb vom daheim.

[Pianist]

Ok, da denke ich mal drüber nach, ob eine noch stärkere räumliche Trennung praktikabel ist.

[Skeptiker]

Jetzt wollte ich es auch wissen:

14 TB Backup-Einzelfestplatte (Mac HFS+ journaled formatiert (APFS ist für SSDs), noch recht leer, 7200 rpm / 1 x USB-C 3.1 Gen.2) an iMac (OS 10.14.6 Mojave, interne schnelle 1TB-SSD) angeschlossen per USB-3.0 A (5 Gbps):

Transfer von 8.14 GB (1 GB = 1000 MB) MP4-Video:
Am Stück: 32 Sekunden
In 85 gleich langen Teilen: 32 Sekunden
Ergibt 254 Megabyte/Sekunde

-> Was mache ich falsch?

Zum Eingangsthema "40 MByte/s Transfertempo - warum so wenig?":
Während des Kopierens laufende Prozesse, die den Rechner ausbremsen (= die mögliche Fehlerquelle auf dem Stuhl vor dem Computer), nicht vergessen vor lauter Fokussierung auf evtl. ungenügende Hardware (Stichwort "falsche Kabel" - ich habe für meinen Test ein viel zu kurzes und ein viel zu langes USB-3 Kabel zusammengesteckt (insgesamt 2.5m), das sind zusammen mit USB-3.0 am iMac keine idealen Testbedingungen, wenn man den Spezialisten-Beiträgen (vor allem PC) hier vertrauen darf.

[MK]

Es geht weniger um Länge und Qualität des Kabels. Die USB 3.x A Stecker sind doppelt belegt. Im vorderen Bereich die großen USB 1/2 Kontakte für die Abwärtskompatibilität und dahinter die kleinen Kontakte für die USB 3.x Erweiterung. Wenn der Stecker nicht komplett bis zum Anschlag drin steckt bzw. die hinteren Kontakte aus anderen Gründen keine Verbindung kriegen gibt es nur USB 2.0 Geschwindigkeit.

[Bluboy]

Wie schauts denn mit dem während des Kopiervorgang verfügbaren RAM aus ?

Favorit bleibt alledings eine schlechte Verbindung

[prime]

Während des Kopierens laufende Prozesse, die den Rechner ausbremsen (= die mögliche Fehlerquelle auf dem Stuhl vor dem Computer), nicht vergessen vor lauter Fokussierung auf evtl. ungenügende Hardware (Stichwort "falsche Kabel" - ich habe für meinen Test ein viel zu kurzes und ein viel zu langes USB-3 Kabel zusammengesteckt (insgesamt 2.5m), das sind zusammen mit USB-3.0 am iMac keine idealen Testbedingungen, wenn man den Spezialisten-Beiträgen (vor allem PC) hier vertrauen darf.

2,5 m USB3 Kabel ist jetzt nix besonderes und auch am Mac kein Problem. Die von Pianist erzielten Datenraten klingen ziemlich sehr nach USB2. Da kann man aus der Ferne halt nur die üblichen Sachen hinterfragen. Wenn es ein USB3 Kabel ist, dann an einem anderen Rechner, mit anderer Festplatte und vllt. sogar doch mit einem anderen Kabel testen.

[wolfgang]

Normal sind sind so um die 100-150 MB pro sec - kann natürlich je mach Festplatte und Art der Daten variieren.
Viel schneller wird's nicht - ich mach das seit zig Jahren genau so wie du - nackte Platte > Docking Station > fertig.



Ich schaufel dank raw und manchmal auch komprimierten DNGs/Tiff und anderen Image Formaten noch ganz andere Datenmengen auf die Weise rum, und ja das dauert.

RAID geht natürlich schneller, da brauchst du dann ne Docking Station mit mehreren Einschüben, und mehrere Platten (auf die dann weniger passt) - sprich kostet halt entsprechend, während der Gewinn eher gering ist, da das kopieren ja sowieso im Hintergrund läuft (oder auf einem der anderen Rechner), ich arbeite in der Zwischenzeit halt an was anderem, geh Eis essen oder ich lass das über Nacht laufen, wenn's wider mal in den zweistelligen Terrabyte Bereich geht.

Ein 10 GB Nas kann durchaus schneller sein. Bei meinem System habe ich im Schreibzugriff über 500 MB/s, im Lesezugriff über 1100 MB/s. Gemessen mit Blackmagic Disk Speed. Das braucht aber auch ein 10 GB LAN, und ich schneide vom Desktop auch so Dinge wie 6K BRAW, 50p, ProRes oder XAVC-i direkt vom NAS weg.

Das NAS ist ein QNAP TS823 PX, hat 2 Stück 10G SFP+ - die leider beide mit Schnitt-PCs belegt sind. Zum Zeitpunkt der Messung hatte das NAS 6 Stück 12 TB Platten, wurde gerade um zweit weitere Platten aufgerüstet. Und ich erweitere das 10G Netzwerk gerade mit Switch QNAP QSW-M408-2C mit 4 Stück SFP+ für den Laptop. Und den Laptop hänge ich mir dann mit einem QNAP QNA-T310G1S über Thunderbolt ans 10G Netzwerk.

Das Gefummle mit externen Platten tue ich mir für den Schnitt von unterwegs mit Samsung T5/T7 Platten an, die ich am Laptop über Thunderbolt 4 hänge. Erreichte Geschwindigkeiten über 500 bzw. 800 MB/s, also sogar weniger als beim 10 GB NAS im Lesezugriff. Reicht aber auch für den Schnitt von 6K BRAW 50p völlig.

Ja klar kostet das Geld. Ist halt die Frage was man tatsächlich braucht und will. Früher hatte ich intere Raid5 Systeme, mit dem Erfolg dass die natürlich jedes Mal nur für einen Desktop passen. Das hat genervt, und daher habe ich halt mal das Geld in die Hand genommen um das entsprechend aufzurüsten.

[Frank Glencairn]

Daß ein RAID mehr Durchsatz bringt dürfte allen hier klar sein, hier geht's aber nicht um Schnitt, sondern um Archivierung auf einzelnen Platten.

Und es ist ja auch nicht wirklich ein "Gefummel" eine Platte in eine Dockingstation - die ja sowieso auf dem Schreibtisch steht - zu stecken.

[Bluboy]

UIms Kurz zu machen
Meine Empfehlung für Pianist ist

[Pianist]

Das sind ja die Platten, die ich seit ewiger Zeit in der jeweils aktuell zu bekommenden Version nutze. Davon liegen ungefähr 100 Stück bei mir. Bisher ohne jegliche Probleme.

Matthias

[Bluboy]

Das sind ja die Platten, die ich seit ewiger Zeit in der jeweils aktuell zu bekommenden Version nutze. Davon liegen ungefähr 100 Stück bei mir. Bisher ohne jegliche Probleme.

Matthias

Na dann

damits richtig flutscht noch neue USB3 Kabel

[TheBubble]

Die durchschnittliche Geschwindigkeit kann auch von der Anzahl an Dateien abhängen. Große (Video-) Files kopieren viel schneller als tausende winzige Dateien.

40 Megabyte/s ist für große Dateien jedoch wirklich viel zu wenig.

[Bluboy]

Die durchschnittliche Geschwindigkeit kann auch von der Anzahl an Dateien abhängen. Große (Video-) Files kopieren viel schneller als tausende winzige Dateien.

40 Megabyte/s ist für große Dateien jedoch wirklich viel zu wenig.

Vielleicht ist ein Kontakt verschmutzt oder beschädigt, dann kennt er nur noch USB2 - wer wei0

[Jott]

Wenn die Mediatheken noch die Renderfiles enthalten, werden Tausende von Minifiles mitkopiert, das kann in der Tat bremsen.

Vor dem Sichern kann und sollte man unbenötigte Renderfiles löschen (Ablage - generierte Clipdateien löschen). Am besten sogar alle, es gibt ja keinen Grund, die mitzusichern.

Was du das nicht machen solltest, Pianist, probier mal. Vielleicht liegt hier das Problem. Und natürlich werden die Mediatheken dann auch kleiner. Sehr platzfressend sind Analysefiles, die können ja auch gelöscht werden. Wird alles schnell neu erstellt, wenn man die Mediathek später mal wieder öffnet.

[freezer]

Wenn Du diese 3.5" 2Tb Barracudas nutzt, dann ist das langsame Kopieren kein Wunder - sind mittlerweile aus Kostengründen alle mit SMR (Shingled Magnetic Recording) ausgestattet und werden nach Vollschreiben des Puffers grottenlangsam. Die Barracudas Pro sind CMR.

Leider sind mittlerweile auch alle noch erhältlichen 2.5" Platten ausschließlich SMR, wie ich kürzlich schmerzlich entdecken musste, als ich eine TIFF-Bildsequenz von einem Kinofilm für das Österreichische Filmarchiv sichern musste. Die zwei TB an Daten zu schreiben dauerte eineinhalb Tage!

Ich kann nur raten, vor einem Kauf ganz genau zu recherchieren welche Schreibmethode zum Einsatz kommt.
Hier eine Liste von Platten mit CMR:

https://geizhals.at/?cat=hde7s&v=e&hloc ... 57_non-SMR

[Bluboy]

https://geizhals.at/?cat=hde7s&v=e&hloc ... 57_non-SMR

Ich hab meine angeblichen CMR 1TB wieder auagebaut (Seagate ST1000DM003) und hab wieder die ST2000DM008 drin, Probleme gabs beim aufrufen von Internetseiten.

auf nix ist eben Verlass

was sind kleine Files 450kb - 2 GB ?

[TheBubble]

was sind kleine Files 450kb - 2 GB ?

Das geht bei wenigen Bytes los. Es ist der der zeitliche Overhead pro File, der sich bei sehr vielen Dateien summiert.

Was man aber machen kann: Alles in eine große Archivdatei packen (z.B. ZIP) und dann diese kopieren. Geht oft viel schneller.

[Bluboy]

Ich hab noch eine - Die recht Flott ist
mit 150 MB/s wars die scjnellste Heute

https://www.toshiba-storage.com/de/prod ... ives-p300/

[Pianist]

Bei mir ist der neue Rechner jetzt in Betrieb und die neue Schublade da, aber es wird noch einen Moment dauern, bis ich das erste fertige Projekt von SSD auf Festplatten kopiere. Dann weiß ich, wie sich die Geschwindigkeit entwickelt hat.

Matthias

[MK]

Falls es jemanden interessiert... der aktuelle Benchmark einer MG09ACA18TE HDD von Toshiba:

DiskSpeedTest.png

[pillepalle]

@ MK

Gar nicht schlecht. Hab ich das gerade richtig gegoogelt? Eine 18TB HDD für ca. 270,-€? Wo ist da der Haken? Ich archiviere meinen Kram bisher immer auf relativ teuren 8TB Platten mit externem Gehäuse von Western Digital oder Seagate. Mit der Toshiba bekäme ich zum gleichen Preis quasi ein Drittel (6TB) mehr Speicherplatz.

VG

[MK]

Ich benutze seit mehreren Jahren die Toshibas und konnte bisher nichts Negatives feststellen.

Das 18TB Modell gibt es bei Mindfactory immer wieder als Angebot für 249 EUR, das 16TB Modell für 209 EUR.

Die Platten haben konventionelle schnelle Aufzeichnungstechnik (CMR) 512 Megabyte Cache, eine Heliumfüllung wodurch keine Partikel eindringen können und eine Mean Time To Failure von 2.5 Millionen Stunden.

Abwicklung der 5 Jahre Garantie ist nur über den Händler möglich weil OEM-Ware, was wohl mitunter schonmal problematisch sein kann, in der Praxis würde ich falls eine Platte mit geschäftlichen Daten kaputt geht diese sowieso zur Vernichtung geben, wobei das dann auch egal ist.

Mit 20TB gibt es die zwischenzeitlich auch, da gab es aber bisher noch keine guten Angebote.

[Frank Glencairn]

Ich benutze seit mehreren Jahren die Toshibas und konnte bisher nichts Negatives feststellen.

Das kann ich nur unterschreiben, die Toshibas haben sich hier auch als extrem zuverlässig erwiesen.

[freezer]

Ich hab auch 8+1 dieser Toshibas im Einsatz, leider hatte Amazon diese so dämlich schlecht verpackt, dass schon bei der Lieferung zwei tot waren.
Ersatz kam dann eh rasch, aber irgendeine der Platten in meinem Raid zickt und macht quietschende Geräusche bzw. bremst das Raid ein und ich kann einfach nicht herausfinden, welche der 8 Platten es ist. Eine Analyse mit HD Sentinel brachte leider auch nicht die Zicke zum Vorschein. Und einfach mal auf Verdacht der Reihe nach 8 Platten durchtauschen ist auch nicht drin.

[MK]

Die Platten haben diverse per SMART auslesbare Sensorwerte. Auch wenn sich dort nichts im Fehlerbereich bewegt lässt sich vielleicht doch an den Rohwerten eine Abweichung der betreffenden Platte feststellen.

Allgemein ist SMART aber auch nur eine trügerische Sicherheit. Sämtliche Ausfälle der letzten 20+ Jahre haben sich bei mir nicht vorher angekündigt.

[freezer]

Die Platten haben diverse per SMART auslesbare Sensorwerte. Auch wenn sich dort nichts im Fehlerbereich bewegt lässt sich vielleicht doch an den Rohwerten eine Abweichung der betreffenden Platte feststellen.

Allgemein ist SMART aber auch nur eine trügerische Sicherheit. Sämtliche Ausfälle der letzten 20+ Jahre haben sich bei mir nicht vorher angekündigt.

HD Sentinel macht mehr als nur SMART Werte anzuzeigen, es macht auch hilfreiche Auswertungen davon. Und ich habe damit auch eine vollständige Oberflächenanalyse gemacht.

[Bluboy]

Vorrige Wochwe hab ich eine Samsung aus 2009 entsorgt, - Eine Datei lies sich nicht kopieren, CrystalDiskInfo meinte "Vorsicht"
Die Datei war natürlich kaputt und verloren, nachdem ich aber immer mit Kopien arbeite, halb so schlimm :-))

Sowas passiert und man weiß das

[Pianist]

Bei mir hat vor ein paar Tagen die Zweit-SSD ohne Vorwarnung den Geist aufgegeben. Also die SSD, wo ich nach größeren Bearbeitungsschritten (ggf. täglich) die aktuellen Projekte drauf doppele. War kein Problem, schnell eine Neue beschafft und von der Erst-SSD alles rüberkopiert. Doppelte Sicherheit über alle Produktionsstufen muss unbedingt sein.

Matthias

[Bluboy]

Laut Statistik krepieren die meisten Festplatten in den ersten drei Monaten, da ist es gut enn man fürs Archiv, sozusagen gebrauchte Platten nimmt.

[Pianist]

Meine persönliche Erfahrung aus der Inbetriebnahme mehrerer hundert Festplatten: Einige wenige waren schon von Anfang an defekt. Der große Rest läuft ohne jegliche Störung. Also von daher denke ich schon, dass Deine drei Monate hinhauen, und dass man häufig die drei Monate noch auf die ersten Sekunden verkürzen kann.

Matthias

[Bluboy]

Ich benutze seit mehreren Jahren die Toshibas und konnte bisher nichts Negatives feststellen.

Das kann ich nur unterschreiben, die Toshibas haben sich hier auch als extrem zuverlässig erwiesen.

Mich übertzeugt Toshiba nicht

[soulbrother]

Mich übertzeugt Toshiba nicht

Warum?
Gefällt Dir das Design nicht oder die Farbe?
Oder gibt es Erfahrungswerte oder andere hilfreiche Infos, die den Usern hier weiterhelfen könnten?
Langzeiterfahrungen - mit einer oder evtl. mit mehreren Exemplaren?