Newsmeldung von slashCAM:Warum 2009 RAID 5 nicht mehr sicher genug ist von thomas - 22 oct 2008 14:07:00
Dieser Artikel stellt eine ganz einfache, aber sehr interessante Beispielrechnung auf: 2009 werden 2 TB Festplatten alltäglich sein und in RAID 5 Arrays verbaut werden um eine maximale Speicherkapazität sicher bereitzustellen. Bei einer durchschnittlichen Ausfallwahrscheinlichkeit einer einzelnen Festplatte von 3% (pro Jahr) ist der Ausfall einer Platte aus einem größeren Array wahrscheinlich - besonders je länger dessen Betriebszeit ist und je mehr Platten im Array eingesetzt werden: bei 7 Festplatten beträgt die Ausfallwahrscheinlichkeit schon 20% pro Jahr. Eigentlich kein Problem für ein RAID 5 System: aus den Daten der restlichen Platten können die Daten der ausgefallenen Platte rekonstruiert werden. Doch es gibt noch eine zweite relevante Fehlergröße: Die "unrecoverable read error rate", also die Wahrscheinlichkeit von nicht-wieder herstellbaren Lese-Fehlern, die bei SATA-Platten bei 10^14 liegt, also bei einem solchen Fehler alle gelesenen 12 Terabyte. Fällt also in einem 7x2 TB RAID 5 eine Platte aus und muss wiederhergestellt werden, ist es sehr wahrscheinlich das beim Lesen der 12 TB Daten von den anderen Platten ein solcher Fehler auftritt. Folge: die Rekonstruktion der Platte scheitert und die Daten aller Partitonen sind verloren! Natürlich besteht dieses Risiko schon heute, aber je größer die Platten werden, desto wahrscheinlicher wird dieser Totalausfall. Sicher sind Daten also nur durch ein Gesamtbackup der Daten - RAID 5 alleine jedenfalls ist nicht mehr sicher genug für solche Datenmengen und RAID 6 (Toleranz für 2 Fehler) nur eine Zwischenlösung.
Dies ist ein automatisch generierter Eintrag
Hier geht es zur Newsmeldung mit Link und Bildern auf den slashCAM Magazin-Seiten
Antwort von camworks:
warum sollte raid6 nur eine zwischenlösung sein? ich finde diese lösung ganz gut, hab selbst ein hardware-raid6 (areca 1220) und es hat mir schon 2 mal den hintern gerettet.
trotzdem müssen backups sein, denn falls das computernetzteil abraucht und eine spannungsspitze in die platten sendet, ist auch bei raid6 der ofen aus. ich frag mich nur, mit was man bei solchen größen von mehreren terabyte noch bequem backuppen will. adequate lösungen kosten ein vermögen. wird zeit, daß die industrie da was konkretes anbietet.
Antwort von r.p.television:
Solange man wegen hoher Datenraten wie z.B. bei Aufzeichnung von umkomprimierten HD-SDI-Input nicht auf ein RAID angewiesen ist, würde ich sowieso die Finger davon lassen. Hatte deswegen schon erheblichen Datenverlust. Ich betreibe mittlerweile einzelne Platten und mache einmal die Woche ein Backup.
Der Performance-Vorteil eines Raid-Systems ist bei meinen Datenraten unerheblich.
Antwort von camworks:
und wenn du dein backup freitags machst und am nächsten donnerstag die platte hops geht, hast du mal eben so die daten einer woche entsorgt. sehr überlegtes vorgehen! ;-)
Antwort von wontuwontu:
Prinzipiell hat der Autor sicher recht, Datensicherheit kann mit einem Raid-System nicht erreicht werden. Allerdings investieren die meisten Raid-Nutzer ja vermutlich nur deshalb in ein Raid (5) System, weil es einfach keine andere ähnlich günstige Lösung gibt. Ich selber benutze ein 6TB-Raid5, das wir hauptsächlich für die Aufnahme von unkomprimiertem 10bit Material brauchen, da steht die Datensicherheit in erster Linie hinter der Geschwindigkeit. Wenn dann allerdings mal 2TB Footage drauf liegen, ist das ganze auch nicht mehr so einfach "kurz mal" zu sichern. Eine Lösung die ich mal testen wollte war, zwei Raid5 in einem Raid1-Verbund zu betreiben. Das dürfte die Sicherheit ja nochmal etwas erhöhen. Ansonsten halt einen guten USV vorschalten und die wichtigsten Daten auf einer externen Platte sichern.
Antwort von r.p.television:
und wenn du dein backup freitags machst und am nächsten donnerstag die platte hops geht, hast du mal eben so die daten einer woche entsorgt. sehr überlegtes vorgehen! ;-)
Arbeitsintensive Dateien wie Projektdaten etc. kopiere ich natürlich ständig auf einen zweiten Ordner auf einer externen Platte. Wenn mir Daten verloren gehen, dann nur gebatchte Video-Files, die sich jederzeit wieder herstellen lassen. Und selbst die backupe ich einmal die Woche.
Antwort von camworks:
du bildest also händisch ein raid5 nach. viel arbeit, alles per hand zu kopieren. aber wo soll der vorteil dabei sein? deine backup-platte kann genauso kaputt gehen wie bei raid5.
Antwort von r.p.television:
du bildest also händisch ein raid5 nach. viel arbeit, alles per hand zu kopieren. aber wo soll der vorteil dabei sein? deine backup-platte kann genauso kaputt gehen wie bei raid5.
Auch auf die Gefahr hin es entsteht der Eindruck ich reime mir meine Antworten für ein Contra zusammen:
Ich habe natürlich zwei Backup-Platten, d.h. der selbe Inhalt ist auf drei Platten, die allerdings nicht in einem Raid verbunden sind sondern einmal die Woche bzw. bei Abschluß von Projekten gesichert werden. Projektdateien werden permantent gesichert.
Immerhin fahre ich mit dieser Methode sicherer als mit dem blöden Raid 5. Vor zwei Jahren noch bin ich auch auf die angeblichen Vorteile des Raid-Verbunds hereingefallen und habe zum Dank zweimal erhebliche Datenverluste erleiden müssen. Einmal sind durch Spannungsspitzen zwei Festplatten abgeraucht und einmal der Raid-Controller, der dann dummerweise out of stock war. Die Daten auf den 6 Platten waren danach Müll.
Und ein weiterer Vorteil: Die beiden Backup-Platten werden nur für die Datensicherung eingeschaltet. Das heisst weniger Stromverbrauch, weniger Verschleiss, weniger Lärm etc.
Ich würde also niemals einem Raid-Verbund nicht wiederherstellbare Daten anvertrauen. Ich würde es lediglich zum Aufzeichnen eines unkomprimierten Videos benutzen.
Antwort von camworks:
Immerhin fahre ich mit dieser Methode sicherer als mit dem blöden Raid 5. Vor zwei Jahren noch bin ich auch auf die angeblichen Vorteile des Raid-Verbunds hereingefallen und habe zum Dank zweimal erhebliche Datenverluste erleiden müssen. Einmal sind durch Spannungsspitzen zwei Festplatten abgeraucht und einmal der Raid-Controller, der dann dummerweise out of stock war. Die Daten auf den 6 Platten waren danach Müll.
kann passieren, deshalb hab ich auch geschrieben, daß bei spannungsspitzen alles verloren ist.
falls aber "nur" 2 platten den geist aufgeben, tuts mein raid6 noch.
und ich brauch keine angst zu haben, daß mein controller "out of stock" ist, denn ich hab einen markencontroller. da tuts sogar der nachfolger, da das selbe verfahren angewendet wird. hab ich so bei promise und bei areca erlebt, selbst über 2 controllergenerationen hinweg können die alten raid-verbünde noch gelesen werden.
letztendlich ist die sicherheit mit raid6 recht hoch, trotzdem werde ich mir demnächst noch ein sehr fettes "nas" als backup zulegen.
Antwort von PowerMac:
du bildest also händisch ein raid5 nach. viel arbeit, alles per hand zu kopieren. aber wo soll der vorteil dabei sein? deine backup-platte kann genauso kaputt gehen wie bei raid5.
Händische Backups sind sowieso ein Relikt der 90er. Heute machen das intelligente Programme, etwa Time Machine.
Antwort von r.p.television:
und ich brauch keine angst zu haben, daß mein controller "out of stock" ist, denn ich hab einen markencontroller. da tuts sogar der nachfolger, da das selbe verfahren angewendet wird. hab ich so bei promise und bei areca erlebt, selbst über 2 controllergenerationen hinweg können die alten raid-verbünde noch gelesen werden.
Das dachte ich damals auch. Ich hatte auch ein Markencontroller. Leider war dessen Nachfolger nicht so tolerant wie Deiner. Ich denke da gibt es keine Garantie und unterliegt eher dem Glück.
Händische Backups sind sowieso ein Relikt der 90er. Heute machen das intelligente Programme, etwa Time Machine.
Hab ich mir auch schon überlegt. Allerdings trau ich Automatismen nicht so recht. Ich hätte irgendwie Angst daß auf diese Art und Weise irgendwas vertauscht wird etc. Mag hintergrundlos sein. Auf der anderen Seite sind die Arbeitsschritte schon so vertraut und kein grosser Aufwand. Das Backup geschieht über Nacht oder in Arbeitspausen und behindert nicht meinen Workflow.
Antwort von mmohl:
du bildest also händisch ein raid5 nach. viel arbeit, alles per hand zu kopieren. aber wo soll der vorteil dabei sein? deine backup-platte kann genauso kaputt gehen wie bei raid5.
Er bildet kein raid5 sondern ein raid1 nach. Das in der Newsmeldung beschriebene Problem tritt da ja genau nicht auf. Beim Verlust einer Platte muss zur Rekonstruktion nur noch eine andere Platte fehlerfrei gelesen werden können und nicht alle anderen x Platten des Raids.
Antwort von LarsProgressiv:
Hallo Allerseits,
warum ist den RAID 5 erst 2009 nicht mehr sicher genug?
Die im Artikel beschriebene Gefahr liegt doch wohl ausschließlich in der Anzahl der im RAID-Verbund verwendeten Festplatten. Ich kann genausogut mit 20 Platten á 10GB ein RAID5/6 bauen und damit das Risiko in die Höhe treiben.
Das mit den Hardwarekontrollern und deren Ausfallrisiko kann man sehr gut mit einem Software-RAID umgehen. Das läuft an _jedem_ Kontroller, an dem die Platten laufen.
In der aktuellen c't 22/2008 sind sehr gute Artikel dazu.
Grüße
Lars
Antwort von camworks:
du bildest also händisch ein raid5 nach. viel arbeit, alles per hand zu kopieren. aber wo soll der vorteil dabei sein? deine backup-platte kann genauso kaputt gehen wie bei raid5.
Er bildet kein raid5 sondern ein raid1 nach. Das in der Newsmeldung beschriebene Problem tritt da ja genau nicht auf. Beim Verlust einer Platte muss zur Rekonstruktion nur noch eine andere Platte fehlerfrei gelesen werden können und nicht alle anderen x Platten des Raids.
stimmt, denkfehler von mir.
Antwort von tom:
Hallo Allerseits,
warum ist den RAID 5 erst 2009 nicht mehr sicher genug?
Die im Artikel beschriebene Gefahr liegt doch wohl ausschließlich in der Anzahl der im RAID-Verbund verwendeten Festplatten. Ich kann genausogut mit 20 Platten á 10GB ein RAID5/6 bauen und damit das Risiko in die Höhe treiben.
Ja, klar. Der Artikel meint nur, das 2009 das Risiko aufgrund der größeren Platten noch größer wird als heute - ein RAID 5 mit allzuvielen Platten (20?) ist immer eine schlechte Idee, da ja nur der Ausfall einer Platte toleriert werden kann, die Wahrscheinlichkeit eines mehrfachen Ausfalls bei vielen Platten aber ansteigt - zumal Platten derselben Marke die zusammen gekauft wurden manchmal die Tendenz zeigen auch zum ähnlichen Zeitpunkt auszufallen und bei grösseren Datenmengen der Stress des RAID-Rebuilds so einen Ausfall auch noch provozieren kann.
Zu RAID 6: da meint der Artikel, dass das noch relativ sicher ist, aber bei noch größeren Datenmengen/Platten in Zukunft bei den genannten Ausfallwahrscheinlichkeiten auch zu unsicher werden wird.
Antwort von Meggs:
Der Artikel ist sehr pessimistisch, weil:
1. Er geht davon aus, dass die Platten voll sind, also 14 Terrabyte beschrieben sind und gelesen werden müssen.
2. Wenn davon 1 Byte nicht lesbar ist, wie reagiert das Raid?
Wird tatsächlich die gesamte Platte und damit der gesamte Verbund verworfen? Oder wirkt sich dieses eine Byte letztendlich auf eine oder wenige Dateien aus, die nicht rekonstruiert werden konnen?
Soweit ich weiß, kündigt sich der Ausfall einer Platte an, und das Raid meldet sich und verlangt eine neue Platte, bevor die alte völlig hin ist. In dem Fall könnte die noch nicht völlig zerstörte alte Platte auch noch zur Rekonstruktion verwendet werden.
Davon abgesehen: Raids ersetzen ein Backup nie, weil immer nur der technische Ausfall einer Platte abgesichert wird, nicht aber versehentliches Überschreiben durch den Anwender oder durch Fehler in einer Software. Ebensowenig wie mechanische Zerstörung des Verbundes durch Feuer, Blitzschlag, Kurzschluss usw..
Antwort von PowerMac:
Ich behaupte ganz keck, ein nicht-lesbares Byte ist irrelevant. Die Platte selbst, die Übertragungswege, das Betriebssystem, Dateien - überall sind doch Redundanzen eingebaut.
Antwort von Meggs:
Auf alle Fälle müsste für das beschriebene Horrorszenario dieses nicht lesbare Byte Daten enthalten, welche für die Herstellung der ausgefallenen Platte wichtig sind. Das ist ja nur bei einem Bruchteil der vorhandenen Daten der Fall. Ansonsten wäre dieses Byte eben auch ein Fall für die Wiederherstellungsmechanismen des Raids.
