Das Risiko, dass Du Dir einhandelst, ist, dass bei einer beschädigten Zip-Datei viele oder alle enthaltene DNG-Dateien verloren gehen. Du kreierst also gewissermaßen einen "single point of failure". Zumal bei Zip die Verzeichnisinformation ganz am Ende der Datei gespeichert wird.
tar wird ja gegenwärtig auch in den gängigen container-formaten (docker images) ziemlich intensiv für ähnliche zwecke genutzt. das funktioniert in der praxis schon ziemlich gut -- kann also z.b. auch als virtuelles filesystem gemountet werden etc --, auch wenn es durchaus ein paar gründe gibt, warum es evtl. doch noch besser umgesetzt sein könnte. (siehe z.b.: https://www.cyphar.com/blog/post/201901 ... ages-i-tar )klusterdegenerierung hat geschrieben: ↑Sa 06 Jun, 2020 16:42 Ist denn Tar dann so sicher das man es sich trauen kann, bzw auf Tar statt Ordner setzen kann?
User die keine raw files produzieren brauchen sich darüber ja keine Gedanken machen.
So ist das immer im Leben, niemand muß mit einem Motorrad 230Kmh fahren, aber das muß man nicht erwähnen,
In Deinem Einsatzszenario stellt tar praktisch kein zusätzliches Risiko dar, weil tar so gedesignt ist, dass sich selbst bei beschädigten Archiven die Daten gut rekonstruieren lassen.andieymi hat geschrieben: ↑Mo 08 Jun, 2020 11:18 in-Kauf-genommenen Datenausfall, ich glaube mit den in Kauf genommenen Risiken von tar, die möglicherweise höher sind als die DNG-Sequenz offen vorliegen zu haben kann ich dann weiterhin gut leben und verliere nicht unersetzbare Lebenszeit durch kopieren von DNGs...
Weshalb Archivierst du gratis Daten? Das macht doch keinen Sinn.
naja -- tar ist zwar definitiv die naheliegenste, gebräuchlichste und einfachste lösung für solche aufgaben, aber ich würde nicht so weit gehen, diesen sehr altmodischen und minimlistischen ansatz zu sehr zu verklären bzw. dessen limitierungen und probleme völlig zu übersehen.
Dem TO geht's doch um eine ganz einfache Frage: Wie kann man eine große Zahl von Einzeldateien (in relativ einfachen Verzeichnisstrukturen, ohne Symlinks und dergleichen) in eine Datei packen, ohne dass man dabei große Kompromisse bei der Datensicherheit machen muss. Ich wüsste nicht, warum tar für diesen Job nicht geeignet ist.mash_gh4 hat geschrieben: ↑Mo 08 Jun, 2020 12:43naja -- tar ist zwar definitiv die naheliegenste, gebräuchlichste und einfachste lösung für solche aufgaben, aber ich würde nicht so weit gehen, diesen sehr altmodischen und minimlistischen ansatz zu sehr zu verklären bzw. dessen limitierungen und probleme völlig zu übersehen.
Danke, das war eben der entscheidende Hinweis gegenüber .zip.
Zum Beispiel weil es zwar kein Kunde zahlt, die Daten aber z.B. aus Musikvideos und anderen Herzensprojekten stammen, die man persönlich möglicherweise noch einmal für ein Reel oder Ähnliches verwenden möchte. Macht man den Job nicht seit 20 Jahren, ist es durchaus auch aus "sentimentalen Gründen" interessant, sich Sachen aufzuheben um z.B. zu sehen, wie man sich in den letzten 5-6 Jahren entwickelt hat. Was ich teilweise auch szenische Sachen aus der Studienzeit mal für ein Reel umgegradet hab, weils dort fürs Endresultat einfach suboptimal gemacht wurde z.B.Frank Glencairn hat geschrieben: ↑Mo 08 Jun, 2020 11:38 Weshalb Archivierst du gratis Daten? Das macht doch keinen Sinn.
genau deshalb würde ich dir auch nicht raten, irgendwas komplizierteres zu verwenden, trotzdem aber zu überdenken, ob ein derartiges zusammenfassen der dateien in einem archiv tatsächlich nötig ist?andieymi hat geschrieben: ↑Di 09 Jun, 2020 09:53 Danke, das war eben der entscheidende Hinweis gegenüber .zip.
...
Falls .tar "einfacher" bringt und vgl. mit .zip kleine Sicherheits-Vorteile bringt.
...
Auch letzter Post von Dir ist gut: Alles was irgendwie 'advanced' vgl. mit .tar wäre bringt üblicherweise Nachteile mit sich noch ändernden Standards, Softwareunterstützung etc., weswegen .zip erste Anlaufstelle gewesen wäre. Theoretische Vorteile in Weiterentwicklungen zu suchen und sich dann möglicherweise Software-Engpässe down the line einzufangen halte ich für nicht sinnvoll.
Irgendwie dreht sich die Diskussion hier im Kreis, und niemand liest genau, was der TO eigentlich sucht und braucht. Ich zitiere noch mal sein Eingangsposting:mash_gh4 hat geschrieben: ↑Di 09 Jun, 2020 10:47 wenn das nämlich nicht der fall ist, ist eine ganz simples kopieren der dateien auf ein verlässliches filesystem nämlich im sinne der von dir hervorgehobenen gründe ("sicherheits-vorteil", "Basis-Format"...) schlicht und einfach vorteilhafter als .tar od. .zip.
ich versteh die problematik des TO durchaus, trotzdem gilt es halt einfach auch manchen dingen zu widersprechen, die im hier am rande der diskussion von div. teilnehmern suggeriert werden.cantsin hat geschrieben: ↑Di 09 Jun, 2020 10:59 Irgendwie dreht sich die Diskussion hier im Kreis, und niemand liest genau, was der TO eigentlich sucht und braucht. Ich zitiere noch mal sein Eingangsposting:
"Ich stell gerade von RAID5 auf RAID10 um und kämpfe stark mit den Kopierzeiten von DNG Sequenzen. Das Problem als solches sind weniger RAID Level oder Ähnliches, sondern einfach die Handhabbarkeit von Sequenzen als zigtausende Einzelfiles."
Ja, und dann zielst Du auf eine Linux-Lösung mit einem Dateisystem wie ZFS oder btrfs (oder mindestens ext4) ab. Ich schätze aber mal stark, dass der TO klassisch unter Windows oder MacOS unterwegs ist und wie gesagt eine einfache Lösung für ein einfaches Problem braucht.mash_gh4 hat geschrieben: ↑Di 09 Jun, 2020 11:16 zeitgemäße filesysteme erledigen das deutlich besser! und da dort die entsprechende sicherstellung der korrektheit mittels checksummen, lowlevel-optimierungen im IO-prozess u.ä. auf kernel-level abgewickelt wird, ist das in der regel sogar deutlich schneller als im falle von user-level-tools wir tar od. pkzip....