4K RAW Material und RAID Lösungen

[Viramedia]

Hallo
Bei mir dreht sich gerade alles um den den nächsten Step-Up auf 4K Produktionen mit ggf. RAW Workflow...

allerdings habe ich mit meiner Hardware (i7-4770, 16 GB RAM, GTX670, verschiedene HDDs noch ohne Raid) Probleme, entsprechend flüssig zu arbeiten und ich glaube dass der Flaschenhals bei den HDDs liegt... und würde daher gerne aufrüsten.

jetzt wollte ich von einigen von Euch wissen, insbesondere jene die bereits Erfahrung mit großen Datenbeständen haben, wie ihr Festplattentechnisch damit umgeht...

ich merke einfach dass die Daten auf meiner interenen HDD vermutlich nicht mit dem speed ausgelesen werden können, wie das wohl vegas und resolve benötigt... und einzelne ext. HDDs kann man damit ohnehin vergessen

nutzt jemand von Euch Raid, wenn ja welche Varianten? (0, 1, 10, 5) und bei welcher Lösung habt ihr richtig flüssige Wiedergabe unter Vegas und Resolve von 4K Material oder RAW Content?

vielen Dank
Igor

P.S. auf der Backupseite ist alles schon geregelt. Ich verfüge über 2 Server mit jeweils 16 TB Kapazität sodass die Daten laufend gesichert werden....

[WoWu]

Bei RAW gibt es ja nur die Möglichkeit, entweder in ein, vom NLE handhabbares Format zu konvertieren oder eine hybrid Workflow, also mit einem Proxy arbeiten und hinterher ausrendern.
Mit dem RAW Signal kannst Du ja so eigentlich nichts anfangen.
Kommt also drauf an, in welches Format Du gehst:
Hier die Mengen für 3 Min.-24 fps-

ProRes 4444 – 27GB
ProRes HQ (3840 x 2160) – 16GB
Uncompressed 10-Bit – 116GB
DPX images (10-bits pro Kanal) – 173GB
TIFF images (8-bits pro Kanal) – 130GB

Nun kannst Du Dir ausrechnen, was auf so eine 512GByte SSD passt und ob nicht doch der Proxy Workflow bei 4K angesagter ist.

[otaku]

jepp wowu hat es schon angedeutet. bei den heutigen datenmengen ist die grosse frage ob du durchgehend unkomprimiert braucht, bzw ob das ueberhaupt irgend einen sinn ergibt.

ich selbst bin vfx/online mensch und alles was irgend eine art der kompression drauf hat ist fuer mich erstmal gammel, dennoch versuche ich
so lange es geht mit kompremierten dateien zu arbeiten.

wenn wir mal von einem daten gau wie red dragon ausgehen, dann kann man natuerlich direkt alles in 32bit fp umwandeln, und das dann weiter benutzen, aber was ist der vorteil, ausser das du alles mit daten zumuellst und alles nur noch schnach langsam ist.

mein workflow geht so, das ich erstmal das red material ins resolve schubse und mir 2 format daraus mache - zum einen ein h264 mit 576 pixeln hoehe.
wahlweise mit tc im bild oder einfach tc nur in den meta daten. dieses proxi hat auch keine tv pixel ratio sondern hat immer square pixel - also 16zu9 ist bei mir 1024x576. ein dragon wild waehre bei mir also entsprechend weiter.
dieses erste proxi ist nur dazu da, damit man schnell und auf jedem recher und ohne irgend eine spezielle software sich das drehmaterial ansehen kann.

zeitgleich gebe ich immer ein 2tes proxi raus. das ist full hd und das bild ist letterbox. als codec benutze ich entweder prores oder dnxhd.
mit diesem proxi geht es in den schnitt. an der stelle sei gesagt, ob du dir dieses hd proxi oder ein 4k oder 6k lappen ansiehst spielt qualitativ keine rolle, solange dein betrachtungsabstand so gewaehlt ist das du das gesammte bild ueberblicken kannst ohne die augen zu bewegen. also 24zoll monitor in 1 meter entfernung, da ist 4k und hd gleich scharf und gleich detailiert.

das bedeutet bis zum ende vom schnitt, gibt es keinen grund irgend etwas ueber hd anzufassen.

erst jetzt wird es spannend wie geht man weiter mit 4k um.

im falle von red hast du kein problem, weil du ja deinen schnitt sofort zurueck holen kannst ins resolve, da machst du dann dein online wo deine files ja immer noch ohne grosses raid echtzeit sind. (wir haben hier ja schon in mehreren beitraegen ergruendet, das red files sich unterhalb der 200mb/sec marke bewegen)

also schnitt+cc ist garkein problem und graucht weder grosse datenmengen noch braucht es schnelle raids.

etwas fummelig wird es wenn du in die richtung vfx gehst. und sagen wir mal fuer den moment jedes bloede packshot cleanen oder selektive farbkorrektur ist ein vfx. also quasi alles was du mit resolve nicht mehr loesen kannst.

dazu makierst du dir halt die shots im resolve mit einem marker. du kannst den output (deliver) ja nach markern sortieren, dann pumpst du genau die shots in voller aufloesung als open exr raus und bearbeitest die shots mit dem tool was du magst (nuke, aftereffects, smoke, whatever). die tools sind aber ja sowieso rotten lahm und lichtjahre von realtime entfernt. da spielt es also auch keine rolle, ob dein system echtzeit playback hat oder nicht. wir reden hier ja auch immer ueber sehr kurze einzelne shots die sich prima (auch in 4k wenn sein muss) im ram ansehen lassen (rv spielt grundsaetzlich eigendlich alles ab)
also vom workflow hast du hier immer noch kein problem.

der einzige moment wo realtime fuer dich ja wirklich wichtig wird ist ja wenn kunden kommen und die wollen live mit dir im material rum schubbern. deine vfx schots die du z.b. aus dem nuke raus gerechnet hast in 4k open exr 32bit fp bringen natuerlich dein resolve zum stillstand,
aber da spricht ja nichts dagegen sich auch hier ein proxi mit raus zu rechnen was das resolve noch gut verarbeiten kann.

das alles sind pipeline geschichten, die noch in keinster weise ein super schnelles raid brauchen.

wenn du 4k unkompremiert in echtzeit wirklich angehen willst, dann fuerchte ich, das nicht nur deine festplatten der flaschenhals sind.
du brauchst ueber den daumen ca. 1000mb/sec. von der theorie sind 2ssd im raid 0 schnell genug. in der praxis siehr das aber deutlich anders aus. mit einem wirklich schnellen controller wirst du ehr in richtung 4 ssd landen um solide ueber 1000mb zu bekommen. dann sind das natuerlich auch nur 4tb die zum einen in 3-2-1 voll sind bei 4k und zum anderen hast du auch noch garkeinen raid schutz. also raid5 ist bei sowas ja sehr angesagt wenn du es irgendwie mir sinn und verstand angehen willst.
ssd skalieren aber nach oben nicht so schon wie spindeln, warum hab ich keine ahnung, bin kein computer techniker, aber ich stelle es halt bei meinem ssd raid fest. dazu kommt, das aeltere controller fuer ssd auch nicht in frage kommen, weil sie kein trim koennen.
also wenn 4k dann ist meine empfehlung. so laecherlich es klingt. geh auf spindeln nicht ssd. kauf dir 16x 3tb seagate barracuda baumarkt platte und haeng die im raid 5 an einen areca controller. das ist verhaeltnissmaesssig billig und du hast angemessen viel speicher, aussserdem hast du den headroom den du braucht das das auch immer echtzeit ist und nicht nur wenn es mal gerade gut drauf ist.
ich befuerchte allerdings, das irgend ein baumarkt i7 mainboard das alles wieder zu nichte machen wird und das dann dein flaschenhals ist. stell dich also schon mal auf eine z820 oder vergleichbares ein. oder frag studiolondon mal der hat oft gute tips fuer hardware die sowas kann, jedenfalls kommst du bei "echtem" 4k mit mediamrkt schore nicht mehr durch die tuer.

[Viramedia]

Ok ich verstehe.... ich komme also um einen Proxy Workflow nicht drumruum... das mache ich derzeit ebenfalls sogar mit Full-HD Clips...

Allerdings hatte ich gerade bei einem ImageVideo basierend auf 4K Stock Material (komprimiert nach AVC) allerdings auch mit Proxie ein extrem langsamen workflow.... richtig lahm wie bisher noch nie erlebt....

jetzt befürchte ich, dass ggf. die software trotz proxies doch immer wieder auf die originale zugreift... ggf hilft tatsächlich hier nur das proxen mit austauschen der daen, sodass nur noch auf proxies zugegriffen wird...

ich werde das jetzt mal mit dem footage von den gh4 testen und gucken...

ich verstehe auch, dass also ein raid 5 sinnvoller ist als z.B. ein RAID 10... erste tests ergaben hier ca. 180-200 MB/sek bei 5x 4 TB Platten....

ich müsste dann natürlich 2x so ein raid aufbauen (eines live daten, das andere als stündliches backup das gespiegelt wird).

weil das rebuilding von einem 12 TB Pool kostet so viel zeit, dass die kosten für ein backup davon keine rolle mehr spielen...

[WoWu]

Als Proxy würde ich auch keinen AVC nehmen- und wenn, dann nur einen I-Frame) , ansonsten etwas anspruchslose.
Gibt doch da diverse Intermediate, die sich als Proxy vorzüglich eignen, weil sie auf schlanke Rechenpower und nicht auf Qualität zugeschnitten sind.
Und beim Proxy kommt es ja nicht auf Bildqualität an.

[otaku]

was bei den daten raten leider immer wieder uebersehen wird ist,
wir brauchen die datenraten nicht nur wenn alles gut geht, wir brauchen die datenraten auch im worst case szenario und wir brauchen sie durchgehend und nicht als peak.

das bedeutet, du willst ja kein system was dann anfaengt vor sich hin zu rueckeln wenn dein projekt dem ende entgegen geht. oder wenn erstmal 20 sec abgespielt sind. die datenraten die bei festplatten (oder ssd) angegeben werden sind immer max peak werte wenn die platten leer sind. das ist aber von null relevanz, wichtig ist, wie schnell ist eine platte wenn sie bei 90% auslastung ist. das sind leider werte die keiner angibt und da hilft einfach nur ausprobieren oder anderen erfahrungen glauben.

meine erfahrungen sind folgende:

ich benutze inzwischen ausschliesslich areca controller. aus mehreren gruenden.
1. ich habe noch keinen controller gefunden der mehr performance hat
(mag es geben, ich hab nur noch keinen gefunden)
2. es laeuft unter win, osx und linux
3. die sind relativ preiswert (nicht billig!)
4. die zucken nicht rum
5. ein rebuild bei defekter platte funktioniert wirklich und es funktioniert schnell bzw im hintergrund.

also areca ist empfehlenswert, ich sage nicht es ist das beste auf dem markt, es ist nur das beste was ich in 20 jahren gefunden habe.

platten typ und platten menge.

ich habe raids aus 3,5zoll platten mit 7200 und 10.000 rpm benutzt
ich habe 2,5 zoll platten mit 7200rpm und ssd benutzt.
ich habe raids bis 32 platten benutzt (workstation nicht server)

meine erfahrungen sind.

ssd raid - macht nur sinn bei sehr kleinen dateien und ausschliesslich mit controllern neuester bauart mit trim funktion. ohne trim sind die kompletter muell, weil die schreib raten sehr schnell auf unterirdische performance fallen. die performace bei grossen dateien wie wir sie benutzen ist gut, aber ich hab es bis jetzt nicht hin bekommen das die ssd linear hoch skalieren. bei 2000 - 2500 mb/sec war bei mir immer schluss. 2,5 gig/sec auch nur peak. solide habe ich nie mehr als 2gig/sec bekommen (alles mit samsung pro serie)

8x 2,5zoll seagate momentum 750gig 7200rpm - raid 5 - das finde ich ist ein nettes raid fuer hd bearbetung. das sind netto 4,7 tb und die hauen eine performace nie unter 400mb/sec raus. wenn das raid leer ist machen die natuerlich auch 700mb/sec aber ich spreche immer von minimal werten. so eine platte in der leistungsklasse ob seagate oder was anderes kostet in der richtung 50-80 euro, die stellen null ansprueche an den raid kontroller, ein gebrauchter areca von vor 3 generationen ist dafuer total ok, das sind nochmal ca. 100 euro auf ebay. da ist man 500-800 euro los und hat ein super solides system, das auch klein und leise genug ist um es im rechner unter dem tisch zu benutzen.
fuer hd total empfehlenswert.

das hier benutze ich immer als backplane. grosse luefter, anstaendige verarbeitung, gute anschluesse.
http://www.raidsonic.de/de/products/bac ... ectID=7316

wenn ca 5tb zu klein und 400mb/sec zu langsam sind dann geht aus kostengruenden kaum ein weg an 3,5 zoll spindeln vorbei.

zzt verbaue ich nur 3tb seagate barracuda 7200er. die platte nenne ich baumarktplatte weil man sie quasi in jedem laden bekommen kann. die ist nicht preiswert sondern billig. die ist langlebig und schnell. und sie kommt mit genau der anwendung die wir haben super zurecht.
das evtl ne western digital oder ne hitachi genau so gut ist kann gut sein, hab ich nur keine erfahrung mit deswegen sag ich dazu nichts.

ich habe 10k rpm 24/7 platten einige jahre verbaut. meine erfahrungen sind hier sehr schlecht. die dinger hatte ich immer im 5er pack als reserve im schrank liegen, weil die mir reihenweise abgeraucht sind. die performance ist natuerlich klasse, aber die laerm und hitzeentwicklung ist so, das die ausschliesslich im gekuehlten serverraum betrieben werden koennen. die preise der platten sind auch unterirdisch, deswegen hab ich mich da vor einigen jahren verabschiedet und kaufe ausschliesslich consumer platten.

3,5 zoll performance.
eine seagate barracuda macht als spitzenwert wenn sie leer ist ca 200mb/sec. die perfermance behaelt sie im ersten 3tel auch. bei ca 70-80% nutzung laellt sie dann auf ca 100-110mb/sec ab. langsamer wird es dann aber nicht mehr.
im raid scaliert die recht gut hoch. meine erfahrung ist bei der platte auch wieder 8stueck im raid 5 bei ca 1000mb/sec - 1100mb/sec leer und ca 650mb/sec voll.
die platte kostet ca 100 plus controller bedeutet fuer 1000 euro super performance und ca 20tb speicher. alles prima.
diese konfig sollte schon 4k in echtzeit koennen. sie kann es aber nicht. da geht unterwegs zur software noch genug verlohren das es nicht langt.

das dumme ist, wenn man wirklich jenseits der 1gig/sec unterwegs sein moechte ist man mit einem ebay controller auch nicht mehr gut aufgestellt. da ist dann ein aktueller 16port oder mehr controller angesagt und da ist man mit ca 1000euro nur fuer den controller dabei.
dazu kommt, das man 16 platten auch nicht mehr in normale gehaeuse verbaut bekommt, und die laermbelaestigung und hitzeentwicklung kann sich ja auch jeder ausmahlen.

einen versuch den ich auch gestartet habe ist 10gbe also server schick im serverraum und dann per netzwerk. hat mit standart 10gbe copper nicht funktioniert.

studiolandon hat mich auf infiniband gebracht, das werde ich bei gelegenheit mal testen und hoffe da weiter zu kommen aber zzt ist fuer mich unkomprimiertes 4k in realtime nur - AVOID !!!! ;-)

ich hoffe das hilft bei deiner entscheidungsfindung

[Viramedia]

Als Proxy würde ich auch keinen AVC nehmen- und wenn, dann nur einen I-Frame) , ansonsten etwas anspruchslose.
Gibt doch da diverse Intermediate, die sich als Proxy vorzüglich eignen, weil sie auf schlanke Rechenpower und nicht auf Qualität zugeschnitten sind.
Und beim Proxy kommt es ja nicht auf Bildqualität an.

nein ds 4K Material war AVC, die PRoxies berechnet das Schnittprogramm automatisch in einem passenden Format

[Viramedia]

Danke Otaku
Es ist wirklich sehr sehr nett von Dir dass Du Deine Erfahrung hier mit mir und der Community teilst... das ist wirklich sehr hilfreich...

Ja ich bin gerne ein verfechter von ext. RAID Boxen... einfach deshalb weil ich damit gute Erfahrung gemacht habe und, falls mal die Workstation abraucht oder ein OS Fehler hat, man schnell weiterarbeiten kann indem die Box am Notebook oder Zweit PC dran gehängt wird....

das gleiche mache ich mit dem Server obwohl auch hier jeder immer sagt es sei besser alles intern zu haben... Aber so kann man den Speicher auch viel unkomplizierter erweitern und USB 3.0 bietet ja theoretisch bis zu 500 MB/sek

jetzt wärs super zu wissen welche Boxen denn richtig gut laufen und guten Speed bringen... ein NAS ist daher nicht so gut, weil das 1GB Lan max 100 MB bringt... und die Workstation kann meiner Meinung auch tagsüber einfach das NAS für die anderen Arbeitsplätze sein... daher verfrachte ich auch nicht die Daten auf den Servern (wie von den ganzen Netzwerkspezis empfohlen von wegen Datensicherheit... 1. wegen der fehlenden Netzperformance, 2. weil meine Server so redundant die Workstation sichern...)

ein RAID 5 aus 5 HDDs scheint mir sehr sinnvoll, 8 oder 9 Platten wären natürlich besser vom Speed... und man würde damit weniger Platz verschenken (ich glaub bei RAId 5 verliert man immer nur 1 Platte für das ganze Array als Paritätsplatte.)

[otaku]

hey Vira

gegen eine externe loesung ist ja grundsaetzlich erstmal nichts einzuwenden,
und je nach einsatzzweck auch unvermeitbar wenn du dein equip z.b. mit zum set nehmen musst oder sowas.

ich selbst hab sowas hier mal eine ganze zeit an einer workstation benutzt
und es vor 2 jahren einem freund ueberlassen der es seitdem an seinem server benutzt. ohne irgendwelche zicken.

http://www.stardom.com.tw/sohotank_st8_feature.html

das ist aber nur ein externes gehaeuse, one raid elektronik. also was komplett anderes als z.b. ein pegasus raid.

externe raid boxen mit eigener raid elektronik gibt es ja schon lange.
da habe ich verschiedene produkte kommen und gehen sehen, vom apple raid bis zu den typischen industrie raids. die erfahrung ist hier, alles gut bis was schief geht. die qualitaet eines raids zeigt sich nicht, wenn du im leeren zustand einen speed test machst. das kann jeder gammel controller gut. die qualitaet zeigt sich wenn es voll ist, die platten fragmentiert und dir eine platte abraucht. dann weist du ob du ein gutes raid hast. da konnten mich die externen geschichten nie wirklich ueberzeugen. ich spreche jetzt mal generell, wie jetzt z.b. ein pegasus sich verhaelt kann ich nicht sagen. aber wenn ich mir die plastik knoepfe an dem ging so anschaue und bedenke das man auch im neu zustand glueck haben muss ob es jetzt angeht oder nicht, dann staerkt das mein vertrauen nicht zwingend.
was bei den neuen externen boxen einfach geil ist ist thunderbolt, da bin ich echt neidisch. aber das spielt fuer uns mit pc hardware ja auch keine rolle weil wir so einen anschluss halt nicht haben.

usb 3.0 ist als raid schnittstelle der super scheiss. hab ich in allen moeglichen versionen gestestet. leider habe ich nie einen speed ueber 180mb/sec da raus bekommen. das ist fuer unkomp. hd schon zu langsam, fuer 4k brauchste da nicht mal ein bissel drueber nachdenken.
das ist nur nett um einen usb stick mal schnell zu kopieren.

ich kann es nur immer wieder sagen, unk. 4k bringt heute noch jedes system an den anschlag. 90% der systeme koennen es garnicht.
wenn es zwingend noetig ist, du das passende kleingeld hast und die nerven das alles zu testen, dann viel spass, sonst lass die finger davon.

noch ne kleine anmerkung am rande. autodesk flame kann erst seit diesem jahr in der aktuellen version 4k in echtzeit. die brauchen dafuer ne hpz820, ne quadro 6000k, infiniband und einen riesen arsch voll festplatten. und da spielt geld keine rolle. und die laufen unter linux, was gerade fuer solche anwendungen einen mega performance vorteil hat gegenueber windows und osx

[Viramedia]

ja da hast Du voll recht....

beim server erreiche ich auch ca. 180 MB/sek...

das einzige was ich mal machen könnte, wäre eine SSD extern spaßhalber zu testen um zu sehen, was so eine raid box wirklich an datentransfer auf die beine kriegt....

eine hätte ich ja noch rumliegen.... die ich aber nicht mehr nutze.. 256 GB

interessant dürfte usb 3.1 und die neuen specs für displayport, der wohl auch usb 3.1 und thunderbold als protokoll enthalten soll.

ich werde mir jetzt mal so eine box holen, de ssd test machen, 5 platten einbauen und die verschiedenen modi testen (ev. auch mal raid 0 oder raid 10) und wenn sie überzeugt, dann entscheiden welchen raid modus ich fahre...

wie gesagt um die verfügbarkeit geht es mir gar nicht so, da ich ohnehin laufend spiegel und max 1 h arbeit verlieren würde falls was mit dem raid schief gingen... das kostet zwar das doppelte an geld, aber damit kann ich vernünftig schlafen (seit ich auch backups 3 und 4. fach redundant habe)

das hat zwar auch lange gedauert, aber ich bn froh dass ich zumindest backuptechnisch eine funktionierende lösung habe...

[marwie]

Hast du schon so viele Aufträge, bei denen du 4K RAW verwendest, dass sich der finanzielle Aufwand lohnen würde? Das würde ich genau durchrechnen, vermutlich fährst du günstiger mit Proxies; zum schneiden wirst du sie wohl eh benötigen und fürs Colorgrading braucht man ja nicht zwangsläufig Realtime wiedergabe.
In ein paar Jahren werden wohl grosse SSDs verhältnissmässig günstig sein. da lohnt es sich nicht unbedingt, jetzt viel Geld für ein RAID auszugeben...

[Viramedia]

nein ich habe gar keine 4K Aufträge... ich habe aber jetzt auf 4K Kameratechnisch gewechselt weil ich mit Canon einfach einen Schlusstrich gezogen habe und grundsätzlich den 4K Workflow lernen will...

d.h. ich arbeite intern in 4K, habe aber nur ein Full-HD Output...

deshalb habe ich noch keinen Bedarf nach wer weiß was, aber ich will mich informieren und entsprechend zukunftssicher investieren, dass ich in 1 Jahr nicht das ganze Array über Board hauen muss... klar den SSDs gehört die Zukunft...

und proxie workflow habe ich ohnehin, nur ich hatte den eindrcuk, dass trotz proxies ein 4k projekt deutlich lahmer als ein full-hd projekt ist...
warum weiß ich nicht...

[marwie]

deshalb habe ich noch keinen Bedarf nach wer weiß was, aber ich will mich informieren und entsprechend zukunftssicher investieren, dass ich in 1 Jahr nicht das ganze Array über Board hauen muss... klar den SSDs gehört die Zukunft...

Zukunftssicher ist so eine Sache im IT Bereich... Die Entwicklung geht zwar nicht immer gleich schnell und ist tendenziell eher etwas gebremst momentan, aber schneller und / oder günstiger ist die Hardware in 1-2 Jahren wohl schon.

und proxie workflow habe ich ohnehin, nur ich hatte den eindrcuk, dass trotz proxies ein 4k projekt deutlich lahmer als ein full-hd projekt ist...
warum weiß ich nicht...

Was für einen Codec verwendest du für die Proxies?

[Viramedia]

ich brauch dann wohl sowas ;-)

[Viramedia]

deshalb habe ich noch keinen Bedarf nach wer weiß was, aber ich will mich informieren und entsprechend zukunftssicher investieren, dass ich in 1 Jahr nicht das ganze Array über Board hauen muss... klar den SSDs gehört die Zukunft...

Zukunftssicher ist so eine Sache im IT Bereich... Die Entwicklung geht zwar nicht immer gleich schnell und ist tendenziell eher etwas gebremst momentan, aber schneller und / oder günstiger ist die Hardware in 1-2 Jahren wohl schon.

und proxie workflow habe ich ohnehin, nur ich hatte den eindrcuk, dass trotz proxies ein 4k projekt deutlich lahmer als ein full-hd projekt ist...
warum weiß ich nicht...

Was für einen Codec verwendest du für die Proxies?

die poroxies macht vegas automatisch.... und haben dieses format

General
Format : MPEG-4
Commercial name : XDCAM EX 35
Format profile : Base Media / Version 2
Codec ID : mp42
File size : 154 MiB
Duration : 1mn 11s
Overall bit rate mode : Variable
Overall bit rate : 18.2 Mbps
Encoded date : UTC 2014-06-29 11:03:18
Tagged date : UTC 2014-06-29 11:03:18

Video
ID : 1
Format : MPEG Video
Commercial name : XDCAM EX 35
Format version : Version 2
Format profile : Main@High
Format settings, BVOP : Yes
Format settings, Matrix : Custom
Format settings, GOP : M=3, N=12
Codec ID : 61
Duration : 1mn 11s
Bit rate mode : Variable
Bit rate : 18.2 Mbps
Maximum bit rate : 35.0 Mbps
Width : 1 280 pixels
Height : 720 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 23.976 fps
Standard : Component
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Compression mode : Lossy
Bits/(Pixel*Frame) : 0.824
Time code of first frame : 00:00:00:00
Time code source : Group of pictures header
Stream size : 154 MiB (100%)
Language : English
Encoded date : UTC 2014-06-29 11:03:18
Tagged date : UTC 2014-06-29 11:03:18
Color primaries : BT.709
Transfer characteristics : BT.709
Matrix coefficients : BT.709

[marwie]

deshalb habe ich noch keinen Bedarf nach wer weiß was, aber ich will mich informieren und entsprechend zukunftssicher investieren, dass ich in 1 Jahr nicht das ganze Array über Board hauen muss... klar den SSDs gehört die Zukunft...

Zukunftssicher ist so eine Sache im IT Bereich... Die Entwicklung geht zwar nicht immer gleich schnell und ist tendenziell eher etwas gebremst momentan, aber schneller und / oder günstiger ist die Hardware in 1-2 Jahren wohl schon.

und proxie workflow habe ich ohnehin, nur ich hatte den eindrcuk, dass trotz proxies ein 4k projekt deutlich lahmer als ein full-hd projekt ist...
warum weiß ich nicht...

Was für einen Codec verwendest du für die Proxies?

die poroxies macht vegas automatisch.... und haben dieses format

General
Format : MPEG-4
Commercial name : XDCAM EX 35
Format profile : Base Media / Version 2
Codec ID : mp42
File size : 154 MiB
Duration : 1mn 11s
Overall bit rate mode : Variable
Overall bit rate : 18.2 Mbps
Encoded date : UTC 2014-06-29 11:03:18
Tagged date : UTC 2014-06-29 11:03:18

Im Vergleich zu welchem Codec läuft es zäher? Eigentlich müsste es problemlos laufen mit deinem PC...

[Viramedia]

grundsätzlich läuft es zäh sobald ich 4K content drinnen habe (auch geproxt)... das ganze projekt scheint träger zu wirken... vielleicht weil immer wieder referenzen auf die originale verwendet werden...

leider konnte ich noch keine Lösung finden

[Jott]

Den XDCAM 720p-Files ist es herzlich egal, ob sie Proxies für 4K oder sonst was sind. Was soll mit denen bremsen?

[Viramedia]

ja keine ahnung... wie gesagt, ein 4K projekt auch mit proxies ist extrem lahm... woran es liegt, konnte ich noch nicht herausfinden...

habe ich ein 2K Projekt ebenfalls mit proxies, flutscht alles perfekt...

[Viramedia]

Kurzes Update
Die Fantecs ext. HDD Cases mit USB 3.0 schaffen max 100 MB/sek, und das selbst wenn sie mit SSDs bestückt sind. Der Controller ist wohl nicht so gut, daher rate ich jedem, so gut die Cases auch für Server und Backupaufgaben auch sind, diese nicht für schnelle Datentransfers zu nutzen.
Ich teste weiter

[Viramedia]

Hallo
Ich wollte mich nochmals rückmelden nachdem ich die letzten Tage 8 TB an Daten redundant gesichert und auf das neue Filesystem umgezogen habe.

Über die Backupstrategie möchte ich jetzt nicht eingehen, sondern viel mehr auf die Endlösung für die Workstation.

Ich habe mich letztendlich GEGEN folgende Lösungen entschieden:

Externe Raid5 4-Bay Box Lösung mit USB 3.0
+ ist ein Array mit Striped verteilung, daher theoretisch schnell beim Lesen
+ durch Parität ist man gegen Ausfall 1 HDD gesichert (keine Backuplösung)
+ Boxen sind sehr günstig und von Fantec sehr leise
+ schnell von einem PC zum anderen Transportfähig
- man verliert 1 ganze von 4 HDD und erreicht so nur 75% der Gesamtkapazität
- der Rebuild bei Ausfall einer HDD kann ggf. Tage dauern (bei vielen TB)
- die Schreibraten liegen mit 40 MB/sek sher niedrig
- Lese und Schreibrate sind wegen der lahmen USB 3.0 Controller oft auf 100 MB/sek beschränkt. Mehr kommt einfach nicht raus

Externe Raid5 5-Bay Box Lösung mit USB 3.0
+ ist ein Array mit Striped verteilung, daher theoretisch noch schneller beim Lesen
+ durch Parität ist man gegen Ausfall 1 HDD gesichert (keine Backuplösung)
+ leise (nur die Sharkoon Raid Box)
+ schnell von einem PC zum anderen Transportfähig
o man verliert nur 1 von 5 HDD und erreicht so 80% der Gesamtkapazität
o Boxen kosten bereits deutlich mehr als eine Bay4 Lösung
- sehr laut (die Sharkoon Raid Stations, Lacie und andere)
- der Rebuild bei Ausfall einer HDD kann ggf. Tage dauern (bei vielen TB)
- die Schreibraten sind besser durch die bessere Verteilung der Paritätinformation, liegen mit 50 MB/sek weiterhin eher niedrig
- Lese und Schreibrate sind wegen der lahmen USB 3.0 Controller oft auf 100 MB/sek beschränkt. Mehr kommt einfach nicht raus

Externe Raid5 8-Bay Box Lösung mit USB 3.0
+ ist ein Array mit Striped verteilung, erzielt theoretisch die schnellste Leserate
+ durch Parität ist man gegen Ausfall 1 HDD gesichert (keine Backuplösung)
+ man verliert nur 1 von 8 HDD für die Parität und erreicht so 90% der Gesamtkapazität
+ extrem große Speicherlösung
+ schnell von einem PC zum anderen Transportfähig
- Boxen sind mit 400 EUR sehr teuer, dafür gibt es schon komplette NAS
- teuer gesamt durhc die vielen nötigen HDDS
- sehr laut und hoher Stromverbrauch
- der Rebuild bei Ausfall einer HDD kann ggf. Tage dauern (bei vielen TB)
- die Schreibraten sind nochmals besser und erreichen ca. 80 MB/sek
- Lese und Schreibrate sind wegen der lahmen USB 3.0 Controller oft auf 100 MB/sek beschränkt. Mehr kommt einfach nicht raus

Interne Hardware RAID Lösungen
+ sehr schnelle Performance auch bei Raid 5
+ durch integrierte Chips muss die CPU kaum Rechenleistung aufbringen
+ Rebuilds sind in der Regel innerhalb eines Tages erledigt bei Ausfall einer Platte
- man benötigt ein entsprechend großes PC Case mit vielen Slots
- oft sind die Raid Controller entsprechend teuer
- bei Ausfall des Raid Controllers sind die Daten in der Regel futsch, eine Rettung ist oft nur mti einem identischen Controller möglich

Interne Software Raid Lösung mit Windows (mit Storage Spaces)
+ sicherlich die günstigste Variante
+ 3 Disks kriegt man auch locker in einem Case unter und man braucht oft keinen extra SATA Controller (die meisten MB haben 4x SATA 6 Gbit)
+ Leseperformance bei Raid 0 hervorragend, selbst Raid 5 Parity erreicht mit 250 MB/sek hohe Leseraten
+ man kann sowohl zwischen Raid 0 (Striped), Raid 1 (1 oder sogar 2 wege Spiegelung) oder Raid 5 (Parität wählen)
Raid 0 stripeset: Daten werden Blockweise auf allen Disks verteilt, man hat die beste Schreib und Lesepererformance (thereotisch bis zu 450 MB/sek)
Raid 1 Spiegelung: Daten werden auf 2 oder sogar 3 Platten gespiegelt (logischerweise reduziert sich die Speicherkapazität). Leseraten normal, Schreibraten etwas reduziert
Raid 5 (Parity): Man verliert eine ganze HDD im Verbund, dort werden Paritiy Informationen gespeichert. Leseraten mit 250 MB/sek sehr gut (da striped), Schreibraten aber ur 50 MB/s
+ der Windows 8 Datenpool kann theoretisch auf einem anderen PC übertragen und dort weitergenutzt werden
+ Pools bestehen sowohl aus interne, als auch ext. USB und auch Netzwerklaufwerke
- die CPU muss die Performance erbringen für Lese und Schreiboperationen
- die Daten werden Blockweise auf die HDDs geschrieben. Ist 1 Platte im Raid 0 Modus futsch, sind ALLE Daten zerstört
- Bei Raid 1 und Raid 5 geht der Pool bereits bei 70% der Kapazität Off und man kann nur noch Daten löschen, aber darauf kaum noch zugreifen
- Ein Rebuild von raid 1 oder Raid 5 kann sehr sehr lange dauern
- Viele Nutzer berichten bei der Raid 5 Variante von Datenverlust. Eine Platte ging kaputt, der Pool ließ sich aber nicht mehr Retten und die Kaputte HDD DARF NICHT entfernt werden. Man muss zuerst eine neue Platte anschließen, diese in den Pool hinzufügen, den Rebuild machen lassen und erst dann die defekte ausbauen. Wer aber nicht genug SATA hat, müsste sich einen Controller dazukaufen. Wer die defekte Platte raus nimmt (so wie bei einam anderen RAID 5 Array) verliert unweigerlich alle Daten. Hier ist Win einfach zu unflexibel
- leider scheint es wohl sehr oft zu Datenausfällen zu kommen (Backupen ist daher sehr wichtig)

Zu was habe ich mich nun entschieden
Ich habe mich natürlich wegen der geringen Transferraten gegen ext. USB 3.0 Raid-5 Lösungen entschieden. 100 MB/sek schafft jede Platte intern um welten besser, selbst ext. 2.5" Disks von Toshiba sind schneller. Ich habe mich auch wegen der Datenverlustgefahr gegen Windows Pools entschieden, weil dort die Daten immer Blockweise verteilt werden. Geht was schief, können dort Daten nicht mehr rekonstruiert werden. Eine interne HW Raid war mir zu umständlich, auch sehr teuer und die Gefahr dort was zu verlieren, besteht meiner Meinung nach auch.

Da ich ohnehin 5-fach redundantes Backup betreibe (ext. USB 3.0 mittels Sync, Server 1 mittels Crasplan Versionierung + Sync, Server 2 mittels WHS Windows Sicherung + Sync) brauche ich eigentlich eine Raid 5 Lösung gar nicht. Wer will denn auch schon Tage bis Wochen lang auf einem Rebuild vom 12 TB Array warten, wenn ich meine 6 TB an Daten theoretisch in 1 Tag komplett von den Servern recovern kann (dort habe ich sogar zugriff auf ältere Versionen) und theoretisch die USB Kopien schnell an einem Ersatz-PC stöpsle oder sogar direkt die Daten auf dem Server bearbeiten kann. Ich brauche ja nur die Backupstrategie ändern dass dann Server 2 statt der Workstation, nun den Server 1 spiegelt. Ich habe dann keine redundante Sicherung mehr, aber ich kann mit 100 MB/sek über das GBit Netz weiter irgendwie arbeiten. Und wichtige Projektdaten kann man ja ohnehin schnell mal auf eine SSD Spiegeln und die einbauen.

Also habe ich mich intern für eine 1 TB große SSD nur für die LIVE Projekte entschieden (System läuft schon auf ner SSD), die im Lesen 500 MB/sek und im Schreiben 400 MB/sek erreicht. Das reicht mir für ca. 10 parallele Projekte a 100 GB/Projekt aus, und wenn nein, kann ich ja schnell ein Projekt auslagern bis es dran kommt.

Natürlich muss die SSD gespiegelt werden, stündlich, damit man die Live Projekte möglichst gut gesichert hat und dort, wo man gerade viel arbeit, nicht viel Zeit verliert. Da kommen nun 3x 4 TB HDDs intern im Spiel (habe dafür das DVD Laufwerk abgestöpselt, das brauch ich nie). Ich habe so das System auf mSATA SSD, die Live Projekte auf SATA 1 SSD, und alle anderen Firmendaten + Temp Projekte auf SATA 2+3+4 bestehend aus 3x 4 TB HDDs.
Diese sind aber weder gespiegelt noch in einem Windows Storage Space Raid 5 Parity Pool, wegen oben genannter Datenverlustgefahren und der möglichen langen wartezeiten für den Rebuild.

Das Problem ist einfach, dass hier Windows wie auch ein HW Controller die Daten blockweise verteilt (also zerstückelt) und so bei einem crash ohne rechtzeitigem rebuild einfach alles weg ist.

Ich habe deshalb die Drive Bender Technologie genutzt. Das ist wie ein Windows Storage Pool, mit dem unterschied dass die Daten nicht Blockweise gestript werden, sondern Dateiweise. So befinden sich die Daten verteilt auf allen HDDs. Klar geht eine HDD futsch, sind auch Daten verloren (die die sich auf der HDD befadnden), aber nicht gleichzeitig alle weil die einzelnen Dateien physikalisch nicht getrennt werden sondern sich immer in einem Stück auf einer HDD befinden.

Ich sicher ohnehin 2x täglich extern, in der Hinsicht schlafe ich einfach ruhig und die LiveDaten sind ja stündlich gesichert.

Das tolle an DriveBender ist, dass man auch manuell entschieden kann, welche Daten dupliziert werden sollen. diese werden dann verteilt auf mehreren Disks gespeichert, sodass man bei Ausfall einer HDD immer noch auf die Daten zugreifen kann. z.B. müssen ja auch nicht alle Daten immer dupliziert werden (wenn die sich ohnhin im Backup befinden), sondern möglicherweise nur jene, die viel genutzt werden.

Das tolle daran ist aber, dass der DriveBender Pool nicht nur geringe CPU Last erzeugt, sondern auch verdammt schnell ist. Dadurch dass Daten parallel auf 3 Platten gespeichert werden, erziele ich bei Kopiervorgänge von der SSD auf den Drivebender Pool sogar fette 420 MB/sek im Schreiben. Das Lesen geht sogar mit 450 - 500 MB/sek vonstatten (realer Versuch mit Kopieren auf SSD). Und das finde ich verdammt geil. Diese Performance ist einfach der TRAUM für ein HDD Array. Und das coole ist die Datensicherheit. Ich kann jederzeit die Platte auswerfen und die Daten anderweitig auslesen (natürlich finde ich nicht alle Daten drauf, aber immerhin kann ich diese Lesen. Bei einem HW oder Softwareraid sind nur Blöcke drauf).
Noch mehr Lesespeed erhält man bei Datenduplizierung, denn die erfolgt erstens im Hintergrund, aber beim Lesen greift DriveBender sowohl auf das Original als auch auf die Duplizierung zu. Kopiert man also einen Ordner mit 50 GB an Videos, so werden die Daten nicht nur gleichzeitig von 2-3 Platten kopiert, sondern Einzeldateien (z.B. ein langer Film) werden dann teilweise vom Original + Duplikat kopiert und man erzielt dadurch fast 300 MB/sek auch im Lesen einzelner großer Daten.

Was ich sehr toll finde ist auch die Möglichkeit, einen ganzen Pool zu duplizieren (auf ext. USB HDDs oder gar NAS oder Shares Laufwerke). Die Schreibrate ist zwar gleich wie beim Haupt Pool (der ja zuerst beschreiben wird), aber die Leserate kann sich verdoppeln, da die Daten sowohl vom Hauptpool als auch vom Duplikat gelesen werden. Das bringt nicht nur mehr Sicherheit, sondern auch höheren Speed.

Allerdings verzichte ich sowohl auf die interne Duplizierung (normale Daten werden ja vom Server gesichert, Live Daten spiegel ich bereits stündlich von SSD auf Pool und dann wiederum 2x täglich auf die Server und ext. USB Backup) darauf zu gunsten verschiedener Sicherungstechniken, sodass ich im Falle der Fälle mittels unterschiedlicher MEthoden meine DSaten zurückbekomme (cih setze ungern nur auf 1 Pferd)


Vorteil der SSD + DriveBender
+ extrem hohe Lese- und Schreibraten durch SSD von bis zu 500 MB/sek
+ DriveBender als Software kostet nur 30 EUR, die Demo läuft 3 Monate
+ DriveBender läuft auf Windows und Windows Server Maschinen
+ DriveBender führt auche in automatisches Datenbalancing auf den HDDs vor
+ sehr hohe Schreib- und Leseraten von bis zu 400 MB/sek (bei 3 Disks im Drivebender Pool)
+ regelbare, automatische Datenduplizierung
+ regelbare, automatische Poolduplizierung
+ extrem hohe Transferraten bei Daten- und Poolduplizierung
+ die Daten (als NTFS) sind an jedem PC auslesbar. Ist eine Platte futsch, sind zwar die Daten auf jener Platte auch verloren (wenn man keine Duplizierung nutzt), aber ich kann die restlichen HDDs weiternutzen und dort die Daten auslesen. Es werden somit nicht alle Daten zerstört.
- 1 TB SSD sind sehr teuer (350 EUR)
- DriveBender ohne Datenduplizierung sollte auf KEINEM FALL ohne ext. Backups betrieben werden. Geht eine Platte kaputt, sind unweigerlich deren Daten verloren. Ich empfehle immer eine 2-Wege Sicherung (Redundant)
- DriveBender sollte auf WHS oder Windows Server nicht in Kombination mit externen HDD Cases (Jbod Modus) zum Erstellen von Pools verwendet werden, auf denen auch die Server Clientsicherung gespeichert werden soll. Das führt regelmäßig zu Datenbankfehlern (ich habe dadurch 2 Monate lang Backups verloren). Für Server auf denen Sicherungen laufen, empfehlen sich daher Raid 5 Lösungen (hier stört es auch nciht wenn der Array bei Ausfall einer Platte halt langsamer ist und der Rebuild Tage dauert)

Ich hoffe Euch damit einen Einblick gegeben zu haben, wie ich nun 4K Daten einfach schneller Lesen und Bearbeiten kann.

freue mich auch über Rückmeldungen
Grüße
Igor

[Viramedia]

Kurzes Feedback über einen realen Kopiervorgang mit richtigen Daten (also keine Testtools oder eine spezielle Auswahl an Testfiles) auf dem DriveBender Pool.

Ich habe gerade parallel die Daten von der SSD (1TB) auf den Pool gesichert (Erstsicherung) sowie noch Daten vom Zwischenbackup (800 GB) auf den Pool zurückgespielt.

Ergebnis:
In 75 Min. wurde die ganze 1 TB SSD (da waren 980 GB drauf) kopiert
In 75 Min wurden 300 GB von der ext. USB HDD auf dem Pool kopiert
Das ist gemeinsam eine Schreibperformance von 280 MB/Sek und das mit nur 3 HDDs und ohne HW Raid Controller

Ich bin damit zufrieden und kanns jedem empfehlen.


WICHTIG: Bitte beachtet dass solche Experimente nur mit entsprechenden Backups möglich sind. Ich lasse jetzt auch die Backup USB HDDs min. 1 Woche auf dem Regal ruhen um alles zu prüfen und taste diese auch nicht an. Denn falls was schief geht, wäre das meine 3. und letzte Kopie, falls die Daten auf dem Server überschrieben würden.