Gute Frage. Am besten erst mal das Thema verfolgen, ob Microsoft da eine Software raus macht oder es irgendwann vielleicht Dienstleister dafür gibt.
So ganz, eben mal mit Hausmitteln wird das nicht gehen.
jo ist interessant, sieht auch spektakulaer aus, wenn man es sich im detail ansieht ist es allerdings nicht ganz so perfekt, wie es das video uns glaubend macht.
die technik gibts schon laenger the foundry hat da glaube ich zum ende von nuke 6 mit rumgemacht.
die idee dahinter ist recht einfach, das wird im video nicht ganz so deutlich.
man benutzt sein kamera footage um daraus den kamera pfad heraus zu rechnen (simpeles 3d camera tracking), dann benutzt man die getrackten punkte um daraus eine point cloud zu gegerieren. also die software berechnet wo sich die tracking punkte im raum befinden und macht dann aus dem punkt ein objekt (einen kreis oder 4eck, facing camera).
dann wird durch die kamera das aktuelle kamerabild auf diese pointcloud projeziert.
jetzt nimmt man den getrackten kamera pfad, jagt ihn durch einen low pass filter (der ist in nuke nicht drin, aber durch die integration von tcl kann man das in 5 minuten selber schreiben, wenn man daraus ne meister pruefung machen moechte kann man das auch mit python erledigen)
dieser low pass filter generiert jetzt einen neuen smoothen kamerapfad.
jetzt setzt man nur noch eine kamera auf diesen pfad und filmt seine mit dem original footage texturierten pointclouds wieder ab.
voila, thats it.
ist alles in der theorie total einfach, die tuecke im detail ist natuerlich, und das ist auch im video gut zu sehen, das zum einen natuerlich nicht alle kamera bilder scharf sind, gerade bei handkamera gibts da eine menge bilder mit bewegungsunschaerfe, also texturere ich teilweise mit unscharfen bildern, die jetzt mit einer ruhigen kamera total auffallen.
die naechste tuecke bei diesem verfahren ist die dichte der pointclouds.
je dichter und exakter die pointcloud ist desto besser funktioniert das ganze natuerlich. felswaende funktionieren super (hat the foundry auch als demo material) aber baeume sind z.b. der horror, je nach abstand ist die aufloessung immer entweder viel zu hoch oder viel zu niedrig, ausserdem bewegen baeume sich ja auch, was das tracking total aus dem ruder laufen laesst. alle transparenten geschichten sind horror, refektionen hauen einmal alles durcheinander, etc etc.
auch wenn ueber die letzten jahre die 3d tracker erheblich besser geworden sind und sich point clouds bei einfachen objekten inzwischen sehr gut nutzen lassen, und es sogar algoritmen gibt die pointclouds in solide 3d mashes zu wandeln (hat nuke auch mit on board) so darf man dennoch einen sauberen 3d scan (der fast beliebig genau seien kann) nicht mit einer 2d/3d berechnung verwechseln.
der artikel im spiegel der das thema ebenfalls aufnimmt bietet da zwei loesungsanaetze, der erste ist der oben beschriebene, der 2te beschreibt ein verfahren bei dem das bild selbst verformt wird um eine stabilisierung zu erreichen. das ist zwar ein schutziger trick, der in der praxis aber oft erstaunlich gut funktioniert. das hat nuke auch on board allerdings nicht automatisiert sondern entweder mit stmaps oder mit 3d mashes die man verformen kann. after effects hat das voll automatisiert ich glaube das nennt sich bei adobe warp stabilizer (bin aber nicht 100% sicher)
die adobe version ist quasi ne 1 klich loesung, die dann aber mehr oder weniger "friss oder stirb" ist, nuke macht daraus ehr ne wissenschaft aber dafuer kann ich in jede mini kleinigkeit haendisch eingreifen.
wie auch immer das thema kamera projektionen und 2d/3d interpolation ist sicherlich ein spannendes thema das uns auch die naechsten jahre noch begleiten wird und wo sicher noch einige fortschritte zu erwarten sind. das ist auch eines der bereiche wo hoehere kamera aufloesungen helfen werden die ergebnisse zu verbessern.
Schönen Dank für die Ergänzung.
Weil ich kein wirklicher VFXer bin, muss ich mir das wohl nochmal durchlesen ;-)
Aber ich denke auch, dass uns das Thema noch eine Weile auf Trab halten wird.
jo ich musste es mir auch 3x ansehen um wirklich zu verstehen was die da genau machen. microsoft versucht es aus bewusst das nicht einfach zu erklaeren sondern es massiv nach hokus pokus aussehen zu lassen.
uebrigens das verfahren geht nicht mit bewegten objekten, also ein fussgaenger der da vor der kamera her laeuft funktioniert schon nicht.
also deine umgebung ist immer ein freeze, nur die kamera bewegt sich, aehnlich wie bei time slice aufnahmen (matrix effect)
jo an der stelle kann ich nur wowu zietieren der ja immer sagt,
"was du bei der aufnahme vergurkst kannste spaeter nicht mehr hinein rechnen"
genau so ist es, also anstatt das 100 jahre durch eine software zu rechnen ist es natuerlich deutlich sinniger die aufnahme schon am anfang ruhig und smooth zu machen.
also daumen hoch zur steadycam.
wobei die microsoft jungs ja noch einen etwas anderen fall beschreiben, die gehen davon aus, das du mit eingeschalteter kamera einen tag lang durch die gegend wackelst, und weil das natuerlich total rotten langweilig ist willst du jetzt deine aufnahmen schneller laufen lassen, also sagen wir 30min in 30sec oder noch schneller. das wiederum bedeutet, das egal wie gut du als steadycam operator bist, das bescheunigte footage wird IMMER wackeln wie hulle.
die idee die die jungs hatten (und auch schon andere vor ihnen) ist die original kamera von der aufnahme zu entkoppeln.
funkytown hat geschrieben:Wenn ich mit einer Steadicam eine Strecke ablaufe, dann sollte ich doch einen ähnlichen Effekt mit jedem Schnittprogramm hinbekommen, oder nicht?
Wenn die das tatsächlich so gemacht haben, wie im Video erklärt, dann handelt es sich nicht um Videobearbeitung, sondern um CGI.
Das aufgezeichnete Video dient somit als Datenpool, aus dem ein computergeneriertes Video erzeugt wird.
Mit Videoschnitt ist das eben nicht hinzubekommen, weil Bilder gezeigt werden, die von der Kamera gar nicht aufgezeichnet worden sind.
Eine hochspannende Sache jedenfalls. Könnte die Zukunft der Verarbeitung von Videomaterial sein.
sottofellini hat geschrieben:Hochspannend?
Abtörnend, wie all der hippe Brunz, der fehlenden Inhalt mit Firlefanz überzieht!
Diese Zeitraffer-Sequenzen ersetzen natürlich keine gute Story. Was Bommi wahrscheinlich mit hochspannend meint, ist die Art der Videobearbeitung. Man jongliert praktisch mit Bildern dreidimensional im Raum.
das hat nichts mit fehlendem inhalt zu tuen sondern mit moeglichkeiten die sich daraus bieten. um mal 2 moeglichkeiten sofort aufzuzeigen.
du kannst diese technik benutzen um bilder zu retuschieren, klassisches beispiel. kamera faehrt auf dolly von close auf totale. dolly trails kommen ins bild. mit projektions technik kannst du die in 3-2-1 wieder raus machen.
kein firlefanz sondern sehr praktisch.
oder du hast in einer location gedreht und nach wrap stellt du fest, ups mir fehlen ein paar einstellungen (aus welchen gruenden auch immer). das set ist aber nicht mehr verfuegbar. soll schon vorgekommen sein.
mit der technick kannst du das set digital neu aufbauen mit relativ geringem aufwand. also die moeglichkeiten sind schon gross.
oder du baust ein set aus einem photo. siehe hier
das ist alles die gleiche technik. projektionen sind nicht fuer alles zu gebrauchen, aber man kann unsagbar viele probleme damit sehr gut loesen
OK, da hast Du sicher recht, sozusagen als Auffangschirm. Meine Befürchtung geht aber dahin, dass nun noch mehr verwackelter Schrott gepimpt wird, und die Kanäle zumüllt, so dass man nach den wahren Perlen immer mehr Schürfarbeit verrichten muss.
sottofellini hat geschrieben:...dass nun noch mehr verwackelter Schrott gepimpt wird...
Es geht doch nicht nur ums Entwackeln, sondern um die Technik dahinter. Und die besteht darin, dass Software Videos auf der Basis von Videoaufnahmen erstellt. Und da sind dann auch Szenen dabei, die aus einem Blickwinkel zu sehen sind, den die Kamera nie eingenommen hat.
Ich könnte mir vorstellen, dass es in ein paar Jahren keine Videobearbeitung mehr gibt, sondern nur noch Videoverarbeitung.
Soll heißen: Bei der Videoverarbeitung bekommt der Filmemacher gar keine Videoaufnahmen mehr zu sehen, sondern nur noch bewegte Bilder, die der Computer auf der Basis der Aufzeichnungen errechnet.
Damit fällt dann der gesamte Bereich Compositing weg und junge Leute werden darüber schmunzeln, dass wir alten Säcke früher mal mit dem Greenscreen hantiert haben.
Motion-Capturing und 3D-Kameras mit zwei Optiken werden dann ebenso überflüssig sein wie aufwendiges Ausleuchten eines Sets. Macht dann alles der Computer.
Hört sich nach Science Fiction an, aber bitte bedenken:
Es ist gerade mal 30 Jahre her, dass mit dem Commodore 64 der erste brauchbare Computer in die Haushalte einzog (brauchbar wegen seiner 1 MHz-CPU und seiner riesigen 64 Kilobyte RAM).
Und als ich mir vor 15 Jahren meine erste Digitalkamera gekauft hatte, haben Leute noch darüber gestaunt, dass man die Aufnahmen sofort auf einem Display ansehen konnte.
In 15 Jahren wird die Videowelt eine andere sein. Lassen wir uns überraschen.
ich moechte da zeitlich nicht schaetzen wie lange es dauert, ob es ein paar jahre sind oder doch ehr ein paar jahrzehnte, aber ich glaube auch das die reise da hin geht. nicht zuletzt weil unser ganzes 2d gewiggel sehr ausgereitzt ist. mir wuerde jetzt keine 2d innovation mehr in den letzten 10 jahren einfallen. ich glaube die innovativsten dinge der letzten 20 jahre waren planar tracking und farben in einem bild als zahlenspeicher zu benutzen (wie z.b. im z channel) und beides finde ich auch nicht so mega innovativ.
in der ganzen 3d welt liegt aber noch jede menge ungenutztes potential und es gibt super viele herausforderungen zu loesen. die industrie wird da zweifelsfrei weiter entwickeln, weil es sonst kaum argumente gibt warum man irgend eine neue software kaufen soll. neue features sind immer ein verkaufsarbument.
die gefahr, das man beim dreh immer weniger das hirn anschalten muss besteht natuerlich immer mit jeder technischen weiterentwicklung, und das die aufnahmen tatsaechlich immer schlechter werden steht auch ausser frage, ich finde aber auch das die highlights immer mehr strahlen, wir haben hier ueber michael bay in einem anderen beitrag gesprochen, egal was man von seinen filmen halten mag, aber seine kameraeinstellungen sind fantastisch und die gehen natuerlich deutlich ueber "kamera auf dolly" hinaus. das blatt hat also immer 2 seiten.
das gute an der hier besprochenen technik ist, das sie so aufwendig und kompliziert ist, das sie kaum jemand benutzen wird der filmt wie seine katze ins klo faellt.
au fuck... jo wo wir beim thema sind, gerade ebenfalls vorgestellt auf der siggraph in vancouver v-ray for nuke
da wird mir jetzt schon schlecht wenn ich daran denke das wir comper in zukunft auch shading machen muessen. aber die reise geht halt richtung 3d hier mal der naechste schritt.
otaku hat geschrieben:die gefahr, das man beim dreh immer weniger das hirn anschalten muss besteht natuerlich immer mit jeder technischen weiterentwicklung, und das die aufnahmen tatsaechlich immer schlechter werden steht auch ausser frage...
Wenn die Anforderungen an das Footage geringer werden, ist das doch okay. Es muss eben nur gut genug für die Postproduktion sein.
otaku hat geschrieben:das gute an der hier besprochenen technik ist, das sie so aufwendig und kompliziert ist, das sie kaum jemand benutzen wird der filmt wie seine katze ins klo faellt.
Zukünftig wird man im NLE auf die Katze klicken, dann auf 'Ändern' und ein Dialogfenster geht auf und fragt "Siamkatze ändern in..." Dann wählt man z.B. 'Maine Coon' und Fellfarbe und fertig.
Was natürlich nicht bedeutet, dass professionelles Filmemachen überflüssig wird. Es wird sich wegen der weiter entwickelten Technik sogar auf einem viel höheren Niveau bewegen im Vergleich zu heute.
Bommi hat geschrieben:Zukünftig wird man im NLE auf die Katze klicken, dann auf 'Ändern' und ein Dialogfenster geht auf und fragt "Siamkatze ändern in..." Dann wählt man z.B. 'Maine Coon' und Fellfarbe und fertig.
na hoffentlich ist da dann auch, "norwegische waldkatze" im programm. ;-)
srone hat geschrieben:na hoffentlich ist da dann auch, "norwegische waldkatze" im programm. ;-)
Aber selbstverständlich! Die norwegische Waldkatze wird natürlich im Katzenpool zu finden sein - und das bereits in der Basis-Version.
Spielt aber keine Rolle, denn du wirst sie als Modell aus dem Netz saugen können. Man kann dann auch selbst Modelle erstellen, und das geht dann so:
Mit deiner 256K-Kamera filmst du deinen Zwergpinscher beim Herumtollen im Garten. Danach lädst du die Aufnahme ins NLE und klickst auf den Hund und auf 'Erfassen'. Ein Dialogfenster geht auf und fragt: "Hund erfassen als..." Du tippst ein "Zwergpinscher, männlich, 3 Jahre". Daraufhin saust das NLE durch's Video, um den Fifi zu scannen und fragt zwischendurch "Halsband separat abspeichern?" Du klickst auf 'Ja'.
Anschließend kannst du im Katzenvideo die Katze durch den Hund ersetzen und als Endergebnis fällt im Video der Hund ins Klo - und nicht Katze.
Rechtliche Notiz: Wir übernehmen keine Verantwortung für den Inhalt der Beiträge
und behalten uns das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
