Nvidia zeigt Echtzeit Greenscreen Keyer ohne Greenscreen sowie Facetracker

[slashCAM]

Nvidia hat mit der RTX Broadcast Engine eine interessante Lösung für Live-Streamer vorgestellt, die mittels KI-Algorithmen auf GPUs mit Tensorkernen ein paar nette Videoe...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Nvidia zeigt Echtzeit Greenscreen Keyer ohne Greenscreen sowie Facetracker

[R S K]

iPhone Features endlich auch am Rechner! 😄

Ich tippe mal, dass das nur ein simpler „Difference”-Key ist. Sieht jedenfalls danach aus und ist natürlich nicht gerade revolutionär. Und sonderlich doll aussehen tut's natürlich auch nicht. Das iPhone (und vermutlich andere?) konnte das schon mit dem iPhone… 4? 5? Und Face-Tracking, naja… wissen wir ja. ;) Und, wie auch erwähnt, auch der Adobe „Character Studio”, dass das bekanntermaßen schon ewig auf reiner Softwarebasis kann, wenn vermutlich nicht ganz so gut wie die RTX (wäre ja sonst peinlich).

Für Gamer und Amazon-Greenscreen-Käufer sicherlich ganz lustig. Aber darüber hinaus? 🤷🏼‍♂️

- RK

[pillepalle]

"Eines der interessantesten Features ist dagegen der RTX Greenscreen, welcher den Hintergrund von einem menschlichen Moderator trennen kann, ohne dass der Hintergrund irgendwie "grün" sein müsste."

Dafür tragt der Moderator in dem Beispiel das Greenscreen T-Shirt :) Der Hintergrund sieht so unnatürlich entsättigt aus... aber in ein paar Jahren funktioniert das vielleicht auch mit realen Motiven.

VG

[roki100]

also auf jeden Fall viel viel besser als Greenscreen + 8 Bit Kamera. Außerdem ist das schon eine andere Technologie als das von iPhone usw.

[CameraRick]

Also ein Difference Key ist das mit Sicherheit nicht, davon lässt sich mal ausgehen, ergibt für die Anwendung auch keinen Sinn. Da bräuchte es ja ne Cleanplate für, die ist in Echtzeit doch recht schwer zu beschaffen.
Ich glaub für die gezeigte Anwendung, Streaming auf Twitch und co, ist das total in Ordnung; die Kanten sind aber einfach so schlecht und soft, produktionstauglich ist das hinten und vorne nicht (selbst für Sparten-TV-Sender wäre das nicht ausreichend). Sieht aber auch nicht so aus, als ob es das sein will.
Nun kann man lange darüber debattieren ob das irgendwann mal tauglich wird, aber allein wegen Motionblur, Haar-Details und Hintergrundelemente die in den Vordergrund bluten glaube ich nicht so recht daran, dass wir grüne und blaue Hintergründe in der nächsten Dekade verlieren werden.

[CandyNinjas]

Ich glaub für die gezeigte Anwendung, Streaming auf Twitch und co, ist das total in Ordnung; die Kanten sind aber einfach so schlecht und soft, produktionstauglich ist das hinten und vorne nicht (selbst für Sparten-TV-Sender wäre das nicht ausreichend). Sieht aber auch nicht so aus, als ob es das sein will.

Klar, für Streamer geht das in Ordnung. Vor Allem weil man null Arbeit hat und nicht mal eine Greenscreen braucht.

Aber die Qualität reicht meiner Meinung für sonst NIX.

[CandyNinjas]

Richtig gut sieht das Facetracking aus. Wenn man bedenkt, daß da nur die Daten einer Webcam zum Tracking bereitstehen, ist das schon sehr beeindruckend.

[R S K]

Also ein Difference Key ist das mit Sicherheit nicht, davon lässt sich mal ausgehen, ergibt für die Anwendung auch keinen Sinn. Da bräuchte es ja ne Cleanplate für, die ist in Echtzeit doch recht schwer zu beschaffen.

Es wird genauso gemacht wie mit dem iPhone und sonstigen Apps. Man bewegt sich kurz aus dem Bild, die App macht eine Clean, du kommst wieder rein, fertig. Ist wahrlich keine Raketenwissenschaft. 🙄 Wird auch der Grund sein warum sich die Kamera nicht bewegt bzw. wird entsprechend auch nicht mit einer bewegten Kamera funktionieren. Würde mich jedensfalls sehr wundern, vor allem wo es sicherlich eben nur für genau solche Webcam Szenarien ausgelegt/gedacht sein wird.

- RK

[rainermann]

Mal abgesehen vom Facetracking gibt's das auch schon seit Jahren in Photo Booth vom Mac. Damit hab ich vor Jahren schon Blödsinn mit meinen Kids gemacht. Wie RSK richtig erklärte, genauso geht's. Nix neues (für Mac User).

[R S K]

Mal abgesehen vom Facetracking gibt's das auch schon seit Jahren in Photo Booth vom Mac.

Stimmt. Die Hintergrund Key Sache gab's das auch mal! Wie auch in iMessage, als es noch iChat hieß, was man sogar mit Plugins erweitern konnte (Flammen aus den Augen und solche Späße). Seltsam wie die manche Sachen wieder RAUSbauen. 🤨



Was das Facetracking angeht: also bitte… sogar Snapchat kann das, auch wenn es nicht ganz so ausgereift sein wird. Aber ohne Hardware wiederum auch nicht unbedingt.

Ich denke mal ein iPhone mit „Dot Projector” wird da noch um einiges besser/präziser sein.



Gibt auch Apps die es ohne FaceID können.

Fazit: bestimmt „fun to have” Feature, aber eine Meldung wert? 🤷🏼‍♂️

- RK

[Jott]

also auf jeden Fall viel viel besser als Greenscreen + 8 Bit Kamera.

Der Bullenkot des Tages! :-)

[roki100]

8Bit 420 und Greenscreen ist eben ganz ganz schlecht...soooo richtig schlimm wie iPhone mit irgendwelche VFX Kamera Effekte ;) Nur Nvidia kann das, Apple nicht.... uff jetzt gibt es aber Geheule ;)

[Jott]

Altes Märchen. Wenn die Ausleuchtung stimmt, geht das mit einer gescheiten Kamera wie zum Beispiel der FS5 perfekt. Und wenn die Software was taugt. Es leuchtet halt kaum jemand richtig aus. Ist das aber der Fall, dann ist der 8Bit-Key insbesondere bei Aufnahme in 4K/UHD und Schnitt in HD-Timeline (dann 10 Bit) völlig in Ordnung bis hin zum feinsten Härchen.

Man kann theoretisieren oder einfach mal machen. 8Bit = geht nicht ist Stammtischgetue, sorry!

[roki100]

wir inkl. iasi und alle 10+Bitler und RAWler, brauchen kein Licht ;) Und OpenSource'ler brauchen auch keine Nvidia RTX oder Apple, sondern nur OpenCV, kinect und ein paar Zeilen Scripts ;)

[pillepalle]

Stimmt... für's Theoretisieren braucht's kein Licht ;)

VG

[rainermann]

8Bit = geht nicht ist Stammtischgetue, sorry!

Jupp. Hab u.a. schon 2 größere Musikvideos mit viel Greenscreen-Gewummel in 8bit gedreht. Und dazu noch grober Nikon-DSLR-800-HD-Codec ohne LOG und RAW. Würg. Nur so nach (geschultem) Auge, Licht (z.T. nur Sonne) und FCPX, sonst nix. Geht alles. RTL2 hat's gefallen, von den anderen gab's Folgejobs. Klar, mit Red und Raw (oder natürlich auch FS7 und 10bit) wär's perfekter geworden, aber war nie das Thema oder ein Problem.
Wie schon geschrieben, mit Licht und richtigem Setting geht vieles auch ohne viel (damals, 2013 rum) teure Technik.

[macaw]

8Bit = geht nicht ist Stammtischgetue, sorry!

Jupp. Hab u.a. schon 2 größere Musikvideos mit viel Greenscreen-Gewummel in 8bit gedreht.

War das für Red Hot Chili Peppers oder doch nur Madonna? ;)

[rainermann]

Nö. Für mich ist alles "größer", wenn's dafür gut Geld gibt ;)
Oder im TV läuft. Ausserdem meinte ich in dem Fall "größer" eher als "schwäbischer Slang" im Sinne von aufwendiger, mehrere Ebenen etc.
War das hier:
viewtopic.php?f=33&t=125990&p=803599&hi ... oe#p803599
(mit kleinem MakingOf)

Madonna hab ich abgelehnt, wollte daß ich umsonst drehe. Spinnt ja.