slashCAM Forum

Wir sind dabei, eine Übersicht von KI-Tools zu erstellen, welche bei der Videobearbeitung helfen - angefangen von Audio-Tools z.B. zum De-Denoising, Stimmisolation über virtuelle Sprecher und automatischen Transkription von Audio bis hin zum Stiltransfer, Up-Scaling per Superresolution und Entrauschen von Videos (oder auch Photos).

Deswegen unsere Fragen an Euch als Praktiker:
- Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?
- Was sind Eure Erfahrungen damit?
- Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?

Euer slashCAM-Team

So ziemlich alles was ich in die Finger bekomme.

Produktiv/kommerziell setze ich aktuell alles in Resolve ein, zusätzlich noch einige andere Audio Plugins, DeepL für schnelle Übersetzungen, diverse Text to Speech, Topaz (hauptsächlich im Fotobereich) und gerade wurde ich für ne Voice Clone Beta (Koe AI) freigeschaltet.

Vieles kann man bereits gut nutzen und einsetzen, anderes braucht noch ne Weile bis es "ready for prime time" ist.

Für Video z.B. was in Resolve zur Verfügung steht ( De-Noisung/Voice Isolation, Maskierung). Funktioniert meist auch ganz ordentlich. Aber wenn man die Tools gar nicht erst braucht ist es noch besser und vor allem schneller ;)

Ich bin diesbezüglich ja Old-School. Es hängt eben auch stark vom Bereich ab, in dem man unterwegs ist. Wenn man auf die Korrektur-Tools zuurückgreifen muss bedeutet das eigentlich, dass man bei der Aufnahme Murks gemacht hat, den man nachträglich korrigiert. So sehe ich das meist bei meiner Arbeit. Aber in Situationen und Bereichen wo man keine Zeit hatte etwas richtig zu machen (z.B. Reportage/News, Doku, usw.), ist das natürlich eine große Hilfe. Alles was einem die Arbeit am Ende leichter macht, ist erstmal postiv. Gerade wenn es um eher stumpfe Tätigkeiten geht.

VG

tom hat geschrieben: ↑Fr 17 Feb, 2023 12:25 - Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?

- DeepL in der Pro-Version für Übersetzungen (wobei da vor allem die interaktiven Funktionen punkten, mit denen man von der KI erst eine Grobübersetzung bekommt, die man dann mit den zahlreichen Alternativvorschlägen für jedes Wort und jeden Satzteil feintunen kann) und neuerdings auch einfaches Lektorat (DeepL Write)

- HappyScribe für automatisch bzw. halbautomatisch erstellte Untertitel. Aus meiner Sicht besser als Simon Says, weil hier ein hervorragender interaktiver Online-Untertiteleditor dabei ist (einschließlich mitlaufender Originaltonspur), mit dem sich das Ergebnis der automatischen Spracherkennung sowie der Untertitel-Einteilung korrigieren lässt.

- Stable Diffusion für KI-Bildgenerierung, aus meiner Sicht besser als Dall-E & Co., weil es als Open Source-Software ohne Cloud-Geschäftsmodell und Contentfilter lokal auf dem Rechner läuft und mit eigenen Modellen trainiert werden kann (die c't hat ein gutes Video dazu: , wobei das dortige Beispiel der Selfies natürlich auf beliebige andere Bildtypen übertragbar ist).

- Die computational photography meines Smartphones, Google Pixel 6 Pro, besonders im "Night Mode", wobei das IMO geniale ist, das mit ihr nicht nur JPEGs, sondern auch undebayerte DNGs aufgenommen werden können (und die trotzdem die ganze computational photography wie z.B. Belichtungsreihen-basiertes Tonemapping und temporale Entrauschung drinhaben). Vor allem in Kombination mit der mobile App-Version von Lightroom (und den alternativen Kamera-Farbprofilen von Cobalt) ist das ziemlich mächtiges Kombi-Werkzeug, und es ist schade, dass es diese Funktionen nicht in herkömmlichen Kameras gibt. [Canon hat seiner gerade veröffentlichten R50 computational photography spendiert, aber nur für JPEGs...]

- Bei Still-Fotoprozessierung ist DxO Photolab mit dem DeepPrime/DeepPrime XD-Debayering/Denoising (bzw. der genialen Idee, Debayering und Denoising in einem machine learning-basierten Prozess zu erledigen) IMO unschlagbar. Man kann damit Fotos mit alten Kompaktkameras (sofern sie Raw-Aufnahme unterstützen) machen, und kriegt Bilder wie (mindestens) aus einer APS C-Systemkamera; hier mal ein mit einer Nikon 1 V3 geschossenes Beispielfoto:
Schade, dass es bislang noch keine guten AI-basierten Video-Denoiser gibt (auf dem Niveau von/als Konkurrenz zu Neat Video Pro)... Worauf ich auch warte, sind AI-basierte Tools, die auf der Basis von machine learning/training sets wirklich überzeugende Look-Transformationen hinkriegen, z.B. von Systemkamera-10bit-4K-Material zu Kodachrome 16mm-Film...

- Schon länger, aber nur gelegentlich: Photoshops "context-aware fill", wobei das nicht immer überzeugt, genausowenig wie Photoshops/Lightrooms Super Resolution. IMO hinkt Adobe der aktuellen Entwicklung etwas hinterher (sowieso auf vielen Gebieten).

- Ab und zu spiele ich mit ChatGPT als Code-Generator (da z.B. Dinge gehen wie: "erstelle eine Animation eines über den Bildschirm hüpfenden Balls als Javascript"), wobei die Ergebnisse nicht immer gut funktionieren und man den Code schon händisch debuggen muss.

Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?

TopazAI bzw. die diversen Topaz-Tools. IMHO erzeugen sie genausoviele neue Probleme, wie sie Bildqualitäts-Probleme in altem/LoFi-Bildmaterial lösen - nämlich ziemlich grausame Artefakte, wenn man die Bilder 1:1 betrachtet.


- Davon abgesehen, arbeitet jeder von uns täglich mit KI/Machine Learning-basierter Technologie, wenn wir z.B. Online-Bildsuchen machen oder andere Suchmaschinen verwenden, Software mit Autokorrektur-/vervollständigungs-Modulen verwenden etc.pp.

@Tom
Bisher bewusst, nur die De Noise und ein wenig (weil für mich immer noch ein leeres offenes Buch) die Magic Mask Funktion in Resolve.
„Bewusst“ schreibe ich, weil gar nicht so genau weiss, wo die KI in Resolve überall sonst noch ihre Finger drin hat. Fusion Titel nutze ich auch öfters…

Ach ja, und Garage Band (finde ich ein unterschätztes Tool für Sound in Video) nutze ich auch sehr gerne, die App dürfte gefühlt ja voller KI Funktionen sein.

Und die Autokorrektur in der Foto App auf meinem iPad, nutze ich viel, funktioniert ganz gut..;)
Gruss Boris

KRISP. Für Live-Webinare für mich unerlässlich. Ist kein klassischer Noice Reduction, sondern erkennt und steuert mit KI deine Stimme und eliminiert alle Geräusche.

Schalte Musik auf den Handy ein, volle Lautstärke und halte es vor deinem Gesicht. Du hörst die Musik nicht. Lass deine Kinder schreien, man hört es nicht.

Unschlagbar!! Kostet dafür aber ca. 8 Eur mtl. Jeder Cent ist gut investiert. Selbst in einem Biergarten führe ich Webinare durch, was ich vorher wegen den Hintergrundgeräuschen nicht konnte.

Heute nutze ich es als Dozent und würde ich jedem empfehlen.

basarseven hat geschrieben: ↑Fr 24 Feb, 2023 20:59
Unschlagbar!! Kostet dafür aber ca. 8 Eur mtl. Jeder Cent ist gut investiert. Selbst in einem Biergarten führe ich Webinare durch, was ich vorher wegen den Hintergrundgeräuschen nicht konnte.

Ich nutze es auch wenn ich im Cafe arbeite. 60 Minuten pro Tag sind sogar gratis.

Nutze es noch nicht. Aber werde es definitiv probieren. Der Grund weshalb ich für Talking Head Sachen einen Teleprompter verwende ist, dass ich keine Lust auf die ewige Nachbearbeitung bei frei gesprochenen Takes habe. Mit diesem Tool könnte sich das ändern.

Ich hab gerade das hier entdeckt, sieht recht vielversprechend aus.

https://neuroflash.com/

Frank Glencairn hat geschrieben: ↑Mo 03 Apr, 2023 08:48 Ich hab gerade das hier entdeckt, sieht recht vielversprechend aus.

https://neuroflash.com/

Warum nur hab ich hier - wie so oft bei diesen KI-Tools - das Gefühl, dass ich bei der Präsentation und Bedienung dieser Tools Intelligenz vermisse?

Tja, was nutze ich?

Vor allem die Audio Tranksripitons- und Untertitelungs-Tools, die Premiere an Bord hat. Gelegentlich die Suchmaschine Perplexity AI eine schnelle Anfangsrecherche, wobei die Ergebnisse mit Vorsicht zu genießen sind und man auf jeden Fall auch die verlinkten Primärquellen ansehen muss. Ein paarmal habe ich auch Enhance Speech von Adobe genutzt, um "kaputte Töne" zu retten, mit wechselndem Erfolg.

In der Summe ist das alles nice to have, aber wirklich verändert hat es meine Workflows noch nicht. Was mich wirklich interessieren würde: Ein leicht zu bedienendes, z.B. textbasiertes Tool für einfache 2D Animationen, z.B. für die die Erstellung animierter Diagramme oder Explainer-Sequenzen. Gibt zwar schon ein paar Sachen in der Richtung, aber entweder überzeugt mich der Look nicht, bzw. man muss (noch) ein Abo abschließen, worauf ich keine Lust habe.

Jalue hat geschrieben: ↑Mo 03 Apr, 2023 10:07 Gibt zwar schon ein paar Sachen in der Richtung, aber entweder überzeugt mich der Look nicht, bzw. man muss (noch) ein Abo abschließen, worauf ich keine Lust habe.

Das klingt interessant, welche Paid Services sind das?

Hier sind einige aufgelistet:
https://filmpuls.info/online-videos-mac ... ools-test/

New kids on the block

Wohin uns wohl die KI noch führen wird ?
Der eine arbeitet damit heute schon im Biergarten, der andere im Café…
Gemütlich..D
Später werden dann ganze Filme während dem Schlaf von A-Z fertiggestellt sein zum anschauen beim Frühstück..;)))
Gruss Boris

Der Handmade Film kriegt dann das BIO-Sigel

Mir egal, Haupstsache meine S5ii wird Netflix-approved, dann mach ich bessere filme als jede KI!

Ist natürlich noch in den Kinderschuhen, aber ich schätze mal daß irgendwelcher Noise in Zukunft kein Thema mehr sein wird.

Bluboy hat geschrieben: ↑Mi 17 Mai, 2023 18:34 Der Handmade Film kriegt dann das BIO-Sigel

Nur bei zertifizierter Freiland-Haltung der Creator*Innen.

BTW: Gibt´s eine KI (App) die schon brauchbar Musik komponiert & selbst spielt?

Soweit ich weiß nicht - klingt alles noch nach einem schlechten LSD Tripp.

Ich glaube auch, daß Musik nie die Domäne eine KI sein wird.
Musik (und auch verschiedene Stile) sind eigentlich recht einfach mathematisch beschreibbar - und damit auch erzeugbar.

Das sieht man schon daran daß selbst 10 Jahre alte Band-In-A Box (oder Garage Band) generierte Musik um Größenordnungen besser und brauchbarer ist, als alles was KI bisher hervorgebracht hat.

Nur 24 Stunden Trainingszeit auf einer einzelnen Nvidia Karte - soviel zum Thema man könne AI angeblich nicht zuhause auf ner einzelnen Workstation trainieren.

Frank Glencairn hat geschrieben: ↑Mi 21 Jun, 2023 17:41 - soviel zum Thema man könne AI angeblich nicht zuhause auf ner einzelnen Workstation trainieren.

Wer sagt man könne „KI“ nicht auf einem Rechner trainieren?

Wir hatten hier mal die Diskussion, da ging es um LLMs in der Größenordnung von GPT und Bard.

Die Aussage bleibt: wenn du auf deinem Rechner in Einzelarbeit ein LLM mit der Datenmenge, der Parameter-Anzahl und den Fähigkeiten von ChatGPT in einem Jahr trainieren kannst, dann ist dir eine Milliarde Venture Capital für FrankGPT sicher.

tom hat geschrieben: ↑Fr 17 Feb, 2023 12:25 - Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?
- Was sind Eure Erfahrungen damit?
- Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?

- Topaz GigaPixel und VideoEnhance AI (ich weiß, beide sind neu aufgelegt als Photo und Video, aber die finde ich irgendwie blöde); beide zum Upscaling/De-Blocking. Ergebnisse sind ziemlich hit-or-miss, die Großteil ist brauchbar aber auch vieles einfach Käse. Einmal hat es mich immens überrascht, also werde ich es auch weiter immer mal versuchen. Deutlich besser als was Resolve, Nuke oder AE können (in meinen persönlichen Vergleichen - kommt sicher aufs Material an)

- wie auch immer das Ding in Photoshop 23 Beta heißt (ist das Sensei?); eine spannende Funktion aber ich würde sie derzeit im Lebtag nicht für professionelle Fälle einsetzen; bzw nur für so Geschichten wo ich vielleicht für zehn Frames etwas mehr Fleisch im Bild brauche, so als Extension, das klappt gut. Es ist auch hervorragend geeignet um Photoshop-Montagen der Kollegen zu bauen, für so Schabernack wo Qualität eh egal ist. Für richtig Sachen ists mir zu viel Gefummel

- diese MagicMask Geschichte in Resolve habe ich mal für etwas komplexere Rotos benutzt. Man kriegt schnell ein Ergebnis, aber am Ende habe ich so viel Zeit ins Fixen gesteckt dass ich es von vornherein hätte sauber machen können. Aber gefühlt spart es schon Zeit ein. Für Grading-Anwendungen sicher ziemlich gut, aber das liegt wohl eher an den Roto-Optionen im Resolve

- CopyCat und seine Freunde im Nuke würde ich gerne mal probieren, da das aber nur so richtig auf nVidia läuft ist das leider ein Ding für Zuhause, also meine Freizeit - und da habe ich frei, also warte ich bis es auf AMD läuft.

- die Plugins von Pixelmania.se würde ich auch gerne mal anschauen - NNFlowVector sieht echt spannend aus. NNClenup hingegen hat schon so brachial schlechte Beispiele auf deren Website, da würde ich gerne mal selber vergleichen ob die das wirklich ernst meinen, haha

Gibt's eigentlich schon etwas auf Basis aktueller KI-Technologie mit selektivem Grading für Video? Also mit (eigenen) Look Vorgaben und dann automatisch und "intelligent"?

ColorlabAI (Resolve/Premiere/FinalCut)
https://colourlab.ai/author/dado/

Was ist das für ein gottverdammter Streifen??? Dachte gerade schon für nen Moment jetzt ist der Monitor am Arsch...

Ist mir auch aufgefallen - anamorphic Flare womöglich, keine Ahnung.

MK hat geschrieben: ↑Fr 21 Jul, 2023 12:30 Was ist das für ein gottverdammter Streifen??? Dachte gerade schon für nen Moment jetzt ist der Monitor am Arsch...


m1.jpg
m2.jpg

:-D

MK hat geschrieben: ↑Fr 21 Jul, 2023 12:30 Was ist das für ein gottverdammter Streifen??? Dachte gerade schon für nen Moment jetzt ist der Monitor am Arsch...


m1.jpg
m2.jpg

Ist auch bei anderen Einstellungen - ganz tolle cinematische Flares. :)
Genau dafür nutzt man doch ein Anamorphot. ;)

Wirklich beachtlich