Welche KI-Tools nutzt Ihr?

[tom]

Wir sind dabei, eine Übersicht von KI-Tools zu erstellen, welche bei der Videobearbeitung helfen - angefangen von Audio-Tools z.B. zum De-Denoising, Stimmisolation über virtuelle Sprecher und automatischen Transkription von Audio bis hin zum Stiltransfer, Up-Scaling per Superresolution und Entrauschen von Videos (oder auch Photos).

Deswegen unsere Fragen an Euch als Praktiker:
- Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?
- Was sind Eure Erfahrungen damit?
- Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?

Euer slashCAM-Team

[Frank Glencairn]

So ziemlich alles was ich in die Finger bekomme.

Produktiv/kommerziell setze ich aktuell alles in Resolve ein, zusätzlich noch einige andere Audio Plugins, DeepL für schnelle Übersetzungen, diverse Text to Speech, Topaz (hauptsächlich im Fotobereich) und gerade wurde ich für ne Voice Clone Beta (Koe AI) freigeschaltet.

Vieles kann man bereits gut nutzen und einsetzen, anderes braucht noch ne Weile bis es "ready for prime time" ist.

[pillepalle]

Für Video z.B. was in Resolve zur Verfügung steht ( De-Noisung/Voice Isolation, Maskierung). Funktioniert meist auch ganz ordentlich. Aber wenn man die Tools gar nicht erst braucht ist es noch besser und vor allem schneller ;)

Ich bin diesbezüglich ja Old-School. Es hängt eben auch stark vom Bereich ab, in dem man unterwegs ist. Wenn man auf die Korrektur-Tools zuurückgreifen muss bedeutet das eigentlich, dass man bei der Aufnahme Murks gemacht hat, den man nachträglich korrigiert. So sehe ich das meist bei meiner Arbeit. Aber in Situationen und Bereichen wo man keine Zeit hatte etwas richtig zu machen (z.B. Reportage/News, Doku, usw.), ist das natürlich eine große Hilfe. Alles was einem die Arbeit am Ende leichter macht, ist erstmal postiv. Gerade wenn es um eher stumpfe Tätigkeiten geht.

VG

[cantsin]

- Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?

- DeepL in der Pro-Version für Übersetzungen (wobei da vor allem die interaktiven Funktionen punkten, mit denen man von der KI erst eine Grobübersetzung bekommt, die man dann mit den zahlreichen Alternativvorschlägen für jedes Wort und jeden Satzteil feintunen kann) und neuerdings auch einfaches Lektorat (DeepL Write)

- HappyScribe für automatisch bzw. halbautomatisch erstellte Untertitel. Aus meiner Sicht besser als Simon Says, weil hier ein hervorragender interaktiver Online-Untertiteleditor dabei ist (einschließlich mitlaufender Originaltonspur), mit dem sich das Ergebnis der automatischen Spracherkennung sowie der Untertitel-Einteilung korrigieren lässt.

- Stable Diffusion für KI-Bildgenerierung, aus meiner Sicht besser als Dall-E & Co., weil es als Open Source-Software ohne Cloud-Geschäftsmodell und Contentfilter lokal auf dem Rechner läuft und mit eigenen Modellen trainiert werden kann (die c't hat ein gutes Video dazu: , wobei das dortige Beispiel der Selfies natürlich auf beliebige andere Bildtypen übertragbar ist).

- Die computational photography meines Smartphones, Google Pixel 6 Pro, besonders im "Night Mode", wobei das IMO geniale ist, das mit ihr nicht nur JPEGs, sondern auch undebayerte DNGs aufgenommen werden können (und die trotzdem die ganze computational photography wie z.B. Belichtungsreihen-basiertes Tonemapping und temporale Entrauschung drinhaben). Vor allem in Kombination mit der mobile App-Version von Lightroom (und den alternativen Kamera-Farbprofilen von Cobalt) ist das ziemlich mächtiges Kombi-Werkzeug, und es ist schade, dass es diese Funktionen nicht in herkömmlichen Kameras gibt. [Canon hat seiner gerade veröffentlichten R50 computational photography spendiert, aber nur für JPEGs...]

- Bei Still-Fotoprozessierung ist DxO Photolab mit dem DeepPrime/DeepPrime XD-Debayering/Denoising (bzw. der genialen Idee, Debayering und Denoising in einem machine learning-basierten Prozess zu erledigen) IMO unschlagbar. Man kann damit Fotos mit alten Kompaktkameras (sofern sie Raw-Aufnahme unterstützen) machen, und kriegt Bilder wie (mindestens) aus einer APS C-Systemkamera; hier mal ein mit einer Nikon 1 V3 geschossenes Beispielfoto:

deep_prime_xd.jpg

Schade, dass es bislang noch keine guten AI-basierten Video-Denoiser gibt (auf dem Niveau von/als Konkurrenz zu Neat Video Pro)... Worauf ich auch warte, sind AI-basierte Tools, die auf der Basis von machine learning/training sets wirklich überzeugende Look-Transformationen hinkriegen, z.B. von Systemkamera-10bit-4K-Material zu Kodachrome 16mm-Film...

- Schon länger, aber nur gelegentlich: Photoshops "context-aware fill", wobei das nicht immer überzeugt, genausowenig wie Photoshops/Lightrooms Super Resolution. IMO hinkt Adobe der aktuellen Entwicklung etwas hinterher (sowieso auf vielen Gebieten).

- Ab und zu spiele ich mit ChatGPT als Code-Generator (da z.B. Dinge gehen wie: "erstelle eine Animation eines über den Bildschirm hüpfenden Balls als Javascript"), wobei die Ergebnisse nicht immer gut funktionieren und man den Code schon händisch debuggen muss.

Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?

TopazAI bzw. die diversen Topaz-Tools. IMHO erzeugen sie genausoviele neue Probleme, wie sie Bildqualitäts-Probleme in altem/LoFi-Bildmaterial lösen - nämlich ziemlich grausame Artefakte, wenn man die Bilder 1:1 betrachtet.


- Davon abgesehen, arbeitet jeder von uns täglich mit KI/Machine Learning-basierter Technologie, wenn wir z.B. Online-Bildsuchen machen oder andere Suchmaschinen verwenden, Software mit Autokorrektur-/vervollständigungs-Modulen verwenden etc.pp.

[Darth Schneider]

@Tom
Bisher bewusst, nur die De Noise und ein wenig (weil für mich immer noch ein leeres offenes Buch) die Magic Mask Funktion in Resolve.
„Bewusst“ schreibe ich, weil gar nicht so genau weiss, wo die KI in Resolve überall sonst noch ihre Finger drin hat. Fusion Titel nutze ich auch öfters…

Ach ja, und Garage Band (finde ich ein unterschätztes Tool für Sound in Video) nutze ich auch sehr gerne, die App dürfte gefühlt ja voller KI Funktionen sein.

Und die Autokorrektur in der Foto App auf meinem iPad, nutze ich viel, funktioniert ganz gut..;)
Gruss Boris

[basarseven]

KRISP. Für Live-Webinare für mich unerlässlich. Ist kein klassischer Noice Reduction, sondern erkennt und steuert mit KI deine Stimme und eliminiert alle Geräusche.

Schalte Musik auf den Handy ein, volle Lautstärke und halte es vor deinem Gesicht. Du hörst die Musik nicht. Lass deine Kinder schreien, man hört es nicht.

Unschlagbar!! Kostet dafür aber ca. 8 Eur mtl. Jeder Cent ist gut investiert. Selbst in einem Biergarten führe ich Webinare durch, was ich vorher wegen den Hintergrundgeräuschen nicht konnte.

Heute nutze ich es als Dozent und würde ich jedem empfehlen.

[berlin123]

Unschlagbar!! Kostet dafür aber ca. 8 Eur mtl. Jeder Cent ist gut investiert. Selbst in einem Biergarten führe ich Webinare durch, was ich vorher wegen den Hintergrundgeräuschen nicht konnte.

Ich nutze es auch wenn ich im Cafe arbeite. 60 Minuten pro Tag sind sogar gratis.

[berlin123]

Nutze es noch nicht. Aber werde es definitiv probieren. Der Grund weshalb ich für Talking Head Sachen einen Teleprompter verwende ist, dass ich keine Lust auf die ewige Nachbearbeitung bei frei gesprochenen Takes habe. Mit diesem Tool könnte sich das ändern.

[Frank Glencairn]

Ich hab gerade das hier entdeckt, sieht recht vielversprechend aus.

https://neuroflash.com/

[iasi]

Ich hab gerade das hier entdeckt, sieht recht vielversprechend aus.

https://neuroflash.com/

Warum nur hab ich hier - wie so oft bei diesen KI-Tools - das Gefühl, dass ich bei der Präsentation und Bedienung dieser Tools Intelligenz vermisse?

[Jalue]

Tja, was nutze ich?

Vor allem die Audio Tranksripitons- und Untertitelungs-Tools, die Premiere an Bord hat. Gelegentlich die Suchmaschine Perplexity AI eine schnelle Anfangsrecherche, wobei die Ergebnisse mit Vorsicht zu genießen sind und man auf jeden Fall auch die verlinkten Primärquellen ansehen muss. Ein paarmal habe ich auch Enhance Speech von Adobe genutzt, um "kaputte Töne" zu retten, mit wechselndem Erfolg.

In der Summe ist das alles nice to have, aber wirklich verändert hat es meine Workflows noch nicht. Was mich wirklich interessieren würde: Ein leicht zu bedienendes, z.B. textbasiertes Tool für einfache 2D Animationen, z.B. für die die Erstellung animierter Diagramme oder Explainer-Sequenzen. Gibt zwar schon ein paar Sachen in der Richtung, aber entweder überzeugt mich der Look nicht, bzw. man muss (noch) ein Abo abschließen, worauf ich keine Lust habe.

[berlin123]

Gibt zwar schon ein paar Sachen in der Richtung, aber entweder überzeugt mich der Look nicht, bzw. man muss (noch) ein Abo abschließen, worauf ich keine Lust habe.

Das klingt interessant, welche Paid Services sind das?

[Jalue]

Hier sind einige aufgelistet:
https://filmpuls.info/online-videos-mac ... ools-test/

[Frank Glencairn]

New kids on the block

[Frank Glencairn]

image_2023-05-17_180346482.png

[Darth Schneider]

Wohin uns wohl die KI noch führen wird ?
Der eine arbeitet damit heute schon im Biergarten, der andere im Café…
Gemütlich..D
Später werden dann ganze Filme während dem Schlaf von A-Z fertiggestellt sein zum anschauen beim Frühstück..;)))
Gruss Boris

[Bluboy]

Der Handmade Film kriegt dann das BIO-Sigel

[berlin123]

Mir egal, Haupstsache meine S5ii wird Netflix-approved, dann mach ich bessere filme als jede KI!