Frage von tom:Wir sind dabei, eine Übersicht von KI-Tools zu erstellen, welche bei der Videobearbeitung helfen - angefangen von Audio-Tools z.B. zum De-Denoising, Stimmisolation über virtuelle Sprecher und automatischen Transkription von Audio bis hin zum Stiltransfer, Up-Scaling per Superresolution und Entrauschen von Videos (oder auch Photos).
Deswegen unsere Fragen an Euch als Praktiker:
- Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?
- Was sind Eure Erfahrungen damit?
- Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?
Euer slashCAM-Team
Antwort von Frank Glencairn:
So ziemlich alles was ich in die Finger bekomme.
Produktiv/kommerziell setze ich aktuell alles in Resolve ein, zusätzlich noch einige andere Audio Plugins, DeepL für schnelle Übersetzungen, diverse Text to Speech, Topaz (hauptsächlich im Fotobereich) und gerade wurde ich für ne Voice Clone Beta (Koe AI) freigeschaltet.
Vieles kann man bereits gut nutzen und einsetzen, anderes braucht noch ne Weile bis es "ready for prime time" ist.
Antwort von pillepalle:
Für Video z.B. was in Resolve zur Verfügung steht ( De-Noisung/Voice Isolation, Maskierung). Funktioniert meist auch ganz ordentlich. Aber wenn man die Tools gar nicht erst braucht ist es noch besser und vor allem schneller ;)
Ich bin diesbezüglich ja Old-School. Es hängt eben auch stark vom Bereich ab, in dem man unterwegs ist. Wenn man auf die Korrektur-Tools zuurückgreifen muss bedeutet das eigentlich, dass man bei der Aufnahme Murks gemacht hat, den man nachträglich korrigiert. So sehe ich das meist bei meiner Arbeit. Aber in Situationen und Bereichen wo man keine Zeit hatte etwas richtig zu machen (z.B. Reportage/News, Doku, usw.), ist das natürlich eine große Hilfe. Alles was einem die Arbeit am Ende leichter macht, ist erstmal postiv. Gerade wenn es um eher stumpfe Tätigkeiten geht.
VG
Antwort von cantsin:
tom hat geschrieben:
- Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?
- DeepL in der Pro-Version für Übersetzungen (wobei da vor allem die interaktiven Funktionen punkten, mit denen man von der KI erst eine Grobübersetzung bekommt, die man dann mit den zahlreichen Alternativvorschlägen für jedes Wort und jeden Satzteil feintunen kann) und neuerdings auch einfaches Lektorat (DeepL Write)
- HappyScribe für automatisch bzw. halbautomatisch erstellte Untertitel. Aus meiner Sicht besser als Simon Says, weil hier ein hervorragender interaktiver Online-Untertiteleditor dabei ist (einschließlich mitlaufender Originaltonspur), mit dem sich das Ergebnis der automatischen Spracherkennung sowie der Untertitel-Einteilung korrigieren lässt.
- Stable Diffusion für KI-Bildgenerierung, aus meiner Sicht besser als Dall-E & Co., weil es als Open Source-Software ohne Cloud-Geschäftsmodell und Contentfilter lokal auf dem Rechner läuft und mit eigenen Modellen trainiert werden kann (die c't hat ein gutes Video dazu:
https://www.youtube.com/watch?v=udvynl4YcsE , wobei das dortige Beispiel der Selfies natürlich auf beliebige andere Bildtypen übertragbar ist).
- Die computational photography meines Smartphones, Google Pixel 6 Pro, besonders im "Night Mode", wobei das IMO geniale ist, das mit ihr nicht nur JPEGs, sondern auch undebayerte DNGs aufgenommen werden können (und die trotzdem die ganze computational photography wie z.B. Belichtungsreihen-basiertes Tonemapping und temporale Entrauschung drinhaben). Vor allem in Kombination mit der mobile App-Version von Lightroom (und den alternativen Kamera-Farbprofilen von Cobalt) ist das ziemlich mächtiges Kombi-Werkzeug, und es ist schade, dass es diese Funktionen nicht in herkömmlichen Kameras gibt.
- Bei Still-Fotoprozessierung ist DxO Photolab mit dem DeepPrime/DeepPrime XD-Debayering/Denoising (bzw. der genialen Idee, Debayering und Denoising in
einem machine learning-basierten Prozess zu erledigen) IMO unschlagbar. Man kann damit Fotos mit alten Kompaktkameras (sofern sie Raw-Aufnahme unterstützen) machen, und kriegt Bilder wie (mindestens) aus einer APS C-Systemkamera; hier mal ein mit einer Nikon 1 V3 geschossenes Beispielfoto:
deep_prime_xd.jpg
Schade, dass es bislang noch keine guten AI-basierten Video-Denoiser gibt (auf dem Niveau von/als Konkurrenz zu Neat Video Pro)... Worauf ich auch warte, sind AI-basierte Tools, die auf der Basis von machine learning/training sets wirklich überzeugende Look-Transformationen hinkriegen, z.B. von Systemkamera-10bit-4K-Material zu Kodachrome 16mm-Film...
- Schon länger, aber nur gelegentlich: Photoshops "context-aware fill", wobei das nicht immer überzeugt, genausowenig wie Photoshops/Lightrooms Super Resolution. IMO hinkt Adobe der aktuellen Entwicklung etwas hinterher (sowieso auf vielen Gebieten).
- Ab und zu spiele ich mit ChatGPT als Code-Generator (da z.B. Dinge gehen wie: "erstelle eine Animation eines über den Bildschirm hüpfenden Balls als Javascript"), wobei die Ergebnisse nicht immer gut funktionieren und man den Code schon händisch debuggen muss.
Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?
TopazAI bzw. die diversen Topaz-Tools. IMHO erzeugen sie genausoviele neue Probleme, wie sie Bildqualitäts-Probleme in altem/LoFi-Bildmaterial lösen - nämlich ziemlich grausame Artefakte, wenn man die Bilder 1:1 betrachtet.
- Davon abgesehen, arbeitet jeder von uns täglich mit KI/Machine Learning-basierter Technologie, wenn wir z.B. Online-Bildsuchen machen oder andere Suchmaschinen verwenden, Software mit Autokorrektur-/vervollständigungs-Modulen verwenden etc.pp.
Antwort von Darth Schneider:
@Tom
Bisher bewusst, nur die De Noise und ein wenig (weil für mich immer noch ein leeres offenes Buch) die Magic Mask Funktion in Resolve.
„Bewusst“ schreibe ich, weil gar nicht so genau weiss, wo die KI in Resolve überall sonst noch ihre Finger drin hat. Fusion Titel nutze ich auch öfters…
Ach ja, und Garage Band (finde ich ein unterschätztes Tool für Sound in Video) nutze ich auch sehr gerne, die App dürfte gefühlt ja voller KI Funktionen sein.
Und die Autokorrektur in der Foto App auf meinem iPad, nutze ich viel, funktioniert ganz gut..;)
Gruss Boris
Antwort von basarseven:
KRISP. Für Live-Webinare für mich unerlässlich. Ist kein klassischer Noice Reduction, sondern erkennt und steuert mit KI deine Stimme und eliminiert alle Geräusche.
Schalte Musik auf den Handy ein, volle Lautstärke und halte es vor deinem Gesicht. Du hörst die Musik nicht. Lass deine Kinder schreien, man hört es nicht.
Unschlagbar!! Kostet dafür aber ca. 8 Eur mtl. Jeder Cent ist gut investiert. Selbst in einem Biergarten führe ich Webinare durch, was ich vorher wegen den Hintergrundgeräuschen nicht konnte.
Heute nutze ich es als Dozent und würde ich jedem empfehlen.
Antwort von berlin123:
basarseven hat geschrieben:
Unschlagbar!! Kostet dafür aber ca. 8 Eur mtl. Jeder Cent ist gut investiert. Selbst in einem Biergarten führe ich Webinare durch, was ich vorher wegen den Hintergrundgeräuschen nicht konnte.
Ich nutze es auch wenn ich im Cafe arbeite. 60 Minuten pro Tag sind sogar gratis.
Antwort von berlin123:
Nutze es noch nicht. Aber werde es definitiv probieren. Der Grund weshalb ich für Talking Head Sachen einen Teleprompter verwende ist, dass ich keine Lust auf die ewige Nachbearbeitung bei frei gesprochenen Takes habe. Mit diesem Tool könnte sich das ändern.
https://www.youtube.com/watch?v=YefvjEwqVGE
Antwort von Frank Glencairn:
Ich hab gerade das hier entdeckt, sieht recht vielversprechend aus.
https://neuroflash.com/
Antwort von iasi:
"Frank Glencairn" hat geschrieben:
Ich hab gerade das hier entdeckt, sieht recht vielversprechend aus.
https://neuroflash.com/
Warum nur hab ich hier - wie so oft bei diesen KI-Tools - das Gefühl, dass ich bei der Präsentation und Bedienung dieser Tools Intelligenz vermisse?
Antwort von Jalue:
Tja, was nutze ich?
Vor allem die Audio Tranksripitons- und Untertitelungs-Tools, die Premiere an Bord hat. Gelegentlich die Suchmaschine Perplexity AI eine schnelle Anfangsrecherche, wobei die Ergebnisse mit Vorsicht zu genießen sind und man auf jeden Fall auch die verlinkten Primärquellen ansehen muss. Ein paarmal habe ich auch Enhance Speech von Adobe genutzt, um "kaputte Töne" zu retten, mit wechselndem Erfolg.
In der Summe ist das alles nice to have, aber wirklich verändert hat es meine Workflows noch nicht. Was mich wirklich interessieren würde: Ein leicht zu bedienendes, z.B. textbasiertes Tool für einfache 2D Animationen, z.B. für die die Erstellung animierter Diagramme oder Explainer-Sequenzen. Gibt zwar schon ein paar Sachen in der Richtung, aber entweder überzeugt mich der Look nicht, bzw. man muss (noch) ein Abo abschließen, worauf ich keine Lust habe.
Antwort von berlin123:
Jalue hat geschrieben:
Gibt zwar schon ein paar Sachen in der Richtung, aber entweder überzeugt mich der Look nicht, bzw. man muss (noch) ein Abo abschließen, worauf ich keine Lust habe.
Das klingt interessant, welche Paid Services sind das?
Antwort von Jalue:
Hier sind einige aufgelistet:
https://filmpuls.info/online-videos-mac ... ools-test/
Antwort von Frank Glencairn:
New kids on the block
Antwort von Frank Glencairn:
image_2023-05-17_180346482.png
Antwort von Darth Schneider:
Wohin uns wohl die KI noch führen wird ?
Der eine arbeitet damit heute schon im Biergarten, der andere im Café…
Gemütlich..D
Später werden dann ganze Filme während dem Schlaf von A-Z fertiggestellt sein zum anschauen beim Frühstück..;)))
Gruss Boris
Antwort von Bluboy:
Der Handmade Film kriegt dann das BIO-Sigel
Antwort von berlin123:
Mir egal, Haupstsache meine S5ii wird Netflix-approved, dann mach ich bessere filme als jede KI!
Antwort von Frank Glencairn:
Ist natürlich noch in den Kinderschuhen, aber ich schätze mal daß irgendwelcher Noise in Zukunft kein Thema mehr sein wird.
image_2023-06-21_092547391.png
Antwort von DAF:
Bluboy hat geschrieben:
Der Handmade Film kriegt dann das BIO-Sigel
Nur bei zertifizierter Freiland-Haltung der Creator*Innen.
BTW: Gibt´s eine KI (App) die schon brauchbar Musik komponiert & selbst spielt?
Antwort von Frank Glencairn:
Soweit ich weiß nicht - klingt alles noch nach einem schlechten LSD Tripp.
Ich glaube auch, daß Musik nie die Domäne eine KI sein wird.
Musik (und auch verschiedene Stile) sind eigentlich recht einfach mathematisch beschreibbar - und damit auch erzeugbar.
Das sieht man schon daran daß selbst 10 Jahre alte Band-In-A Box (oder Garage Band) generierte Musik um Größenordnungen besser und brauchbarer ist, als alles was KI bisher hervorgebracht hat.
Antwort von Frank Glencairn:
Nur 24 Stunden Trainingszeit auf einer einzelnen Nvidia Karte - soviel zum Thema man könne AI angeblich nicht zuhause auf ner einzelnen Workstation trainieren.
Antwort von berlin123:
"Frank Glencairn" hat geschrieben:
- soviel zum Thema man könne AI angeblich nicht zuhause auf ner einzelnen Workstation trainieren.
Wer sagt man könne „KI“ nicht auf einem Rechner trainieren?
Wir hatten hier mal die Diskussion, da ging es um LLMs in der Größenordnung von GPT und Bard.
Die Aussage bleibt: wenn du auf deinem Rechner in Einzelarbeit ein LLM mit der Datenmenge, der Parameter-Anzahl und den Fähigkeiten von ChatGPT in einem Jahr trainieren kannst, dann ist dir eine Milliarde Venture Capital für FrankGPT sicher.
Antwort von Frank Glencairn:
Antwort von CameraRick:
tom hat geschrieben:
- Welche KI-Tools (KI-Online-Dienste oder auch KI-Funktionen in bestimmten Programmen wie zum Beispiel Adobes Sensei oder DaVinci Resolves Neural Engine) nutzt ihr bereits und für welche Aufgaben?
- Was sind Eure Erfahrungen damit?
- Habt ihr Tools ausprobiert, die Euch nicht überzeugt haben?
- Topaz GigaPixel und VideoEnhance AI (ich weiß, beide sind neu aufgelegt als Photo und Video, aber die finde ich irgendwie blöde); beide zum Upscaling/De-Blocking. Ergebnisse sind ziemlich hit-or-miss, die Großteil ist brauchbar aber auch vieles einfach Käse. Einmal hat es mich immens überrascht, also werde ich es auch weiter immer mal versuchen. Deutlich besser als was Resolve, Nuke oder AE können (in meinen persönlichen Vergleichen - kommt sicher aufs Material an)
- wie auch immer das Ding in Photoshop 23 Beta heißt (ist das Sensei?); eine spannende Funktion aber ich würde sie derzeit im Lebtag nicht für professionelle Fälle einsetzen; bzw nur für so Geschichten wo ich vielleicht für zehn Frames etwas mehr Fleisch im Bild brauche, so als Extension, das klappt gut. Es ist auch hervorragend geeignet um Photoshop-Montagen der Kollegen zu bauen, für so Schabernack wo Qualität eh egal ist. Für richtig Sachen ists mir zu viel Gefummel
- diese MagicMask Geschichte in Resolve habe ich mal für etwas komplexere Rotos benutzt. Man kriegt schnell ein Ergebnis, aber am Ende habe ich so viel Zeit ins Fixen gesteckt dass ich es von vornherein hätte sauber machen können. Aber gefühlt spart es schon Zeit ein. Für Grading-Anwendungen sicher ziemlich gut, aber das liegt wohl eher an den Roto-Optionen im Resolve
- CopyCat und seine Freunde im Nuke würde ich gerne mal probieren, da das aber nur so richtig auf nVidia läuft ist das leider ein Ding für Zuhause, also meine Freizeit - und da habe ich frei, also warte ich bis es auf AMD läuft.
- die Plugins von Pixelmania.se würde ich auch gerne mal anschauen - NNFlowVector sieht echt spannend aus. NNClenup hingegen hat schon so brachial schlechte Beispiele auf deren Website, da würde ich gerne mal selber vergleichen ob die das wirklich ernst meinen, haha
Antwort von Alex:
Gibt's eigentlich schon etwas auf Basis aktueller KI-Technologie mit selektivem Grading für Video? Also mit (eigenen) Look Vorgaben und dann automatisch und "intelligent"?
Antwort von Frank Glencairn:
ColorlabAI (Resolve/Premiere/FinalCut)
https://colourlab.ai/author/dado/
https://youtu.be/Rm4N6bndB1M?t=1054
Antwort von MK:
Was ist das für ein gottverdammter Streifen??? Dachte gerade schon für nen Moment jetzt ist der Monitor am Arsch...
m1.jpg
m2.jpg
Antwort von Frank Glencairn:
Ist mir auch aufgefallen - anamorphic Flare womöglich, keine Ahnung.
Antwort von Frank Glencairn:
Antwort von macaw:
MK hat geschrieben:
Was ist das für ein gottverdammter Streifen??? Dachte gerade schon für nen Moment jetzt ist der Monitor am Arsch...
m1.jpg
m2.jpg
:-D
Antwort von Alex:
aREyXvy_700b.jpg
Antwort von Frank Glencairn:
Antwort von iasi:
MK hat geschrieben:
Was ist das für ein gottverdammter Streifen??? Dachte gerade schon für nen Moment jetzt ist der Monitor am Arsch...
m1.jpg
m2.jpg
Ist auch bei anderen Einstellungen - ganz tolle cinematische Flares. :)
Genau dafür nutzt man doch ein Anamorphot. ;)
Antwort von Frank Glencairn:
Wirklich beachtlich
Antwort von iasi:
"Frank Glencairn" hat geschrieben:
Wirklich beachtlich
Na dann gleich mal bei der Masterclass anmelden. :)
Antwort von klusterdegenerierung:
Man hätte ja auch gut nur die Zähne oder Hände von dem zeigen können.
Antwort von Frank Glencairn:
Antwort von iasi:
"Frank Glencairn" hat geschrieben:
Interessant.
Leider habe ich keine Testversion gefunden.
Die Katze im Sack will man schließlich nicht kaufen.
Antwort von Cinemator:
Bißchen Übersicht neuere AI Möglichkeiten
Antwort von Skeptiker:
Cinemator hat geschrieben:
Bißchen Übersicht neuere AI Möglichkeiten
-> obiger Link
Danke!
Man verzeihe mir den off-topic-Kommentar:
Der Mann spricht schon wie ein Roboter und bestärkt mich in meinem Eindruck zu dieser technischen Zeitenwende: Computer Nerds und Technokraten übernehmen die Welt - endgültig!
Antwort von Frank Glencairn:
Antwort von Bergspetzl:
Wenn ich hier schon die experten sitzen habe 🤓
Seit anfang des jahres arbeite ich an einem dokumentarfilm, der rein auf ai generierten bildern um Stil einer graphic novel besteht. Ich habe runway und stable Diffusion, dall-e & co versucht, mache aber nun alles in midjourney.
Da es allerdings oft eher spezielle Anforderungen an die bilder sind ist das eine wirklich zeitaufwendige sache. Manchmal sind 2-3 Stunden für ein einzelnes frame keine seltenheit. Oft versteht die ki diese spezial interest anforderungen nicht (zb 2 junge kletterer mit der falschen Ausrüstung und kleidung sitzen 1950 bei einem wintereinbruch in einer wand fest. Ihr seil ist eingefroren...) Ich bin wohl schon relativ geübt in verbindung mit skizzen, trainingsbildern und photshop halbwegs Ergebnisse zu erzielen...aber von einem workflow und konsistenz, gerade bei aufwändigeren 'haltungen' der Charaktere bin ich gefühlt nach wie vor meilenweit entfernt.
Habt ihr für diesen case ideen?
Antwort von Frank Glencairn:
Lustigerweise mach ich gerade das selbe für eine ganze GEO Doku-Serie.
Allerdings brauch ich da nur ein paar Graphic-Novel Elemente für den Vorspann und die Trenner.
will-o-weeps-in-a-louisiana-swamp-night-scene-ci.jpg
werwolf-attacking-sheep.jpg
Und ja, das ist ja genau das was ich schon die ganze Zeit gesagt habe, je konkreter deine Wünsche sind, und je konsistenter das ganze sein soll, desto schwieriger wird's, und desto länger dauert es, bis man halbwegs bekommt was man braucht.
Ich kann dir da ehrlich gesagt auch nicht viele Tipps geben, außer vielleicht mal zu versuchen die Prompts von ChatGPT erstellen zu lassen.
Antwort von berlin123:
Bergspetzl hat geschrieben:
Habt ihr für diesen case ideen?
Das gerade vorgestellte Dall-e 3 soll laut Aussage einiger Tester hier einen großen Schritt nach vorne gemacht haben.
Von der Bildqualität angeblich zu Midjourney aufgeschlossen. Vor allem aber intelligenter, da es jetzt das Text Verständnis von GPT nutzt.
Die offiziellen Beispiele sind auch beeindruckend.
Antwort von Frank Glencairn:
Antwort von TheGadgetFilms:
"Frank Glencairn" hat geschrieben:
Danke für einen geretteten Abend ;)
