Logo Logo
/// News

StoryToolkitAI: Kostenlose Transkription und Übersetzung für DaVinci Resolve 18

[15:48 Mi,12.Oktober 2022 [e]  von ]    

Wir hatten ja vor kurzem über OpenAIs offenes KI Transkriptions- und Übersetzungsprogramm Whisper berichtet - jetzt hat der deutsche Filmemacher Octavian Mot ein kostenloses Plugin namens StoryToolkitAI (macOS/Windows) für Blackmagics Grading-, Schnitt-, Compositing- und Audio-Mastering-Programm DaVinci Resolve (Studio) 18 entwickelt, welches diese Fähigkeiten nutzt. StoryToolkitAI rendert direkt aus der Timeline von Resolve ein reines Audio-File und schickt dieses an eine lokal installierte Version von OpenAI Whisper, welche dieses dann in Text transkribiert. Das hat u.a. den Vorteil, daß im Gegensatz zu anderen Transkriptionslösungen, welche Online-Dienste nutzen, das Audio nie den eigenen PC verlässt.


StoryToolkitAI_GUI
StoryToolkitAI GUI


Das Tool kann dank Whisper nicht nur Sprachaufzeichnungen aus verschiedenen Sprachen in Text (kostenlos!) transkribieren, sondern diesen Text auch ins Englische übersetzen. Implementiert wurden zudem noch praktische Zusatzfunktionen, wie etwa eine Suche oder eine Navigation in der Timeline mittels Textstellen der Transkription. In Arbeit sind weitere Funktionen wie etwa eine Teiltranskription mittels Markern, mehr Einstellungsmöglichkeiten oder eine automatische Erkennung von Sprechern (wichtig bei der Transkription von Dialogen).

Die Qualität der Ergebnisse von Whisper sind sehr hoch - die Transkription klappt auch bei schlechter Audioqualität (z.B. aufgrund einer niedrigen Bitrate). Laut OpenAI wurden die Whisper-Modelle mittels Daten von 98 verschiedenen Sprachen trainiert (ca. 65% der Daten auf Englisch) und zeigen gute Ergebnisse bei der automatischen Spracherkennung in ~10 Sprachen. Für Filmemacher bzw. Videopodcaster besonders interessant ist unter anderem die Möglichkeit, dank Transkription und Übersetzung Untertitel in mehreren Sprachen zu erstellen und diese je nach Herkunft des Zielpublikums anzubieten.

StoryToolkitAI befindet sich noch in einem frühen Entwicklungsstadium (die GUI ist noch sehr simpel), ist aber schon voll funktionsfähig. Voraussetzung ist allerdings eine Installation mehrerer Komponenten per Commandline ( hier die Anleitung).

DaVinci-Resolve-18-Cut



Geschwindigkeit der Transkription


Voraussetzung für eine flotte Transkription ist ein einigermaßen aktueller Computer - idealerweise mit einer leistungsstarken GPU. Groben Tests zufolge transkribiert ein Apple M1 Macbook Pro mit 16GB RAM eine 30 sekündige Timeline in ca. 45 Sekunden (1.5x) und eine Windows Workstation mit einer Nvidia GTX 1070 eine 60 sekündige Zeitleiste in ca. 20 Sekunden (0,25-fache Zeitlänge des Audios) - neuere RTX-GPUs sind aber nochmals deutlich schneller (0,05-0,10-fache der Audiodauer).(Danke an Constantin für die Meldung!)

Hauptfunktionen von StoryToolkitAI


- Kostenlose automatische Transkription in vielen Sprachen auf einem lokalen Rechner direkt aus Resolve
- Kostenlose automatische Übersetzung aus vielen Sprachen ins Englische auf einem lokalen Rechner direkt aus Resolve heraus
- Export von Transkripten in mehrere Formate, einschließlich SRT
- Importieren einer SRT-Transkriptionsdatei direkt in Resolve
- Transkriptions-Warteschlange, die Folgendes ermöglicht:
- Navigation in der Transkriptionszeitachse - durch Klicken auf eine Phrase wird der Resolve-Abspielkopf an die entsprechende Stelle in der Timeline gesetzt
- Transkript-Wortsuche: ermöglicht es, bestimmte Wörter oder Phrasen in einem Transkript zu finden
- Kopieren von Markierungen zwischen Resolve-Timelines und Timeline-Quellclip
- Rendern von Resolve-Markern in Standbilder oder Clips
- Transkription von Audiodateien, auch wenn Resolve nicht auf dem Rechner installiert ist

Funktionen in Entwicklung


- Mark In / Mark Out direkt aus dem Tool in Resolve
- Erweiterte Transkriptionen mit mehr Benutzereingaben, wie Quellensprache und Auswahl
- Globale Suche, um Wörter oder Phrasen in Projekttranskripten zu finden
- Transkriptbearbeitung vom Tool aus
- Geschnittene Transkriptionen basierend auf Resolve-Dauer-Markierungen, um nur Teile der Zeitachse zu transkribieren
- Erkennung von Sprechern
- Integration mit anderen AI/ML-Tools

Link mehr Informationen bei github.com

  
[2 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
berlin123    16:56 am 12.10.2022
Wow. Werde ich probieren. Habe Transkriptionen eine Zeit lang in Premiere gemacht auch wenn ich damit nicht geschnitten habe. Das Ergebnis war unerwarteterweise besser als Google's...weiterlesen
dienstag_01    15:58 am 12.10.2022
Ups, danke für Beitrag und Tipp!!!
[Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildPanasonic Winter Cashback: Bis zu 300 Euro sparen beim Kauf einer Lumix S1, S1R, S5, GH6, GH5M2 Kamera bildCanon EOS R6 Mk II mit Stacked Sensor (EOS R3) im Anflug?


verwandte Newsmeldungen:
Blackmagic Design DaVinci Resolve:

Blackmagic Design bringt neues DaVinci Resolve Update 18.1.1 23.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Blackmagic Davinci Resolve für iPad - Mehr Details sowie Preise und Verfügbarkeit 20.Oktober 2022
Davinci Resolve für iPad erstmals gezeigt 19.Oktober 2022
Blackmagic DaVinci Resolve 18.0.4 bringt Blackmagic RAW 2.7 1.Oktober 2022
Blackmagic DaVinci Resolve Update 18.0.3 ist erschienen 16.September 2022
Blackmagic DaVinci Resolve 18.0.2 Update behebt unter anderem Probleme beim Export zu YouTube 8.September 2022
alle Newsmeldungen zum Thema Blackmagic Design DaVinci Resolve

Blackmagic DaVinci Resolve:

Blackmagic Design bringt neues DaVinci Resolve Update 18.1.1 23.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Blackmagic Davinci Resolve für iPad - Mehr Details sowie Preise und Verfügbarkeit 20.Oktober 2022
Davinci Resolve für iPad erstmals gezeigt 19.Oktober 2022
Blackmagic DaVinci Resolve 18.0.4 bringt Blackmagic RAW 2.7 1.Oktober 2022
Blackmagic DaVinci Resolve Update 18.0.3 ist erschienen 16.September 2022
Blackmagic DaVinci Resolve 18.0.2 Update behebt unter anderem Probleme beim Export zu YouTube 8.September 2022
alle Newsmeldungen zum Thema Blackmagic DaVinci Resolve

Compositing:

Blackmagic Design bringt neues DaVinci Resolve Update 18.1.1 23.November 2022
Blackmagic Davinci Resolve für iPad - Mehr Details sowie Preise und Verfügbarkeit 20.Oktober 2022
Neu: Adobe Premiere Pro verbessert, After Effects bekommt flexible Spurmaskenebenen 19.Oktober 2022
Davinci Resolve für iPad erstmals gezeigt 19.Oktober 2022
Kostenlose Online-Sessions zu Premiere Pro und After Effects auf der Adobe MAX 2022 16.Oktober 2022
Blackmagic DaVinci Resolve 18.0.4 bringt Blackmagic RAW 2.7 1.Oktober 2022
Neue Plugin-Pakete für Final Cut Pro von Boris FX kosten 59 Dollar 19.September 2022
alle Newsmeldungen zum Thema Compositing


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 30.November 2022 - 18:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*