Adobe Dubbing and Lip Sync - Lippensynchrone Videotranslation mit KI

[slashCAM]

Adobe hat eine weitere Sneak Peek aus seiner internen Forschung veröffentlicht, die auf generativer KI basiert: "Dubbing and Lip Sync".

Bei dieser Technologie handelt...

Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
Adobe Dubbing and Lip Sync - Lippensynchrone Videotranslation mit KI

[Jott]

Wenn das verläßlich klappt - egal ob innerhalb von Adobe oder als Standalone-Software - wird das ein Knaller. Ich bin großer KI-Freund in Sachen Helferlein im Hintergrund.

Sie müssen nur die Editierbarkeit der Spracherkennung/Übersetzung hinkriegen.

Spannend!

[R S K]

Das ist wirklich nichts Neues. hello8.ai macht das schon eine ganze Weile und ich muss sagen, dass mich deren Lippenbewegungen um einiges mehr überzeugen.



Bei Adobe sieht das im Vergleich aus wie ein schlecht geführter Muppet.

Und ja, das ist eine KI-Anwendung, die ich sehr gutheißen kann. Endlich weg von den üblichen synchron Dinger.

[Frank Glencairn]

Das ist wirklich nichts Neues. hello8.ai macht das schon eine ganze Weile und ich muss sagen, dass mich deren Lippenbewegungen um einiges mehr überzeugen.

Ja das ist viel besser, aber soweit ich sehe ist das auch wieder nur ein Online Service und läuft nicht lokal (schon gar nicht in der NLE) - das macht das ganze natürlich extrem problematisch.

[R S K]

das macht das ganze natürlich extrem problematisch.

Womit du wohl meinst, dass das Problem für beide gleich ist. Beide müssen in die Cloud. Auch Resolve ist fröhlich dabei.

Das ist gleichzeitig die Antwort darauf, warum Apple angeblich so „hinterher” ist, was KI Features angeht. Sollen sie von mir aus gerne sein, solange es nicht so ein Cloud-Mist ist, sondern wie bei Apple üblich immer mit einer Voraussetzung: On-Device.

(… und das ist der Moment, in dem die üblichen Verschwörungstheoretiker aus ihren Löchern gekrochen kommen.)

[Frank Glencairn]

Ja, genau das habe ich mit "nur ein Online Service" gemeint.
Solange das nicht lokal läuft, nutz es mir nix. Egal ob Adobe oder sonstwas.

Resolve macht alles was mit AI zu tun hat übrigens immer schon on device, du brauchst nicht mal ne aktive Internetverbindung.

[ChristianG]

Den "verantwortungsvolle KI-Ansatz" finde ich extrem nervig, egal was man harmloses versucht, dauernd diese Fehlermeldungen und ich frage mich wieso es das gibt. Beispiel: markiert man ein Gesicht und schreibt "Reptiloiden Gesicht" kommt schon so eine Fehlermeldung, Nacktheit und ähnlich wird sicher dreimal nicht gehen. Finde ich künstlerisch komplett unbrauchbar und auch ansonsten lächerlich belehrend.

[Frank Glencairn]

Den "verantwortungsvolle KI-Ansatz" finde ich extrem nervig, egal was man harmloses versucht, dauernd diese Fehlermeldungen und ich frage mich wieso es das gibt. Beispiel: markiert man ein Gesicht und schreibt "Reptiloiden Gesicht" kommt schon so eine Fehlermeldung, Nacktheit und ähnlich wird sicher dreimal nicht gehen. Finde ich künstlerisch komplett unbrauchbar und auch ansonsten lächerlich belehrend.

Du nutzt nur die falschen Modelle, probier mal das hier: https://www.seaart.ai
Da bekommst du mehr Möpse als dir lieb ist ;-)