Logo Logo
/// News

KI trennt Musik in separate Gesangs- und Begleitmusik-Tonspuren

[16:09 Mo,20.September 2021 [e]  von ]    

bildEin Team vom AI Lab von ByteDance, der Muttergesellschaft von TikTok, hat eine neue, auf neuronalen Netzen basierende Methode vorgestellt, um Musikaufnahmen in mehrere einzelne Tonspuren zu zerlegen. Das folgende Beispiel demonstriert eindrücklich, was der neue Algorithmus vermag: er kann ziemlich sauber die Gesangsspur von der musikalischen Begleitung trennen oder auch das Schlagzeug oder den Bass - und die Musik ohne Bass und Schlagzeug anspielen.





Einsetzen läßt sich die Methode für verschiedene Zwecke: natürlich ist sie perfekt zum Remixen von Musik, wenn man nicht über die einzelnen Spuren der Originalaufnahme verfügt - bei Gesangsaufnahmen in Videos könnten so theoretisch auch nachträglich noch die Stimmen in einer anderen Sprache gedubbt werden. Interessant wäre ein Versuch, ob der Algorithmus auch in der Lage ist, Stimmen aus Aufnahmen vor einer Geräuschkulisse zu extrahieren - er ließe sich dann wie ein intelligenter Rauschfilter nutzen, um nachträglich klarere Aufnahmen zu produzieren.

Wie immer steht der Python-Programmcode für Kundige zum Download und für eigene Tests bereit. User können so Songs in die verschiedene Tonspuren aufteilen und auch ihre eigenen Systeme zur Trennung von Musikquellen mit diesem Repository trainieren. Dieses Repository umfasst auch Sprachverbesserung, Instrumententrennung usw.

Wer nicht über die erforderlichen Kenntnisse verfügt, kann den Algorithmus hier mit einem kleinen Audioschnipsel seiner Wahl selbst ausprobieren (als Input wird eine maximal 10 Sekunden lange Sounddatei im .Wav-Format benötigt) - bei unserem Test hat die Trennung in Stimm- und Begleitspur sehr gut funktioniert.


Musik separieren zum selbst ausprobieren

Link mehr Informationen bei arxiv.org

  
[7 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
Bluboy    18:00 am 21.9.2021
Isolated Tracks sind auf Youtube zu Hauff allerdings keine Konkurenz zu echten Multitracks
medienonkel    16:54 am 21.9.2021
Kleiner Nachtrag, weil im Artikel ja der Wunsch nach einer Bearbeitung eines O-Tones kurz angesprochen wurde. Auch dafür gibt es in RX8 eine separate Funktion. Stimmoptimierung...weiterlesen
medienonkel    19:42 am 20.9.2021
Ich möchte die Euphorie ja nicht unnötig schmälern, aber das gibt es schon länger als kommerzielles Produkt. https://www.izotope.com/en/products/rx/features.html Musical...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildKostenlose Roland AeroCaster Switcher App für iPads mixt 5 kabellose Videpoinputs bildAputure stellt helles Nova P600c RGBWW LED Soft Panel mit 600W vor


verwandte Newsmeldungen:
Sound:

Audio Design Desk: Bessere Integration in Final Cut Pro per Audio Bridge Erweiterung 8.April 2022
DJI Mic: Drahtloses 2-Kanal Clip-on Mikrofonsystem mit zwei Sendern 5.April 2022
Fujifim X-T4 und X-S10 sind jetzt mit dem Tascam XLR-Adapter kompatibel 1.April 2022
Rode NTH-100: Erster professioneller Studio-Kopfhörer für Audio-Monitoring, Filmmaking u.a. 29.März 2022
Wie klingt ein Sandwurm? Wie das Oscar-nominierte Sound-Design von Dune entstand 6.März 2022
MAGIX Content: Video Deluxe und Video Pro X mit integrierter Musik- und Stockvideo-Bibliothek 4.März 2022
Zoom Q8n-4K Videokamera mit professionellen Audio-Funktionen wird ausgeliefert 5.Februar 2022
alle Newsmeldungen zum Thema Sound

Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
alle Newsmeldungen zum Thema Machine Learning

Film:

KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Die Workflows der Oscar-nominierten Filme - welche Technik nutzen die Profis und wie 10.April 2022
DJI Mic: Drahtloses 2-Kanal Clip-on Mikrofonsystem mit zwei Sendern 5.April 2022
Oscars 2022: "Coda" von Apple TV+ bester Film - Dune mit den meisten Einzeltiteln 28.März 2022
Disney entwickelt modulare Technik für holographische Filme in Kinogröße 20.März 2022
Amazon übernimmt MGM, inkl. zahlreicher Film- und Serienrechte 18.März 2022
Windows 11: Kostenloser Videoschnitt per Movie Maker Nachfolger nur bis 640x480 16.März 2022
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 16.Mai 2022 - 16:39
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*