Logo Logo
/// News

Meta Encodec komprimiert mit KI Audio-Dateien deutlich stärker als MP3

[11:20 Mo,21.November 2022 [e]  von ]    

Das klingt spannend: Meta / Facebook Research haben einen KI-basierten Audio-Codec namens Encodec vorgestellt, der es (zumindest auf dem Forschungspapier) wahrlich in sich hat. Dieser soll gegenüber MP3-Dateien gerade bei sehr geringen Datenraten bei vergleichbarer Qualität noch einmal eine um den Faktor 10 bessere Kompression erzielen.

Dies würde bedeuten, dass sich hiermit MP3-Audiodateien noch einmal durchschnittlich auf ein Zehntel ihres Datenspeicherbedarfs reduzieren ließen. Dies hätte wiederum enorme Auswirkungen auf offline Speicherung und Audio-Streaming.

Der Aufbau von Encodec erinnert dabei stark an typische VACs/GANs. Der Kompressor erzeugt Samples, die ein folgender Diskriminator als echt oder rekonstruiert klassifiziert. Das Kompressionsmodell modifiziert daraufhin seinen Output so lange, bis der Diskriminator alle Samples für echt hält. Gleichzeitig lernt der Diskriminator auch immer verlässlicher "echt" von "rekonstruiert" zu unterscheiden. Dieses Wechselspiel perfektioniert die Audioqualität anschließend bei minimalem Dateneinsatz im Modell.



encodec
Der Aufbau von Encodec (Bildquelle: Meta)



Laut Meta könne Encodec so Audio mit niedriger Bitrate (64 kb/s) ohne Qualitätsverlust rekonstruieren und habe zudem noch Potenzial für weitere Verbesserungen. So trainierte man zusätzlich ein Transformer-basiertes Sprachmodell, das bei gleichbleibender Qualität weitere 40 Prozent Bandbreite einsparen könnte, wenn die Latenz wie beim Streaming nicht entscheidend sei. Anders gesagt, wenn der Encoder nicht in Echtzeit arbeiten muss, sind für MP3-Audio-Anwendungen noch größere Kompressionsgewinne möglich.

Spezielle Hardware ist für den Einsatz interessanterweise ebenfalls nicht notwendig. Ein einzelner CPU-Kern soll zum En- und Decoding mit dem neuen Verfahren in Echtzeit ausreichen.

Und damit immer noch nicht genug. Meta hat angekündigt, mit KI in einem kommenden Forschungsvorhaben auch Video effektiver komprimieren zu wollen.

Link mehr Informationen bei github.com

  
[2 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
cantsin    17:33 am 21.11.2022
Wenn's um Streaming geht, ist jedes eingesparte Bit ein handfester Vorteil (hinsichtlich Bandbreite, Serverkapazität, Energiekosten etc.). Wobei mp3 ja mittlerweile ein 31...weiterlesen
teichomad    17:04 am 21.11.2022
MP3 Dateigrößen waren ein Problem ?
[Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildARRI Rental stellt mit HEROES weitere LF Objektiv-Kollektion vor: T.One und LOOK bildUmfrage unter 1.000 Fotografen (Pros und Amateure): Welche Kamera nutzt ihr?


verwandte Newsmeldungen:
Sound:

Noch mehr Black Friday Angebote: Kameras, LED Lichter, Akkus, Mixer, Stative und Kamerazubehör 10.November 2022
Røde X - Mikrofone und Unify Software Mixer fürs Streaming - XCM-50, XDM-100 28.Oktober 2022
Creator Music - Musik direkt in YouTube Studio lizensieren 27.September 2022
Bluetooth LE Audio bringt viel bessere Soundqualität und endlich einen Broadcast-Modus 16.Juli 2022
Xiaomi 12S Ultra: Leica-Kamera mit 1" Sensor und 10bit HDR-Aufnahme in Dolby Vision 5.Juli 2022
Blackmagic Pocket Cinema Camera 6K G2 - Größerer Akku, 2x XLR und Klappdisplay 23.Juni 2022
Zhiyun Weebill 3: Einhand-Gimbal für DSLRs und DSLMs jetzt mit integriertem Licht und Mikro 16.Juni 2022
alle Newsmeldungen zum Thema Sound

Codecs:

BRAW Toolbox erlaubt nativen Blackmagic RAW File Import unter Final Cut Pro 1.November 2022
Blackmagic DaVinci Resolve 18.0.4 bringt Blackmagic RAW 2.7 1.Oktober 2022
Neue Nvidia RTX 6000 Profi-Grafikkarte: 48 GB VRAM und 18.176 CUDA Cores 23.September 2022
Panasonic S5, S1, S1H, BS1H: Neue Firmware verbessert Weißabgleichsoptionen von Blackmagic RAW 9.August 2022
Apple arbeitet endlich an universeller Unterstützung für den AV1 Codec 26.Juni 2022
Adobe Premiere Pro Update 22.4 bringt 10x schnelleren 4:2:0-HEVC Export 12.Mai 2022
AJA HELO Plus: Professionelles H.264 Recording und duales Streaming 27.April 2022
alle Newsmeldungen zum Thema Codecs

Machine Learning:

KI kopiert Filmstil von "Into the Spider-Verse"in Rekordzeit 14.November 2022
MAXIM - KI-Tool vereint diverse Bildverbesserungen in einem Modell 13.November 2022
Blackmagic Resolve 18.1 Update u.a. mit KI-Sprach-Isolation und Vektor-Keyframes 11.November 2022
Stockphoto-Portal Shutterstock integriert KI-Bilder und gibt eine Antwort auf die Gretchenfrage 5.November 2022
AvatarCLIP: Neue KI generiert und animiert 3D-Avatare per Textbeschreibung 28.Oktober 2022
Topaz Video Enhance AI 3.0: Neue KI-Funktionen und großer Preisrabatt 24.Oktober 2022
Luma AI: Neue Smartphone-App erstellt 3D-Modelle von beliebigen Objekten 21.Oktober 2022
alle Newsmeldungen zum Thema Machine Learning


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 28.November 2022 - 16:36
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*