Wie komprimiert YouTube seine Videos? Per selbstentwickeltem Argos Transcoding-Chip

Durchschnittlich werden jede Minute 500 Stunden neues Videomaterial auf YouTube hochgeladen, das umgehend für die unterschiedlichen Geräte auf denen es angeschaut wird encodiert werden muss, vom Smartphone über PCs bis zum Fernseher. Dies bedeutet eine Vielzahl von unterschiedlichen Delivery-Formaten mit verschiedenen Auflösungen und Codecs. Wie schafft YouTube es, diese gewaltige Menge an Videos kurz nach dem Upload zu komprimieren?

Im einem aktuellen Blog-Beitrag (sowie in einem exklusiven Interview mit CNET) erklärt Jeff Calow, der leitende YouTube-Entwickler, welcher neuer Weg dabei eingeschlagen wurde.

Erledigten bis vor kurzem noch Serverfarmen die Komprimierung per Software, ist YouTube neuerdings umgeschwenkt auf die Transkodierung mittels eigens dafür entwickelter hochspezialisierter Hardware-ASICS samt zugehöriger Software, welche zu sogenannten Transcoding Brains, den "Video (trans)Coding Units" (VCUs) zusammengefasst wurden. Dadurch erreichte YouTube eine 20- bis 33-fache Beschleunigung der Rechenleistung im Vergleich den vorherigen Transkoding-Systemen, welche nur per optimierter Software auf herkömmlichen Servern implementiert waren.

Gerade, wenn der verwendete Videocodec besonders effizient ist, bedeutet das auch einen stark gesteigerten Aufwand bei der Komprimierung - so ist der freie VP9 Codec gegenüber dem H.264 Codec bis zu fünfmal aufwendiger zu encodieren. Für YouTube lohnt sich der Aufwand, da das Encoding nur einmal erledigt werden muss, bei jeder Auslieferung dann aber Daten gespart werden können.

Ähnlich verhält es sich bei dem offenen AV1-Codec, der von YouTube probeweise schon seit 2018 eingesetzt wird und gegenüber dem H.264 und H.265 Codec zusätzlich zur höheren Effizienz auch noch über den Vorteil der Lizenzfreiheit verfügt.

Seit 2015 hat deswegen ein Team von 100 Entwicklern die erste Generation des sogenannten Argos-Chips entwickelt, der H.264 und VP9 per Hardware komprimieren kann. Momentan wird schon an der zweiten Argos-Generation gearbeitet, welche auch den neueren AV1-Code beherrschen wird.

Jeder Argos-Chip verfügt über ein Decoding-Modul zum Dekomprimieren des Quellvideos sowie 10 Encoding-Kerne zur Komprimierung der Zielformate - je zwei Argos-Chips sind auf einer spezialisierten großen PCIe-Gen3-x16-Steckkarte montiert. Für jeden Quellclip werden 10 bis 15 komprimierte Varianten fürs Streaming erzeugt - so wird beispielsweise ein 8K Video in 9 Versionen mit 144p, 240p, 360p, 480p, 720p, 1080p, 1440p, 2160p sowie 4320p transkodiert.

Eine genau Beschreibung der verwendeten Technik findet sich in dieser Arbeit: Warehouse-scale video acceleration: co-design and deployment in the wild.

mehr Bilder zur News: