Logo Logo
/// News

Wie Peter Jacksons Beatles-Doku "Get Back" erst durch AI möglich wurde

[16:37 Fr,31.Dezember 2021 [e]  von ]    

Peter Jacksons achtstündiger Dokumentarfilm über die Beatles zeigt anhand von 50 Jahre altem Filmmaterial die Schlussphase der Beatles in einem völlig neuen Licht - und wäre ohne maßgeschneiderte KI-Algorithmen nicht möglich gewesen.





Peter Jackson konnte für "Get Back" (der leider nur auf dem Streamingkanal Disney+ verfügbar ist) auf Filmmaterial und Tonaufnahmen von Dokumentarfilmer Michael Lindsay-Hoggs zurückgreifen. Er nahm damals die Beatles bei ihren 3-wöchigen Studiosessions für das "Let it Be" - Album für seinen gleichnamigen Film nahezu Nonstop auf.

Der Film zeigt, wie die Beatles in ihrer Schlussphase in nur 22 Tagen 14 neue Stücke schaffen und bis zur endgültigen Aufnahme feinschleifen, wie die Bandmitglieder interagieren und macht auch die Risse sichtbar, die zum Ende der Beatles führen. Und wie trotzdem im gegenseitigen Zusammenspiel innerhalb kürzester Zeit Songs wie etwa "Let it Be", "Get Back" oder "The Long and Winding Road" entstehen - diesen kreativen Prozess live zu beobachten ist ebenso für Beatles-Fans als auch für andere Musikliebhaber interessant. Tom Whitwell hat aus den Beatles Sessions sogar einige nützliche Regeln fürs Brainstorming extrahiert.

Old-New-Session-comp
Alte und neue Bilder im Vergleich


Ein großes Problem stellte für Jackson allerdings die Qualität des vorhandenen Audio- und Filmmaterials dar: so gab es zwar rund sechzig Stunden 16mm-Filmmaterial sowie 150 Stunden Audiomaterial, doch wurde der größte Teil des Tons (ca. 70%) mit nur einem einzigen Mikrofon sowie eines portablen Nagra-Mono-Audiorekorder aufgenommen (im Gegensatz zu den eigentlichen Musikaufnahmen im Studio mittels eines 8-Spur-Rekorders).


Audio: Demixing einer Spur per KI in viele



Deswegen stand Jackson für seine Arbeit nur eine einzige Tonspur zur Verfügung, die unabgemischt und somit ein völliges Durcheinander aus den Instrumenten der Musiker, den Hintergrundgeräuschen und dem Gerede der Beteiligten war - eigentlich also unbrauchbar um die Interaktionen während der Aufnahmen für das Album zu dokumentieren. Zudem war auch die Auflösung des alten Filmmaterials der beiden 16mm Kameras gering und dessen Qualität schlecht, weil körnig und extrem farbstichtig.



Und zum Vergleich Ausschnitte aus dem Original-Filmmaterial:



Die Lösung brachten in beiden Fällen spezialisierte DeepLearning-Algorithmen.

So suchte das Produktionsteam um Jackson nach einem geeigneten Deep Learning Algorithmus, um die in einem Track verbackenen Töne nachträglich in einzelne Spuren zu zerlegen, musste aber feststellen, dass es für diese besondere Aufgabe zu diesem Zeitpunkt (Projektbeginn war 2017) noch keinen geeigneten Algorithmus gab. Also entschloss man sich, mit der Hilfe des Audio Machine Learning Spezialisten Paris Smaragdis von der Universität Chicago ein eigenes neuronales Netzwerk zu entwickeln, welches anhand eigener, hochqualitativer Trainingsdaten speziell für das Projekt vorbereitet wurde.

Der MAL (Machine Assisted Learning - aber auch der Vorname des Toningenieurs der Beatles) getaufte Algorithmus ermöglichte es Jackson und seinem Team, jede einzelne Tonspur - ob Musikinstrumente, Gesang oder Studiogespräche - aus den ursprünglichen Mono-Aufnahmen präzise per "Demixing" zu isolieren. Das System lernte, jedes einzelne Instrument wie etwa die Gitarren, den Bass oder das Schlagzeug und sogar auch die unterschiedlichen Stimmen der einzelnen Beteiligten zu identifizieren und aufzutrennen. Dies ermöglichte Jackson und seinem Team einen sauberen nachträglichen Remix.

Hier Peter Jackson speziell zum Demixing der Mono-Audioaufnahmen und den unterschiedlichen Stadien der Sichtung des Materials und der Länge des Films:


Ähnliches schaffen inzwischen zum Beispiel auch Algorithmen wie Spleeter, Izotopes RX 9 oder der Algorithmus des ByteDance AI Lab.

get-back



16mm Filmmaterial per KI verbessert



Ähnlich hilfreich waren neuronale Netze auch bei der Verbesserung des Filmmaterials. Vergleicht man die alte Doku von Michael Lindsay-Hoggs mit der von Jackson fällt auf, wie viel schärfer, glatter und lebendiger letztere aussieht, obwohl beide auf dem gleichen 16mm-Material beruhen, welches bei Jackson zudem noch rund 50 Jahre älter (und schlechter) ist.

Jackson konnte bei der Restauration des alten Filmmaterials auf seine Erfahrungen bei "They Shall Not Grow Old" zurückgreifen, seinem Dokumentarfilm über den 1. Weltkrieg, welcher über 100 Jahre altes Filmmaterial nutzte, welches durch spezielle KI-Algorithmen aufbereitet wurde und die alten Bilder so in die Gegenwart holte.

"They Shall Not Grow Old" Trailer:



Dieses Wissen (und die Algorithmen) konnte Jackson auch für "Get Back" einsetzen, um die alten Bilder nicht nur in der Auflösung zu verbessern, sondern auch um die ursprünglichen Farben wiederherzustellen und Bildfehler zu beseitigen. Wir hatten ja schon öfter über ähnliche Algorithmen berichtet, wie etwa denjenigen, der www.slashcam.de/news/single/Per-AI-hochskaliert---Ankunft-eines-Zuges-in-La-Ci-15622.html (Ankunft eines Zuges in La Ciotat von 1896 nach 4K hochskalierte, kolorierte und auf 60fps interpolierte.

Session-old
Alt



Session-new
Neu



Diese Beispiele geben einen schönen Ausblick auf die Zukunft von Dokumentarfilmen, welche altes Audio- und Filmmaterial verwenden: durch DeepLearning-Algorithmen werden ganz neue Perspektiven auf die Vergangenheit eröffnet werden, von denen die aktuellen Anwendungen erst der Anfang sind - denkbar ist zum Beispiel zukünftig auch die automatische Rekonstruktionen von Bauwerken und Straßenzügen oder auch von Gesichtern in 3D nur anhand von alten Filma- oder sogar nur Photoaufnahmen und viele weitere Anwendungen, die schon jetzt in ersten Forschungsarbeiten ausprobiert werden.


Die verschiedenen Versionen: von 2 1/2 zu 6 zu 8 Stunden Länge


Ursprünglich sollte "Get Back", an dem Jackson seit 2017 arbeitete, in Form eines 2 1/2 stündigen Films in die Kinos kommen, wurde aber wegen der Pandemie verschoben. Jackson nutzte das unerwartete Zeitgeschenk, um eine sechsstündige Version zu produzieren, die von den zwei noch lebenden Beatles sowie den rechtlichen Vertretern der zwei anderen abgenommen wurde und sich schließlich noch zu 8 Stunden auswuchs.

beatles



"Get Back" dokumentiert die 22 Tage des Schaffens im Studio plus das gesamt 45-minütige berühmte Konzert auf dem Dach - wäre es bei anvisierten Länge geblieben, hätten durchschnittlich nur 2 1/2 Minuten pro Tag zur Verfügung gestanden - zu wenig nach Jacksons Gefühl, um die verschiedenen Entwicklungen während der Proben ausreichend gut dokumentieren zu können. Im Endeffekt sind es jetzt 15-30 Minuten pro Tag geworden.


Wo gibt es "Get Back" zu sehen?


Leider sind die drei Episoden von "Get Back" mit 8 Stunden Gesamtlänge momentan nur auf Disneys kostenpflichtigem Streamingdienst verfügbar, der für einen Monat rund 9 Euro kostet. Echte Fans warten natürlich auf den Directors Cut - Jackson bevorzugte Version von "Get Back" ist nämlich 18 Stunden lang (allerdings gibt es für diese noch keine aktuellen Veröffentlichungspläne).

Link mehr Informationen bei www.disneyplus.com

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
marty_mc    11:20 am 3.1.2022
Ok, hab dich angeschrieben. Frage: Wo kann ich die PN aktivieren? Bisher konnte man mir auch so schreiben...dachte ich immer. Zur Not, wer spez. Fragen hat, geht auch über...weiterlesen
-paleface-    09:20 am 3.1.2022
@marty_mc Du hast deine PN Funktion aus. Kannst du mir vielleicht mal schreiben oder am besten noch über das Kontaktformular von meiner Webseite? https://mse-film...weiterlesen
marty_mc    12:41 am 2.1.2022
Für mich superspannendes Thema! Danke für euren Beitrag! Bissl Werbung für mich: Ich hab anhand älterer miniDV Filme bereits viel mit Topaz Video rumgespielt. Wer das Video...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildUpdate für Filmlook Tool Dehancer Pro 5.1.0 bringt doppelte Geschwindigkeit bildTascam bringt Retro-Compact Cassette für analoge 4 Spur Recorder zurück


verwandte Newsmeldungen:
Machine Learning:

Nur Sternenlicht als Beleuchtung: Neuer KI-Algorithmus entrauscht Videos perfekt 16.Mai 2022
NAB 2022 Tutorialclip: DaVinci Resolve 18 - AI-Mask Objects, Depth Mask, Surface Tracker 27.April 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Apple Final Cut Pro Update bringt Duplikat-Erkennung und Voice Isolation per KI 13.April 2022
DALL-E 2: KI generiert und editiert Bilder nur anhand von Textbeschreibung 10.April 2022
KI generiert erschreckend exakte Portraits - nur anhand der Stimme 9.April 2022
Neue AJA Ki Pro GO Firmware 4.0 bringt neue Wiedergabe-Optionen 3.April 2022
alle Newsmeldungen zum Thema Machine Learning

Film:

Wer will zum Film? Hamburger Filmwirtschaft bildet Quereinsteiger aus 17.Mai 2022
KI hilft beim Nachsynchronisieren von Kinofilm "The Champion" 16.April 2022
Die Workflows der Oscar-nominierten Filme - welche Technik nutzen die Profis und wie 10.April 2022
DJI Mic: Drahtloses 2-Kanal Clip-on Mikrofonsystem mit zwei Sendern 5.April 2022
Oscars 2022: "Coda" von Apple TV+ bester Film - Dune mit den meisten Einzeltiteln 28.März 2022
Disney entwickelt modulare Technik für holographische Filme in Kinogröße 20.März 2022
Amazon übernimmt MGM, inkl. zahlreicher Film- und Serienrechte 18.März 2022
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 21.Mai 2022 - 15:02
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*