Logo Logo
/// News

Wie Peter Jacksons Beatles-Doku "Get Back" erst durch AI möglich wurde

[16:37 Fr,31.Dezember 2021 [e]  von ]    

Peter Jacksons achtstündiger Dokumentarfilm über die Beatles zeigt anhand von 50 Jahre altem Filmmaterial die Schlussphase der Beatles in einem völlig neuen Licht - und wäre ohne maßgeschneiderte KI-Algorithmen nicht möglich gewesen.





Peter Jackson konnte für "Get Back" (der leider nur auf dem Streamingkanal Disney+ verfügbar ist) auf Filmmaterial und Tonaufnahmen von Dokumentarfilmer Michael Lindsay-Hoggs zurückgreifen. Er nahm damals die Beatles bei ihren 3-wöchigen Studiosessions für das "Let it Be" - Album für seinen gleichnamigen Film nahezu Nonstop auf.

Der Film zeigt, wie die Beatles in ihrer Schlussphase in nur 22 Tagen 14 neue Stücke schaffen und bis zur endgültigen Aufnahme feinschleifen, wie die Bandmitglieder interagieren und macht auch die Risse sichtbar, die zum Ende der Beatles führen. Und wie trotzdem im gegenseitigen Zusammenspiel innerhalb kürzester Zeit Songs wie etwa "Let it Be", "Get Back" oder "The Long and Winding Road" entstehen - diesen kreativen Prozess live zu beobachten ist ebenso für Beatles-Fans als auch für andere Musikliebhaber interessant. Tom Whitwell hat aus den Beatles Sessions sogar einige nützliche Regeln fürs Brainstorming extrahiert.

Old-New-Session-comp
Alte und neue Bilder im Vergleich


Ein großes Problem stellte für Jackson allerdings die Qualität des vorhandenen Audio- und Filmmaterials dar: so gab es zwar rund sechzig Stunden 16mm-Filmmaterial sowie 150 Stunden Audiomaterial, doch wurde der größte Teil des Tons (ca. 70%) mit nur einem einzigen Mikrofon sowie eines portablen Nagra-Mono-Audiorekorder aufgenommen (im Gegensatz zu den eigentlichen Musikaufnahmen im Studio mittels eines 8-Spur-Rekorders).


Audio: Demixing einer Spur per KI in viele



Deswegen stand Jackson für seine Arbeit nur eine einzige Tonspur zur Verfügung, die unabgemischt und somit ein völliges Durcheinander aus den Instrumenten der Musiker, den Hintergrundgeräuschen und dem Gerede der Beteiligten war - eigentlich also unbrauchbar um die Interaktionen während der Aufnahmen für das Album zu dokumentieren. Zudem war auch die Auflösung des alten Filmmaterials der beiden 16mm Kameras gering und dessen Qualität schlecht, weil körnig und extrem farbstichtig.



Und zum Vergleich Ausschnitte aus dem Original-Filmmaterial:



Die Lösung brachten in beiden Fällen spezialisierte DeepLearning-Algorithmen.

So suchte das Produktionsteam um Jackson nach einem geeigneten Deep Learning Algorithmus, um die in einem Track verbackenen Töne nachträglich in einzelne Spuren zu zerlegen, musste aber feststellen, dass es für diese besondere Aufgabe zu diesem Zeitpunkt (Projektbeginn war 2017) noch keinen geeigneten Algorithmus gab. Also entschloss man sich, mit der Hilfe des Audio Machine Learning Spezialisten Paris Smaragdis von der Universität Chicago ein eigenes neuronales Netzwerk zu entwickeln, welches anhand eigener, hochqualitativer Trainingsdaten speziell für das Projekt vorbereitet wurde.

Der MAL (Machine Assisted Learning - aber auch der Vorname des Toningenieurs der Beatles) getaufte Algorithmus ermöglichte es Jackson und seinem Team, jede einzelne Tonspur - ob Musikinstrumente, Gesang oder Studiogespräche - aus den ursprünglichen Mono-Aufnahmen präzise per "Demixing" zu isolieren. Das System lernte, jedes einzelne Instrument wie etwa die Gitarren, den Bass oder das Schlagzeug und sogar auch die unterschiedlichen Stimmen der einzelnen Beteiligten zu identifizieren und aufzutrennen. Dies ermöglichte Jackson und seinem Team einen sauberen nachträglichen Remix.

Hier Peter Jackson speziell zum Demixing der Mono-Audioaufnahmen und den unterschiedlichen Stadien der Sichtung des Materials und der Länge des Films:


Ähnliches schaffen inzwischen zum Beispiel auch Algorithmen wie Spleeter, Izotopes RX 9 oder der Algorithmus des ByteDance AI Lab.

get-back



16mm Filmmaterial per KI verbessert



Ähnlich hilfreich waren neuronale Netze auch bei der Verbesserung des Filmmaterials. Vergleicht man die alte Doku von Michael Lindsay-Hoggs mit der von Jackson fällt auf, wie viel schärfer, glatter und lebendiger letztere aussieht, obwohl beide auf dem gleichen 16mm-Material beruhen, welches bei Jackson zudem noch rund 50 Jahre älter (und schlechter) ist.

Jackson konnte bei der Restauration des alten Filmmaterials auf seine Erfahrungen bei "They Shall Not Grow Old" zurückgreifen, seinem Dokumentarfilm über den 1. Weltkrieg, welcher über 100 Jahre altes Filmmaterial nutzte, welches durch spezielle KI-Algorithmen aufbereitet wurde und die alten Bilder so in die Gegenwart holte.

"They Shall Not Grow Old" Trailer:



Dieses Wissen (und die Algorithmen) konnte Jackson auch für "Get Back" einsetzen, um die alten Bilder nicht nur in der Auflösung zu verbessern, sondern auch um die ursprünglichen Farben wiederherzustellen und Bildfehler zu beseitigen. Wir hatten ja schon öfter über ähnliche Algorithmen berichtet, wie etwa denjenigen, der www.slashcam.de/news/single/Per-AI-hochskaliert---Ankunft-eines-Zuges-in-La-Ci-15622.html (Ankunft eines Zuges in La Ciotat von 1896 nach 4K hochskalierte, kolorierte und auf 60fps interpolierte.

Session-old
Alt



Session-new
Neu



Diese Beispiele geben einen schönen Ausblick auf die Zukunft von Dokumentarfilmen, welche altes Audio- und Filmmaterial verwenden: durch DeepLearning-Algorithmen werden ganz neue Perspektiven auf die Vergangenheit eröffnet werden, von denen die aktuellen Anwendungen erst der Anfang sind - denkbar ist zum Beispiel zukünftig auch die automatische Rekonstruktionen von Bauwerken und Straßenzügen oder auch von Gesichtern in 3D nur anhand von alten Filma- oder sogar nur Photoaufnahmen und viele weitere Anwendungen, die schon jetzt in ersten Forschungsarbeiten ausprobiert werden.


Die verschiedenen Versionen: von 2 1/2 zu 6 zu 8 Stunden Länge


Ursprünglich sollte "Get Back", an dem Jackson seit 2017 arbeitete, in Form eines 2 1/2 stündigen Films in die Kinos kommen, wurde aber wegen der Pandemie verschoben. Jackson nutzte das unerwartete Zeitgeschenk, um eine sechsstündige Version zu produzieren, die von den zwei noch lebenden Beatles sowie den rechtlichen Vertretern der zwei anderen abgenommen wurde und sich schließlich noch zu 8 Stunden auswuchs.

beatles



"Get Back" dokumentiert die 22 Tage des Schaffens im Studio plus das gesamt 45-minütige berühmte Konzert auf dem Dach - wäre es bei anvisierten Länge geblieben, hätten durchschnittlich nur 2 1/2 Minuten pro Tag zur Verfügung gestanden - zu wenig nach Jacksons Gefühl, um die verschiedenen Entwicklungen während der Proben ausreichend gut dokumentieren zu können. Im Endeffekt sind es jetzt 15-30 Minuten pro Tag geworden.


Wo gibt es "Get Back" zu sehen?


Leider sind die drei Episoden von "Get Back" mit 8 Stunden Gesamtlänge momentan nur auf Disneys kostenpflichtigem Streamingdienst verfügbar, der für einen Monat rund 9 Euro kostet. Echte Fans warten natürlich auf den Directors Cut - Jackson bevorzugte Version von "Get Back" ist nämlich 18 Stunden lang (allerdings gibt es für diese noch keine aktuellen Veröffentlichungspläne).

Link mehr Informationen bei www.disneyplus.com

  
[3 Leserkommentare] [Kommentar schreiben]   Letzte Kommentare:
marty_mc    11:20 am 3.1.2022
Ok, hab dich angeschrieben. Frage: Wo kann ich die PN aktivieren? Bisher konnte man mir auch so schreiben...dachte ich immer. Zur Not, wer spez. Fragen hat, geht auch über...weiterlesen
-paleface-    09:20 am 3.1.2022
@marty_mc Du hast deine PN Funktion aus. Kannst du mir vielleicht mal schreiben oder am besten noch über das Kontaktformular von meiner Webseite? https://mse-film...weiterlesen
marty_mc    12:41 am 2.1.2022
Für mich superspannendes Thema! Danke für euren Beitrag! Bissl Werbung für mich: Ich hab anhand älterer miniDV Filme bereits viel mit Topaz Video rumgespielt. Wer das Video...weiterlesen
[ Alle Kommentare ganz lesen]

  Vorige News lesen Nächste News lesen 
bildUpdate für Filmlook Tool Dehancer Pro 5.1.0 bringt doppelte Geschwindigkeit bildTascam bringt Retro-Compact Cassette für analoge 4 Spur Recorder zurück


verwandte Newsmeldungen:
Machine Learning:

Neue KI stellt Objekte aus Photos automatisch perfekt frei 7.August 2022
KI-basierte Grading-Lösung fylm.ai v1.3 lernt ein bißchen Kontext 26.Juli 2022
Jeder kann Kunst: Metas neue KI erstellt Bilder auf Wunsch 19.Juli 2022
Videostabilisierung: Mercalli V6 SAL erschienen mit KI-Unterstützung 18.Juli 2022
KI revolutioniert die Photographie: Objektbasiertes Editing mit Hilfe von DALL-E 2 30.Juni 2022
DaVinci Resolve 18 Beta 5 bringt KI-Stabilizer für Gyro-Metadaten und 10 Bit Vorschau 25.Juni 2022
In der Dunkelheit farbig sehen: KI gibt schwarz-weißen Infrarotbildern die Farbe zurück 22.Mai 2022
alle Newsmeldungen zum Thema Machine Learning

Film:

Neue KI stellt Objekte aus Photos automatisch perfekt frei 7.August 2022
Filmsimulationstool Dehancer Film Pro ab sofort auch als Beta für Final Cut Pro 2.August 2022
Sony Future Filmmaker Wettbewerb lockt mit Besuch der Sony Filmstudios in Hollywood 1.August 2022
Cinematic HFR: Titanic und Avatar kommen nach "Motion Grading" neu ins Kino 25.Juli 2022
Wie Everything Everywhere All At Once gedreht wurde 24.Juli 2022
Filmbücher von Bordwell/Thompson im kostenlosen Download 27.Juni 2022
Wer will zum Film? Hamburger Filmwirtschaft bildet Quereinsteiger aus 17.Mai 2022
alle Newsmeldungen zum Thema Film


[nach oben]

















passende Forenbeiträge zur News:

Archive

2022

August - Juli - Juni - Mai - April - März - Februar - Januar

2021
Dezember - November - Oktober - September - August - Juli - Juni - Mai - April - März - Februar - Januar

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

2004

2003

2002

2001

2000






































update am 8.August 2022 - 15:33
ist ein Projekt der channelunit GmbH
*Datenschutzhinweis*