„Wissen Sie, Ryback, aussehen tut's köstlich. Aber riechen tut's wie Schweinefraß. Ich hab' Ihren Scheiß lang genug geduldet. Nur weil der Captain die Art liebt, wie Sie kochen. Aber dieses eine Mal ist er nicht hier und wird Ihnen nicht helfen können.“
Jetzt muss man mal abwarten, wie sich das Tool mit nicht nur handverlesenen Demo-Beispielen schlägt. Da es mit generativer AI arbeitet (vermutlich auf der technischen Basis von Stable Diffusion?), kann man sich natürlich auch die tollsten Artefakte auf diese Weise einhandeln. Und eine wichtige Frage wird auch sein, wie schnell das Tool arbeitet - ob es Minuten lang braucht, um nur einen Frame zu berechnen...
We’re releasing our new Project Starlight video enhancement model 6 on cloud only. Why?
The short answer is that Starlight is huge and won’t run locally unless you have server-grade hardware. The longer answer is: to make technological progress, we need to push quality first, then focus on speed and size later.
We would all love a new model that is fast, small enough for your laptop, and higher quality than anything we’ve ever seen before. But the reality is that we can only optimize for a single attribute at a time.
In 2023, we tried improving quality on our video models while holding speed and size constant, but this approach was ineffective. While later iterations (Rhea, RXL) do offer improvements over earlier versions (Proteus, Artemis), you’ve probably noticed that the changes have been getting more incremental.
So in 2024, we asked the question: “How much video quality could we achieve if we didn’t care about speed or size?” The result is Project Starlight. It requires huge VRAM and currently takes 20 minutes to process 10 seconds of footage, which we know is sort of ridiculous. The results, however, are truly mind-blowing - an accomplishment which was quite challenging just by itself.
We’ve actually seen this story before. When we released Gigapixel for image upscaling, it had great results but crashed for one out of five users and took hours to run on 2018 hardware. But because we first achieved the quality we wanted, we were able to focus on making it faster and more efficient. Nowadays Gigapixel models run in milliseconds and are deployable on mobile devices (like iOS 1).
In 2025, we’ll focus on optimizing Starlight in a similar way. We’ve only focused on quality for this release, and we wanted to get it usable as soon as possible. You can expect smaller and less expensive models in the near future, based on the same technology that we’ve developed with Starlight. In the meantime, we’re initially pricing this model at cost to help make it more accessible.
We’re really excited about Starlight; it’s truly a breakthrough, and we wanted to get it in front of people as soon as possible. Thanks for both your support and your patience!
Wir veröffentlichen unser neues Video-Enhancement-Modell Project Starlight 6 vorerst nur in der Cloud. Warum?
Die kurze Antwort: Starlight ist riesig und läuft nicht lokal, es sei denn, du hast Server-Hardware. Die längere Antwort: Um technologischen Fortschritt zu erzielen, müssen wir zuerst die Qualität maximieren und uns erst danach um Geschwindigkeit und Größe kümmern.
Natürlich hätten wir alle gerne ein neues Modell, das schnell, klein genug für einen Laptop und qualitativ besser als alles bisher Dagewesene ist. Doch die Realität ist: Wir können immer nur eine dieser Eigenschaften gleichzeitig optimieren.
2023 haben wir versucht, die Qualität unserer Videomodelle zu verbessern, während Geschwindigkeit und Größe gleich blieben – dieser Ansatz war jedoch ineffektiv. Zwar brachten spätere Versionen (Rhea, RXL) Verbesserungen gegenüber früheren (Proteus, Artemis), aber die Fortschritte wurden immer kleiner.
Deshalb stellten wir uns 2024 die Frage: Wie viel Videoqualität könnten wir erreichen, wenn wir Geschwindigkeit und Größe völlig ignorieren? Das Ergebnis ist Project Starlight. Es benötigt enorme VRAM-Ressourcen und braucht derzeit 20 Minuten, um 10 Sekunden Filmmaterial zu verarbeiten – ja, das ist ziemlich verrückt. Doch die Ergebnisse sind atemberaubend und allein diese Qualitätssteigerung war eine große Herausforderung.
Diese Geschichte haben wir schon einmal erlebt: Als wir Gigapixel für Bild-Upscaling veröffentlichten, lieferte es beeindruckende Ergebnisse, stürzte aber bei jedem fünften Nutzer ab und brauchte Stunden auf Hardware von 2018. Aber weil wir zuerst die gewünschte Qualität erreicht hatten, konnten wir uns dann darauf konzentrieren, es schneller und effizienter zu machen. Heute laufen Gigapixel-Modelle in Millisekunden und sind sogar auf mobilen Geräten einsetzbar.
2025 werden wir Starlight in ähnlicher Weise optimieren. Für diese Version lag der Fokus ausschließlich auf Qualität – und wir wollten es so schnell wie möglich nutzbar machen. In naher Zukunft kannst du mit kleineren und günstigeren Modellen rechnen, die auf der gleichen Technologie basieren. Bis dahin bieten wir das Modell zum Selbstkostenpreis an, um den Zugang zu erleichtern.
Wir sind unglaublich begeistert von Starlight – es ist ein echter Durchbruch, und wir wollten es so schnell wie möglich in die Hände der Nutzer bringen. Vielen Dank für eure Unterstützung und Geduld!
James Cameron, schreibt über Hard und Software, in Avatar
Hard- und SoftwareFür diese neuartigen Techniken war leistungsstarke Hardware vonnöten: 35.000 – 40.000 wassergekühlte Prozessorkerne, 105 Terabyte Arbeitsspeicher und 2 Petabyte Festplattenspeicher. Trotz dieser Leistung benötigten einzelne Szenen bis zu 48 Stunden zum Rendern, wobei bei einer Filmminute 17,3 Gigabyte Daten anfielen. Angeschlossen war die Serverfarm an ein 10-Gigabit-Netzwerk.[41] Für die Renderfarm kam das auf Linux basierende freie Betriebssystem Ubuntu zum Einsatz.[42] Für den Filmschnitt wurde Software von Avid verwendet.[43][4
Wenn die Qualität hinterher stimmt, darfs also gerne etwas aufwändiger sein und länger dauern
Rechtliche Notiz: Wir übernehmen keine Verantwortung für den Inhalt der Beiträge
und behalten uns das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
