Logo Logo
/// 

TecoGAN: Neuer KI Super-Resolution Algorithmus macht Videos 4x schärfer



Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum News-Kommentare-Forum

Newsmeldung von slashCAM:



Eigentlich entspricht es ja dem gesunder Menschenverstand, daß fehlende Detailinformationen bei unscharfen Bildern nicht im Nachhinein ergänzt werden können. Es werden ab...



Hier geht es zur Newsmeldung auf den slashCAM Magazin-Seiten:
TecoGAN: Neuer KI Super-Resolution Algorithmus macht Videos 4x schärfer




Antwort von egmontbadini:

Es ist interessant wie kompakt man das hinbekommt - ist ein großer Rechner dafür nötig oder bekommt man da auch in einer Kamera unter? Kann man den Algorithmus schon nutzen?



Antwort von pixler:

Das erste verlinkte YouTube Beispiel verwendet Material des Blender Projektfilmes "Tears of Steel" - http://tearsofsteel.org Dieser wurde 2012 in 4K gerendertgerendert im Glossar erklärt und kann auch in dieser Auflösung runtergeladen werden.

Hier könnte das Resultat auch einfach gefakt sein.








Antwort von prime:

Eher unwahrscheinlich das es gefaked ist, da man den ganzen Code und die (bereits trainierten) Modelle und das verwendete Material runterladen und es verifizieren kann.



Antwort von cantsin:

Zumal das Video (und der Algorithmus) von der TU München stammt. Das wäre dann ein Jahrhundert-Wissenschaftsskandal.



Antwort von tom:

egmontbadini hat geschrieben:
Es ist interessant wie kompakt man das hinbekommt - ist ein großer Rechner dafür nötig oder bekommt man da auch in einer Kamera unter? Kann man den Algorithmus schon nutzen?
Das Projekt hat eine handelsübliche Nvidia GeForce GTX 1080Ti GPU mit 11 GB RAM genutzt, auf spezialisierter Hardware geht das wahrscheinlich auch kleiner.

Man kann den Algorithmus schon jetzt selbst ausprobieren, der Code dazu ist hier zu finden:
http://github.com/thunil/TecoGAN



Antwort von Drushba:

Ich bräuchte sowas mal zur Audio-Rettung. Warte eigentlich die ganze Zeit auf eine Software, die Stimmen aus bekannten Mustern interpoliert, wenn sich z.B. der Protagonist vom Mikro wegdreht und klingt als würde er in einen Eimer Wasser sprechen oder durch plötzliche Umgebungsgeräusche (z.B. Motorradknattern) kaum mehr wahrnehmbar ist. Könnte man da nicht eine ähnliche Technik entwickeln? Oder gibts das schon?



Antwort von cantsin:

Hab' mal probiert, TecoGAN auf meinem Linux-System mit GTX1080Ti zu installieren, was dank der Integration von Github, Python 3/Pip ins System und der zahlreichen Linux-typischen/unixoiden Abhängigkeiten und Installationsroutinen von TecoGAN eigentlich gut gehen sollte. (Wahrscheinlich wurde die Software unter Linux entwickelt.)

Letztlich scheiterte das Unterfangen aber an einem zu alten Nvidia-Treiber in meinem Debian 10-System.

Die Installation der Software ist in jedem Fall nicht trivial, da sie sich aus dutzenden externen Modulen mit jeweils eigenen Abhängigkeiten zusammensetzt.



Antwort von mash_gh4:

solche sachen macht gewöhnlich innerhalb von nvidia-docker umgebungen. da kann man sich die betreffenden abhängigkeiten dann recht sauber zusammenstellen, ohne sich das arbeitssystem völlig zuzumüllen od. versehentlich zu ruinieren. oft bekommt auch gleich ein fertig ausführbares docker-image des gesamten setups, dass auf allen systemen läuft. eine solche herangehensweise ist bei größeren ML-projekten mittlerweile ohnehin usus bzw. in der praxis fast unverzichtbar.



Antwort von cantsin:

mash_gh4 hat geschrieben:
solche sachen macht gewöhnlich innerhalb von nvidia-docker umgebungen. da kann man sich die betreffenden abhängigkeiten dann recht sauber zusammenstellen, ohne sich das arbeitssystem völlig zuzumüllen od. versehentlich zu ruinieren.
Das dürfte aber in meinem Fall (bzw. in dem von Debian 10) immer noch nicht das Problem der Nvidia-Treiberkompatibilität lösen, oder täusche ich mich da?



Antwort von mash_gh4:

cantsin hat geschrieben:
Das dürfte aber in meinem Fall (bzw. in dem von Debian 10) immer noch nicht das Problem der Nvidia-Treiberkompatibilität lösen, oder täusche ich mich da?
doch bis zu einem gewissen grad schon! -- d.h. du kannst verschiedene cuda-versionen in den containern nutzen, die man nebeneienader nicht am hostsystem installieren könnte.

genau dieses problem war ja ursprünglich der grund, warum das zeug entwickelt wurde. ein einfaches durchreichen der entsprechenden nvidia treiber-interfaces im /dev-verzeichnis war hier keine lösung, da es sofort zu abstürzen führt, wenn die versionen im container nicht mir denen am host system übereinstimmen. dieses relativ komplizierte ummapen der nötigen treiber bzw. libraries übernimmt eben nvidia-docker.

der debian support lässt zwar oft ein wenig zu wünschen über (siehe bspw. #854), aber im wesentlich bleibt einem ohnehin kaum eine andere option, wenn man sich mit derartigen dingen herumschlagen muss...



Antwort von KallePeng:

HiHi, ich bin mal gespannt wann die ersten Leute auf die Idee kommen, mit Hilfe des Algorythmus verpixelte Nummernschilder und Personen wieder kenntlich zu machen








Antwort von cantsin:

KallePeng hat geschrieben:
HiHi, ich bin mal gespannt wann die ersten Leute auf die Idee kommen, mit Hilfe des Algorythmus verpixelte Nummernschilder und Personen wieder kenntlich zu machen
Dann kriegst Du aber nur fiktive Nummernschilder und Gesichter, die zwar vielleicht plausibel aussehen, aber nichts mit dem Motiv zu tun haben. Das gab's übrigens schon mal als technisches Problem von Xerox-Kopierern, die auf Fotokopien von Zahlenmaterial falsche Nummern wiedergegeben haben:

https://www.theverge.com/2013/8/6/45944 ... -documents



Antwort von Christian Schmitt:

Da werden sich Polizei und Staatsanwaltschaft sicher als erstes in die Warteschlange für ein benutzerfreundliches Endprodukt stellen.




Noch was unklar? Dann in unserem Forum nachfragen
Zum Original-Thread / Zum News-Kommentare-Forum

Antworten zu ähnlichen Fragen:
KI ersetzt den Himmel in Videos und macht den Tag zur Nacht
TecoGAN: Neuer KI Super-Resolution Algorithmus macht Videos 4x schärfer
mochaVR Beta 2 -- Motion Tracking und mehr für 360° Videos
Videos kinderleicht nachvertonen?
Super-Resolution Filter für Vdub/Premiere
Mehr Bildschärfe durch künstliche Intelligenz - Super-Resolution
Neuer Algorithmus hilft unbelebte Objekte einfach zu animieren
Neuer Algorithmus kann per DeepFake gefälschte Gesichter erkennen
RED Solitary Series - youtube Videos - Resolution und REDCODE and 8K Workflow
Super macht beim Konvertieren Tonstoerungen
Neuer Haus-Roboter Kuri macht automatische Familienvideos
Snapchats filmende Sonnenbrille Spectacles macht kreisrunde Videos
Neuer ARRI EF-Mount (LBUS) für Large-Format-und Super-35-Kameras
egal, wie man es macht, macht man's falsch - hat das internet zu viel macht?
CANON G15 macht gute Videos - Suche jetzt Camcorder mir gleicher Bildquali,
Magix Video Pro X 12 -- schneller, schärfer und vertikal
Sony Memnon Dars.Media: Neuer Marktplatz für Stock Videos
CX900 vs SD707 - Ist das Bild der alten Panasonic wirklich schärfer?
Sony: 600 mm F4 Super-Tele und 200-600 mm F5.6-6.3 Super-Telezoom für E-Mount
Kurzfilm von einem Algorithmus geschrieben
Verständnisfrage Projekt/Clip Resolution
Deep Learning Algorithmus kann Bilder im Kopf lesen
8K High Resolution Camera TNB-9000
Algorithmus entzerrt Gesichter in Weitwinkel-Porträtphotos automatisch // Siggraph 2019
Wie bekomme ich high resolution rueckelfrei?
4k 60fps, quarter resolution ruckeln ohne ende

















weitere Themen:
Spezialthemen


16:9
3D
4K
AI
ARD
ARTE
AVCHD
AVI
Adapter
Adobe After Effects
Adobe Premiere Pro
After effects
Akku
Akkus
Apple Final Cut Pro
Audio
Aufnahme
Aufnahmen
Avid
Avid Media Composer
Band
Bild
Bit
Blackmagic
Blackmagic DaVinci Resolve
Blackmagic Design DaVinci Resolve
Blende
Book
Brennen
Cam
Camcorder
Camera
Canon
Canon EOS 5D MKII
Canon EOS C300
Capture
Capturing
Cinema
Clip
ClipKanal
Clips
Codec
Codecs
DSLR
Datei
Digital
EDIUS
ENG
EOS
Effect
Effekt
Effekte
Euro
Export
Fehler
Festplatte
File
Film
Filme
Filmen
Filter
Final Cut
Final Cut Pro
Format
Formate
Foto
Frage
Frame
GoPro
Grass Valley Edius
HDMI
HDR
Hilfe
Import
JVC
KI
Kabel
Kamera
Kanal
Kauf
Kaufe
Kaufen
Kurzfilm
Layer
Licht
Light
Live
Lösung
MAGIX video deLuxe
MPEG
MPEG-2
MPEG2
Mac
Magix
Magix Vegas Pro
Menü
Mikro
Mikrofon
Mikrophone
Monitor
Movie
Musik
Musikvideo
NAB
Nero
News
Nikon
Objektiv
Objektive
PC
Panasonic
Panasonic GH2
Panasonic HC-X1
Panasonic S1 mit V-Log
Panasonic S5
Pinnacle
Pinnacle Studio
Player
Plugin
Plugins
Premiere
Projekt
RAW
RED
Recorder
Red
Render
Rendern
Schnitt
Software
Sony
Sony HDR
Sound
Speicher
Stativ
Stative
Streaming
Studio
TV
Test
Titel
Ton
USB
Umwandeln
Update
Vegas
Video
Video-DSLR
Videos
Videoschnitt
Windows
YouTube
Zoom