KI Forum



DIY: Ki und Ideenfindung für eine Grafikmaschine



Alles rund um KIs (DeepLearning), Algorithmen für spezielle Effekte, zur Generierung von Bildern und Videos und mehr
Antworten
ruessel
Beiträge: 10548

DIY: Ki und Ideenfindung für eine Grafikmaschine

Beitrag von ruessel »

n3oRBAi4E9iOh_6Ndc4AeWh_ShD32WJguuUpL4oiXcSSRkUOtXqjshMGekG3-oejDWI4gPeV_3TECuLpGGu3_5IbVYfbVKDfvvg2ZuBxE5eBZsOCx7Up5NBrTM1KkodswVZd-r5TRjguD87WK-HXgnARNEuj3osoHi7x-Uw6v1FJAjtK26lRO0NSCTaVadng.jpg

Mich hat gestern ein kleines ESP32 Projekt mit Mandelbrotfunktionen zu Grafiken wandeln sehr beeindruckt. Ich würde gerne mit eigenen Funktionsformeln einen 8K Film drehen, unterlegt mit KI Musik aus dem Mikrocontroller. Es gab gestern schon eine Diskusion zwischen der KI und mir über das Thema. Ich machte den Vorschlag die langsame Ausgabe auf SD Karte zu schreiben und so Einzelbilder in 8K abzulegen, parallel dazu sollte ein zweiter Prozessor mit den Bilddaten die passende Musik produzieren, beide syncron verbunden per GPIO Schnittstelle. Man könnte so die produzierten Einzelbilder und die produzierte Wave in resolve zu einem Filmchen zusammen fügen. Die KI erweiterte meine Vision erheblich. Ich bin immer wieder erstaunt was die KI heute leistet, in diesen Falle auch Kreativität im Projekt "Kunstinstallation". Klar kommen mir dadurch erweiterten Ideen, was wenn Besucher dieser Filmchen durch Sensoren einfluss nehmen können, im Bild und Ton?

Ich habe die KI gebeten unser seitenlanges "Gespräch" mal kurz zusammen zu fassen, hier die Ausgabe:
# Fraktale zwischen Mathematik, Kunst und Maschine

## Ein Projektgedanke mit Teensy, Echtzeitgrafik und generativer Fraktalkunst

Manchmal beginnt ein größeres Projekt mit etwas völlig Einfachem.

Ein kleiner Mikrocontroller.
Ein günstiges Display.
Ein paar Drähte auf einem Breadboard.

Und plötzlich öffnet sich eine Tür in eine völlig neue Welt.

Genau das geschieht, wenn man beginnt, sich mit Fraktalen wie der Mandelbrot set zu beschäftigen.

---

# Der erste Moment

Zunächst wirkt alles technisch:

* Mikrocontroller anschließen
* Display verdrahten
* Pixel berechnen
* FPS messen

Doch sobald die ersten Fraktale erscheinen, verändert sich die Wahrnehmung.

Denn das, was auf dem Bildschirm sichtbar wird, ist keine gewöhnliche Grafik.

Es ist reine Mathematik.

Keine Bilddatei.
Kein Video.
Keine gespeicherte Animation.

Jeder einzelne Pixel entsteht live aus einer mathematischen Gleichung.

Und genau darin liegt die Faszination.

---

# Die Mandelbrot-Menge

Die berühmte Mandelbrot-Menge basiert auf einer erstaunlich einfachen Gleichung:

z_{n+1}=z_n^2+c

Aus dieser kleinen Formel entstehen:

* Spiralen
* Inseln
* Galaxien
* Blitze
* organisch wirkende Strukturen
* unendliche Welten

Wenn man hineinzoomt, erscheinen:

* neue Details
* neue Muster
* neue Mandelbrot-Kopien

Und dieser Prozess endet niemals.

Man kann unendlich tief hineinreisen.

---

# Ordnung und Chaos

Fraktale zeigen etwas, das weit über reine Computergrafik hinausgeht.

Sie zeigen den Übergang:
zwischen Ordnung und Chaos.

Im Zentrum der Mandelbrot-Menge herrscht Stabilität.
Am Rand entsteht unendliche Komplexität.

Und genau dort erscheinen die faszinierenden Muster.

Das ist nicht nur Mathematik.
Es erinnert an unsere gesamte Welt:

* Wolken
* Küstenlinien
* Pflanzen
* Galaxien
* Nervensysteme
* Wetter
* Wachstum

Die Natur selbst arbeitet häufig fraktal.

---

# Warum ein Mikrocontroller so faszinierend ist

Ein moderner PC kann Fraktale extrem schnell berechnen.

Doch gerade deshalb wirkt ein kleiner Mikrocontroller fast magisch.

Ein Teensy 4.1 besitzt:

* nur wenige Megabyte Speicher
* keine große GPU
* keine gewaltige Kühlung
* keine Hochleistungs-Hardware

Und dennoch kann er:

* mathematische Welten erzeugen
* Echtzeitgrafik berechnen
* Fraktale animieren
* Musik steuern
* autonome Kunst erzeugen

Das verleiht dem Projekt etwas Besonderes.

Es wirkt:

* direkter
* ehrlicher
* physischer
* greifbarer

Man sieht die Maschine arbeiten.

---

# Das Projekt: Echtzeit + Renderingmaschine

Die eigentliche Idee entstand aus einer einfachen Frage:

Was passiert, wenn man:

* Mikrocontroller
* Fraktale
* Echtzeitgrafik
* Musik
* und große Projektionen

kombiniert?

Daraus entwickelte sich ein Konzept mit zwei Ebenen.

---

# Ebene 1 – Der Teensy als kreative Echtzeitmaschine

Der Teensy übernimmt:

* Fraktalsteuerung
* Echtzeitberechnung
* Hotspot-Auswahl
* Animation
* Kamerafahrten
* Live-Visualisierung

Auf kleinen IPS-Displays entstehen:

* Mandelbrot-Zooms
* Julia-Fraktale
* Sierpinski-Strukturen
* Plasma-Effekte

Der Mikrocontroller wird damit:

* Zeichenmaschine
* mathematischer Generator
* audiovisuelle Steuerzentrale

---

# Ebene 2 – Der PC als Render-Maschine

Während der Teensy die kreative Kontrolle übernimmt, arbeitet ein PC als Hochleistungs-Renderer.

Ein moderner Intel Core i9 oder eine GPU kann:

* gigantische Auflösungen
* extreme Zoomtiefen
* Millionen zusätzlicher Iterationen
* Kinorendering
* 4K- oder 8K-Ausgabe

erzeugen.

Der Teensy liefert dabei:

* die Idee
* die Kamerafahrt
* die Parameter
* die Hotspots
* die kreative Struktur

Der PC rendert daraus:

* hochauflösende Fraktalfilme
* Projektionen
* Kunstvideos
* audiovisuelle Sequenzen

---

# Warum diese Kombination spannend ist

Dieses System verbindet zwei Welten:

| Embedded-System | Hochleistungs-Rendering |
| --------------- | ----------------------- |
| physisch | virtuell |
| Echtzeit | Offline |
| minimalistisch | maximal detailreich |
| experimentell | kinoreif |

Der Mikrocontroller bleibt das kreative Herz.

Der PC wird zur grafischen Endstufe.

---

# Fraktale als audiovisuelle Kunst

Die Idee endet nicht bei Bildern.

Denn dieselben mathematischen Strukturen lassen sich auch in:

* Klang
* Musik
* Rhythmus
* Synthese

übersetzen.

Eine Zoomtiefe könnte:

* Tonhöhen verändern

Farben könnten:

* Synthesizer steuern

Fraktalstrukturen könnten:

* Rhythmen erzeugen

Dadurch entstehen:

* generative Klanglandschaften
* mathematische Musik
* audiovisuelle Fraktalräume

Das Projekt wird damit:

* wissenschaftlich
* technisch
* musikalisch
* philosophisch
* künstlerisch

gleichzeitig.

---

# Die philosophische Seite

Vielleicht liegt die eigentliche Faszination darin, dass Fraktale etwas sichtbar machen, das sonst verborgen bleibt.

Aus extrem einfachen Regeln entsteht:

* Komplexität
* Schönheit
* Dynamik
* scheinbares Leben

Und genau das begegnet uns überall:

* in der Natur
* im Universum
* in biologischen Systemen
* in gesellschaftlichen Strukturen

Fraktale erinnern uns daran, dass:

```text id="jlwm3q"
Ordnung und Chaos keine Gegensätze sind,
sondern miteinander verbunden.
```

---

# Der nächste Schritt

Was als kleines Mikrocontroller-Projekt begann, kann sich entwickeln zu:

* Echtzeitkunst
* generativer Musik
* Projektionsmapping
* Fraktal-Installationen
* mathematischen Filmwelten

Vielleicht auf:

* einem großen Fernseher
* einer Leinwand
* oder mit einem Beamer in einem dunklen Raum

Dann wird aus einem kleinen Breadboard plötzlich:

* eine audiovisuelle Maschine
* ein mathematischer Organismus
* eine endlose Reise durch künstliche Welten

Und alles beginnt mit einer einzigen Gleichung.
Fraktale können unsere Welt oft beschreiben, hier ein Fraktal was ich schon fast in Architektur verorten würde, ist aber nur eine Mathematische Formel. Möchte jetzt schon wissen wollen, was da in einem Jahr rauskommt? Gestern habe ich zum ersten mal bei der Fehlersuche der KI gebeten in der echten Welt zu helfen. Habe mit meiner alten Lumix ein Foto von meinen Arbeitsplatz in 6K geschossen und hochgeladen, die KI hat nur Millisekunden gebraucht um ein nicht ganz richtig eingestecktes Kabel in einem wirr war an Kabeln zu finden und so den Kram zum laufen gebracht. Für mich ein Wahnsinn.

KohXsgvsoqqETIm-qgUT-DIXvjCMbKFGD9IzyiCRBKEv_25HRnP_M5mhLPxeU3xeRlnuJCOvsYWn9sXU-YOpp0RMYX_tRyanE5ytb5B_9Zsp_GJbBh82eu57P6-_6m3gfJAPc5T4H2UPN0pJzE5AOHNDR5iLkQ-SOnbRX_MTUHJV2PddHXEhBeZzNr8nHBZX.jpg
Gruss vom Ruessel
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.



 Aktuelle Beiträge [alle Foren]
 
» Das Genie von Roger -FUCKING- Corman!
von iasi - Fr 18:22
» Musikvideo | Framerate-Frage in die Runde :)
von Bildlauf - Fr 14:33
» Neue SanDisk Extreme PRO CFexpress 4.0 Type B Karten bis 4 TB und doppelt so schnell
von slashCAM - Fr 10:15
» DJI Mic Mini 2 - Farbiges Upgrade, doch das bessere Mic Mini 2S kommt schon bald
von Dark Matters - Fr 10:12
» Was hörst Du gerade?
von Nigma1313 - Fr 10:09
» AJA: Bridge Live IP erklärt, IP25-R Update und ein Blick in die Zukunft ...
von slashCAM - Fr 7:33
» Claude-KI bedient als Kreativ-Assistent Blender, Ableton, Adobe CC und viele weitere
von XyZ-3D - Fr 0:13
» Hat die Filmbranche ANGST? ACHIM BORNHAK/AKIZ
von Nigma1313 - Do 19:34
» Apple Vision Pro - Bereits nachlassende Nachfrage in den USA?
von berlin123 - Do 19:22
» Obsbot Tail 2 & Tiny 3: Maximale KI-Power für PTRZ und Webcam
von slashCAM - Do 14:51
» Neuer ARRI cforce MAX Objektivmotor verdoppelt die Geschwindigkeit
von slashCAM - Do 12:24
» Laowa stellt variable 1-5x und 5-10x Ultra Makros vor - inkl Cine Versionen
von iasi - Mi 20:19
» Insta360 Mic Pro - Funkmikro mit farbigem E-Ink-Display und 32-Bit Audio Float
von ElSaso - Mi 14:44
» DaVinci Resolve 21 importiert Affinity-Dateien, das Animations-Tool Cavalry wird kostenlos
von cantsin - Mi 12:30
» Viltrox 35mm 1.8 APO EVO
von medienonkel - Mi 11:53
» DIY: DJI Mic2 in die Klinkenbuchse geschaut.
von Jörg - Mi 10:03
» Nanlite Evoke 5C: Das vielseitigste, kompakte LED Spotlight am Markt?
von rob - Mi 8:43
» Sennheiser HD 480 PRO - neuer geschlossener Referenzkopfhörer für Studio und Live
von BigT - Di 21:53
» Blackmagic PYXIS 12K – Kostenloser Workshop für professionelle Filmemacher
von slashCAM - Di 16:06
» Blackmagic DaVinci Resolve und Fusion 21 Beta 2 Update verbessert u.a. Fotoverarbeitung
von medienonkel - Di 15:14
» LaCie 8big Pro - 8-Bay-RAID mit Thunderbolt 5 und bis zu 256 TB
von slashCAM - Di 13:33
» Tilta Khronos Cine-Adapter soll PL-Objektive an das iPhone bringen
von Jott - Di 12:39
» Ich gerate in Bergnot, damit ihr es nicht müsst!
von freezer - Di 11:03
» Nacktheit in Filmen vortäuschen.
von ffm - Di 9:52
» Bosma Vega H2 - 6K-Kamera mit um 90° drehbarem Sensor und ToF-Fokus
von Darth Schneider - Mo 18:14
» Manfrotto ONE: Das vielseitigste Hybrid Stativsystem für Video + Foto seiner Klasse?
von rob - Mo 16:29
» After Effects LLM gesucht
von tom - Mo 14:42
» Wenn Schauspieler PRODUZENTEN werden. WILSON GONZALEZ OCHSENKNECHT
von Nigma1313 - Mo 12:56
» Adobe kündigt Firefly AI Assistant an - Agent steuert Creative Cloud Apps per Prompt
von j.t.jefferson - Mo 11:07
» GoPro MISSION 1 Pro - 8K-Actioncams mit 1-Zoll-Sensor und MFT-Mount
von medienonkel - Mo 8:48
» Nikon teasert erste Cine lens (mit AF)
von iasi - So 16:27
» !!BIETE!! iPhone 12 mini in weiß 64GB
von klusterdegenerierung - So 14:27
» DNG ist offizieller ISO-Standard – Meilenstein für ein offenes RAW-Format, das keiner will?
von dienstag_01 - So 11:21
» OPPO Find X9 Ultra 8K Kamera-Smartphone bietet 10x Periskop-Zoom, 3D-LUTs und ACES
von soulbrother - So 6:54
» Flusskreuzfahrt, letzter Teil: Potsdam (mit passendem Lied)
von Riki1979 - Sa 17:03