Opartandmore Verfremdete Fraktale

Video

Video startet nach Auswahl eines Vorschaubildes über den Button "Youtube" mit geringerer Bildauflösung oder über den Button "opartandmore" über einen Video-Server mit höherer Bildaufösung. Bei Nutzung von Youtube werden allerdings Auswertungen seitens Youtube vorgenommen (siehe Impressum).

Fraktaldarstellung mit künstlichen neuronalen Netzen

Diese Seite enthält die Darstellung von Fraktalen, bei denen die Pixel der einzelnen Videobilder durch eine logische Verknüpfung mit den Pixeln des Vorgängerbildes gebildet werden. Hierdurch entsteht für jedes Pixel eine eigene optische Zeitreihe, die durch die logische Verknüpfung sowie durch den jeweiligen Bildausschnitt und die jeweilige Berechnung des Fraktals beeinflusst wird. Damit ein Pixel durch die iterative logische Verknüpfung nicht in einen unveränderlichen Extremwert (z.B. schwarz oder weiß) übergeht, werden Extremwerte zyklisch auf einen Startwert zurückgesetzt, ähnlich wie bei einer Modulo-Operation bei natürlichen Zahlen.

Die gewählten optischen Iterationen führen dazu, dass im Gesamtzusammenhang der Pixel scheinbare Durchblicke oder scheinbare dreidimensionale Formationen oder auch irisierende Flächen bzw. Punkte entstehen. Das eigentliche Fraktal bleibt dann nur noch teilweise sichtbar.

Als logische Operatoren wurden bei den einzelnen Videos jeweils folgende Boolsche Funktionen bei der Iteration der Pixel verwendet:

f_BOOL: AND / XOR / OR NOT / MAX / OR / AND NOT

Die folgende Grafik zeigt beispielhaft den hier gewählten zugehörigen Schaltkreis mit Rückkopplung jeweils für 1 Bit (P) eines Pixels für die Operation AND NOT. Die Farbe eines jeden Pixels setzt sich entsprechend dem hier verwendeten RGB-Farbmodell aus insgesamt 24 Bit zusammen (je 8 Bit P für rot, grün und blau), die alle den jeweiligen Schaltkreis parallel durchlaufen müssen:

Hierbei wurden folgende Iterationen durchgeführt:

a) für die Berechnung der Fraktale:

f _k+1 := f (o) f_k

mit 50 Iterationen (k) bei jedem Pixel pro Videobild; (o) entspricht einem Iterationsschritt
f: siehe oben jeweils in der Überschrift der einzelnen Videos;
c: zeitlich variabel als c(t) mit einem Ablauf der Zeitachse t := t+1 pro Videobild; c ist hierbei eine vorgegebene Folge komplexer Zahlen, durch die die sichtbaren Strukturen des Fraktals f dynamisch verändert werden können.

Der berechnete fraktale Wert f_k wird dann mit einem eigenen Farbmodell mit einer Farbtiefe von maximal nur 780 Farbstufen auf das RGB-Farbmodell umgesetzt.

b) anschließend für die weitere iterative Farbbearbeitung der Pixelfarben RGB:

RGB_i+1 := f_BOOL ( RGB_i, RGB(f_k+1) )

mit einem Ablauf (i) von 25 Bildern pro Sekunde bei jedem Pixel. RGB(f_k) stellt dabei den Wert der Farbe dar, der dem ursprünglichen Farbwert des originalen Fraktals nach der abschließenden k-ten Iteration entspricht;

Der Ablauf der Zeitachse t ist harmonisiert mit der Iteration i im Schaltkreis, d.h. t == i und entspricht einem Clockpulse.

Dabei wurden die Boolschen Funktionen einzeln für alle 24 Bit Pⁿ (n:=1,..24) eines jeden Pixels wiederholt angewandt und mit dem jeweils aktuellen Bit Pⁿ_i des RGB-Farbwertes (RGB_i) des Fraktals verknüpft. Anschließend wurden die neu ermittelten Bits (Qⁿ_i+1) als neuer RGB-Farbwert RGB_i+1 auf dem Bildschirm dargestellt.

Da einige Boolsche Operationen beim Iterationsprozess bei weiß (alle 24 Bit Qⁿ == "1") oder schwarz (alle 24 Bit Qⁿ == "0") enden, wurde bei derartigen Ereignissen jeweils ein SET oder RESET des Schaltkreises (hier im Beispiel mit einem logischen NAND) für alle 24 Bit durchgeführt. Der Schaltkreis für ein vollständiges Pixel bei der AND NOT-Funktion besitzt daher folgenden Aufbau:

Bei einer Bildschirmauflösung von 500x500 Pixel werden somit 250 000 Schaltkreise dieser Art 25x pro Sekunde für jedes einzeln errechnete fraktale Bild emuliert, wobei pro Sekunde jeweils eine Abfolge von 25 neuen fraktalen Bildern mit je 50 Iterationen vorher als Eingangsgröße für die Schaltkreise berechnet wurde. Der nach 50 Iterationen für jede Pixelposition original errechnete fraktale Wert wird in einen RGB-Wert umgerechnet, der dann anschließend vom Schaltkreis weiterverarbeitet wird, bevor schließlich die Ausgabe auf dem Display erfolgt.

Die Schaltkreise entsprechen einem künstlichen neuronalen Netz, das einschichtig aufgebaut ist und eine rekurrente Form mit einer direkten Rückkopplung besitzt.

Durch Veränderung des Koordinatenfensters (Vergrößerungen und Verkleinerungen), bei der Navigation im Fraktal sowie Änderungen des Terms c in den fraktalen Funktionen können während der Videoberechnung mit dem Schaltkreis inkl. der automatisierten Entfernung extremer Pixelwerte (SET und RESET) Sprünge oder Bewegungen von Teilbildern und auch scheinbare dreidimensionale Bewegungen oder scheinbare Transparenz von Teilbildern im Ablauf des Videos sichtbar werden, woraus sich die künstlerische Darstellung dieser Art von Berechnungen ergibt. Einige der Boolschen Operationen (z.B. XOR) führen zu eher unangenehm wirkenden, irisierenden optischen Eindrücken. Der Vollständigkeit halber werden aber einige Videos hier dennoch präsentiert.

Eine Gegenüberstellung zwischen einer herkömmlichen Darstellung und der durch den Schaltkreis verfremdeten Darstellung zeigt das folgende Video beispielhaft. Farben erscheinen invers (Negation der Eingangsfarben im Schaltkreis) und Hintergrundfarben bleiben durch die iterative Rückkopplung teilweise erhalten, wodurch neue Hintergrundstrukturen sichtbar werden können:

Linkes Bild Ausgabe über Schaltkreis; rechtes Bild original Darstellung:

Im Gegensatz zum Beispiel oben mit AND NOT findet bei der AND-Funktion (siehe Beispiel unten) dagegen keine Farbinvertierung statt, sondern Farbmodifikationen als Folge der Rückkopplung. Hierbei werden auch die Hintergrundveränderungen im Vergleich zum Original noch deutlicher sichtbar:

Die Veränderungen der Bildpunkte nach der eigentlichen Berechnung der Fraktale erfolgt während der Videoaufnahme durch das neuronale Netz. Die Bildsequenzen sind wegen der rekursiven Abläufe der Schaltkreise häufig nicht vorhersehbar und während der Videoaufnahme nur schwer zu steuern. Wiederholungen oder die Korrektur von Bildsequenzen sind wegen der hohen Zahl von Parameteränderungen während der Aufnahme ebenfalls nicht möglich, da die rekursiven Schaltkreise keine Wiederherstellung vergangener Zustände zulassen und die Einstellungen nicht protokolliert werden. Somit kann man die Videos als weitgehend nicht wiederherstellbare Originale ansehen, wenn man von Kopien der Videodateien absieht.

Die hier zum Schluss vorgenommenen zwei Gegenüberstellungen beispielhafter Videosequenzen mit Originalberechnung und Veränderung durch die rekursiven Schaltkreise des künstlichen neuronalen Netzes wurden durch eine Doppelaufnahme herbeigeführt. Hierbei wurden wie mit zwei Kameras gleichzeitig das Ergebnis der Originalberechnung und des neuronalen Netzes aufgenommen, so dass man beide Versionen gleichzeitig nebeneinander betrachten kann.

Bei den Arbeiten mit künstlichen neuronalen Netzen wurden auch Versuche durchgeführt, mehrere Neuronen untereinander rekursiv in einem Netz II zu verbinden. Dabei entstanden zwar interessante Ergebnisse, aber aus künstlerischer Sicht waren die Videos nach meinem Dafürhalten nicht geeignet. Es kam vielmehr ein massives Problem auf, das die Steuerung der Parameter des Fraktals zwar nicht verhindert, das aber die Kontrolle über die Videoaufnahme verloren geht. Der Grund liegt darin, dass bei Vernetzung von Neuronen untereinander das neuronale Netz bei Stopps und sogar beim Ende der Aufnahme einfach weiter arbeitet und dabei die Bildinhalte der einzelnen Videoframes weiter verändert, so dass die verschiedenen Videosequenzen keinen ausreichenden Anschluss untereinander mehr besitzen.

Außerdem sind die Ergebnisse der eigenständigen neuronalen Bildbearbeitung nur bedingt für künstlerische Darstellungen geeignet. Vielmehr zeigt sich, dass das neuronale Netz II beginnt, optische Muster aufzubauen, wie sie möglicherweise auch bei einfachen Lebewesen vorkommen. Daher wurden mit diesem Netz eine Untersuchung durchgeführt, ob es sich als einfaches Modell für das Erkennen von Objekten eignet, die als Voraussetzung für den Beginn des Bewusstwerdungsprozesses zu sehen sind. Ergebnisse hierzu findet man in der Ausarbeitung über eine Simulation der Bewusstwerdung mittels Julia-Mengen auf Basis der Forschungsarbeiten von Prof. Ralf Otte (TH Ulm). Einen direkten Sprung in diesen angesprochenen Teil der Ausarbeitung findet sich unter dem folgenden Link Simulationen.

Damit man sieht, wie mögliche Ergebnisse von Netz II aussehen, wird hier ein kleines Beispiel gezeigt, aus dem sich der Prozess des Beginns einer Objekterkennung durch Muster ähnlich wie bei Isolinien zeigt.

Experimente mit Netz II durch Verwendung anderer Boolescher Funktionen für andersartige Verbindungen von Neuronen wurden bisher noch nicht gemacht.

Video-Verzeichnis

Corona Mutante : (z⁵+c)/z³
Verknüpfung der Pixel durch logisches NOT AND
(0:53 min)

Die Außenansicht stellt symbolisch das Corona-Virus dar. Nach starken Vergrößerungen der Innenansichten erfolgt dann eine Rückkehr zur Außenansicht. Dabei produziert das künstliche neuronale Netz unerwartet aggressiv erscheinende gelbe, spitze, schnell wachsende Auswüchse, wobei das neuronale Netz versucht, die gesamte Videofläche einzunehmen. Nur durch schnellen Rückzug aus dem Innern durch Handsteuerung wird das neuronale Netz an einer Dominanz der gelben Flächen gehindert. Bei späteren Versuchen ist es nicht mehr gelungen, genau diese Konstellation mit dem Ausbruch durch das neuronale Netz zu wiederholen. Der Ausbruch symbolisiert den zeitlichen Ablauf der Pandemie.

Swirl : z²-cz
Verknüpfung der Pixel durch logisches AND
(0:55 min)

Die anfängliche Eingangsfigur wird über Handsteuerung durch unterschiedliche Vergrößerungen und Translationsanweisungen in Bewegungen und Rotationen versetzt. Das neuronale Netz verändert dabei die Aufsicht in dreidimensional wirkende Durchblicke, die nicht mehr mit Handsteuerung kontrolliert werden können. Ganz zum Schluss gibt das neuronale Netz das Endergebnis seiner Betrachtung aus.

Coloured Roses : (z³+c)/z
Verknüpfung der Pixel durch logisches AND
(1:11 min)

Die Eingangsfigur wird über Handsteuerung durch unterschiedliche Vergrößerungen und Translationsanweisungen in Bewegungen und Rotationen versetzt. Das neuronale Netz bringt dabei das Eingangsbild sofort zum Zusammenbruch und überlagert dabei alle Veränderungen, die durch Vorgaben mittels Handsteuerung ausgelöst werden. Bei der Videoaufnahme besteht keine Kontrolle mehr, wie das neuronale Netz dreidimensional wirkende Durchblicke überlagert. Am Ende der Videosequenz löst das neuronale Netz nahezu alle Strukturen wieder auf, wobei noch ein paar Störimpulse übrigbleiben.

Chaos of Structures : z²-cz
Verknüpfung der Pixel durch logisches XOR

ACHTUNG: stark irisierend
(0:41 min)

Die Handsteuerung hat nahezu keine Einflussmöglichkeiten auf die Aktivitäten des neuronalen Netzes, das hier zu chaotischen Überlagerungen von Einzelbildern führt, die zudem stark irisierende Wirkungen erzeugen. Im Laufe des Videos führen die Strukturen immer mehr ins Chaos, wobei Steuerungen per Hand keine Möglichkeit besitzen, wieder einen stabilen Zustand herzustellen. Die Betrachtung des Videos ist nicht angenehm.

On the Fly : (z³-z)/(c*z²+1)
Verknüpfung der Pixel durch logisches XOR
ACHTUNG: stark irisierend
(0:37 min)

Auch bei diesem Video verliert die Handsteuerung die Kontrolle über das Geschehen. Die Aktivitäten des neuronalen Netzes führen, auch hier zu stark irisierenden Wirkungen, wobei die Strukturen immer mehr ins Chaos abgleiten. Nur kurz gelingt es per Handsteuerung, die Strukturen zu verändern, bis das neuronale Netz diese Strukturen erneut auflöst. Die Betrachtung des Videos ist nicht angenehm.

Clock Hand : (z³+c)/z
Verknüpfung der Pixel durch Auswahl von MAX
(1:01 min)

Nach dem Start des Videos wird vom neuronalen Netz das Eingangsbild durch eine Vielzahl von kreisförmigen Gebilden, die wie Uhren erscheinen, überlagert. Durch Vergrößerungen und Verkleinerungen sowie Translationsbewegungen ausgelöst durch Handsteuerung entstehen viele dynamische Bewegungen durch das neuronale Netz mit zunehmend chaotischen Strukturen. Per Handsteuerung gelingt es aber, Überlagerungen herbeizuführen, bei denen das Chaos vermehrt durch flächige Strukturen übelagert wird.

Trinity in Red, Light, and Blue : (z³+c)/z
Verknüpfung der Pixel durch logisches AND
(1:30 min)

In dem Video werden bläuliche Flächen und rötliche "Kugeln" ausgehend von Vergrößerungen und Verkleinerungen sowie Translationsbewegungen mittels Handsteuerung vom neuronalen Netz durcheinander gewirbelt und überlagert, wodurch vielfach dreidimensionale Eindrücke entstehen. In der Schlusseqeuenz des Videos kommt es zu extrem schnellen Bildüberlagerungen durch eine Eigenschaft des Fraktals, bei der minimale Veränderungen zu massiv unterschiedlichen Ausprägungen des Erscheinungsbildes führen, auf die weder Handsteuerung noch das neuronale Netz sinnvoll steuernd eingreifen können. Aber auch bei den schnellen Bildfolgen oder abrupt erscheinenden Übergängen besteht zwischen allen Bildern ein direkter grafischer Zusammenhang, auch wenn das bisweilen nur schwer zu erkennen ist.

Insight Inhibited : (z³+c)/z
Verknüpfung der Pixel durch logisches OR NOT
ACHTUNG: stark irisierend
(0:56 min)

Auch bei diesem Video werden vom neuronalen Netz irisierende Formen erzeugt, aber hier bleiben Strukturen weitgehend erhalten. Der Handsteuerung gelingt es aber nicht, wieder zu der Situation beim Start der Videoaufnahme zuückzukehren, da durch die Überlagerungen des neuronalen Netzes nun neue, durch Handsteuerung nicht mehr sinnvoll beeinflussbare Strukturen entstanden sind.

Yellow Rain : (z³+c)/z
Verknüpfung der Pixel durch logisches OR
(0:38 min)

Bei diesem Video werden zunächst wieder Gebilde, die wie Uhren aussehen, vom neuronalen Netz projiziert. Aber hier führt die Handsteuerung während der Videoaufnahme dazu, dass in der Schlussphase das neuronale Netz nahezu das gesamte Bild mit einem Gelbton abdeckt.

Red Christmas Bells : (z³+c)/z
Verknüpfung der Pixel durch logisches AND
(1:42 min)

Kugelförmige Gebilde werden über Handsteuerung mittels Einwirkungen auf Veränderungen des Koordinatensystems und von Positionsänderungen vom neuronalen Netz durch einen bisweilen dreidimensional wirkenden Raum geschleudert. Durch manuelle Variation des Parameters "c" als zeitliche Funktion werden von der fraktalen Funktion sehr schnelle Bildfolgen mit massiven Änderungen der Erscheinungsform des Fraktals erzeugt, bei denen es mit Handsteuerung am Ende nur mit Mühe gelingt, eine Position zu finden, die sich nur wenig bewegt. Nach Erreichen dieser Position wird die Videoaufnahme manuell gestoppt, um nicht das weitgehend einfarbige Schlussbild durch weitere nicht vorhersagbare Auswirkungen des neuronalen Netzes zu zerstören. Die einzelnen, manchmal sprunghaften Übergänge in der Videosequenz bauen aufeinander auf, auch wenn die Übergänge nicht immer zusammenhängend erscheinen.

Red Spheres : (z³+c)/z
Verknüpfung der Pixel durch logisches AND
(0:53 min)

Ähnlich wie im Video "Red Christmas Bells" werden kugelförmige Gebilde durch den Raum geschoben. Hier zeigt sich, wie durch unterschiedliche Parametrierung und andere Vorgaben über Handsteuerung während der Videoaufnahme andere Bildfolgen generiert werden, obwohl hier dieselbe fraktale Funktion zu Grunde liegt.

Wirbel : (z³-z)/(c*z²+1)
Verknüpfung der Pixel durch logisches AND
(1:33 min)

In diesem Video bleibt die veränderliche, blaue Grundstruktur des Fraktals meistens sichtbar. Diese Struktur wird vom neuronalen Netz in chaotischen Wirbelformationen eingebettet. Nach einer Reise durch mehrere Wirbel geht das eigenliche Fraktal verloren und musste per Handsteuerung während der Vidoeaufnahme erneut gesucht werden. Durch manuelle Steuerung veränderte sich dabei auch die Grundstruktur des Fraktals durch angelagerte Substrukturen und Krümmungen. Am Schluss löst das neuronale Netz die Grundstruktur auf. Abschließend werden per Handsteuerung die Parameter der fraktalen Funktion erneut modifiziert, wobei die Kameraführung in einen Wirbel eintaucht und dort zu einem Ende kommt.

Op Art and More

Verfremdete Fraktale im Stil des Futurismus

Manipulation von Fraktalen durch logische Operationen in künstlichen neuronalen Netzen

Fraktaldarstellung mit künstlichen neuronalen Netzen

Video-Verzeichnis