06 Mai Virtual VJ
Im Rahmen des Förderprogramms der Künstlerverbände und des BBK – Bund Bildender Künstler „NEUSTART für Bildende Künstlerinnen und Künstler“, habe ich ein Stipendium für mein Projekt unter dem Arbeitstitel „Virtual VJ“ erhalten. Worum geht es dabei?
Neben meiner Tätigkeit als Videokünstler im Rahmen von ‚klassischen’ Ausstellungen arbeite ich als VJ auch mit Video Live-Performances bei Festivals, in Clubs usw. Leider ist man als praktizierender Video-Performer üblicherweise an den Computer gebunden und „performt“ mit Keyboard und Maus, eventuell zusätzlich mit einem MIDI-Controller. Man bewegt als Video-Künstler also häufig nur die Finger, nicht aber den gesamten Körper. Dem Zuschauer erscheint ein solcher Video-Performer häufig als unbewegter Fremdkörper im Aufführungsraum. Ein Fremdkörper, der die Stimmung der Performance und Veranstaltung scheinbar nicht erfasst oder wiederspiegelt, sondern sich ungerührt in seinem Computerbildschirm vertieft.
Mit meinem Projekt unter dem Arbeitstitel „Virtual VJ“ möchte ich eine interaktive 3d-Umgebung entwickeln, die von einem sich bewegenden Performer virtuell erkundet und manipuliert werden kann. Dieser Performer soll die 3d-Umgebung in erster Linie mit einem VR-Headset erkunden und virtuelle Objekte mittels hardware-basierter Tracker und Controller manipulieren können. So können zb. virtuelle Triggerpoints [zb. MIDI] aktiviert werden, virtuelle Objekte gegriffen und bewegt oder zb. Farben von Objekttexturen verändert werden. Bei dieser Art von virtueller Performance bewegt sich der Performer mehr oder weniger frei im realen Raum und ist somit nicht mehr unmittelbar an den Computer-Arbeitsplatz gebunden.
In einem zweiten Schritt werden die im 3d-Raum erzeugten Bilder per Videoschnittstelle (zb. HDMI oder NDI), an einen zweiten Computer gesendet, der nur dazu dient, die erzeugten Bilder im realen Raum per Videomapping mit Videoprojektoren auf die Wände zu verteilen. Dadurch sind Zuschauer nicht darauf angewiesen, ebenfalls ein VR-Headset zu tragen. Vielmehr sehen sie auf der Bühne, zum Beispiel neben einem DJ oder Band, einen VJ bzw. Videoperformer, der sich mit VR-Headset und verkabelt am Computer zum Takt der Musik bewegt und hierbei die virtuelle Umgebung manipuliert, die sich per Projektion im realen Raum manifestiert. Der Performer wird dadurch selbst Teil der Performance und des Kunstwerks und wirkt nicht mehr nur wie jemand, der unbewegt am Computer Knöpfe drückt.
Funktionsweise:
„Virtual VJ“ als interaktive 3d-Umgebung soll explizit ein Werkzeug für Video-Performances sein, abseits der heute verfügbaren und weitaus komplexeren VR-Spiele oder VR-Malumgebungen. Die 3d-Umgebung soll zwar – wie viele gängige VR-Spiele – in Unity3d programmiert werden, da ich mit Unity bereits ein Video-Mapping-Spiel entwickelt habe (dafür habe ich etwa 8 intensive Arbeitswochen benötigt). Allerdings müssen hierfür klassische Spielemechaniken kreativ neu erdacht werden, angefangen bei der Interaktion mit virtuellen Gegenständen und ihrer virtuellen physischen Eigenschaften, bishin zur Steuerung von Bildeffekten.
Aufführung:
Die Nutzung und Aufführung des zu entwickelnden Programms soll in erster Linie im Rahmen meiner VJ-Gigs erfolgen. Auch ist vorstellbar, das Programm als reine Performance, in einem Ausstellungsraum oder auf einem öffentlichen Platz mit Videoprojektion darzubieten.
Technische Anforderungen:
– VR Headset mit Lighthouse-Tracking (unabhängig von äußeren Lichteinflüssen). Vive (kabellos) oder Steam VR (kabelgebunden)
– Controller mit Fingertracking für mehr Kontrollmöglichkeiten (Valve Index Controller)
– 3d Tracker für Interaktion zwischen realen und virtuellen Objekten
– Programmierung in unity3d (Vorraussetzung Spout oder NDI Plugin)
– Programmierung von 4 virtuellen NDI-Video-Ausgängen, um die erzeugten Visuals raumgreifend per Videomapping an die Wände zu bringen
Foto: VVJ Rauert auf dem Harsewinkelplatz in Münster
von Gerrit Elshof https://www.gerritelshof.de/
Die Vorführung auf dem Harsewinkelplatz fand statt im Rahmen von „Schwarz-Weiss ist die bessere Farbe“.
Gefördert durch das Kulturamt der Stadt Münster und die Kulturstiftung des Bundes
Das Projekt Virtual VJ von Yochanan Rauert wird gefördert im Rahmen des Zukunftsprojekts NEUSTART KULTUR vom BBK Bundesverband und von der Beauftragten der Bundesregierung für Kultur und Medien.
