Nachgefragt

Chefdramaturgin Larissa Wieczorek im Gespräch mit Nora Krahl (NK), der Regisseurin und Leiterin des MiR.LAB, sowie mit Barış Pekçağlıyan (BP), dem Leiter des Digital-Arts-Teams.

Im MiR.LAB erforscht ihr neue Formen des Musiktheaters an der Schnittstelle von Teilhabe, Kunst und Digitaltechnik. Jetzt arbeitet ihr an der „Zauberflöte“. Warum eignet sich diese Oper eurer Meinung nach für eine Umsetzung mit Digitalkunst?

BP: Die „Zauberflöte“ ist wie ein Märchen, eine Heldengeschichte, die viele Elemente enthält, die man auch aus Videospielen kennt, vor allem diese „Challenges“ (Prüfungen), durch die die Oper sehr an heutige Digitalwelten erinnert. Digitalkunst passt gut dazu.

NK: Ein typisches Beispiel ist der Moment, wenn Tamino zum Weisheitstempel kommt und dort drei Pforten vorfindet, von denen sich zwei nicht öffnen lassen. Außerdem erhält unser Held von Figuren, denen er an verschiedenen Orten begegnet, je nur bruchstückhafte Informationen, die er nach und nach zusammensetzen muss – das alles erinnert mich an ein komplexes Computerspiel. Gleichzeitig kommt die „Zauberflöte“ sehr misogyn, also frauenfeindlich, daher. Ähnlicher Sexismus findet sich auch in der Gaming-Welt: Frauen als „Jungfrau in Nöten“ oder als sexualisierte Avatare wie in „Tomb Raider“. Wenn ich die „Zauberflöte“ in eine solche real existierende – aber virtuelle – Welt verlege, kann ich die Frauenbilder im Stück eher akzeptieren – und sie in der Inszenierung zugleich hinterfragen, kommentieren und auf überraschende Weise mit ihnen brechen.

Das heißt, die „Zauberflöte“ ist bei euch ein Computerspiel?

NK: Es ist nicht das, was man vielleicht erwartet, wenn man an Computerspiele denkt. Es werden weder Leute mit Joysticks auf der Bühne stehen, noch ist es ein „Super-Mario“-mäßiges Jump-and-Run-Spiel. Was wir zeigen, ist eine Open-World-Simulation. Wir werden viele Ruinen auf der Bühne haben, eine historische Opernwelt mit richtig schönen, großen, bunten, glänzenden Opernkostümen. Zusätzlich gibt es eine kleine und eine große Videowand sowie einen riesigen LED-Vorhang. Wir nutzen die Digitaltechnologie vor allem, um die Welt der „Zauberflöte“ noch magischer und vielschichtiger zu machen, um eigentlich unrealistische Dinge geschehen lassen zu können.

Was meint ihr mit „Open-World-Simulation“?

NK: Heutzutage gibt es hochkomplexe Computerspiele, in denen man sich frei durch eine Welt bewegen, Aufgaben erfüllen oder Herausforderungen annehmen kann – oder es eben sein lässt und ganz andere Dinge tut. Diese Welten innerhalb der Open-World-Games existieren auch ohne aktive Spieler*innen – als selbstorganisierte digitale Ökosysteme voller simulierter Computerfiguren. Von so einer Welt ist unsere „Zauberflöte“ inspiriert.

Und was hat es mit diesem LED-Vorhang auf sich?

NK: Der LED-Vorhang ist ein einzigartiger Prototyp, den wir hier entwickelt haben. Sowas gibt es außerhalb des MiR bisher noch nicht. Er besteht aus zig beweglichen Leuchtstreifen, die zusammen ein gigantisches Display von 10 mal 8 Metern bilden können, durch das man hindurchsehen kann.

BP: Wenn der Vorhang hängt, wirkt er wie ein grobpixeliger Bildschirm. Man kann ihn aber auch bis auf den Boden herunterlassen, sodass sich die einzelnen LED-Streifen zu Haufen aufrollen. Dann schaut man nicht mehr auf einen zweidimensionalen Bildschirm, sondern auf ein dreidimensionales, leuchtendes Objekt.

NK: Außerdem können die Sänger*innen zwischen den Leuchtstreifen hindurchlaufen oder sie anfassen und in Schwingung versetzen – sie können also nicht nur virtuell, sondern auch physisch damit interagieren. Das heißt, die Darsteller*innen und die digitale Welt können einander wirklich berühren.

Inwiefern sind die digitalen Elemente interaktiv?

BP: Um interaktive Szenen zu erzeugen, benutzen wir zwei verschiedene Tracking-Technologien: einerseits eine Infrarotkamera in Kombination mit Künstlicher Intelligenz (KI) und andererseits LiDAR-Sensorentechnologie. Die Infrarotkamera wird nicht zur Bilderzeugung verwendet, sondern das von ihr erstellte Datenmaterial wird an eine Bilderkennungssoftware im Computer geschickt und durch eine KI weiterverarbeitet. So gewinnen wir Informationen, die wir nutzen, um zusätzliche visuelle Inhalte für unsere Screens und den LED-Vorhang zu erzeugen.

Die LiDAR-Sensorentechnologie ist die andere Technologie. Eine, die auch in selbstfahrenden Autos steckt: ein System, mit dem Hindernisse in der Umgebung erfasst werden können. Es ist eine Art 360°-Laserscanner, der in unserem Fall erkennen kann, wo genau sich die Darsteller*innen auf der Bühne befinden. Diese Positionsdaten können wir dann für Interaktionen mit den Videoleinwänden und dem LED-Vorhang verwenden.

Was für Interaktionen zum Beispiel?

NK: Zum Beispiel werden die Sänger*innen live zu sehen sein, während sich parallel etwas von ihren Figuren Inspiriertes, von der KI Erstelltes, synchron im Display bewegt, also auf sie reagiert. Und Spoiler: Wir nutzen die Techniken an mehreren Stellen auch für magische Verwandlungen der Figuren.

BP: Auch bei der Erstellung von vorproduzierten Videos beziehen wir Objekte aus der realen Welt ein, viele Elemente von der Bühne. Wir entwickeln diese mithilfe von KI visuell weiter und übertragen sie entweder in eine 3D-Welt oder in eine komplett KI-generierte Welt. So wird man zum Beispiel die Bühnenarchitektur, die in echt nur frontal und in 2D zu sehen ist, zugleich auch in 3D und aus der Vogelperspektive sehen können. Auf diese Weise schlagen wir eine weitere Brücke zwischen dem, was auf der Bühne zu sehen ist, und dem virtuellen Bildraum.

NK: Auch die Kostüme werden in die 3D-Welt übertragen und beeinflussen dort, wie die Welt beschaffen ist. Was die Bilderstellung angeht, steckt ein enormer Aufwand an Personal und Technik hinter all dem: Sechs Personen arbeiten jeweils zwei bis drei Monate daran, das Ganze auf die Beine zu stellen.