Recursive hat eine lange Tradition als Entwickler von Audio- und Video-Hardware, sowie Designsoftwarelösungen für zahlreiche renommierte Marken auf der ganzen Welt. Als sich also eine hochkarätige Modemarke dazu entschied, für ihr Geschäft im chinesischen Shenzhen ein vollständig immersives Projektionserlebnis mit Echtzeitdarstellung zu entwickeln, war Recursive (neben Green Room) eine naheliegende Wahl.
Vier verschiedene Welten
Der Klient sah die bisherige Arbeit von Recursive im Puma Store auf der Fifth Avenue in New York und suchte daraufhin ein Unternehmen, das eine Multimedia-Erfahrung für seine Kundschaft entwickelt. Den Kunden sollte die Möglichkeit geboten werden, eine „märchenhafte Entdeckungsreise“ durch eine magische und mystische Landschaft mit einem aussagekräftigen Zusammenspiel der virtuellen und realen Welt in Echtzeit zu unternehmen.
David Yates, CEO von Recursive, erklärte: „Wir wurden beauftragt, die Systemarchitektur zu entwickeln und den kreativen Inhalt in eine reale Lösung umzuwandeln. Der Nutzer erlebt vier verschiedene Welten basierend auf vier Hauptthemen aus der natürlichen Welt. Diese Welten werden automatisch durch soziale Interaktionen ausgelöst und passen sich jedes Mal den individuellen Bewegungen jedes einzelnen Nutzers innerhalb des Raums an.
„Wir erkannten bereits zu Beginn, dass wir mit Echtzeit-Rendering arbeiten würden und dafür eine Methode für die Anpassung des Inhalts an die Form und Aufteilung des physischen Raums erforderlich ist, die sowohl 360 Grad abdeckt als auch eine komplexe Form mit konvexen und konkaven Oberflächen aufweist.“
Wie das Team außerdem feststellte, waren die endgültige Auflösung und Leinwandgröße außerordentlich hoch, sodass 6x4K-Laserprojektoren mit 21.000 Lumen an Wänden und Boden eingesetzt wurden. Die Echtzeitdarstellung verlangte, dass die Auslastung auf mehrere Geräte verteilt werden musste, die gemeinsam als ein Gerät fungierten und über das Netzwerk miteinander kommunizierten.
(Foto: © Recursive Digital / Ezra Miller)nDisplay-Systems von Unreal Engine
Das führte zum Einsatz des nDisplay-Systems von Unreal Engine, da es nicht nur die Umgebung darstellt, sondern auch die Auslastung auf eine Weise auf verschiedene Arbeitsstationen verteilt, die schnell einzurichten und leicht zu handhaben ist.
Das Team verwendete zudem die Technologie von VIOSO zum Scannen des Raumes und Generieren der erforderlichen Dateien in den entsprechenden Formaten, damit das Unreal-System die Gestaltung und Form der Viewports von nDisplay verstehen konnte.
„Die Projektionsfläche, die uns im vorhandenen Raum zur Verfügung stand, war äußerst unregelmäßig“, so Paul Marshall, Berater für audiovisuelle Medien. „Wir brauchten eine zuverlässige und flexible Mapping-Lösung für die Projektion, die komplexes Blending ermöglicht und mehrere Arbeitsstationen in Echtzeit miteinander synchronisieren kann. Wir setzten zahlreiche Kameras ein, um den Raum zu scannen, und erhielten nach einem Konvertierungsprozess eine einheitliche MPCDI-Ausgabe.“
Die MPCDI-Dateien wurden dann in nDisplay eingearbeitet und anschließend innerhalb der nDisplay-Konfiguration eingesetzt, um die Ausgabe den Projektoren zuzuordnen, die mit jedem nDisplay-Knotenpunkt verbunden waren.
(Foto: © Recursive Digital / Ezra Miller)VIOSO für Multi-Kamera- und Multi-Projektor-Kalibrierung
Smith fügte hinzu: „Abgesehen von den Hauptanforderungen der Echtzeitdarstellung waren noch weitere physische Installationselemente für die Kommunikation erforderlich. Um es nochmal zu betonen, nDisplay ermöglicht dies mithilfe des Blueprint-Systems von Unreal durch zahlreiche Netzwerkprotokolle wie OSC und UDP, wodurch wir die dynamische Beleuchtung, Nano-Winden, Hazer und Audiosysteme in Echtzeit steuern konnten.“
Yates ergänzte: „Wir haben zuvor schon mit VIOSO zusammengearbeitet und wussten, dass das Team unser erster Anlaufpunkt sein würde, um die Herausforderungen beim Mapping des Raumes zu lösen und ein Ausgabeformat zu liefern, welches dann in einer Anwendung für Echtzeitdarstellung verwendet werden konnte. VIOSO hat in dieser Branche einen ausgezeichneten Ruf, und schon nach dem ersten Treffen war uns klar, dass wir wieder die richtigen Partner für dieses Projekt an unserer Seite hatten.“
Das VIOSO-System bot dem Team eine Multi-Kamera- und Multi-Projektor-Kalibrierung, mit dem die erforderlichen Dateien für die nDisplay-Konfiguration generiert wurden.
„In Gesprächen mit VIOSO kamen wir zu dem Schluss, die VIOSO-Software einzusetzen, um den Raum zu scannen, den 3D-Modellraum nach den Scanergebnissen einzurichten und die Datensätze in einem MPCDI v2-Format auszugeben, welches dann von nDisplay genutzt werden konnte“, sagte Smith. „Da nDisplay für die Echtzeitdarstellung des Projekts unerlässlich war, legten wir besondere Aufmerksamkeit auf den einzigen anderen Fall, in dem diese beiden Ansätze kombiniert wurden. Es handelt sich dabei um die Pharos-Konzertserie von Childish Cambino.“
(Foto: © Recursive Digital / Ezra Miller)Weltweit agierendes Team
Das Team erreichte das erforderliche Niveau für Tracking und Steuerung durch die Entwicklung eines eigenen internen Systems auf Grundlage von mehreren Tiefenkameras. Das System verwendet eine Punktwolken-Methode, um den Nutzer durch eine Echtzeit-Auswertung der Tiefendaten aus unterschiedlichen Perspektiven sehen zu können.
„Es musste für uns auch möglich sein, Skelett-Tracking zu nutzen, um graphische Objekte in Echtzeit in der Unreal-Umgebung bewegen zu können“, sagte George Roboz, Content Production Manager. „Wir nutzten Microsoft Azure Kinect, das die Skelettbewegungen des Nutzers über Touch Designer in Daten übersetzt. Dadurch wird nDisplay über das Blueprint-System von Unreal ausgelöst. Sobald eingeladene Kunden den Raum betreten, lösen sie komplexe Partikelsysteme aus, verformen Objekte und interagieren mit Flora und Fauna, indem sie danach greifen und ihre Position im physischen Raum verändern, während sich um sie herum eine magische Geschichte abspielt.
Sowohl virtuelle als auch physische Echtzeitinteraktionen machen den Raum nicht nur in Bezug auf das Nutzererlebnis einzigartig, sondern auch hinsichtlich des Designs und der Herausforderungen bei der Umsetzung des Projekts.
„An diesem Prozess waren viele Personen aus verschiedenen Teilen der Welt beteiligt, die alle an unterschiedlichen Aspekten des Projekts gearbeitet haben“, erklärte Marshall. „Wir mussten weit vorausplanen und ihre Arbeit unterstützen. Aus diesem Grund war die Testphase von essentieller Bedeutung. Der Inhalt wurde in den USA entwickelt und der endgültige Raum wurde im Geschäft in Shenzhen mit Design- und Kundenteams aus Großbritannien aufgebaut.“
Aufgrund des herausfordernden Aufbaus und um sicherzustellen, dass das Design unter realen Bedingungen funktionieren würde, entwickelte das Team aus Großbritannien ein Modell des Raums in voller Größe. So konnte das Team den Arbeitsablauf testen und optimieren und sich auf mögliche Risiken vorbereiten.
„Aus unserer Zusammenarbeit wurde eine richtige Freundschaft, als wir jede einzelne technische Herausforderung gemeinsam lösten“, sagte Yates. „Wir verbrachten viele schlaflose Nächte im Home-Office, da wir oft mit internationalen Teams zusammenarbeiteten, doch das Endprodukt war es wert. Wir waren unglaublich beeindruckt von der Kompetenz des VIOSO-Teams und seiner Bereitschaft, Funktionen zur eigenen Software hinzuzufügen, wenn es erforderlich war. Wir empfehlen die Zusammenarbeit mit VIOSO sehr und freuen uns bereits auf unser nächstes Projekt, bei dem wir wieder mit dem Team kooperieren können.