Mixed Reality: BMW und Meta sorgen für Flugzeuge neben dem Auto
Bei Mixed Reality im Auto muss ein statischer Innenraum mit sich bewegender Fahrgastzelle in Einklang gebracht werden, damit die Immersion erhalten bleibt und es nicht zu Verschiebungen kommt. BMW und Meta arbeiten gemeinsam an einer entsprechenden Lösung, die beim ersten Ausprobieren in Santa Clara bereits solide lief.
Mixed Reality im Auto
Mixed Reality steht für die Kombination aus Augmented und Virtual Reality und könnte sich in den nächsten Jahren als weiteres Unterhaltungsmedium im Auto etablieren, wo derzeit Smartphones und Tablets oder gegebenenfalls ein teures Rear-Seat-Entertainment-System das Feld dominieren. Zum Beispiel ist Holoride einer der aktiven Player in diesem Gebiet und hat sich auf speziell für die Nutzung im Auto entwickelte Anwendungen spezialisiert. BMW und Meta wollen im Gegensatz zu Holoride nicht nur einzelne ausgewählte Apps, sondern das gesamte Mixed-Reality-Erlebnis, wie es derzeit zum Beispiel auf einer Quest 3 (Test) geboten wird, in das sich bewegende Fahrzeug übertragen.
Die gemeinsame Entwicklung einer entsprechenden Lösung findet in Kalifornien statt, wo BMW in Mountain View das Technology Office USA betreibt, das vor 25 Jahren exakt für solche Kooperation mit den Technologie-Giganten des Silicon Valley geschaffen wurde. Auch für dieses Projekt gilt derzeit noch, dass man sich zwar gemeinsam damit befasst, jedoch noch nicht sagen kann, ob daraus ein Produkt für die Serie entstehen wird.
Headset und Auto müssen miteinander kommunizieren
Augmented- und Virtual-Reality-Erlebnisse spielen sich derzeit vor allem innerhalb statischer Umgebung wie dem Wohnzimmer ab, also dem kompletten Gegenteil eines Autos. Für ein Mixed-Reality-Headset mit Inside-Out-Tracking ist das Interieur eines Auto zwar zunächst ein ebenfalls statischer Raum, doch mit der Bewegung des Fahrzeugs als Ganzes betrachtet kommen aktuelle Headsets nicht zurecht. Für die Inertial Measurement Unit (IMU) des Headsets kommt es während der Fahrt plötzlich zu einer Bewegung, die nicht mit dem erfassten Innenraum korreliert, sodass sich die für den Träger des Headsets sichtbare Benutzeroberfläche der Quest 3 sofort nach hinten im Raum verschiebt, sobald das Auto anfährt. Exakt zu diesem Verhalten kam es mit einem bewusst nicht präparierten Headset, als Meta und BMW auf einem Parkplatz vor dem Levi's Stadium in Santa Clara den aktuellen Entwicklungsstand des gemeinsamen MR-Projekts demonstrierten.
Damit sich die Immersion nicht schon nach wenigen Sekunden wieder auflöst, müssen Auto und Headset miteinander kommunizieren. Langfristiges Ziel der beiden Partner ist es deshalb, dass die Daten der IMU des Fahrzeugs an die Quest 3 übertragen und von dieser anstelle der Daten der eigenen IMU etwa aus den Controllern genutzt werden können. So weit ist der aktuelle Entwicklungsstand aber noch nicht, sodass Meta stattdessen einen der beiden Quest-3-Controller statisch im hinteren Fußraum eines BMW iX montiert und die Daten der Controller-IMU zur Simulation der Fahrzeugbewegungen nutzt.
Keine Verschiebungen und keine Motion Sickness
Mit dieser Konfiguration verschob sich die Benutzeroberfläche der Quest 3 nicht mehr beim Anfahren und verblieb auch bei höheren Geschwindigkeiten an statischer Position in der Fahrgastzelle, sodass das Headset wie zuhause genutzt werden konnte. Zu Motion Sickness kam es im konkreten Szenario ebenfalls nicht, das den Redakteur eine Runde über die öffentlichen Straßen rund um das Levi's Stadium führte, um verschiedene Apps auf der Rücksitzbank auszuprobieren, während Meta-Entwickler die Demo begleiteten.
Apps von Meta in das Auto übertragen
Zunächst einmal ging es Meta darum zu demonstrieren, dass sich das User Interface nicht mehr mit der Fahrt verschiebt. Benutzeroberflächen zur aktuellen Reise sowie zu abgespielter Musik wurden stabil im Raum vor dem Passagier gerendert und konnten mit dem Quest-3-Controller bedient werden. Das Panorama-Glasdach des iX ließ sich auf Wunsch zu einem 3D-Hologramm verwandeln, das gen Himmel pulsierte. Und wer unbedingt im Auto arbeiten möchte, konnte sich mit Unterstützung der virtuellen Assistentin „Jane“ auch ein per Chat übertragenes Word-Dokument in Mixed Reality ansehen. Deutlich entspannter ging es bei der Meditations-App zur Sache, die den Anwender vollständig in die Virtual Reality eintauchen ließ, um dort Atemübungen zu absolvieren.
-
User Interface für Multimedia (Bild: Meta)
Flugzeug-Spiel außerhalb des Auto
Das Highlight war jedoch ein Game, das sich außerhalb des Fahrzeugs abspielte. Dabei galt es, ein Flugzeug durch ein Gewitter zu navigieren und dabei Münzen respektive Punkte zu sammeln. Kollidierte man mit einer der Gewitterwolken, wurde dem Flugzeug Schaden zugefügt und es war umso schwerer, wieder auf Linie mit den Coins zu kommen. Beeindruckend war bei dieser Demo weder die Grafik noch die Steuerung, die lediglich über Auf- und Abbewegungen des Controllers realisiert wurde, sondern die Tatsache, dass das Spiel vollständig außerhalb des Fahrzeugs stattfand und dabei dauerhaft stabil in Relation zu diesem gerendert wurde, auch wenn schneller oder um Kurven gefahren wurde. Genau so stellt man sich ein spaßiges Mixed-Reality-Erlebnis im Auto vor.
ComputerBase hat Informationen zu diesem Artikel von BMW im Rahmen einer Veranstaltung des Herstellers in Mountain View erhalten. Die Kosten für Anreise, Abreise und drei Hotelübernachtungen wurden von dem Unternehmen getragen. Eine Einflussnahme des Herstellers auf die oder eine Verpflichtung zur Berichterstattung bestand nicht.
Fabian und 
Jan-Frederik