Mixed Reality im Auto: BMW macht den M2 zum Rennspiel-Controller
Was passiert, wenn man den neuen BMW M2 mit einem Mixed-Reality-Headset und einem Gaming-PC ausstattet? Der Sportwagen selbst verwandelt sich dadurch zum Controller, mit dem sich über einen virtuellen Rundkurs heizen lässt, Punkte gesammelt und Bestzeiten aufgestellt werden können. Gefahren wird aber in der echten Welt.
In diesem ganz speziellen M2 steckt ganz schön viel Technik. Gemeint ist nicht der 460 PS starke Reihensechszylinder, mit dem BMW selbst den vorherigen M2 CS überflügelt, oder das neue Cockpit mit Curved-Screen und BMW OS 8, sondern das, was den Sportwagen zum Controller in einer Mixed-Reality-Umgebung macht. Zum Web Summit in Lissabon hat BMW das neue Modell (G87) unter anderem mit einem Gaming-PC im Kofferraum ausgerüstet, zu dessen Technik der Hersteller zumindest so viel verraten hat, dass eine GeForce RTX 3090 (Test) das Rendering bewältigt.
Ein ganz spezieller M2
Dass in diesem M2 nicht alles mit rechten Dingen zugeht und manches teils stark von der Serie abweicht, signalisieren neben dem PC im Kofferraum die auffällige Folierung, die fürs Head-Tracking genutzte ART Smarttrack 3 in der Windschutzscheibe und nicht zuletzt die Schroth-Vierpunktgurte, die für das Serienmodell nicht angeboten werden und im Prototyp aus zwei Gründen verbaut sind. Zum einen wird der Fahrer damit auf der schnellen Runde im Schalensitz gehalten und zum anderen hat BMW aus berechtigten Gründen die Airbags deaktiviert.
-
BMW M Mixed Reality im BMW M2 (G87)
Varjo XR-3 bietet hochauflösende Focus Area
Hintergrund ist, dass Fahrer den M2 nicht klassisch mit freiem Blick über einen Rundkurs scheuchen, sondern dabei ein Mixed-Reality-Headset tragen, das sich – sollte es trotz aller Absicherungen doch dazu kommen – nicht gut mit einem Airbag verträgt. An den Gaming-PC im Kofferraum schließt BMW die Varjo XR-3 an, ein hochauflösendes HMD, das sich mit einem Basispreis von 6.500 Euro und jährlichen Kosten von 1.500 Euro eindeutig an das B2B-Segment richtet. Die XR-3 zeichnet unter anderem eine „Focus Area“, also ein besonders hochauflösender Bereich von 27 × 27 Grad im zentralen Blickfeld des Fahrers, aus, in dem mit 1.920 × 1.920 Pixeln sehr hohe 70 PPD (Pixels per degree) erreicht werden. Varjo vertraut dabei auf ein Micro-OLED-Panel, das im peripheren Sichtfeld von einem LCD mit 2.880 × 2.720 Pixeln (30 PPD) pro Auge umgeben wird. Horizontal kommt die XR-3 auf ein Field of View von 115 Grad. Die MR-Brille deckt 99 % von sRGB und 93 % von DCI-P3 ab und arbeitet mit 90 Hz.
-
Varjo XR-3
Kameras projizieren echte Welt in VR
Zum Mixed-Reality- statt normalen VR-Headset machen die XR-3 unter anderem zwei 12-MP-Kameras an der Vorderseite, die mit niedriger Latenz ein Videosignal mit 90 Hz aufzeichnen, um dem Träger nicht nur eine virtuelle Welt zu präsentieren, sondern eine, in die sich Ausschnitte aus der echten Welt projizieren lassen, woraus sich das Mixed-Reality-Erlebnis ergibt, das BMW für die „M Mixed Reality“ im M2 nutzt. Der Ansatz ist demnach ein anderer als bei AR, das virtuelle Elemente auf eine transparente Scheibe vor dem Nutzer projiziert, die dadurch eine oftmals halbtransparente holografische Darstellung haben, die entsprechende Qualitätseinbußen mit sich bringt. Die Kameras liefern eine deutlich höhere Qualität, erreichen aber nicht den Dynamikumfang des menschlichen Auges.
Virtueller Rundkurs auf echter Freifläche
Der zum Web Summit präsentierte Aufbau ist vergleichsweise einfach erklärt. Auf einer Freifläche im Süden von Lissabon hat sich BMW einen Bereich geschaffen, der groß genug ist, um darauf gefahrlos auch mit höherem Tempo den M2 zu bewegen, der sich für den Fahrer mit dem Headset aber nicht in Lissabon befindet, sondern auf einem virtuellen Rundkurs, dessen Abmessungen der Freifläche entsprechen. Von der echten Welt abgekoppelt ist der Fahrer aber insofern nicht, als dass das gesamte Cockpit über die Kameras im HMD aufgezeichnet und mit der virtuellen Welt verbunden wird.
Scheiben werden zur Projektionsfläche
Die Fusion aus echter und virtueller Welt erreicht BMW, indem die Scheiben des Fahrzeugs als Projektionsfläche der virtuellen Umgebung definiert werden, während das im HMD sichtbare Fahrzeug eine Abbildung der Kameras im HMD ist. Was der Fahrer direkt vor sich sieht, also das Lenkrad und das gesamte Cockpit des Autos, wird demnach nicht im PC gerendert, sondern existiert tatsächlich und lässt sich wie beim Fahren ohne HMD bedienen.
Echte und virtuelle Welt verschmelzen
Der vermeintliche Blindflug ist deshalb gar keiner, denn BMW ist die Verbindung zwischen Fahrer und Auto sowie echter und virtueller Umgebung so überzeugend und frei von Latenzen gelungen, dass die beiden Welten direkt miteinander verschmelzen. Sich erst einmal wie auf rohen Eiern an die Umgebung gewöhnen oder die Grenzen des Systems ausloten? Fehlanzeige. Selbst VR-Unerfahrene waren vor Ort praktisch direkt auf Bestzeitenjagd und wollten zusätzliche Runden fahren, nachdem eigentlich nur drei pro Person vorgesehen waren. Übelkeit trat bei keinem der Anwesenden auf, obwohl der Prototyp in Relation zum eng gesteckten Kurs durchaus mit hoher Geschwindigkeit gefahren wurde.
Auf der kurvenreichen virtuellen Runde, die in unter 20 Sekunden absolviert werden kann, lassen sich Coins sammeln und müssen die Position wechselnde Tore durchfahren werden, damit es keine Strafpunkte gibt. 16,891 Sekunden waren zwar die persönliche Bestzeit, aber bei Projektleiter Alexander Kuttner stoppte die Uhr trotz lässiger Fahrweise bereits nach 16,2 Sekunden. Kein Wunder, war Kuttner vor seiner Zeit als „Project Lead Digital Driving Experience XR“ doch für die Produktionsleitung der Motorsportfahrzeuge von BMW M verantwortlich.
BMW greift zahlreiche Sensordaten ab
Wie BMW ein derart realistisches Erlebnis verankert in einer virtuellen Welt erreicht, lässt sich teils zwar technisch erklären, den Schleier aller Details will das Unternehmen aber noch nicht lüften. Zunächst einmal sammelt und verarbeitet der Hersteller alle Sensordaten, die mit der Bewegung des Fahrzeugs in Verbindung stehen. Ermittelt werden nach Verständnis der Redaktion Lenkwinkel, Gas- und Bremspedalstellung sowie Roll-Nick-Gier-Winkel und GPS-Position. Der Kopf respektive das HMD des Fahrers wird über die Smarttrack 3 in der Windschutzscheibe getrackt. Darüber hinaus unterstützt die Varjo XR-3 Eye-Tracking, das BMW für Foveated Rendering nutzt, um die Grafikqualität im peripheren Sichtfeld und damit die Last zu reduzieren respektive mehr Ressourcen für eine höhere Qualität im direkten Sichtfeld zu erhalten.
-
ART Smarttrack 3
Pipeline lässt keine Latenz erkennen
Die Immersion gelingt BMW auch über die gefühlt latenzfreie Umsetzung sehr gut. Angesichts der aufwendigen Pipeline und der Herausforderung, einen echten Sportwagen mit hoher Geschwindigkeit auf abgesperrtem Areal in virtueller Umgebung zu bewegen, ist das keine Selbstverständlichkeit. Die virtuelle Rennstrecke rendert BMW mit der Unreal Engine 4 und fusioniert sie mit den Kamerabildern in einer Software von Varjo. Das zusammengefügte Bild wird anschließend auf dem HMD ausgegeben.
Projekt könnte Fahrertrainings ermöglichen
Und warum das Ganze? Ein Produkt für Endkunden steht erst einmal nicht bevor, was angesichts der Voraussetzungen allerdings wenig überraschend kommt. Vorstellbar sind aber zum Beispiel Fahrertrainings oder Fahrten für potenzielle Kunden. Selbst auf einer beschränkten Freifläche könnte man etwa gewisse Kurvenkombinationen einer echten Rennstrecke trainieren. Ein vollständiger Kurs würde ein sehr großes Areal voraussetzen, Abschnitte ließen sich aber realisieren, sofern es keine Höhenunterschiede gibt. Potenzielle Kunden könnten einen Sportwagen auf dem Parkplatz des Händlers in dynamischer Fahrweise erleben, ohne sich auf einen langweiligen Kurs mit Pylonen zu reduzieren.
Darüber hinaus lässt die Mixed-Reality-Lösung grundsätzlich auch ein Multiplayer-Erlebnis zu. Zwar haben in Lissabon nicht zwei echte Autos auf derselben Freifläche konkurriert, laut Alexander Kuttner könnte sich aber ein zweiter Fahrer rein virtuell über einen anderen PC in die Session einloggen und gegen den Fahrer im echten Auto antreten. In Lissabon war der einzige Gegner allerdings erst einmal nur die Stoppuhr – und die eigene Fahrkunst.
ComputerBase hat Informationen zu diesem Artikel von BMW im Rahmen einer Veranstaltung des Herstellers in Lissabon erhalten. Die Kosten für Anreise, Abreise und Hotelübernachtungen wurden von BMW getragen. Eine Einflussnahme des Herstellers oder eine Verpflichtung zur Berichterstattung bestand nicht.
Dieser Artikel war interessant, hilfreich oder beides? Die Redaktion freut sich über jede Unterstützung durch ComputerBase Pro und deaktivierte Werbeblocker. Mehr zum Thema Anzeigen auf ComputerBase.
Fabian und 
Jan-Frederik