Vive Pro Eye ausprobiert: Foveated Rendering für einen schöneren BMW-Konfigurator
Mit der Vive Pro Eye bietet HTC erstmals ein Head-Mounted Display (HMD) für Foveated Rendering an, das die Blickrichtung des Anwenders erkennen und über die gewonnenen Informationen die Qualität der Darstellung anpassen kann. Auf der CES konnte ComputerBase das Feature anhand einer Demo von ZeroLight ausprobieren.
Foveated Rendering beschreibt den Vorgang des Eyetrackings über integrierte und auf die Augen des Trägers ausgerichtete LED-Sensoren. Diese Technologie kann bei dem neuen Vive Pro Eye für mehrere Funktionen verwendet werden. Zum einen können die Augen die üblicherweise stets benötigten Controller ersetzen, indem dann eine Aktion ausgelöst wird, sobald der HMD-Träger auf einen für da Auslösen von Aktionen definierten Bereich blickt, zum Beispiel Schaltflächen für „Ja“ und „Nein“. Eine andere Möglichkeit ist das Erstellen von detaillierten Heatmaps, über die sich ermitteln lässt, welche Bereiche eines Bildes vom Anwender am häufigsten betrachtet wurden.
ZeroLight rendert BMW M5 mit Supersampling
Wo der Anwender hinschaut, lässt sich aber auch dafür verwenden, den Detailgrad des Renderings vom zentralen Blick nach außen hin stufenweise zu reduzieren, ohne dass der HMD-Träger davon viel oder im besten Fall gar nichts mitbekommt. Genau solch einen Anwendungsfall zeigen die Entwickler von ZeroLight anhand einer in Kooperation mit BMW und Nvidia entwickelten Demo, in deren Rahmen ein BMW M5 konfiguriert wird. Diese ursprünglich im Mai des letzten Jahres als „BMW M Drive Tour Virtual Experience“ entwickelte Demo hat ZeroLight zur CES um Foveated Rendering ergänzt.
In der von HTC und ZeroLight in Las Vegas gezeigten Demo wird das zentrale Blickfeld des HMD-Trägers mit der neunfachen Auflösung der nativen Auflösung des betrachteten Displaybereichs gerendert. Das Supersampling führt somit neun gerenderte Pixel zu einem für die Darstellung auf dem HMD zusammen. Infolgedessen wird die Mitte des betrachteten Bereichs in einer sichtbar höheren Qualität als üblicherweise mit einer Vive Pro möglich dargestellt. Außerhalb der direkten Blickrichtung wird in mittlerer Qualität gerendert, während beim periphären Sehen eine niedrige Qualität genutzt wird.
Foveated Rendering im Direktvergleich
Um den Direktvergleich zwischen aktiviertem und deaktiviertem Foveated Rendering zu ermöglichen, hat ZeroLight verschiedene Debugmodi in petto, die die Unterschiede eindrucksvoll aufzeigen. Zum einen gibt es eine 50/50-Ansicht, bei der ohne Eyetracking eine Hälfte der Szene mit nativer Auflösung und die andere mit neunfachem Supersampling gerendert wird. Die Hälfte mit Supersampling entspricht hierbei hinsichtlich der Qualität dem bei Eyetracking kleinen Bereich in direkter Blickrichtung. In einem anderen Debugmodus ist das Eyetracking ebenfalls nicht aktiv, aber ein von der Mitte aus in drei Qualitätsstufen unterteiltes und dabei stetig niedriger gerendertes Bild ist dauerhaft sichtbar und stattdessen an die Kopfbewegungen gekoppelt. So wird die Mitte des Bildes stets mit neunfachem Supersampling ausgegeben, während die äußeren zwei Bereiche in geringerer Auflösung gerendert werden. In einem weiteren Debugmodus zeigen ein grüner Kreis, gelber Rand und rotes Feld die unterschiedlichen Abstufungen an.
Damit während der Demo ausreichend Rechenleistung zur Verfügung steht, setzt ZeroLight auf eine Workstation mit zwei Nvidia Quadro RTX 6000 und nutzt das mit den RTX-Karten eingeführte VRWorks-Feature Variable Rate Shading für Foveated Rendering. Für eine realistische Darstellung des Autos hat ZeroLight direkten Zugriff auf CAD-Dateien von BMW. ZeroLight hat in der Vergangenheit auch Zugriff auf die CAD-Dateien von Audi erhalten, um vor drei Jahren zur CES die Audi VR Experience zu realisieren. An der Entwicklung des neuen 3D-Konfigurators von Audi ist ZeroLight ebenfalls beteiligt gewesen. ZeroLight bezeichnet sich selbst als Spezialisten für Fahrzeug-Visualisierungen und nutzt für die Demo eine angepasste Unity-Engine.
-
Die unterschiedlichen Qualitätsstufen bei Foveated Rendering (Bild: ZeroLight)
In der Vive Pro Eye sitzen für das Eyetracking LED-Sensoren rund um die beiden Fresnel-Linsen, die laut Chris O'Connor, Technical Director bei ZeroLight, mindestens alle 11,1 Millisekunden die Blickrichtung auswerten, um mit den 90 Hz der Vive Pro übereinzustimmen. Um die Bildwiederholfrequenz der verbauten Panels zu erreichen, muss ein PC mindestens alle 11,1 Millisekunden ein gerendertes Bild liefern.
-
LED-Sensoren in der neuen HTC Vive Pro Eye
Eine VR-Brille hauptsächlich für Firmenkunden
Abgesehen vom Eyetracking entspricht die Vive Pro Eye einer handelsüblichen Vive Pro, weitere Veränderungen gibt es nicht. Sofern das Eyetracking für Foveated Rendering genutzt wird, fühlt sich das HMD dennoch fast wie eine neue Generation VR-Brille an, da zumindest das in der Mitte des Blickfelds gebotene Qualitätsniveau deutlich höher als bei einer Vive Pro ohne Eyetracking ausfällt. HTC will die Vive Pro Eye im Laufe der ersten Jahreshälfte 2019 zu einem noch nicht bekanntgegebenen Preis auf den Markt bringen und hat dabei primär Firmenkunden als Zielgruppe. Privatanwender werden das HMD zwar ebenso regulär kaufen können, für diese Anwendergruppe hat HTC aber eigentlich das neue Vive Cosmos vorgesehen, das ohne externes Tracking auskommt.