HP Reverb G2 Omnicept: VR-Headset verfolgt Augen, liest Mimik und misst Puls

Für Trainingszwecke und als Entwicklerwerkzeug bietet HP ein VR-Headset mit Facetracking, Eyetracking und Herzfrequenzsensor. Auf Basis der immer noch nicht verfügbaren HP Reverb G2 bietet HP mit der Reverb G2 Omnicept eine bis dato einzigartige Kombination aus Sensoren in einem VR-HMD.

Nicht für Endkunden gedacht

Während mit der HP Reverb G2 ein neues Consumer-VR-Headset von HP noch immer auf seine Markteinführung wartet, richtet sich die darauf aufbauende HP Reverb G2 Omnicept Edition nicht direkt an Endkunden. Zwar soll auch dieses HMD in den freien Handel gelangen, HP spricht als Zielgruppe aber eindeutig vom Firmen- und Forschungsumfeld. Speziell für dieses Umfeld stattet HP die VR-Brille mit einer Reihe von Zusatzsensoren aus und liefert unter dem Namen HP Omnicept die passende Softwareplattform zur Auswertung und Nutzung der anfallenden Daten. Hier liegt auch der Knackpunkt, warum die HP Reverb G2 Omnicept Edition für Endverbraucher keinen Vorteil bringen soll: Ohne passende Software, die die Sensoren nutzt, entspricht sie quasi einer HP Reverb G2 mit Zusatzgewicht.

Auf Basis der HP Reverb G2

Wie die Reverb G2 löst auch HP Omnicept mit 2.160 x 2.160 Pixeln pro Auge auf und bleibt damit laut HP das am höchsten auflösende VR-Headset aller „großen Hersteller“. Die Fußnote verrät, dass hierbei nur Firmen berücksichtigt werden, die insgesamt laut einer internen Analyse von HP mehr als 50.000 kabelgebundene VR-Headsets verkauft haben. Kleinere Anbieter wie Pimax, die seit Jahren ähnliche oder höhere Werte liefern, sind damit außen vor. Spannend ist hier, dass Facebook mit der Oculus Quest 2 und 1.832 × 1.920 Pixel pro Auge in ähnliche Regionen vorstößt, ohne auf einen PC angewiesen zu sein.

Wie bei der ersten Generation der Reverb setzt HP auf LCDs mit RGB-Subpixelmatrix, ermöglicht es jetzt jedoch deren Position mechanisch an den Augenabstand anzupassen. Welche Augenabstände abgedeckt werden, geht aus den vorhandenen Dokumenten noch nicht hervor. Bei der GP Reverb G2 spricht HP von 60 mm bis 68 mm. Da dieselben Linsen und Displays wie bei der Reverb G2 zum Einsatz kommen, dürfte die HP Omnicept auch von den weiteren Verbesserungen profitieren, die die HP Reverb G2 liefern soll.

Der Kontrast und die maximale Helligkeit sollen viel höher und die Pixelpersistenz bei gleichbleibenden 90 Hertz Bildwiederholrate wesentlich geringer ausfallen. Das hatte sich schon im Test der Valve Index sehr positiv ausgewirkt und unter Umständen zu weniger Motion Sickness geführt, worauf auch HP hinweist. Während das Blickfeld bei 114° bleibt, soll der scharf dargestellte Bereich, der sogenannte Sweetspot, dank der Linsen von Valve größer ausfallen, womit ein weiterer großer Kritikpunkt des Vorgängers behoben wäre. Außerdem soll die Farbdarstellung der Panels gleichmäßiger geworden sein.

Optimierte Ergonomie, Audio und Tracking bleiben gleich

Um einem Multi-Nutzer-Umfeld gerecht zu werden, bietet HP bei der HP Reverb G2 Omnicept Edition ein Haltesystem, das optisch dem der Valve Index ähnelt und das sich schneller an verschiedene Köpfe anpassen lassen soll als das der normalen Reverb G2, das besser geeignet sei den perfekten Sitz für nur einen Nutzer zu gewährleisten. Bei Tracking und Audio gibt es hingegen keine Veränderungen und es bleibt bei den vielversprechenden Aussagen, die HP schon zur Reverb G2 geliefert hat. Das gleiche gilt für die mitgelieferten Controller.

Software berechnet den „Cognitive Load“

Die Besonderheit der HP Reverb G2 Omnicept Edition liegt in den zusätzlich verbauten Sensoren und den Möglichkeiten, die diese für Entwickler und Firmen bereitstellen. Neben der Messung der Blickrichtung ermöglichten die Sensoren um die Linse auch eine Überwachung der Pupillen um beispielsweise zu erkennen, wann diese sich weiten oder verengen. Die verwendeten Sensoren für das Eyetracking entwickelt HP hierbei nicht selbst sondern greift auf eine Lösung von Tobii zurück. Die Sensoren für die Herzfrequenzmessung sitzen so im Headset, dass sie auf der Stirn des Nutzers aufliegen, das Facetracking wird durch ein zusätzliches Modul vorne unter dem Gesichtsstück des Headsets umgesetzt.

Mögliche Anwendungsbeispiele nennt HP viele, ein besonderen Fokus liegt jedoch auf der Verwendung von VR für Trainingszwecke. Allein ist HP damit nicht, auch Facebook/Oculus lässt dieses Anwendungsgebiet selten unerwähnt und zitiert beispielsweise eine Studie des Imperial College London, der zufolge 83 Prozent aller Probanden in der Lage waren eine neuartige Hüftoperation ohne größere Eingriffe eines Ausbilders durchzuführen, wenn diese zuvor in VR eingeübt wurde. Probanden, die sich nur mit Hilfe von Text oder klassischem Videomaterial vorbereiten konnten, waren hierzu grundsätzlich nicht in der Lage. HP spricht hier sehr vage und allgemein von einer fünfmal höheren Rate, mit der Trainingsinhalte behalten werden.

Dank der verbauten Sensoren soll es bei solchen Trainingseinheiten besser möglich sein zu erkennen, welche Inhalte vermittelt werden. Einerseits wird beispielsweise klar, wohin sich der Blick des Anwenders intuitiv richtet, das soll laut HP eingänglichere Nutzeroberflächen ermöglichen. Andererseits will HP aus den Sensordaten auch den sogenannten Cognitive Load, also die mentale Belastung des Anwenders, feststellen können. Damit sollen Aussagen darüber möglich werden, wann ein Inhalt fordernd ist, wann die Aufmerksamkeit des Nutzers schwindet oder wann der Anwender besonders engagiert und involviert ist.

All diese Daten sollen Firmen und Forschern laut HP die Werkzeuge in die Hand geben um besser auszuwerten, was in der virtuellen Realität eigentlich passiert, ohne sich auf ungenaue Befragungen verlassen zu müssen, die unterbewusste Reaktionen nicht mit einschließen. Gedankenlesen kann das VR-Headset damit zwar noch nicht, erkennt jedoch potentiell Reaktionen, die selbst dem Nutzer nicht bewusst werden.

Foveated Rendering für bessere Leistung

Ein weiterer Vorteil, der durch das eingebauten Eyetrackings verfügbar wird, ist Foveated Rendering. Diese Technik erlaubt es, nur die Bereiche des Bildes in voller Qualität zu berechnen, die gerade betrachtet werden. Andere Bereiche können mit niedriger Auflösung gerendert werden um Rechenleistung einzusparen. ComputerBase konnte eine solche Anwendung mit der Vive Pro Eye schon ausprobieren. Für die Implementierung von Foveated Rendering müssen Entwickler auf HPs Omnicepts SDK oder auf Nvidias Variable Rate Shading zurückgreifen, das für Grafikkarten ab der Turing Generation verfügbar ist.

Bessere digitale Zusammenarbeit in Zeiten von COVID-19

HP beschreibt und nutzt auch die aktuell veränderten Bedingung auf Grund des Coronaviruses und die damit einhergehenden Veränderungen in der Arbeitswelt um auf die Vorteile einer virtuellen Lösung hinzuweisen. In einem plakativen Beispiel wird die Vorstellung eines neuen Automodells in der virtuellen Realität beschrieben, dank der verbauten Sensoren sollen sich die ersten Reaktionen schon aus den Gesichtern der Teilnehmer ablesen lassen.

Grundsätzlich spielen Gesichtsausdrücke, Mimik und Gestik bei sozialen Interaktionen eine wichtige Rolle und mit der Kombination aus Bewegungssteuerung, Face- und Eyetracking sollten sich hier bessere virtuelle Möglichkeiten zum Austausch und zur Zusammenarbeit ergeben.

Preise und Verfügbarkeit

Die Auslieferung der HP Reverb Omnicept Edition ist für Frühjahr 2021 geplant, wobei HP schon jetzt mit einigen Partner aus der Industrie an Anwendungen arbeitet. Der Preis des Headsets wird zu einem späteren Zeitpunkt mitgeteilt. Die Softwareplattform HP Omnicept wird es in verschiedene Ausführungen zu verschiedenen Preisen geben. Die grundlegende Software, die nur den direkten Zugriff auf die Sensordaten erlaubt und sonst keine weiten Funktionen bietet, wird kostenfrei zur Verfügung gestellt. Zusätzliche Funktionen wie die Inference Engine, die die „Cognitive Load“-Funktion ermöglicht, sind für akademische Forschungszwecke kostenlos erhältlich. Sollen sie für kommerzielle Zwecke genutzt werden, verlangt HP eine Umsatzbeteiligung. Wollen Firmen die Softwareplattform von HP für interne Zwecke nutzen, fällt eine Nutzungsgebühr an. Die normale Reverb G2 soll noch in diesem Jahr auf den Markt kommen, verspricht HP. Vorgestellt wurde sie im Mai.

ComputerBase hat Informationen zu diesem Artikel von HP unter NDA erhalten. Die einzige Vorgabe war der frühestmögliche Veröffentlichungszeitpunkt.