VR-Benchmarks: Wünsche und Ideen

[Morvan]

In den letzten Jahren gab es ja hin und wieder mal VR-Benchmarks. Mit den ganzen neuen Grafikkarten und den kommenden Headsets würden wir da ansetzen und weitere Benchmarks machen.
Daher die Frage: Habt ihr da spezifische Wünsche oder Ideen?
Welche Hardware interessiert euch? Headsets? GPU?
Welche Software?
Was vergesse ich dabei grade?

https://www.computerbase.de/2018-08/hellblade-senuass-sacrifice-benchmarks-vr/
https://www.computerbase.de/2018-05/falloutvr-skyrimvr-bethesdas-welten-benchmark/
https://www.computerbase.de/2017-11/grafikkarten-anforderungen-vr-test/

 

[Blaexe]

Definitiv FCAT VR benutzen. "Normale" Benchmarks verlieren durch Dinge wie ASW ihre Aussagekraft.

Sehr interessiert wäre ich bzgl. Unterschiede im SDK:

Wie performt die Rift bei identischen Spielen einmal mit dem nativen Oculus SDK und wie mit OpenVR? Wie ist die Performance bei Rift Spielen - eimmal nativ mit der Rift und einmal per Revive mit der Vive?
Der Render Target sollte unbedingt identisch eingestellt sein.

Es gibt eine Menge Diskussionen darüber auf reddit und soweit ich weiß hat das noch niemand wirklich objektiv und vergleichbar aufgenommen.

Ansonsten wäre natürlich ein reiner Performancevergleich mit den neueren HMDs und höherer Auflösung interessant: Rift, Vive, Vive Pro, Pimax 5K, HP Reverb...

Es ist da wirklich ne Menge machbar was noch nicht untersucht wurde - dabei muss aber ziemlich viel beachtet werden und es ist ne Menge Arbeit.

 

[Morvan]

Der Render Target sollte unbedingt identisch eingestellt sein.

Dadrüber haben wir beim letzten Benchmark auch diskutiert. Warum sollte man das machen? Glaubst du die Mehrheit der Nutzer stellt ein anderes Render Target ein als das vorgegebene?
Bis jetzt haben wir es so gehalten, dass wir immer die Standardauflösung jedes Headsets genutzt haben.
Bin aber offen das zu überdenken.

Definitiv FCAT VR benutzen

Das haben wir bis jetzt ja auch schon immer gemacht.

 

[Blaexe]

Naja, bei meinem Vorschlag geht es ja darum die Performance zwischen dem Oculus SDK und OpenVR zu bewerten - und das ist nur sinnvoll wenn der Render Target gleich ist (also man den Einfluss isoliert)

Fragestellung wäre dann: Geht bei Nutzung der Rift Leistung verloren wenn ich OpenVR statt dem Oculus SDK nutze? Wie viel Leistung kostet mich Revive?
Sehr interessant in dem Zusammenhang: OpenComposite. Damit wird SteamVR bei Nutzung der Rift quasi umgangen. Viele berichten davon dass SteamVR Spiele damit deutlich besser laufen - aber objektiv gibts da noch nichts.

Bei gleichem Rendertarget kann man auch testen ob Rift nativ mit Oculus SDK bei gleichem Spiel eine bessere / gleiche / schlechtere Performance hat als die Vive nativ mit OpenVR. Gibt ja einige Steam Spiele die beide SDKs zur Auswahl bieten.

Etwas anderes wäre ja die Fragestellung "Welche GPU benötige ich um welches Headset voll auszunutzen"?
In dem Fall belässt man es einfach beim Standard Render Target (Achtung, SteamVR überschreibt den ganz gerne automatisch). Als Resultat würde man etwas raus kriegen wie:

Empfehlenswerte GPUs (oder entsprechend der 2000er Serie):

Rift: GTX1060
Vive: GTX1060
Vive Pro: GTX1070
Pimax 5K: GTX1080
HP Reverb: GTX1080Ti

 

[Morvan]

Sehr interessant in dem Zusammenhang: OpenComposite. Damit wird SteamVR bei Nutzung der Rift quasi umgangen. Viele berichten davon dass SteamVR Spiele damit deutlich besser laufen - aber objektiv gibts da noch nichts.

Das wäre etwas höchst spezielles, das glaube ich nur für sehr wenige Nutzer interessant wäre. Ich kann mal schauen ob wir dazu was machen, wenn dann aber maximal was kleines.

Empfehlenswerte GPUs (oder entsprechend der 2000er Serie):

Das hängt im Endeffekt auch von der genutzen Software ab. Vorschläge oder Wünsche?

 

[Blaexe]

Das wäre etwas höchst spezielles, das glaube ich nur für sehr wenige Nutzer interessant wäre. Ich kann mal schauen ob wir dazu was machen, wenn dann aber maximal was kleines.

Prinzipiell sollte da ein kleiner Versuch mit Skyrim VR ausreichen. Soll angeblich eine große Performanceverbesserung bringen.

Das hängt im Endeffekt auch von der genutzen Software ab. Vorschläge oder Wünsche?

Verschiedene Spiele mit unterschiedlichem Anforderungen wären wohl sinnvoll, ebenso wenn man sich dafür auf Steam beschränkt, also keine Oculus exklusiven Titel. (deswegen auch wichtig zu analysieren ob es bzgl. SteamVR / OpenVR systematische Abweichungen zu dem Oculus SDK gibt)

Beat Saber (populär und nicht sehr hardwarehungrig), Onward/Pavlov, Skyrim VR, Fallout 4 VR bis hin zu Elite: Dangerous und Project Cars.
Alles populäre Titel, allerdings könnte es bei Multiplayer Spielen schwer zu reproduzieren sein.

Wenn es um Oculus Spiele geht würde ich noch Lone Echo und Robo Recall vorschlagen, aber ist wie gesagt zum Vergleich eher nicht geeignet.

 

[Mracpad]

Dadrüber haben wir beim letzten Benchmark auch diskutiert. Warum sollte man das machen? Glaubst du die Mehrheit der Nutzer stellt ein anderes Render Target ein als das vorgegebene?
Bis jetzt haben wir es so gehalten, dass wir immer die Standardauflösung jedes Headsets genutzt haben.
Bin aber offen das zu überdenken.

Standardmäßig verstellt z.B. SteamVR jedem Nutzer die Renderauflösung automatisch entsprechend seiner Grafikkarte. Wenn da trotzdem noch irgendjemand mit der vom HMD vorgegebenen Renderauflösung spielen sollte, ist das quasi reiner Zufall!
Um dennoch die vom HMD vorgegebene Renderauflösung zu erhalten, muss der User AKTIV eingreifen.

Ich finde auch nicht dass die Tests sich groß auf Unterschiede zwischen HMD konzentrieren sollten. Jedenfalls nicht die Tests für Spieleperformance. Man sollte zwischen Hardware Tests (HMD) und VR-Performance Tests (Games) unterscheiden.

Als Besitzer des HMD "XYZ" möchte wenn ein neues Spiel rauskommt nicht wissen auf welchem HMD es noch besser oder noch schlechter läuft sondern wie es auf meinem läuft. Und dabei hilft mir eine FPS oder auch eine Frametimes angabe bei Referenzauflösung nicht wirklich weiter. Interessanter wäre es zu erfahren welche Renderauflösung ich denn nun einstellen muss bzw. kann um das Spiel angenehm bzw. flüssig spielen zu können.

Dafür muss HMD "XYZ" nichtmal vorkommen, ein Beispiel-HMD aus dem selben Ökosystem reicht völlig aus.

z.B. Rift S, Vive Pro und HP Reverb.

Ich hab zwar nur ne Vive Classic und ne Samsung Odyssey, trotzdem profitiere ich von diesen Tests mehr als von nem Test meiner HMD in der Standardauflösung.

Ein Ergebnis könnte ungefähr so aussehen:

Nvidia Vega 27 Oculus Turbo Spielbar: 1900x2100 (150%) Perfekt: 1400x1600 (120%) HP Ultrawide Spielbar: 2300x1600 (140%) Perfekt: 1900x1100 (90%)

edit: Wenn es um einen einmaligen Großtest geht statt um kleinere regelmäßige sieht es natürlich etwas anders aus. Trotzdem fände ich Tests von verschiedenen HMD in jeweils nur einer Standardrenderauflösung nur bedingt hilfreich.

Was ich grundsätzlich interessant fände hier mal allgemein formuliert:

Welche VR-Spiele kann ich sogar noch mit ner "Einsteiger-gpu" spielen, sagen wir mit ner GTX 1050 z.B.

Wie hoch kann ich die Auflösung bei VR-Spiel xy jagen wenn ich die Graka abc besitze?

Welche GraKa muss ich mindestens haben um Spiel xy vernünftig daddeln zu können?

 

[Ron Reviewt]

Radeon VII Benchmark mit VR würde mich interessieren. Hab da zu Release irgendwo gelesen, dass die VR Performance sehr schlecht war.

Wäre interessant was diesbezüglich dran ist.

Lg

 

[Morvan]

Als Besitzer des HMD "XYZ" möchte wenn ein neues Spiel rauskommt nicht wissen auf welchem HMD es noch besser oder noch schlechter läuft sondern wie es auf meinem läuft. Und dabei hilft mir eine FPS oder auch eine Frametimes angabe bei Referenzauflösung nicht wirklich weiter. Interessanter wäre es zu erfahren welche Renderauflösung ich denn nun einstellen muss bzw. kann um das Spiel angenehm bzw. flüssig spielen zu können.

Wie würdest du es mit den Ingamesettings halten?
Auch an dich: Irgendwelche speziellen Softwarewünsche?

Edit:

edit: Wenn es um einen einmaligen Großtest geht statt um kleinere regelmäßige sieht es natürlich etwas anders aus. Trotzdem fände ich Tests von verschiedenen HMD in jeweils nur einer Standardrenderauflösung nur bedingt hilfreich.

Also ein klassisches Benchmarkformat im Sinne von GPU X liefert bei Spiel Y auf HMD Z (in Standardauflösung oder automatischer Auflösung) wäre deiner Meinung nach wenig nützlich?

 

[Blaexe]

@Mracpad

Daher ja auch mein Vorschlag es zweigeteilt aufzubauen.

1. Einfluss der verschiedenen SDKs (im Prinzip gibt es ja nur die 4 Möglichkeiten Rift+Oculus SDK, Rift+OpenVR, Vive+OpenVR und Vive+Oculus SDK per Revive - das native SDK für WMR kann man hier wohl vernachlässigen) auf die Performance mit standardisiertem Render Target
2. Spielbarkeit von Titel Y auf HMD Z mit GPU X bei jeweiligem Standard Render Target für das Headset

 

[Morvan]

Radeon VII Benchmark mit VR würde mich interessieren.

Würde ich versuchen mit reinzunehmen, kann aber nichts garantieren.

2. Spielbarkeit von Titel Y auf HMD Z mit GPU X bei jeweiligem Standard Render Target für das Headset

Spielbarkeit oder tatsächliche Leistung? Das wäre dann ja mehr oder weniger nur ja oder nein. Oder von mir aus noch nicht spielbar, annehmbar und gut. Ist das interessant?


Wie wäre es mit maximal möglicher Auflösung je GPU/Spiel/HMD? Dann könnte man am Ende ein Vergleichsdiagramm machen und z.B. sagen: GTX 1080 Ti im Durchschnitt bei 127% Auflösung noch spielbar und Vega VII bei 121% Auflösung im Schnitt noch spielbar. Das gäbe dann eine schöne Rangliste.

 

[Mracpad]

Wie würdest du es mit den Ingamesettings halten?
Auch an dich: Irgendwelche speziellen Softwarewünsche?

Schwierig, ich persönlich versuche in VR immer die Renderauflösung zu pushen und nehme dafür auch ordentliche Einschnitte bei den Settings in Kauf.

Ihr schaltet ja auch bei klassischen Performance Tests am Monitor gelegentlich die Settings ein paar Stufen runter wenn höhere Auflösungen getestet werden und mit "ultra" keine spielbaren FPS herauskommen.
Soetwas braucht es hier auch. Im Prinzip gibt es ja bei VR ja 2 Level an Spielbarkeit:

"Läuft flüssig" und "Läuft flüssig, benötigt dafür aber künstliche Frames".

Die Settings sollten so gewählt werden das man sich halbwegs innerhalb der oben genannten Bereiche bewegt.

Spezielle Wünsche an die Software hab ich nicht unbedingt: Gerne neue Games von "großen" Herstellern wie aktuell Space Junkies. Bei Indiegames kann man sich ja daran orientieren was viel gespielt wird: https://vrlfg.net/#/Players
Gerne auch VR-Ports von klassischen PC-Spielen,wobei ihr da ja schon einiges abgedeckt habt.

Und ruhig auch mal das ein oder andere Oculus-Home exklusive Spiel. Dann natürlich möglichst auch mit Vive und WMR HMD per Revive.

Also ein klassisches Benchmarkformat im Sinne von GPU X liefert bei Spiel Y auf HMD Z (in Standardauflösung oder automatischer Auflösung) wäre deiner Meinung nach wenig nützlich?

Nee, das ist schon okay, aber ich würde mir zumindest noch einen Vergleichswert zur Orientierung wünschen. z.B. einen Testdurchlauf bei dem die automatische Auflösungsanpassung von SteamVR eben nicht deaktiviert wird. Oder alternativ eine Art Mittelwert, sprich;

Ich habe HMD A mit 1000x1000, HMD B mit 2000x2000 und HMD C mit 3000x3000er Auflösung.
Zusätzlich zu der eigenen Auflösung könnte man als Vergleichswert jeweils einen zweiten Durchlauf mit einer Auflösung als gemeinsamen Nenner durchführen, egal ob es nun 2000x2000 oder sonstwas wäre.

 

[Morvan]

@Mracpad
Was hälst du davon?

Wie wäre es mit maximal möglicher Auflösung je GPU/Spiel/HMD? Dann könnte man am Ende ein Vergleichsdiagramm machen und z.B. sagen: GTX 1080 Ti im Durchschnitt bei 127% Auflösung noch spielbar und Vega VII bei 121% Auflösung im Schnitt noch spielbar. Das gäbe dann eine schöne Rangliste.

 

[Mracpad]

Klingt sehr gut!

 

[Wun Wun]

Käme genau richtig, ich hab vor kurzem erst nach genau sowas gesucht
Was mich persönlich dabei sehr interessieren würde:
1. generelle Performance der verschiedenen Architekturen - AMD vs Nvidia; Pascal vs Turing; Vega vs (wenn es dann mal soweit ist) Navi
2. VRAM-Verbrauch bei fordernderen Spielen wie z. B. Fallout 4 oder Skyrim (im Idealfall mit (Textur-)Mods ) skalierend mit den unterschiedlichen Auflösungen, um zu sehen, wie "zukunftssicher" die 8 GB-Karten wirklich sind
3. CPU-Benchmarks

 

[Morvan]

3. CPU-Benchmarks

Das ist immer viel Arbeit. Wir schauen mal.

Sonst noch Ideen/Wünsche?
Niemand?

 

[Morvan]

Sonst nichts mehr?

 

[Mracpad]

Ich würde mich halt generell sehr über etwas häufigere VR-Tests freuen. Die müssen auch garnicht unbedingt so umfangreich oder mit x verschiedenen HMD vollgestopft sein.

Wenn z.B. n neuer Blockbuster exklusiv in Oculus Home erscheint wäre ein Test mit Rift bzw. demnächst Rift S (beides nebeneinander braucht kein Schwein.) und zusätzlich mit irgendeinem Fremd-HMD (Egal ob WMR, Vive, Index oder Pimax) per Revive echt cool.

Als konkretes Beispiel, aber für Steam; demnächst erscheint Trover saves the Universe, würde ich gerne n Bericht mit Technik-Check zu lesen.

 

[Morvan]

Das werde ich versuchen in Zukunft öfter mal zu machen, wenn es denn gelesen wird. Müssen wir schauen.

Jetzt erstmal einen großen Überblick, auf den man dann aufbauen kann.

 

[m.Kobold]

Daher die Frage: Habt ihr da spezifische Wünsche oder Ideen?
Welche Hardware interessiert euch? Headsets? GPU?
Welche Software?

Bei Hardware würde mich einmal eine Mittelklasse CPU im vergleich zur Highend CPU reizen.
Als GPU 1080TI persönlich würde ich 2080Ti bevorzugen, aber die werden ja eher weniger Leute haben.

HMD's wäre eigentlich total wayne (ausnahme Pimax weil hier die Software angeblich probleme hat oder hatte? Die GPU/CPU auszulasten), eigentlich kommts nur auf die Auflösung und die genutzte API, wie SteamVR/Oculus SDK/Open Composite an, wobei letzteres noch immer nicht von den meisten Spielen unterstützt wird. Dabei sollte man 2 oder 3 verschiedene Auflösung Testen, einmal um die Sache zu Normen wie bei den Monitoren, 1080/1440/4k.

Wichtig wäre auch in SteamVR die einstellungen für Automatisches Rendertarget zu deaktieren.
Wenn dann noch die Spiele eine option für SS/Pixel Density besitzen wirds problematisch.

Software Titel wie Elite Dangerous und Project Cars2 werden noch immer sehr viel in VR gezockt, ED ist bei mir mit 600std noch immer der meist genutzte VR Titel.

Bei nativen VR Titeln mit Handcontroler wäre bei mir From other Suns (Oculus Shop) auf Platz 1 gefolgt von Moss (Oculus/SteamVR/PS4).

Was mich in Zukunft interressieren würde wäre Boneworks VR und ACC (Assetto Corsa Competizione)
wenns mal aus dem Early Access rauskommt.

Wie wäre es mit maximal möglicher Auflösung je GPU/Spiel/HMD? Dann könnte man am Ende ein Vergleichsdiagramm machen und z.B. sagen: GTX 1080 Ti im Durchschnitt bei 127% Auflösung noch spielbar und Vega VII bei 121% Auflösung im Schnitt noch spielbar. Das gäbe dann eine schöne Rangliste.

Finde ich auch sehr gut, die frage ist nur bei welchen Presets? Vor allem bei VR Spielen die auch auf den Monitor laufen, ist die frage ob man wirklich hier mit Ultra Settings Testen sollte und dabei die FPS zu verbraten.

Ich persönlich versuche immer die Settings bei solchen games selbst auszuloten und um den sweetspott zwischen Details und Auflösung zu finden. Aber sowas kann man schlecht als standard festlegen, von daher würde ich daher entweder zu Medium oder High Details raten.

Bei solchen Monitore Spielen sollte man eigentlich auch immer Bloom/Motion Blur
out of the Box deaktivieren, optional vielleicht auch darauf achten das Screen Mirror/Deskop Resolution im Spiel auf ein minimum zu reduzieren oder wenigstens genormt ist.