VR-Benchmarks: Wünsche und Ideen

[Andregee]

Standardmäßig verstellt z.B. SteamVR jedem Nutzer die Renderauflösung automatisch entsprechend seiner Grafikkarte. Wenn da trotzdem noch irgendjemand mit der vom HMD vorgegebenen Renderauflösung spielen sollte, ist das quasi reiner Zufall!
Um dennoch die vom HMD vorgegebene Renderauflösung zu erhalten, muss der User AKTIV eingreifen.

Genau deshalb sollte man die Renderauflösung manuell anpassen, denn sonst heißt das ERgebnis das eine 2080ti kaum schneller als eine 1060 performt und das nur weil SteamVR meint, bei der 2080ti die Renderauflösung mal eben zu verdoppeln, zwar mit besserer Bildqualität aber die drückt sich schlecht im Balken aus.

 

[Morvan]

Ich persönlich versuche immer die Settings bei solchen games selbst auszuloten und um den sweetspott zwischen Details und Auflösung zu finden. Aber sowas kann man schlecht als standard festlegen, von daher würde ich daher entweder zu Medium oder High Details raten.

So ungefähr hätte ich das auch angepeilt. Meistens ist grade in VR das Supersampling wichter als Ultra Details.

Genau deshalb sollte man die Renderauflösung manuell anpassen, denn sonst heißt das ERgebnis das eine 2080ti kaum schneller als eine 1060 performt und das nur weil SteamVR meint, bei der 2080ti die Renderauflösung mal eben zu verdoppeln, zwar mit besserer Bildqualität aber die drückt sich schlecht im Balken aus.

Deswegen würde ich "einfach" testen, in welcher Auflösung das Spiel, je nach GPU, noch spielbar ist. Also sowas wie, 99,9% der Frames mit über 90 FPS gerechnet werden.

 

[Blaexe]

In Zeiten von ASW und Co. Ist das nicht unbedingt sehr aussagekräftig... Wie gesagt unbedingt FCAT nutzen. Dort wird detailliert angezeigt wenn sowas aktiv ist.

 

[Morvan]

In Zeiten von ASW und Co. Ist das nicht unbedingt sehr aussagekräftig... Wie gesagt unbedingt FCAT nutzen. Dort wird detailliert angezeigt wenn sowas aktiv ist.

Wie gesagt, FCAT nutzen wir sowieso und haben wir auch bis jetzt bei allen Benchmarks genutzt. Wenn nicht 99,9% über 90 FPS, was würdest du als Vergleichswert nehmen? Kein ASW? Nur x% ASW? Keine kompletten Framedrops? Letzendlich geht es ja um die Vergleichbarkeit´und die wäre mMn gegeben, wenn man sich anguckt ob die GPU X bei Auflösung Y die 90 FPS halten kann oder nicht.
Welchen der Werte die FCAT ausspuckt, würdest du gerne als Vergleichswert sehen?

 

[Blaexe]

Wie gesagt, FCAT nutzen wir sowieso und haben wir auch bis jetzt bei allen Benchmarks genutzt. Wenn nicht 99,9% über 90 FPS, was würdest du als Vergleichswert nehmen? Kein ASW? Nur x% ASW? Keine kompletten Framedrops? Letzendlich geht es ja um die Vergleichbarkeit´und die wäre mMn gegeben, wenn man sich anguckt ob die GPU X bei Auflösung Y die 90 FPS halten kann oder nicht.
Welchen der Werte die FCAT ausspuckt, würdest du gerne als Vergleichswert sehen?

Konkret habe ich mich hierauf bezogen:

https://www.computerbase.de/2018-05...2/#abschnitt_benchmarks_zu_fps_und_frametimes

Benchmarks zu Fallout 4, Oculus Rift im Vergleich zu HTC Vive bei der Vega 56. Zu dem Zeitpunkt gab es soweit ich weiß noch kein ASW Äquivalent von SteamVR. Auf der Rift erreicht die Vega hier einen Schnitt von 95fps, auf der Vive einen Schnitt von 72fps.

Gab es hier wirklich so einen massiven Unterschied? Es scheint mir eher so, als hätte die Rift eben viel mehr auf 90fps interpoliert. Im Prinzip sind die Diagramme die FCAT ausspuckt ja sehr detalliert, ich fürchte dass die Balkendiagramme die normalerweise genutzt werden kein vollständiges Bild ergeben.

Ihr hab ja auch teilweise Grafiken von FCAT angegeben, allerdings war das damals aufgrund der Features wie gesagt nur schwer vergleichbar.

% an ASW ist auf jeden Fall ein wichtiger, zusätzlicher Indikator. Aber ja, natürlich kann man es auch so machen dass man einen Render Target ermittelt, bei dem jeweils nahezu 100% 90fps erzielt werden. Einfach ist es ja nicht, das gebe ich gerne zu...

 

[Morvan]

Benchmarks zu Fallout 4, Oculus Rift im Vergleich zu HTC Vive bei der Vega 56. Zu dem Zeitpunkt gab es soweit ich weiß noch kein ASW Äquivalent von SteamVR. Auf der Rift erreicht die Vega hier einen Schnitt von 95fps, auf der Vive einen Schnitt von 72fps.

Gab es hier wirklich so einen massiven Unterschied? Es scheint mir eher so, als hätte die Rift eben viel mehr auf 90fps interpoliert. Im Prinzip sind die Diagramme die FCAT ausspuckt ja sehr detalliert, ich fürchte dass die Balkendiagramme die normalerweise genutzt werden kein vollständiges Bild ergeben.

An was es in diesem ganz speziellen Fall lag weiß ich natürlich nicht (da müsste man die Entwickler fragen) aber wir haben damals geschrieben (auf Seite 1):

"Die Diagramme in diesem Test zeigen auf dieser Basis nur die wirklich komplett neu berechneten FPS an, während separate Darstellungen auch die synthetischen FPS, also die leicht angepassten zwischengeschobenen ausweisen. Um den Zusammenhang zu verstehen, muss verstanden werden, wie das Bild eigentlich ins Headset kommt und wo die Messung stattfindet. "

Ich versuche normalerweise sowas auch in den Artikeln deutlich zu machen und die Testumgebung so transparent zu gestalten wie es eben geht. Falls FCAT aber zum Beispiel in diesem Beispiel nicht erkannt hätte, wenn bei Oculus ASW zum Einsatz gekommen wäre, kann ich auch nichts machen, außer anzugeben, was mir angezeigt wird.

Die Spieleauswahl sieht aktuell so aus. Passt das eurer Meinung nach?

SkyrimVR oder Fallout4VR nur Steam
Project Cars 2 nur Steam

Lone Echo nur Oculus
Robo Recall nur Oculus

SuperHotVR Steam und Oculus
Arizona Sunshine Steam und Oculus
Moss Steam und Oculus
Beatsaber Steam und Oculus

 

[Schnetzel]

Ich habe noch einen Vorschlag bezüglich Grafikeinstellung. Wie von den anderen Forenteilnehmern angemerkt, sieht man bei höchsten Qualitätseinstellungen oftmals keinen Unterschied. Wenn man die Qualitätseinstellungen ein oder zwei Stufen verringert und dafür die Auflösung erhöhen kann, bringt das optisch oft mehr.

Es wäre toll, wenn du vor jedem Spiel auf die verwendeten Qualitätseinstellungen eingehst und beschreibst, welche Einstellungen keinen oder kaum Mehrwert bringen, sondern nur Performance kosten. Vielleicht sogar mit Vergleichsscreenshots falls es Sinn macht.

 

[m.Kobold]

Die Spieleauswahl sieht aktuell so aus. Passt das eurer Meinung nach?

SkyrimVR oder Fallout4VR nur Steam
Project Cars 2 nur Steam

Lone Echo nur Oculus
Robo Recall nur Oculus

SuperHotVR Steam und Oculus
Arizona Sunshine Steam und Oculus
Moss Steam und Oculus
Beatsaber Steam und Oculus

Bezieht sich Steam/Oculus auf den Store oder die API?
Wenn es die API ist, dann müßte Project Cars 2 unten bei Steam und Oculus stehen.

SuperHot ist ja von der Grafik recht triest und Arizona Sunshine auch nicht mehr auf den aktuellen stand was technisch so möglich ist, da würde mich und bestimmt viele andere eher die größeren Multiplayer 3D Shooter interressieren, wie Pavlov oder Contractors.

 

[Blaexe]

SkyrimVR oder Fallout4VR nur Steam
Project Cars 2 nur Steam

Lone Echo nur Oculus
Robo Recall nur Oculus

SuperHotVR Steam und Oculus
Arizona Sunshine Steam und Oculus
Moss Steam und Oculus
Beatsaber Steam und Oculus

Lone Echo und Robo Recall würden sich anbieten um die Performance von Revive zu betrachten und Project Cars würde sich mMn eher eignen um das Oculus SDK und OpenVR zu vergleichen. Superhot VR, Moss und BeatSaber sind wohl zu genügsam um eine sinnvolle Aussage zu erhalten.

 

[Morvan]

Bezieht sich Steam/Oculus auf den Store oder die API?
Wenn es die API ist, dann müßte Project Cars 2 unten bei Steam und Oculus stehen.

Auf den Store. Die Idee wäre:
Für reine Oculus Spiele würde ich Oculus Rift nativ und Vive über Revive machen.
Als reine Steamspiele würde ich Skyrim und Project Cars 2 nehmen. Die unterstützen beide offiziell Rift und Vive.
Und alles was in beiden Stores zur Verfügung steht, würde ich für Rift aus dem Oculus Store und für Vive über Steam starten. Damit kommt man denke ich dem am nächsten, was am alltäglichsten ist.

Superhot VR, Moss und BeatSaber sind wohl zu genügsam um eine sinnvolle Aussage zu erhalten.

Hmm. Ist das keine sinnvolle Aussage, welche GPU es für häufig gespielte VR Titel braucht? Sind alle drei jeweils in den Top Selling Charts von Oculus und Steam. Genauso wie auch Arizona Sunshine. Daher meine Idee.


Das ist aber trotzdem alles noch nicht in Stein gemeißelt. Ich frage ja hier durchaus auch nach, weil ich die Weisheit auch nicht mit Löffeln gefressen habe. Gerne Gegenvorschläge.
Multiplayer ist dabei immer schwerer zu testen. Also lieber Singlepalyer, bzw Singelplayermodus, wenn das geht.

 

[Unergo]

Am interessantesten wäre für mich ein Fallout 4 VR Benchmark, da bringt irgendwie jedes Upgrade (CPU,RAM,GPU) einen ordentlichen Boost 😅
Trotzdem läuft es bei mir nicht durchgehend flüssig (1080ti, 16gb 3200Mhz, 8700K @4,8Ghz)

 

[Blaexe]

@Morvan

Natürlich kann ich einerseits verstehen dass man die beliebtesten Spiele mit an Bord haben will, es ist wie gesagt nur so dass diese auch sehr geringe Anforderungen haben. Ich denke die Benches werden dort nur im Bereich GTX1060/GTX1070 wirklich was was aussagen, wenn überhaupt.

 

[m.Kobold]

Superhot VR, Moss und BeatSaber sind wohl zu genügsam um eine sinnvolle Aussage zu erhalten.

@Morvan
SuperHot VR und BeatSaber kann ich nur zustimmen, aber nicht bei Moss. Das Spiel hat gute Grafik und lief mit meiner alten nvidia 1080er grad noch mit 1.7PD (3.0SS?) flüssig. Aber wenn man jetzt die HMD's nur in standard Auflösung testen würde langweilen sich die meisten Grakas nur, selbst mit den neuen VR Display (2k x 2k Pixeln). Erst mit höherer Auflösung wirds interressant.

Ergänzung (18. April 2019)

Am interessantesten wäre für mich ein Fallout 4 VR Benchmark, da bringt irgendwie jedes Upgrade (CPU,RAM,GPU) einen ordentlichen Boost 😅
Trotzdem läuft es bei mir nicht durchgehend flüssig (1080ti, 16gb 3200Mhz, 8700K @4,8Ghz)

Das Spiel ist extrem schlecht optimiert und läuft selbst auf der schnellsten Hardware grotten schlecht,
das ist das selbe problem bei The Forest.

Solche games in einen Benchmarktest aufzunehmen macht keinen Sinn.

 

[Mracpad]

Als Worst Case Szenario find ichs eigentlich ganz nützlich.