Z
ZeroStrat
Gast
Erstmal über deine Argumente nachdenken, Baal.
Folge dem Video um zu sehen, wie unsere Website als Web-App auf dem Startbildschirm installiert werden kann.
Anmerkung: Diese Funktion ist in einigen Browsern möglicherweise nicht verfügbar.
Taxxor schrieb:Ein 1% low Wert von 58.2 vermittelt da mMn auch ein ebenso falsches Bild, wie ein 1% Perzentil Wert von 72.
Sagt einem dadurch in diesem Fall eben weniger über die Realität im Spiel, als die 1% lows.ZeroStrat schrieb:Das 1% Perzentil ist weitaus weniger sensitiv gegen Ausreißer.
Taxxor schrieb:Sollte die Reproduzierbarkeit gut sein, werden auch die 1% lows innerhalb dieser Toleranz bleiben, sollte sie schlecht sein, würde man es dann dort schneller sehen als bei den Perzentilen.
Naja die Funktion heißt ja "Outlier Detection", da ist es doch im Grunde kontraproduktiv zur Erkennung eine Metrik zu nehmen, die 1% der Frames, die Ausreißer sein könnten, bereits vorab ignoriert.ZeroStrat schrieb:Und was will man mit der Info machen? Mit P1 macht man sich doch unabhängiger von so was.
Du vergleichst die Runs einfach immer nach ihren 1% lows(Voraussetzung für den Einsatz von 1% lows sind aber dann auch Runs mit mal mindestens 1000 Frames, damit man auch ein paar Werte zum Mitteln hat) und wenn das so passt, dann weißt du, dass du bei keinem Run irgendwelche vereinzelten Ausreißer hattest.ZeroStrat schrieb:Also macht du bei Reproduzierbarkeit das und bei Nicht-Reproduzierbarkeit was anderes?
Deshalb nehm ich die custom DescriptionsZeroStrat schrieb:
Das mit der Toleranz würde ich nicht machen.ZeroStrat schrieb:Nicht reproduzierbare Ausreißer können rausgefiltert werden, indem man "genügend" Runs durchführt und dann die schlechtesten rausschmeißt, wenn die Standardabweichung nicht innerhalb einer definierten Toleranz liegt.
Zeitliche Optimierung ist natürlich ein Punkt.ZeroStrat schrieb:Die Erhöhung der Runs, um genügend Messungen zu haben, die eine angemessene Fehlerbeurteilung erlauben, ist nicht ausreichend praxistauglich. Es besteht immer Zeitdruck. Letztlich weiß der Leser des Testes nicht, wie gewissenhaft der Tester gearbeitet hat. "Normale" Perzentile erlauben eine deutlich bessere zeitliche Optimierung.
Wie gesagt.... Dann ist das so.... Man testet ja auch keine Multiplayer Maps für einen Lauch artikel oder einen genauen Technik Vergleich.ZeroStrat schrieb:Szenen, die zwar beispielsweise ein mürrisches Speichermanagement aufzeigen, aber dennoch gut worst case Performance abbilden, müssten unter Umständen aus dem Parcours entfernt werden, weil die % Low Metrik sich einfach nicht "einpendeln" will.
Hmm.ZeroStrat schrieb:Ausreißer gehören zu einem realen Hardware- /Softwareverhalten, werden aber nicht durch die % Low Metriken angemessen abgebildet. Der Mittelwert wirkt stark dämpfend, so dass die angestrebte Information nicht genügend scharf abgegrenzt werden kann. Die in CX verwendete Stuttering Time ist dafür besser geeignet.
Mehr verschiedene Statistik Werte runden das Gesamtbild ab.... Aus meiner Sicht sind mehr immer besser.Taxxor schrieb:Deshalb ist es, egal ob man nun die lows oder die Perzentile benutzt, sowieso ratsam, auch unsere anderen Analysetools miteinzubeziehen^^
Finde ich auch unlogisch.ZeroStrat schrieb:Und warum sollte man die Toleranz erhöhen?
Wie genau berechnet ihr die eigentlich?Taxxor schrieb:Dabei darf in der Diskussion aber auch nicht unerwähnt bleiben, dass unsere Perzentile ja nicht so berechnet werden, wie sie @Baal Netbeck in seinem Tool berechnet, sondern im Falle von wesentlich schlechteren Frametimes knapp unterhalb der
Baal Netbeck schrieb:Finde ich auch unlogisch.
Wie genau berechnet ihr die eigentlich?
Groß abweichen tun sie bei ein paar Vergleichen meinerseits nicht.
Wo man sie ansetzt liegt ja in der Entscheidung desjenigen der den Test macht, aber 2-3% Messungenauigkeit sind doch idR akzeptiert, also sagen wir du nimmst 2% um ganz genau zu sein.Baal Netbeck schrieb:Das mit der Toleranz würde ich nicht machen.
Wo setzt man die an?
Und es ist auch problematisch, wenn eine Konfiguration ein Ergebnis aus drei messwerten ist, und die andere aus 5.
Ich denke man sollte alle gleich behandeln.
Also wie ich beschrieben hatte, zu jeder messung die 0.1% Low berechnen und entsprechend der gemachten Messungen immer eine feste anzahl rauswerfen...
Baal Netbeck schrieb:Und auch wenn ihr da eine verbesserte methode habt, die diese Grenze weniger hart macht, glaube ich, dass sowas z.B. bei dem AMD vs Intel bezüglich Ram OC Artikel passiert ist.
Guckt Mal die 99.8P von AC: Origins an....den Vergleich, wo Radeon und GeForce unterschieden wird.
Aber die Werte mit GeForce gpu springen hart.
Es gibt eine Gruppe von 70-80....und dann der große Sprung auf 95.
Es fällt mir schwer zu glauben, das der 9900K mit etwas CPU OC und RAM von bereits schnellen 3600 CL16 auf 4133CL17 nochmal 30% besser werden kann, obwohl er bei den FPS nur 5% besser geworden ist.
Lies nochmal meinen Beitrag... Ich habe durchaus verstanden, das die CPU mit übertaktet ist.Esenel schrieb:Da hast du die Settings nicht richtig gelesen. Erwischt ;-)
So eine Skalierung mit OC wäre mir noch nicht untergekommen.Esenel schrieb:Und da ACO ein Spiel ist welches über Kerne gut skaliert ist es ja auch klar, dass hier das mehr an Takt UND vor allem die Aufhebung des TDP Limits nochmal einen guten Schub zusätzlich zum RAM OC bringt.
Baal Netbeck schrieb:Also mein Programm macht gerade einen Neuanfang... Keine Konkurrenz zu capframeX...
Aber viel mehr "Quality of life" Anpassungen... Ich habe mit multithreading gespielt und auch einige neue Funktionen eingefügt oder in Planung.
Mein dümmster Plan ist es, eine autokorrelierte Zusammenfassung der frametime Verläufe zu erschaffen.
In meiner Vorstellung bringe ich die Verläufe zur Deckung.... Auch wenn die Mal etwas später gestartet sind oder beim Ablaufen kleine Variationen aufweisen.
Das wird noch viel Arbeit aber ich bin zuversichtlich.
Die Frage ist, was ich damit mache.
Einfach mitteln würde einen moving avg Verlauf geben, den man besser vergleichen kann, als das schwankende Etwas, dass sonst ein einzelner Verlauf ist.
Aber es nimmt die Info über die Schwankungen raus.
Ein zweiter Graph, der die Größe der Schwankungen anzeigt wäre sinnvoll.
Und Markierungen, wo einzelne Messungen Peaks hatten, aber andere nicht.
.... Naja....mal sehen ob das je was wird