PassMark Performance Test 10: Neue Wertungskriterien stellen AMD ins Abseits
Noch bis vor kurzem belegten Prozessoren vom Typ AMD Ryzen 3000 (Test) die vorderen Ränge im Single-Thread-Benchmark des Performance Test 10 der bekannten Benchmark-Suite PassMark. Das hat sich nun geändert. Plötzlich liegen Prozessoren vom Schlage eines Intel Core i9-9900KS (Test) in Front, was vielerorts Fragen aufwirft.
Bewertungskriterien begünstigen Intel
Wie Planet3DNow mit Bezug auf einen Beitrag des niederländischen CPU-Spezialisten Hans de Vries, seinerzeit hauptverantwortlich für die CPU-Analysen bei Chip Architect, berichtet, belegten Prozessoren vom Typ Matisse und Castle Peak noch Anfang März neun der zehn vorderen Ränge im Benchmark des PassMark Performance Test 10.
Angeführt vom AMD Ryzen 7 PRO 3700 wurden die Dominanz von AMD in den Top 10 einzig vom Intel Core i9 9900KS durchbrochen, der zu diesem Zeitpunkt am 5. März noch hinter dem AMD Ryzen 9 PRO 3900 auf Rang drei lag. In den letzten Tagen haben die Entwickler des PassMark allerdings die Bewertungskriterien für ihren Single-Thread-Benchmark dermaßen stark angepasst, das sich die Landschaft in den Top 10 und auch weit darüber hinaus plötzlich völlig anders darstellt.
Nachdem AMD das Ranking noch in der Vorwoche dominiert hatte, findet sich der besten AMD-Prozessor zur Zeit ein wenig überraschend nur noch auf Platz 35 wieder. Die Plätze 1 bis 34 belegen nun Intel Prozessoren. Die aktuelle Rangliste wirft nun einige Fragen auf.
Ryzen 3 4300U als neue AMD-Speerspitze
Nicht nur dass Intel-CPUs auf breiter Front alle AMD-CPUs von den Spitzenpositionen verdrängt habe, auch das Ranking als solches leuchtet auch bei mehrfachem Hinsehen nicht ein. Laut dem CPU-Ranking der Single-Thread-Benchmarks des PassMarks soll der AMD Ryzen 3 4300U, eine 25-Watt-APU aus der kommenden Produktfamilie Renoir, die pro Thread stärkste CPU aus dem Hause AMD sein und gar den AMD Ryzen 9 3950X (Test) weit hinter sich lassen. Angesichts des signifikant höheren Turbo-Takts des 16-Kerners von bis zu 4,7 GHz ist dies ein eher unwahrscheinliches Szenario.
AVX512 macht den Unterschied
Wer die offiziellen Release Notes der Version 10.0 aufmerksam liest, wird feststellen, dass die Macher des PassMarks nun plötzlich die AVX512-Befehlserweiterung des x86-Befehlssatzes mit in die Bewertung einfließen lassen, welche von AMD-Prozessoren nicht unterstützt wird. Das Ranking der laut PassMark schnellsten Prozessoren hat diese Umstellung zumindest grundlegend verändert.
Extended Instructions (SSE), added an AVX512 test (when available). AVX512 are a new set of CPU instructions that are in newer CPUs.
PassMark Performance Test V10.0
Die AVX512-Befehlserweiterung kann allerdings nicht das gute Abschneiden der Prozessoren vom Typ Coffee Lake-S erklären, welche ebenfalls kein AVX512 beherrschen.
Die Redaktion dankt Community-Mitglied „Ned Flanders“ für den Hinweis zu dieser Meldung.
PassMark bezieht Stellung zum veränderten CPU-Ranking
Nachdem sich auch im offiziellen Forum von PassMark die Anfragen hinsichtlich möglicher neuer Wertungskriterien und den daraus resultierenden signifikanten Veränderungen im CPU-Ranking gehäuft haben, hat sich PassMark nun mit einer offiziellen Stellungnahme zu Wort gemeldet.
PassMark nutzt einen neuen Algorithmus
Laut PassMark ist ein neuer Algorithmus, den das Unternehmen laut eigener Aussage für den PassMark Performance Test V10.0 verwendet, für die Verschiebung der Kräfteverhältnisse im CPU-Ranking verantwortlich.
Weshalb ein Ryzen 3 4300U vom Typ Renoir allerdings als AMD-Prozessor mit der höchsten Single-Thread-Performance ausgewiesen wird und es zudem auch zwischen den Single-Thread- und Multi-Thread-Benchmarks zu dermaßen großen Abweichungen kommt, kann PassMark in seiner Stellungnahme nicht beantworten.
We released a new version of PerformanceTest a few days ago, version 10.
Improvements in the benchmark test algorithms & using a more modern compiler resulted the single threaded test performing a much higher number of operations per second. These changes should push the CPU harder and use modern CPU features (out of order execution and multiple pipelines) better. The result was roughly 3x times more operations per second being performed, compared to PerformanceTest V9.
Yesterday we started to switch over the graphs on the web site to start to use results from PerformanceTest V10. This accounts for the change in the results in the graphs.
However in hindsight we think have done the wrong thing. We should had scaled down the PT10 single threaded result to match the PT9 results for the single threaded test. This single threaded test was already an average of values from several different single threaded algorithms. So additional scaling wouldn’t have changed the significance of the value.
On Monday (9th March 2020) we plan to patch the version 10 release to scale the single threaded value back to the PT9 results. Things should then be back to normal. In the meantime we have reverted the single threaded graph on the web site to use only PT9 results.
As we collect more PT10 results we expect PT10 to perform better on modern CPUs compared to older ones (relative to PT9). So overtime there might be a spreading out of the single threaded results, with the newer hardware pulling away from the older hardware a bit more.
Sorry for any confusion all this has caused.
PassMark
Die Redaktion dankt Community-Mitglied „Ned Flanders“ für den Hinweis zu diesem Update.