News CPU-Leistung und -Effizienz: Die Performance Efficiency Suite (PES) aus der Community

[SVΞN]

Also ein Hinweis, dass man zusätzlich Cinebench R23 braucht, um das machen zu können wäre im Text nicht völlig verwerflich

Sehe ich wie du mein Freund. Wird gleich nachgereicht sobald ich am PC sitze.

Danke für den Hinweis.

 

[Otsy]

Aber der 5900HS hat auch 35W TDP, waehrend der Celeron N3450 nur 6W TDP hat. Also wenn der Score auch die Effizienz widerspiegeln soll, dann sollte ein entsprechend niedrigerer Unterschied herauskommen.

TDP Intel ≠ TDP AMD

 

[Nolag]

Aber der 5900HS hat auch 35W TDP, waehrend der Celeron N3450 nur 6W TDP hat. Also wenn der Score auch die Effizienz widerspiegeln soll, dann sollte ein entsprechend niedrigerer Unterschied herauskommen.

Laut der erfassten Daten benötigt der Celeron allerdings 36 Minuten um den Job zu erledigen, weshalb er schliesslich doch relativ ineffizient ist. Hier ist das Ranking, wie ich es für korrekt halte:

Wie erwartet sind dann die Laptop CPUs auf den vorderen Plätzen.

 

[TriggerThumb87]

Was bitte ist das für eine Rechnung? 300 * 1,63 * 4?

Score des 2600K * SinglecorePerformanceDifferenzfaktorZum5950X * SoVielMehrKerneHatDer5950X

Wieso rechtest du irgendwas auf die Kernzahl hoch?

Ja.

Skalierst du da grad irgendwas hoch? Falls ja: Du müsstest die TDP genauso mitskalieren, womit sich das egalisieren würde.

Ja.
Und da war auch der Fehler.
Somit passen dann die Ergebnisse. Danke.

 

[MP X10L]

Kann mir mal jemand erklären warum Sandy Bridge so weit vor Ivy Bridge liegt? Liegt da nicht ein Architekturupdate sowie ein Nodeshrink dazwischen?

 

[Nolag]

Kann mir mal jemand erklären warum Sandy Bridge so weit vor Ivy Bridge liegt? Liegt da nicht ein Architekturupdate sowie ein Nodeshrink dazwischen?

Der Ivy Bridge E 4820k ist eine HEDT CPU mit Quad-Channel Interface und noch stärker übertaktet als der Sandy. Vermutlich sähe ein 3770k etwas besser aus.

 

[TheCrazyIvan]

Da nur eine Software getestet wird ist das Wort Suite fehl am Platz.
So eine Effizienzmessung macht nur Sinn wenn mehrere verschiedene Lastszenarien berücksichtigt werden.
Und dies über mehrere Befehlssätze hinweg.

Ich habe mich aus folgenden Gründen für das Wort Suite entschieden:

• Es existiert eine Ablaufsteuerung, die mehrere Durchläufe von CB initiiert
• Es werden gleichzeitig Sensordaten gelesen und protokolliert
• Zur Zielerreichung wurden mehrere Komponenten gebündelt
• Es ist grundsätzlich machbar und von mir auch geplant, weitere sinnvolle Benchmarks zu integrieren
• Ich habe nicht wahnsinnig viel Zeit mit der Namensfindung verschwenden wollen

CB23 war für mich erst einmal naheliegend, da er als allgemein anerkannt gilt, einen gar nicht so schlechten Gradmesser für die potenzielle Leistungsfähigkeit einer CPU darstellt, kostenlos und parametrierbar ist.
Welche Benches mit fixem Workload würden Dir vorschweben?

Ergänzung (13. Juli 2021)

Ich hab in Ivans Thread was längeres geschrieben, der geht überhaupt nicht darauf ein. Ich glaub, ich weiß jetzt warum. Eine Chancengleichheit ist überhaupt nicht erwünscht bei dieser Ermittlung.

Ehrlich gesagt wusste ich zum Zeitpunkt der Vereinbarung meines gestrigen Grillabends noch nicht, dass mein kleines Hobby-Projekt diesen plötzlichen Fame erfahren würde

Ergänzung (13. Juli 2021)

Laut der erfassten Daten benötigt der Celeron allerdings 36 Minuten um den Job zu erledigen, weshalb er schliesslich doch relativ ineffizient ist.

Exakt!

Ergänzung (13. Juli 2021)

Oder misst PES vielleicht AVX oder sowas? Da hat Zen3 natuerlich einen schoenen Leistungsvorsprung auf den Goldmont, aber wie repraesentativ ist das?

PES misst genau das, was CB23 misst. Meines Wissens ist das FP-lastig, jedoch ohne Verwendung von AVX512. Ob AVX2 verwendet wird, weiß ich ehrlich gesagt gar nicht genau.

Ergänzung (13. Juli 2021)

Der Ivy Bridge E 4820k ist eine HEDT CPU mit Quad-Channel Interface und noch stärker übertaktet als der Sandy. Vermutlich sähe ein 3770k etwas besser aus.

Genau.
Allgemein muss bei dem Ranking die Sample-Anzahl berücksichtigt werden. Es handelt sich mehrheitlich um Maschinen von 3DC-Nutzern,d ie ihre Kisten üblicherweise sehr auf Absolut-Performance außerhalb des Effizienz-Sweet-Spot trimmen.

 

[Müritzer]

@TheCrazyIvan​

Hier mal ein Ausschnitt vom config.txt CB23 ( original nichts verändert ):
Da müsste ja AVX2 disabled sein.

Was aber auch zu Unterschieden führen kann, welche Priorität wird von Windows eingestellt?

Bei mir ist das "Niedriger als normal", stelle ich das auf Normal oder höher habe ich bessere Ergebnisse.
Gehe ich auf "Echtzeit" friert der PC ein aber der Benchmark läuft trotzdem durch, mit einem noch höheren Ergebnis.

 

[TheCrazyIvan]

@Müritzer
In den Settings ist erst einmal alles auskommentiert. Also wird CB23 vermutlich alles vorhandene und unterstützte nutzen.
Zur Prio: Die setze ich explizit im Powershell auf höher als normal

 

[sp00n.82]

@Müritzer
Im PowerShell-Script wird die Priorität von CB23 auf "AboveNormal" gesetzt.

@TheCrazyIvan
Da CB23 ja anscheinend eine config.txt verwendet, wäre es vermutlich sinnvoll, eine eigene für die Messung mitzuliefern, falls da doch jemand etwas geändert hat.

Beim CoreCycler lasse ich auch fix die Configs von Prime95 und Aida64 erstellen, damit da alles stimmt. Allerdings liegen die bei mir auch in einem Unterverzeichnis vom CoreCycler, bei deinem Setup müsstest du noch ein Backup der momentanen Einstellungen anlegen und diese beim Beenden wieder herstellen (was dann auch schiefgehen könnte, wenn das Script manuell unterbrochen wird).


@allgemein
Der Code liegt ja auf GitHub, kann also von jedem eingesehen werden. Dort wird auch erklärt, welcher Wert gemessen wird: Total Package Power vom Open Hardware Monitor.

 

[Bigeagle]

Ich finde die Idee an sich gut, allerdings bin ich mir nicht sicher wie brauchbar die Ergebnisse sind.

Package Power ist an sich logischerweise schon davon abhängig was alles integriert ist. Ist das ausreichend gleich bei den üblichen CPUs? Oder sollte man ggf. nur die Rechenkerne angucken?
Wie viel der Speichercontroller nimmt könnte ziemlich vom Speicher abhängen statt von der CPU.
Wie groß ist der Einfluss der Temperatur? Verschiebt eine WaKü eventuell die eine oder andere CPU im Rating?
Zumindest sollte man sich der möglichen Messfehler bewusst sein und vielleicht proaktiv die User darauf hinweisen. Ich bezweifle dass alle sowas auf dem Schirm haben.

Andere Fragen:
Offenbar wird per Sampling gemessen, doch warum nicht mit einer annähernd festen Samplingrate und stattdessen mit einem 10 ms sleep nach der Messung? Die wird doch kaum über alle Systeme eine konstante Laufzeit haben. Gerade wenn parallel ein Benchmark läuft.

Ist eine Erweiterung für andere Benchmarks geplant? Gerade zur Einschätzung der Ergebnisse wäre es aus meiner Sicht interessant auch noch mit Linpack und Prime95 zu testen. Linpack weil etablierter Standardbenchmark (ich weiß dass intel binaries bietet) und prime95 weil es Herstellerneutral sein sollte und eher dafür bekannt ist stabil sehr hohe Last zu erzeugen die selbst mit synthetischen benchmarks nicht leicht zu überbieten ist. Linpack hat diese 'halblast' vor und nach der Berechnungsphase und skaliert leicht mit höheren Problemgrößen (und damit mehr benötigtem Speicher).
Cinebench steht aus meiner Sicht etwas sehr dazwischen. Ggf. gut als typische Anwendung, aber eben nicht die volle Auslastung der CPU.

Das macht für mich persönlich Cinebench auch uninteressant, denn es stellt für mich weder einen praxisnahen Anwendungsfall, noch einen Test der die CPU ausreizt dar. Damit hebt es sich aus meiner Sicht nicht von irgendeiner integrierten Benchmarkfunktion eines halbwegs modernen Spiels oder Anwendung (7z z.B.) ab.

 

[TriggerThumb87]

Ich finde die Idee an sich gut, allerdings bin ich mir nicht sicher wie brauchbar die Ergebnisse sind.

Package Power ist an sich logischerweise schon davon abhängig was alles integriert ist. Ist das ausreichend gleich bei den üblichen CPUs? Oder sollte man ggf. nur die Rechenkerne angucken?
Wie viel der Speichercontroller nimmt könnte ziemlich vom Speicher abhängen statt von der CPU.
Wie groß ist der Einfluss der Temperatur? Verschiebt eine WaKü eventuell die eine oder andere CPU im Rating?
Zumindest sollte man sich der möglichen Messfehler bewusst sein und vielleicht proaktiv die User darauf hinweisen. Ich bezweifle dass alle sowas auf dem Schirm haben.

Ich finde CB sollte hier testen!
Vielleicht hat die Redaktion Möglichkeiten den Stromverbrauch besser zu ermitteln.

 

[Mongoo]

bei mir macht er nur ganz kurz ein art dosshell fenster auf und wieder zu.
Das wars
Hab den Pfad der Cinebench angepasst

Braucht er sonst noch was?

 

[Bigeagle]

Vielleicht hat die Redaktion Möglichkeiten den Stromverbrauch besser zu ermitteln.

Soweit ich es verstanden habe ist ein wesentlicher Teil der Idee ja dass es möglichst einfach und für jedermann möglich ist. Daher wird eine Programmbibliothek genutzt die einfach die Werte ausliest welche fast jede aktuell genutzte desktop cpu schon bereitstellt. Die wissen vergleichsweise gut wie viel Energie sie ziehen sofern alles mit Standardeinstellungen läuft.

OC verfälscht die Werte ggf, ob schon angepasste Spannungen reichen weiß ich nicht. Müsste mal jemand mit aktueller CPU probieren.

Wenn man es richtig machen wollte würde man sowieso wenigstens versuchen die Energie zu messen die zum CPU Sockel geht und das mit dem vergleichen was die CPU meldet. Macht man aber nicht mal eben zuhause. Auch Tester ohne großes Budget nicht. Seit die Spannungswandler so nach an und dann auf die CPU drauf gewandert sind ist das nicht mehr so einfach wie früher wo man einfach eine Strommesszange um das Kabel vom Netzteil klemmen konnte.

 

[TheCrazyIvan]

@Müritzer
Im PowerShell-Script wird die Priorität von CB23 auf "AboveNormal" gesetzt.

@TheCrazyIvan
Da CB23 ja anscheinend eine config.txt verwendet, wäre es vermutlich sinnvoll, eine eigene für die Messung mitzuliefern, falls da doch jemand etwas geändert hat.

Ursprünglich wollte ich ja CB23 direkt integrieren. Da hat mir aber GitHub einen Strich durch die Rechnung gemacht. Erst Timeout beim Pushen. Dann LFS verwendet, jedoch direkt in die Quota gerannt - richtiger Sackgang!
Habe dann die pragmatische Lösung gewählt, wobei ich die config.txt bis heute gar nicht wahrgenommen hatte.

Ergänzung (13. Juli 2021)

Package Power ist an sich logischerweise schon davon abhängig was alles integriert ist. Ist das ausreichend gleich bei den üblichen CPUs? Oder sollte man ggf. nur die Rechenkerne angucken?
Wie viel der Speichercontroller nimmt könnte ziemlich vom Speicher abhängen statt von der CPU.
Wie groß ist der Einfluss der Temperatur? Verschiebt eine WaKü eventuell die eine oder andere CPU im Rating?

Das kommt auf die Zielstellung an. Ich möchte eben die CPU inkl. Uncore vermessen. WaKü ist IMHO vernachlässigbar, wird sich aber bei entsprechenden Samples zeigen.

Zumindest sollte man sich der möglichen Messfehler bewusst sein und vielleicht proaktiv die User darauf hinweisen. Ich bezweifle dass alle sowas auf dem Schirm haben.

Man darf es aber auch nicht überwissenschaftlich machen, sonst verliert man die Menschen.

Andere Fragen:
Offenbar wird per Sampling gemessen, doch warum nicht mit einer annähernd festen Samplingrate und stattdessen mit einem 10 ms sleep nach der Messung? Die wird doch kaum über alle Systeme eine konstante Laufzeit haben. Gerade wenn parallel ein Benchmark läuft.

Die Konsequenz meiner Tests. Wenn man das Sampling nicht nach unten begrenzt, erzeugt es selbst viel CPU Last und verfälscht das Messergebnis. Heisenbergsche Unschärferelation sozusagen. Steht aber IIRC auch in der ReadMe - RTFM und so 😉

Ist eine Erweiterung für andere Benchmarks geplant? Gerade zur Einschätzung der Ergebnisse wäre es aus meiner Sicht interessant auch noch mit Linpack und Prime95 zu testen. Linpack weil etablierter Standardbenchmark (ich weiß dass intel binaries bietet) und prime95 weil es Herstellerneutral sein sollte und eher dafür bekannt ist stabil sehr hohe Last zu erzeugen die selbst mit synthetischen benchmarks nicht leicht zu überbieten ist. Linpack hat diese 'halblast' vor und nach der Berechnungsphase und skaliert leicht mit höheren Problemgrößen (und damit mehr benötigtem Speicher).
Cinebench steht aus meiner Sicht etwas sehr dazwischen. Ggf. gut als typische Anwendung, aber eben nicht die volle Auslastung der CPU.

In kurz: Ist möglich und geplant. Aber: Ich habe auch noch einen Job zum Geld verdienen und bitte daher um Geduld oder Mitarbeit.

Das macht für mich persönlich Cinebench auch uninteressant, denn es stellt für mich weder einen praxisnahen Anwendungsfall, noch einen Test der die CPU ausreizt dar. Damit hebt es sich aus meiner Sicht nicht von irgendeiner integrierten Benchmarkfunktion eines halbwegs modernen Spiels oder Anwendung (7z z.B.) ab.

Das ist Geschmackssache, sagte der Affe und biss in die Seife. IMHO ist CB23 ein praxisnaher Test für generelle CPU-Performance bei einem gut parallelisierbaren Workload. Und im ST gilt das auch für nicht parallelisierbare Workloads.

Ergänzung (13. Juli 2021)

bei mir macht er nur ganz kurz ein art dosshell fenster auf und wieder zu.
Das wars
Hab den Pfad der Cinebench angepasst

Braucht er sonst noch was?

Hm, welche Windows Version? Bist Du lokaler Admin?

 

[Mongoo]

Neueste windows10. ja bin admin

 

[TriggerThumb87]

Soweit ich es verstanden habe ist ein wesentlicher Teil der Idee ja dass es möglichst einfach und für jedermann möglich ist. Daher wird eine Programmbibliothek genutzt die einfach die Werte ausliest welche fast jede aktuell genutzte desktop cpu schon bereitstellt. Die wissen vergleichsweise gut wie viel Energie sie ziehen sofern alles mit Standardeinstellungen läuft.

Korrekt.
Und genau deswegen möchte ich ja, dass sie mal nachmessen und vergleichen.

 

[Nagilum99]

@TheCrazyIvan​

Hier mal ein Ausschnitt vom config.txt CB23 ( original nichts verändert ):
Da müsste ja AVX2 disabled sein.

Anhang anzeigen 1101247​

Doppelter Schrägstrich = auskommentiert, folglich...? ;-)

 

[TriggerThumb87]

Nach dem Anhang ist nichts deaktiviert.
Alles auskommentiert.

 

[Fonce]

Ist eine Erweiterung für andere Benchmarks geplant?

In kurz: Ist möglich und geplant. Aber: Ich habe auch noch einen Job zum Geld verdienen und bitte daher um Geduld oder Mitarbeit.

Ich habe mich die Tage mal hingesetzt und versuche das ganze nach .NET/C# zu portieren(Erstmal als Library + Konsolen Anwendung). In dem Code ist es schon vorgesehen das zusätzliche Module geschrieben werden können. Das meiste was ich dies bzgl. im Kopf habe ist schon umgesetzt, aber einige Sachen(z.B. die Module Konfiguration) sind aktuell rudimentär umgesetzt und andere noch nicht(z.B. Dynamisches laden von Modulen zusätzlicher Assembly)

Pull Request mit einen Änderungen: https://github.com/BrsVgl/PerformanceEfficiencySuite/pull/8