News Optimierte Benchmarks: SPEC erklärt über 2.500 Resultate mit Intel-CPUs für ungültig

[Quidproquo77]

Die altbekannten Methoden Intels, zuerst die Brechstange, wenn die nicht mehr ausreicht wird manipuliert 😋

SPEC kann/sollte nicht darüber befinden, wie ihre Benchmarks ausgeführt werden sollen. Compileroptimierungen sind etwas völlig normales und werden permanent angewendet.
Es stellt im Prinzip nichts anderes als eine source level Optimierung wie "loop unrolling" oder "function inlining" dar. Bei "PRE" werden auch Instruktionen eingespart, wie bei automatischer Vektorisierung.

Ein Compiler formatiert den Code so, damit ihn die CPU bestmöglich abarbeiten kann.
Optimierungen für Benchmarks mögen umstritten sein. "Betrug" oder "Manipulation" zu rufen entbehrt aber jeglichen tieferen Verständnis der Materie und lässt auch die News etwas hanebüchen wirken.

Solange das visuelle (bei Grafikkarten), bzw. das mathematisch korrekte Ergebnis geliefert wird ist die Methode sauber. Intel führt eine Art dieser Optimierung bei ARC Grafikkarten in jedem 3D Mark durch.

Shader Replacement ist in Spielen auch nicht verpöhnt. Dass SPEC mit diesen Optimierungen nicht einverstanden ist, ist wieder ein anderes Thema. SPEC möchte die reale Leistung der Prozessoren abbilden, diese gibt es allerdings ohne Compiler nicht. Es ist auch nicht deren Aufgabe darüber zu entscheiden wie ein Unternehmen seine Compiler designed.

Diesel Abgas.... ach ne Intel Manipulationsskandal

Der typische 0815 Clickbait um Klicks zu generieren. Ein komplexes Thema in dem es verschiedene Sichtweisen und Zusammenhänge gibt und 99% des Forums steigen wieder auf einen Firmen Hatetrain auf, ohne die Thematik überhaupt verstanden zu haben.

Ich hätte gerne in jeder Anwendung und in jedem Benchmark die optimierte Compiler Variante meines AMD Prozessors am laufen. Genauso bei GPUs.

Und das ist nichts weiter als Betrug was Intel macht, fertig. Sowas kann und darf man nicht verteidigen oder relativieren.

Doch, das muss man sogar. Denn diese Optimierungen finden permanent statt und sind Teil des Ökosystems von AMD und Intel Prozessoren. Die Kunden können gerne Intels "Classic Compiler" verwenden, andere Kunden verwenden halt den Intel One API Compiler mit den ganz phösen Optimierungen.

 

[Selber]

Ein Benchmark, der 4% bis max. 9% besser ausfällt, ist völlig irrelevant in dem Bereich.

Dann braucht man den Bench ja nicht und Intel hat umsonst extra dafür "optimiert". Sehe ich eher nicht so. Hab extra Zünglein an der Waage gesagt, weil andere Faktoren und Eigenschaften offensichtlioch wichtiger sind als ein Benchscore.

 

[Flare]

Grüße aus dem Roten Lager?

Ist schon unterhaltsam; damals hätten diese Komiker für AMD nicht mal die Nase gerümpft. Heutzutage sind sie alle das A und O, lächerlich!

Dabei wurde das Blaue Lager nur mit seinen eigenen Waffen geschlagen, wussten diese Komiker ebenfalls nicht.🙄

Fred.

Oh? Naja jeder Mensch findet was Anderes komisch.
Ich bin eher ein knauseriger Opportunist der AMD Hardware seit Jahren als sehr kundenorientiert empfindet, vor allem Ryzen.
Freiwillig werde ich keine AMD Software installieren (Win Update tut das Nötigste).
Radeon Software empfand ich persönlich das letzte mal bei Polaris als gruselig, deshalb nutze ich seitdem wieder eine Nvidia GPU.
Aktuell ist es keine Intel A770 16GB weil mir der Verbrauch vor Allem im Idle so garnicht zusagt.
Ah, ich traue Intel zu AMD in den nächsten 12 Monaten bei den GPU unter 350€ auch was die Software angeht zu schlagen.

 

[HtOW]

Das ist weider gefundenes fressen für AMD

Würde es nicht als „gefundenes fressen“ bezeichnen sondern als juristische Konsequenz gegen offensichtlichen Betrug.

Siehe wie in Pentium Zeiten

 

[Quidproquo77]

Würde es nicht als „gefundenes fressen“ bezeichnen sondern als juristische Konsequenz gegen offensichtlichen Betrug.

Dann führe mal aus und werde konkret. Was stellt für dich hier den Betrug dar?

 

[HtOW]

@Quidproquo77

Falls der Benchmark wie bspw. Damals https://www.pcgameshardware.de/CPU-...pulierte-Benchmarks-14-Jahren-Aerger-1141278/
Von Intel für deren Vorteil modifiziert worden ist stellt dies eine vorsätzliche Täuschung der Kunden dar und somit ganz klar einen Betrug. Das Produkt wurde somit als Leistungsfähiger vermarktet als es letztendlich ist.

Und bei Intels Historie würde ich das mal als nicht unwahrscheinlich einschätzen

 

[Skysurfa]

Was stellt für dich hier den Betrug dar?

... using a priori knowledge of the SPEC code and dataset to perform a transformation that has narrow applicability

Wenn man die Ergebnisse schon kennt und deshalb nicht berechnen muss (stark vereinfacht), dann ist das wie Schummeln in der Matheklausur und wird im Allgemeinen als Betrug bezeichnet.

 

[=dantE=]

ich empfehle Euch dringend, die automatisierte "Vollzitat-Sperre" zu überdenken. Das ist bescheuert

Lass einfach am Ende den Punkt weg, oder mal den letzten Buchstaben. Man verstehts doch trotzdem

Intel … Schade dass es bis zur Anschaffung von für mich brauchbaren AMD Server Prozzis (EPIC) noch etwas Zeit braucht. Die Gebrauchtmarktpreise sind noch nicht tief genug.
Deshalb bin ich nach wie vor auf Intel angewiesen.

 

[Quidproquo77]

Wenn man die Ergebnisse schon kennt und deshalb nicht berechnen muss (stark vereinfacht),...

Das ist nicht stark vereinfacht, sondern völlig unsinnig.
Diese Art von Optimierungen und Transformationen finden in ganz normalen Anwendungen permanent statt.
Der Compiler sucht immer nach Möglichkeiten ein Programm zu transformieren um danach eine semantisch äquivalente Ausgabe zu erzielen. Dazu gehört auch die Eliminierung von totem Code.
Nichts anderes betreiben Entwickler, wenn sie strategische Compiler Flags setzen und versuchen ihren Code zu optimieren.

Man kann jetzt vortrefflich darüber sinnieren welche Art von Optimierung nun erlaubt sein soll und welche nicht. Ich halte das aber nur für Zeitverschwendung.

dann ist das wie Schummeln in der Matheklausur und wird im Allgemeinen als Betrug bezeichnet.

Der "Schummler" rechnet in der Matheklausur nicht mit dem Basis-Code, also dem Wissen was der Lehrer für die Klausur vorausgesetzt hat, sondern mit einem erweiterten Code, der Rechenschritte einspart und er somit schneller zum Ziel kommt. Und genau das passiert bei SPEC. Intel benutzt keine bereits vorhandenen Ergebnisse um die Benchmarks zu beschleunigen, sondern kommt durch normale Setzung von Compiler Flags zum schnelleren Ergebnis. Das ist völlig legitim und die Arbeit eines Compilers.

Intel kennt nicht die Ergebnisse, sondern weiß welcher Code vorliegt (im übrigen bei generischen Berechnungen oft so) und der lässt sich durch Transformationen besser auf Intel Hardware ausführen. Ob AMD das überhaupt könnte, müsste man im Detail prüfen.
Ich habe ja schon viel Quatsch im Netz gelesen, aber das übertrifft mal wieder "alles".

 

[lorpel]

Ach diese Compiler. Alles Krücken. Weil der Mensch zu blöd ist, muss man erst in Menschensprache programmieren um dann mit einem vom Menschen programmieren Compiler mehr schlecht als Recht in Maschinensprache zu übersetzen.

Wenn eine ki das mal ordentlich aufräumen könnte 🙄

 

[Boimler]

Wenn eine ki das mal ordentlich aufräumen könnte 🙄

Und dann steht vor /killallmankind nur eine Raute, damit es nicht ausgeführt wird? Ne, danke.

 

[RogueSix]

Dann braucht man den Bench ja nicht und Intel hat umsonst extra dafür "optimiert". Sehe ich eher nicht so. Hab extra Zünglein an der Waage gesagt, weil andere Faktoren und Eigenschaften offensichtlioch wichtiger sind als ein Benchscore.

Kein IT-Entscheider/Einkäufer/Server-Admin entscheidet -auch nicht als "Zünglein an der Waage"- aufgrund eines SPEC Sub-Scores.

In Performanceerwägungen fließen bei professionellen IT-Entscheidern im Serverbereich natürlich viel mehr Zahlen, Daten und Fakten und weitere Benchmarks außer SPEC mit ein.
Hier wird ja -vor allem von den üblichen Intel-Hassern- mitunter so getan, als ob SPEC der eine Benchmark wäre, von dem alle Entscheidungen abhängen und dem alle IT-Entscheider regelrecht hörig sind.

Leute, die Entscheidungen für Server-Systeme treffen sind aber keine Blödmarkt DAUs, die rein nach dem längsten Balken in 3D Mark gehen. Und selbst wenn sie theoretisch so blöd wären, dann hätte den längsten Balken in SPEC Overall-Scores immer AMD mit EPYC gehabt.
Beim Intel Compiler Test kommen AMD Systeme logischerweise nicht mal vor, denn wer nutzt mit AMD Systemen einen Intel Compiler? Genau. Niemand.

Insofern bleibe ich dabei, dass die praktische Relevanz dieses "Cheats" (Optimierung) gleich null ist. Die mickrigen max. 9% haben gegenüber AMD EPYC null Relevanz.
Dazu hatte Intel nie einen Einfluss darauf, ob oder wie viele Benches mit optimiertem Compiler in der SPEC Datenbank landen. Das bei STH exemplarisch gelistete Resultat stammte von Dell. Es finden sich weitere Beispiele von ASUS und Supermicro, also alles OEMs/Partner. Hier im Thread wird so getan, als ob Intel aktiv "fake scores" erzeugt hat. Das ist nicht der Fall.

Last but not least, ist der Compiler-Test ein einzelner kleiner Sub-Test mit einer bestimmten 2022er Version des Intel-Compilers (so ähnlich wie ein kleiner Sub-Score beim 3D Mark). Die Vergleichbarkeit zu AMD fehlt, da bei AMD-Systemen eh kein Intel-Compiler genutzt wird.
Ein maximal 9% besserer Sub-Score in diesem sehr spezifischen Intel Compiler-Benchmark, dürfte auf das Endergebnis, also den Overall-Score von SPEC, einen völlig zu vernachlässigenden Einfluss gehabt haben. Das sieht STH genauso:

We went through around 100 of the records as a spot check and it seems to be older versions of the Intel compiler that have their results with a compiler note. The newer results, especially for chips like the 5th Gen Intel Xeon Scalable Emerald Rapids, seem like they do not have the note since they are mostly using 2023.2.3 for Intel. It seems 2022 was the generation with the optimization so it will be mostly on 4th Gen Intel Xeon Scalable results. We did not see AMD results in this list which makes sense given companies are unlikely to use Intel’s compiler for AMD CPUs.


Again, the organization says that this impacts only a single test, so the impact to the overall scores should be fairly small.

Insofern ist es im Endergebnis wirklich albern aus dieser Mücke einen Elefanten machen zu wollen, aber gut... Intel und/oder nVidia Hetze läuft auf CB immer und gibt Klicks... also weitermachen!

 

[dergraf1]

Als wenn das nicht alle Hersteller machen würden. Wenn Benchmarks zu gut aussehen, bin ich sowieso von Natur aus immer sehr skeptisch.

Na ja gut aussehen lassen wie nvidia mit ihren Balkon und Benchmarks durch Bestechung zu beschönigen ist nicht das selbe.


@RogueSix

Das ist doch nur Relativierung von dir.
9% hier, 5% da.. Also dürfte nicht der einzige Benchmark sein, wo intel manipuliert, oder willst du intel unterstellen, das sie das ohne jeglichen Grund gemacht haben ^^

 

[Quidproquo77]

Insofern ist es im Endergebnis wirklich albern aus dieser Mücke einen Elefanten machen zu wollen, aber gut... Intel und/oder nVidia Hetze läuft auf CB immer und gibt Klicks... also weitermachen!

In Zukunft auch bitte keine Photoshop Resultate wegen Intels besserem Compiler mehr veröffentlichen.
Da wurde etwas "transformiert". Ganz phöse.
Und ich bin alles andere als ein Fan von Intel und ihrer Marktmanipulationen um die 2000er herum, aber die Kritik ist den Großteil betreffend einfach sachlich falsch. Aber vielsagend wie jeder auf den Zug aufspringt, ohne zumindest halbwegs eine Ahnung zu haben, worum es überhaupt geht.

Die Intel vs AMD Compiler Diskussion ist uralt.

 

[Skysurfa]

@Quidproquo77

Dir ist aber schon klar, was ein Benchmark ist? Speziell hier soll die Rechenleistung von CPU verglichen werden. Um wieder auf mein Matheklausurbeispiel zurückzukommen:

Berechnung der quadratischen Mittelwertes von f(x)=û*sin(Omega t). Hier kann ich jetzt jetzt entweder lustig integrieren oder ich rotze da einfach û*sqrt(2) (so was hat man im Kopf) hin. Beides führt zum gleichen Ergebnis. Führt aber leider einen Benchmark ad absurdum.

Und wenn dann auch noch die Erkennung für den SPEC-Benchmark aus dem Compiler entfernt wird (bei späteren Versionen), dann hat das auch tatsächlich Intel erkannt.

 

[bad_sign]

Intel wieder am betrügen? Man könnte meinen die Leute werden erwachsen.
Andererseits wurden sie heftigst belohnt von den Wettbewerbshütern, es doch wieder zu machen -.-
Ein paar $ für komplette Marktdominanz, wer nimmt das Angebot nicht an

 

[Quidproquo77]

Speziell hier soll die Rechenleistung von CPU verglichen werden. Um wieder auf mein Matheklausurbeispiel zurückzukommen:

Die Rechenleistung einer CPU wird in jeder Anwendung durch die Rohleistung der Hardware und auch der Qualität des Compilers bestimmt. Wenn wir von deinem Standpunkt ausgehen, wäre jegliches "Tuning" und die Optimierung der Software Performance durch "Transformationen" a priori untersagt.

Berechnung der quadratischen Mittelwertes von f(x)=û*sin(Omega t). Hier kann ich jetzt jetzt entweder lustig integrieren oder ich rotze da einfach û*sqrt(2) (so was hat man im Kopf) hin. Beides führt zum gleichen Ergebnis. Führt aber leider einen Benchmark ad absurdum.

Dann streichen wir in Zukunft einfach jedwede $O Compiler direktive Interprozedurale Optimierung raus.

Und wenn dann auch noch die Erkennung für den SPEC-Benchmark aus dem Compiler entfernt wird (bei späteren Versionen), dann hat das auch tatsächlich Intel erkannt.

Das Thema ist viel komplexer, aber die Diskussion ist müßig und mir ehrlichgesagt zu trivial.
Compileroptimierungen als "Betrug" und "Schummelei" zu benennen, ist etwa so wie zu sagen du darfst beim Skifahren kein Wachs auf die Skier auftragen und wer das macht und im vorhinein Temperatur und Beschaffenheit des Schnees ermittelt um das richtige Wachs zu wählen, sei ein Betrüger.

 

[Alexander2]

Benchmarks sollten halt für alle gemeingültig mit unabhängigen und unparteiischen compilern compiliert werden. nicht seperat für jede CPU speziell.

Intel hat schon so oft und so viel beschissen, du darfst einfach nichts trauen, das ein Benchmark ist und mit Intel compilern compiliert wurde. Optimierungen schön und gut, jedoch sollten es welche sein, die natürlich allgemein anwendbar sind.

Das beste ist immernoch, auch bei Firmen, wenn man seinen echten Workload testen kann und den entsprechend so gut wie optimiert, und wenn Intel da ein paar millionen euros reinsteckt um den workload der firma zu optimieren ohne sicherheitslücken zu schaffen, das ist das doch supi, das ist auch kein beschiss.

Es ist genauso fragwürdig, wenn du einfach amd folien hernimmst und den darauf abgebildeten folien ohne Zweifel traust, würdest du doch nciht machen? sondern deine eigenen tests, wie der Rechenknecht auf deinen workload passt..

aber ja, oft scheint es bei firmen eher so zu sein:
unser Intel Server ist schon 4 Jahre alt, wir brauchen einen neuen INTEL server. da wird erst garnicht nach alternative gefragt oder daran gedacht.

Bei mir bei der Arbeit beim Kunden sehe ich auch überall am laufenden band wegen den Lahmen Laptops gemeckert wird aber die die einkaufen interessiert das anscheinend auch nicht. Auch denke ich, das es wohl durchaus auf an der Anbindung liegen kann und nicht nur am Laptop. selbstverständlich ist der nächste neue Laptop auch nicht wirklich schneller :-) da kannste fest von ausgehen.

 

[Skysurfa]

@Quidproquo77

Möchtest du diesbezüglich keinen Leserartikel verfassen, der das Thema vollumfänglich beleuchtet? Ich denke das könnte hier auf großes Interesse stoßen und du musst dich auch nicht auf trivialer Ebene mit Laien befassen.

 

[HighPerf. Gamer]

Huch Deja Vu. Alle Jahre wieder wird mit compilern Ergebnisse manipuliert. Aber wenn man das im Vorfeld sagt ist man Aluhutträger, unter gewissen Leuten.