News Intel MKL 2020.2: Neuer AMD-Workaround schneller als Zen-Kernel

[Spandi]

ob blob ändern oder umgebungsvariable.. so viel unterschied ist das schlußendlich nicht.

 

[Jesterfox]

so viel unterschied ist das schlußendlich nicht.

Für Matlab macht es einen gewaltigen Unterschied: Umgebungsvariablen können sie setzen wie sie lustig sind, aber einen modifizierten MKL Blob dürften sie nicht mit ausliefern.

 

[Spandi]

ach so meinst.. ich meinte an Aufwand zum Ändern alleine.
Mal schauen was Intel nun macht auf die viele negative Resonanz.

 

[Jesterfox]

Ich würd mir ja wünschen dass mehr Aufwand in die offenen Bibliotheken gesteckt wird als zu schauen was Intel jetzt macht ;-)

Und ja, es würd auch AMD gut stehen da zumindest etwas Aufwand reinzustecken. Und wenn es nur wäre Programmierern die "leider" nur Intel haben eine entsprechende Maschine zu spendieren damit sie auch für AMD optimieren können ;-)

 

[Holt]

Also Holt, ich schätze deine Expertise sehr, aber das was du hier verzapfst ist schon ziemlich hanebüchen.
Das Ergebnis von SIMD Integeroperationen ist auf allen Plattformen natürlich identisch.

Erstens wird die MKL wohl kaum nur Integeroperationen verwenden und dann ist dies gar nicht garantiert, dass alle Berechnungen immer korrekte Ergebnisse liefern, wie Intel beim Pentium FDIV Bug selbst schmerzhaft lernen musste.

Die marktbeherrschende Stellung liegt nicht bei MKL sondern bei den Prozessoren und diese versucht man hier eben im Bereich MKL etc. auszunutzen. Man kommt einfach an der Intel MKL kaum vorbei da die Prozessoren beinahe überall im Einsatz sind. Sämtliche MKL-Lösungen anderer Hersteller sind also maximal Bonus in der Umsetzung.

Wieso kommt man an der MKL kaum vorbei? Es gibt Alternativen und jeder fähige Entwickler könnte den Code auch selbst implementieren, wenn er dies will. Wieso diese MKL-Alternativen anderer Hersteller maximal Bonus in der Umsetzung sein sollten, erschließt sich nicht.

Auf der Homepage sind viele Hinweise dass es sich um eine Bibliothek für Intel Prozessoren handelt, und der Code macht kein Geheimnis daraus dass es eine Verzweigung des Codes je nach CPU-Hersteller gibt.

Eben, Software von Intel für Intel Kunden. Woraus manche hier ableiten die müsse auch auf AMD CPUs optimal performen, konnte mir immer noch keiner von denen überzeugend erklären.

Das sehe ich nicht so, zumal die MKL nicht von normalen Benutzern verwendet wird, sondern überwiegend von Personen, die Matlab verwenden, oder Python in der Anaconda-Distribution, bei der automatisch für NumPy und allen darauf aufbauenden Bibliotheken die MKL verwendet wird... oder als Backend für PyTorch und Tensorflow.

Eben, wenn man sich irgendwo beschweren müsste über die schlechte Performance auf AMD Systemen, dann bei den Herstellern dieses Software, wie z.B. Mathworks. BMW verbaut Automatikgetriebe von ZF und wenn man damit ein Problem hat, dann muss man sich an BMW und nicht an den Zulieferer ZF wenden!

Und an genau dem Leistungs-Unterschied zwischen OpenBLAS und der MKL kann man sehr gut erkennen, wie viel KnowHow in die MKL geflossen sein muss, denn an der OpenBLAS arbeiten auch keine Anfänger. (Die ja trotzdem eine gute Alternative ist!)

Eben, jeder könnte OpenBLAS als Alternative verwenden, wenn er den Code nicht selbst schreiben will, entweder komplett oder als alternativen Pfad für AMD CPUs.

aber im Kern ist die MKL eigentlich keine Software für die Kunden von Intel (-CPUs), sondern eine Hilfe für Softwareentwickler um sicher zu stellen, dass deren Software (z.B. Matlab) so schnell wie müglich auf Intel CPUs läuft.

Doch, die MKl ist von Intel für Intel CPUs und natürlich ist die SW auf die Intel CPUs optimiert.

Das Problem hier ist, würde Intel nur Funktionsabfragen stellen, würde AMD CPUs ungebremst laufen, oder gar nicht

Eben, oder gar nicht. Dann wäre der Shitstorm auch wieder groß, wenn die Programme in bestimmten Situationen auch AMD CPUs abstürzen und auf Intel CPUs nicht.

Wenn hier jemand irgendwen anders behindert, dann Mathworks indem sie eine Bibliothek verwenden die nur auf Intel performant läuft. Hätten ja was anderes verwenden können.

Eben, die Verantwortung liegt bei denen die die MKL in ihre SW integriert haben, die wissen ja das die MKL von Intel für Intel CPUs ist.

Es ist eine Software die für Intel Kunden gedacht ist und nicht für AMD Kunden. Wenn du nicht mal diese einfache Tatsache zur Kenntnis nehmen willst, dann erzähl mir keinen von Reflektion.

So ist es aber leider, von bestimmten Seiten werden Fakten schlicht ignoriert und jeder der mit Fakten kommt auch noch niedergemacht. Aber für solche Leute, mit denen man einfach nicht sinnvoll diskutieren kann, gibt es die IL. Im echten Leben wird man mit solchen ja auch keine Diskussionen anfangen, weil man weiß wie sinnfrei der Versuch wäre. Mit Leuten wie Kacha oder HaZweiOh diskutieren zu wollen, ist sinnfrei, mache es wie ich packe sie auf die IL, dann musss man den Mist den sie schrieben nicht lesen, die lästern über alles was von Intel und alles von AMD wird in den Himmel gelobt. Fakten spielen bei denen hingegen keine Rolle. Die können dann hier schreiben was sie wollen, ich verschwende keine Zeit es zu lesen oder gar darauf zu antworten. Klar schreiben die weiterhin auch über mich, aber was stört es den die Eiche wenn die Sau sich dran schubbert?

PS: und es wäre nett, wenn das beharren auf so einfachen Tatsachen nicht gleich als "Du verteidigst Intel... wieso machst du das!?" ausgelegt wird.

Die Diskussionskultur hier kaum noch als solche zu bezeichnen, leider, denn die Grabenkämpfe hören einfach nicht auf.

Ich beziehe mich dabei auf @Holt's post, der davon ausgeht man müsste alle supportete Platformen auch validieren.

Man kann dies auch lassen, aber als jemand der seit Jahrzehnten in dem Bereich tätig ist, würde ich dies nicht empfehlen. Da kann aber jeder machen wie er will, er muss dann aber auch für die Konsequenzen einstehen.

einfach weil sie Matlab, Microsoft R oder Ansys nicht auf OpenBlas oder BLIS umstellen können.

Und warum können sie das nicht? Haben die keine fähigen Entwickler die dies könnten? Jetzt komme nicht ohne Beweise mit Behauptungen wie einem Knebelvertrag von Intel.

Intel geht es darum etwas zu erstellen was ihre Produkte im Auge potenzieller Kunden attraktiver macht. Das machen eigentlich alle Unternehmen die um Kunden buhlen.
Und wenn das bedeutet eine Bibliothek mit Formeln zur linearen Algebra zu erstellen und ihren Kunden kostenlos zur Verfügung zu stellen, dann kann ich da beim besten Willen nichts falsches dran finden.
Die Formeln die dort in Code gegossen wurden sind kein Geschäftsgeheimnis von Intel. Sie sind frei zugänglich und können auch von anderen Firmen und Individuen in Code umgesetzt werden.

So ist es und wenn man die Algorithmen selbst in Code gießt, läuft es meines Wissens nach in aller Regel auch viel schneller als über die Mathlib. Wenn Performance wichtig ist, dann macht man dies und die Mathlib dient nur zum Test für Prototypen, aber nicht für die Produktivversion.

Was ich nicht nachvollziehen kann ist die Forderung dass AMD-CPUs auch von dem Invest profitieren sollen obwohl AMD nichts zur Entwicklung dieser Bibliothek beigetragen hat. Jedenfalls nicht das ich wüsste. Und die einzige Begründung die dieser Forderung zugrunde liegt ist die dass AMD Architektur- und Featuresetkompatibel ist. Die volle Unterstützung von Fremd-CPUs würde auch gleichzeitig den Sinn konterkarieren warum die MKL überhaupt mal entwickelt wurde.

Eben und AMD hat ja auch eine eigene Alternative zur MKL, die können sie ja auch so optimieren wie sie wollen und wenn sie gute Arbeit machen, werden sie die SW Hersteller damit auch überzeugen ihrer Lib zu verwenden. Es gibt ja inzwischen gerade im Desktop eine breite Basis an AMD Systemen.

Und jeder ist dazu eingeladen, dagegen zu argumentieren. Aber abgesehen von einigen wenigen kommen da eben auch schnell Diffamierungsversuche.

Solche Leute packt man dann auf die IL, dafür ist die ja da. Oder würdest Du mit Leute die Dich diffamieren statt zu diskutieren z.B. in der Kneipe reden? Doch wohl nicht.

 

[=rand(10)]

Auf der Homepage sind viele Hinweise dass es sich um eine Bibliothek für Intel Prozessoren handelt, und der Code macht kein Geheimnis daraus dass es eine Verzweigung des Codes je nach CPU-Hersteller gibt.

Eben, Software von Intel für Intel Kunden.

Also nachdem AMD geklagt hat. Erst dannach kam nämlich der entsprechende Hinweis seitens Intel .

Aber hey, das hier ist ein Forum und keine Gerichtsverhandlung. Hier geht es nicht (nur) um was Intel rechtlich darf oder nicht darf. Hier kann man durchaus seine Meinung sagen wie: "Find ich doof, was Intel da macht".

Wieso kommt man an der MKL kaum vorbei? Es gibt Alternativen und jeder fähige Entwickler könnte den Code auch selbst implementieren, wenn er dies will.

Und was ist jetzt deine Antwort an einen Matlab-Nutzer?

 

[Holt]

Hier kann man durchaus seine Meinung sagen wie: "Find ich doof, was Intel da macht".

Nur geht es hier ja weit über "Find ich doof" hinaus, da liegt das Problem.

Und was ist jetzt deine Antwort an einen Matlab-Nutzer?

Beschwere dich beim Hersteller der SW, also MathWorks und nicht bei dem der lib die sie verwenden. Wie beim Beispiel mit dem ZF Automatikgetriebe in einem BMW, wenn man damit nicht zu hat es auch keinen Sinn sich an ZF zu wenden, sondern muss sich bei BMW beschweren, die haben dies Getriebe ja für das Fahrzeug ausgewählt und hätten auch z.B. eines von Aisin nehmen können. MathWorks hat sich für die MKL entschieden, man hätte die Funktionen auch selbst schreiben oder eine andere Lib nehmen können.

Ansonsten sollte man MathWorks mal bitten die HW Empfehlungen zu überarbeiten, dort steht noch:

MATLAB performance is dependent on the presence of floating-point hardware. On many CPUs, the number of Floating-Point Units (FPUs) equals the number of CPU cores. However, on some processors, a single FPU may be shared between multiple CPU cores, potentially creating a performance bottleneck.

Von Befehlssatzerweiterungen wie SSE oder gar AVX ist gar nicht die Rede, sie versprechen also auch nicht diese überhaupt zu nutzen. Dort steht aber ganz oben auch:

Predicting how MATLAB will perform while running an application on a particular computer is difficult.

Von daher macht auch MathWorks keine bestimmten Versprechen was die Performance auf bestimmten Plattformen angeht und die AVX Nutzung in der MKL ist ein Goody welches man bekommen kann oder auch nicht, versprochen wird es nicht. Wer meint meint es müsse trotzdem so sein, der soll sich eine Alternative zu Mathlab suchen und wenn es keine gibt, dann hat ja hier wohl Mathworks ein Monopol und nicht die MKL!

Woher die Erwartungshaltung kommt das Intel nun dafür sorgen soll, dass Mathlibs auch auf AMD CPUs die maximal mögliche Performance liefert, nur weil ihre MKL da genutzt wird die für ihre CPUs optimiert und validiert haben, kann ich nicht nachvollziehen. Manche meinen ja, man könne dann einfach auf eine Validierung verzichten, nur fallen alle Fehler wie falsche Ergebnisse (wie man sieht wird ja die FPU intensiv genutzt und nicht nur Integeroperationen) oder Abstürze dann doch wieder auf Intel zurück und sind dann viel schlimmer als ein Performancenachteil.

 

[Berserker]

Wie beim Beispiel mit dem ZF Automatikgetriebe in einem BMW, wenn man damit nicht zu hat es auch keinen Sinn sich an ZF zu wenden, sondern muss sich bei BMW beschweren, die haben dies Getriebe ja für das Fahrzeug ausgewählt und hätten auch z.B. eines von Aisin nehmen können.

Haben sie auch, bei den Plattformen mit quer eingebauten Motoren, die in der Basis bei drei Zylindern und Frontantrieb beginnen.

 

[Wadenbeisser]

@Holt

Nichts für ungut aber du schrebst Käse.

Würde man mit der Abfrage die Konkurrenz nicht künstlich ausbremsen dann würde man den Performance Vorteil verlieren.

Würde es nur um Support Leistungen gehen dann würde man sich derer durch den Hinweis auf den herstellerbezogenen Support entledigen.

Würde man die Konkurrenz ganz aussperren dann würden sie den scheinbaren Leistungsvorteil und eine ganze Kundengruppe verlieren, was wiederum auch der Relevanz der lib schaden würde.

Würde es auf anderen x86er Prozessoren nicht laufen dann hätte man sich ganz einfach nicht an die bestehenden Standards gehalten und man müßte sogar die Konkurrenz aussperren, womit wir wieder bei Punkt 3 sind.

Das einzige Ziel dieser Sperre ist der scheinbare Leistungsvorteil indem man die Konkurrenz bei performanten Befehlssätzen aussperrt.

 

[Forum-Fraggle]

Eben, oder gar nicht. Dann wäre der Shitstorm auch wieder groß, wenn die Programme in bestimmten Situationen auch AMD CPUs abstürzen und auf Intel CPUs nicht

So wie ich das verstanden habe, gibt es doch einen Trick mit es wieder ungebremst läuft. Und es gab keine Aussagen, daß das System instabil ist.
Was wir wissen ist, es gibt eine Abfrage. Es gibt einen Trick diese zu umgehen. Mit Trick ist das System schneller. Abstürze mit Trick snd nicht bekannt. Alles andere ist zwar theoretisch möglich, aber Spekulation.

 

[Holt]

gibt es doch einen Trick mit es wieder ungebremst läuft. Und es gab keine Aussagen, daß das System instabil ist.

Wer einen Trick nutzt, kann sich aber nicht beschweren wenn es Probleme gibt.

 

[TrueAzrael]

Wieso kommt man an der MKL kaum vorbei? Es gibt Alternativen und jeder fähige Entwickler könnte den Code auch selbst implementieren, wenn er dies will. Wieso diese MKL-Alternativen anderer Hersteller maximal Bonus in der Umsetzung sein sollten, erschließt sich nicht.

Weil kaum ein Softwareentwickler die Arbeit auf sich nehmen wird selbst etwas umzusetzen oder eine Alternative zu wählen die dann vielleicht nicht perfekt mit 80% der Prozessoren läuft. Nimmt man die von Intel kann man sich sicher sein das mit Intel-CPUs alles "perfekt" läuft und hat damit einen Großteil des Marktes abgedeckt. Weiter schaut dann kaum noch ein Entwickler.

 

[calluna]

Würde man mit der Abfrage die Konkurrenz nicht künstlich ausbremsen dann würde man den Performance Vorteil verlieren.

Ja, würde man, aber das ist nicht der Punkt... und wir drehen uns im Kreis: die Standardsituation für alle ist eine BLAS und LAPACK Implementierung wie OpenBLAS - wobei die MKL mehr ist als das.

Intel hat für die eigenen Produkte eine Implementierung entwickelt, die noch einmal deutlich besser ist. Genau darin besteht der Vorteil für Intel-Kunden - das es diesen Service gibt.

Sicher, die Bibliothek funktioniert ebenso auf AMD... aber der strittige Punkt ist dabei: ist es rechtlich oder moralisch richtig.

 

[Forum-Fraggle]

Wer einen Trick nutzt, kann sich aber nicht beschweren wenn es Probleme gibt.

Hat 1. keiner behauptet sich dann beschweren zu können und 2. sind keine bekannt, es gibt nicht einen Beleg dafür . Es ist also reine Spekulation. Alle Fakten deuten daher Richtung unnötige Methode. Bitte Spekulationen weglassen und über Tatsachen diskutieren. Alles andere ist Marketinggewäsch einer Firma (beliebige Firma einzusetzen).

 

[N0FX]

Dir scheint entgangen zu sein, dass Intel und Microsoft unterschiedliche Unternehmen sind, die z.B. beide eigene Compiler haben. Zu deren Compilern und auch zu der MKL gibt es Open Source Alternativen, ebenso wie auch zu MS Windows und Office, AMD hat sogar selbst eine Alternative zu MKL, pflegt und optimiert diese nur noch und auch bei Compilern hat AMD nicht gerade mit Ruhm bekleckert und mal diesen und mal jenen Open Source Compiler unterstützt, meist aber auch nur halbherzig. Intels dominante Stellung bei x86 CPUs wird ja gerade von AMD angegriffen und auch ARM versucht in verschiedenen Bereichen wie den Servern einen Teil vom Kuchen abzubekommen, mit Apple werden dann auch demnächst in PCs ARM CPUs Einzug halten.

Meine IL hat mit SaschaHa einen weiteren Eintrag, denn als Troll lasse ich mich nicht beleidigen.

Es geht ja nicht darum, dass sie der einzige Anbieter sind, sondern darum, dass sie eine marktbeherrschende Stellung haben und diese (wie Intel bei MKL und MS früher beim IE) ausnutzen bzw. teilweise auch missbrauchen.

 

[calluna]

@N0FX

Gut... aber sind sie deswegen verpflichtet, wenn sie Software für ihre Produkte entwickeln, die Konkurrenz daran zu beteiligen?

Und hat jemand mal Benchmarks MKL vs AOCL gefunden? Ich finde keine oder suche falsch.

 

[wayne_757]

Erstens wird die MKL wohl kaum nur Integeroperationen verwenden und dann ist dies gar nicht garantiert, dass alle Berechnungen immer korrekte Ergebnisse liefern, wie Intel beim Pentium FDIV Bug selbst schmerzhaft lernen musste.

Nochmal: Hardwarebugs sind für die Softwareentwicklung irrelevant.
Soetwas ist Teil der Hardwaresimulation. Ansonsten müsste ich ja auch Tests erstellen die prüfen ob soetwas wie ein simpler Funktionsaufruf funktioniert.

Floating point precision issues sind auch ein Thema das eher auf einer anderen Ebene abgefrühstückt wird.

 

[Ned Flanders]

Sicher, die Bibliothek funktioniert ebenso auf AMD...

Die Crux an der ganzen Sache aus meiner Sicht ist, dass die MKL eine vollkommen undokumentiertes Performance Killswitch für non-Intel CPUs beinhaltet. Wir diskutieren das ganze hier ja retrospektiv.

Als Entwickler von beispielsweise Matlab oder Anaconda war es bei der Auswahl der BLAS nicht einsehbar, das die MKL nicht Intel CPUs aktiv benachtleiligt. Intel schreibt zwar (seit verlorenenem Rechtsstreit) ausdrücklich im sprichwörtlich Kleingedruckten:

- Intel’s compilers may or may not optimize to the same degree for non-Intel microprocessors

was auf mich völlig unverfänglich wirkt. Warum sollten sie auch auf non-Intel optimieren. Darum gehts ja garnicht.

Sie schrieben aber, bis die ganze Story vor einem dreiviertel Jahr wirklich an die Öffentlichkeit kam, ebenso an sehr prominenter Stelle (Seite 1) des Dev Guides:

- ... MKL also performs well on non-Intel CPUs (seit MKL Release 2020.1 geändert zu 'also runs on non-Intel CPUs')

Da muss halt einfach die Frage erlaubt sein: Wäre Anaconda, Matlab und Co auch dann per Default um die MKL gebaut worden, wenn Intel im DevGuide korrekt festgestellt hätte:

- MKL does not perform well on non-Intel CPUs and SSE3/4 or AVX1/2 extensions are exclusive to Intel CPUs.

Aus meiner Sicht und das kann jeder anders sehen, ist das eine verschleierte Schlangenöl Taktik um die Verbreitung der MKL zu steigern um über die Verbreitung den Wettbewerb klein zu halten.

Das heißt im Umkehrschluss nicht, dass ich AMD freispreche. Die müssten sehr viel mehr in eine OSS BLAS stecken als sie zumindest bis vor kurzem noch taten. Das gilt für deren ganzes Ökosystem.

Aber die MKL ist eben nicht nur ein harmloses goody für Intel Kunden. Sie ist über ihre Verbreitung auch als saure Pille für nicht Intel Kunden gedacht die mit Intel in keiner Geschäftsbeziehung stehen. Und vor allem letzteres ist offensichtlich und muss auch nicht schön geredet werden. Wenn sich so ein Verhalten durchsetzt ist das imho nicht gut. Wenn jeder Hersteller seine Software dazu benutzt den Wettbewerb oder was auch immer zu unterdrücken anstatt die eigenen Produkte glänzen zu lassen wirds schnell kompliziert werden.

Glücklicherweise ist diese Vorgang afaik bislang einzigartig.

 

[TrueAzrael]

Hat 1. keiner behauptet sich dann beschweren zu können und 2. sind keine bekannt, es gibt nicht einen Beleg dafür . Es ist also reine Spekulation. Alle Fakten deuten daher Richtung unnötige Methode. Bitte Spekulationen weglassen und über Tatsachen diskutieren. Alles andere ist Marketinggewäsch einer Firma (beliebige Firma einzusetzen).

Ist halt so eine Sache, wenn man im Fehlerfall dem Support gegenüber dann eingestehen muss, dass man einen nicht freigegebenen Workaround nutzt.

 

[Holt]

Weil kaum ein Softwareentwickler die Arbeit auf sich nehmen wird selbst etwas umzusetzen oder eine Alternative zu wählen die dann vielleicht nicht perfekt mit 80% der Prozessoren läuft.

Die MKL ist nicht alternativlos und wenn ein Hersteller einer SW sich entscheidet dies statt der Open Source Alternative oder der Alternative von AMD zu nutzen, was kann dann Intel dafür das er nicht auch einen Alternativpfad für andere CPUs verbaut? Wenn Tesla marktbeherrschend bei eAutos ist, müssen sie ja auch hier Supercharger und ihr Fahrassistenzsystem nicht für anderen öffnen und optimieren. Woher kommt das Gedanke Intel müsse dies bei der MKL machen? Wenn welcher Begründung kann man von Intel verlangen das ihre gut und aufwendig optimierte MKL auch auf den AMD CPUs optimal performt, obwohl sie für Intel CPUs gemacht und gedacht ist?

2. sind keine bekannt, es gibt nicht einen Beleg dafür

Für keinen Bug und keine Sicherheitslücke gab es einen Beleg bevor sie gefunden wurden, dies Argument ist also totaler Unsinn.

Es geht ja nicht darum, dass sie der einzige Anbieter sind, sondern darum, dass sie eine marktbeherrschende Stellung haben und diese (wie Intel bei MKL und MS früher beim IE) ausnutzen

Die MKL ist nicht alternativlos, es gibt sogar Open Source Alternativen und auch eine von AMD, wie gut die auf AMD CPUs sind, weiß ich nicht, aber dafür ist Intel ja nicht verantwortlich. Bei den x86 CPUs verliert Intel immer mehr Markanteile, in bestimmten Bereichen wie DIY hat AMD schon due Führung übernommen, aber egal, Hauptsache Intel böse AMD gut, aber AMD könnte auch mal selbst was im SW Bereich für ihren Kunden machen, wenn sie schon immer mehr CPUs verkaufen. Wieso verlangt dies hier keiner der AMD Fans? Stattdessen ist es ja bequem es von Intel zu verlangen eine Version der MKL zu verlangen die auf AMD CPUs optimal performt, obwohl Intel dafür keinen Cent sehen würde.

Verlangt von MathWorks eine Version von Mathlib für AMD und von damit eine optimierte Version ihrer Lib die MathWorks dann da einbauen kann! Das wäre sinnvoll und vor allem ehrlich! Aber ihr wisst ja, dass dies nicht passieren wird, richtig?

Floating point precision issues sind auch ein Thema das eher auf einer anderen Ebene abgefrühstückt wird.

Es geht nicht Floating point precision, aber Lesen und Verstehen ist, wie die Pisa Studie ja ergeben hat, für so manchen eine große Herausforderung.