News AI-Beschleuniger Gaudi3: Der nächste Herausforderer für Nvidia H100/H200 und B200

[Thares]

Also die Namensgebung hat mich mehr interessiert als der Rest hier.
GAUDI, musste echt lachen.
Audi wird zu GAudi hihi

Ehrlich, es klingt echt bescheuert

 

[input_iterator]

Mit so ein Gaudi oder H200 Chip kannste theoretisch die nächsten 10 Jahre Games auf Ultra in 4K zocken.

Eine Nvidia H200 hat eine für Spiele relevante FP32 Leistung von 67 TFlops. Damit spielst Du die nächsten 10 Jahre definitiv nicht alles auf Ultra in 4K. Dafür ist die Karte ja auch nicht entwickelt worden.

 

[GrumpyCat]

aber da AMD und Intel keine software haben gehört der markt zu 90% Nvidia

Wieso stellen denn dann AMD und Intel die zwei Top-Supercomputer, inkl. GPU-Beschleuniger, und nicht NV? Wenn sie doch keine Software haben? https://en.m.wikipedia.org/wiki/TOP500

 

[TenDance]

müsste man mal die Israelis fragen wie die auf den Namen gekommen sind

https://www.google.com/search?q=gaudi

Recht einfach

 

[Draco Nobilis]

Mit so ein Gaudi oder H200 Chip kannste theoretisch die nächsten 10 Jahre Games auf Ultra in 4K zocken.

Vom DIE ja. Aber von dem was der DIE real ist kannst du ein Spiel nicht mal Starten.
INT4/INT8, damit kann man da wenig anfangen.

 

[Faust2011]

Und wie stehts um die Software bei Intel für KI? Habe ich es nur überlesen oder gibts wirklich keine Aussage dazu? CUDA ist proprietär und supporten die großen KI-Frameworks bereits die Intel-Beschleuniger?

 

[input_iterator]

Intel Gaudi, bzw das Software Dev Kit unterstützt jetzt schon K.I Frameworks wie Tensorflow und Pytorch.

 

[eazen]

Intel marketing war schon immer gut, aber die Performance war es eher weniger. Auch das hier wird nichts werden, aber da bei AI eh so gut wie alles aufgekauft wird, muss es eh nicht so gut wie Nvidia oder AMD Produkte sein.

 

[tochan01]

Intel Gaudi 3 Pre-Brief Deck mit einem anderen Kühler wäre interssant für den ambitionierten Hobby KI'ler. Kost aber wohl auch 5 stellig .
MA gucken wann die verramscht werden die damals die xenon phi Karten. Gibts ja heute noch für überschaubares Geld in der bucht für den Kuriositäten hardware Sammler .
Am Ende macht es hier der preis. Den NV bonus muss man auch erstmal wieder rein holen....

 

[Piktogramm]

Wieso stellen denn dann AMD und Intel die zwei Top-Supercomputer, inkl. GPU-Beschleuniger, und nicht NV? Wenn sie doch keine Software haben? https://en.m.wikipedia.org/wiki/TOP500

Intel hat Softwaresupport. Bei AMD ist es eher mal ein Leiden, die liefern gern mal Hardware, bevor der Softwarestack steht und kündigen den Softwaresupport dann für die gealterte Hardware auf, bevor das je richtig funktioniert hätte. Teilfunktionalität wird aber meist bereitgestellt für spezifische Versionen von spezifischen Distributionen.
Weiter nach dem nächsten Zitat.

Und wie stehts um die Software bei Intel für KI? Habe ich es nur überlesen oder gibts wirklich keine Aussage dazu? CUDA ist proprietär und supporten die großen KI-Frameworks bereits die Intel-Beschleuniger?

Intel hat das schon länger drauf/begriffen, dass Software für Hardwareverkäufe nötig ist. Da auch bei dem KI-Zeug kaum jemand direkt für Cuda schreibt sondern eher gegen PyTorch oder vergleichbares, hat Intel da geliefert: https://www.intel.com/content/www/us/en/developer/tools/oneapi/optimization-for-pytorch.html

PyTorch für AMD bzw. AMDs ROCm gibt es zwar auch, das ist aber wohl eher mäßig. Kann es nicht nachvollziehen, will ja nicht laufen auf meiner GPU, oder meinen APUs
Etwas ernsthafter, weil meine Hardware schlicht "alt" ist..
https://community.amd.com/t5/discussions/rocm-6-0-0-tensorflow-not-working-on-rx-7900-xt/m-p/657342
Nutzer bekommen auf ner 7900XT tensorflow nicht oder nur mit (imho zuviel) Aufwand zum Laufen.

Edit: Und jaja, die 7900XT ist kein Produkt für den professionellen Bereich. Studenten kommen an das professionelle Zeug fast nicht ran und selbst Entwickler in Firmen haben für Dev/Test nicht immer Zugriff bzw. das Budget sich das teure Zeug zu kaufen. Bei Intel tuts die iGPU, bei Nvidia ne Karta ab 400€ für erste Gehversuche und das je recht sicher ohne großes Gefrickel.

 

[input_iterator]

Intel marketing war schon immer gut, aber die Performance war es eher weniger. Auch das hier wird nichts werden

In den HPC Bereichen werden bei Bestellungen der Systeme die zu erwartene Leistung in den verschiedenen Bereichen vertraglich festgelegt. Da interessieren niemanden Benchmarks. Intel hat den Vorteil das es im Gegensatz zu Nvidia liefern kann und das günstiger. So gesehen ist es nicht schlimm, wenn Intel in einigen Disziplinen Nvidia, oder AMD hinterherläuft. Die Voränger Systeme (Gaudi 2) sind bei zahlreichen Firmen wie z.B. Amazon bereits am laufen.

 

[stefan92x]

Hat man bei Intel jetzt also 2 KI Projekte?
Gaudi hier - als reiner KI Chip
Und Ponte Veccio

Ja, aber... Gaudi ist ein echtes KI-Projekt, Ponte Vecchio auf Xe-Basis bzw dessen Nachfolger eher ein echtes HPC-System.

 

[LamaMitHut]

https://www.computerbase.de/2021-10...phic-chip-ist-der-erste-in-intel-4-fertigung/

Wird der Ansatz von neuromorphic chips auch noch verfolgt?

 

[takkyu]

Intels kläglicher Versuch auf den AI Zug aufzuspringen. AMD und Nvidia sind Jahre vorraus. Die haben es einfach in allen Bereichen verkackt.

 

[SweetOhm]

"Zum Start kann Intel sicherlich auch deshalb mit Dell, Lenovo, HPE und Supermicro direkt drei große OEMs nennen"

Und wer von dem Quartett ist dann der Kleine ?!?

 

[Yosup]

Dass intel auf Ethernet setzt ist nachvollziehbar, jedoch würde ich das nicht als Vorteil gegenüber NVidias proprietären NVLink darstellen. Sie haben schlicht nichts Besseres.
NVidias Interconnect auf Basis der Mellanox-Technologie ist Teil der Alleinstellungsmerkmale der NVidia-Beschleuniger und zählt zu den Stärken der Plattform.

Bei dem Satz "Durch die Verwendung der klassischen Ethernet-Switches kann Gaudi3 theoretisch in jede denkbare Größe skaliert werden" würde ich das Wort "theoretisch" jedenfalls sehr dick unterstreichen. Topologisch darstellen kann man das, aber je größer, um so mehr kann sich Mellanox absetzen - 200 GBit/s hin oder her.

 

[Piktogramm]

@Yosub
Welche Technologie von Mellanox meinst du? Etwas vereinfacht hat Mellanox Infiniband und potentes Ethernet. NV-Link ist aber weder Ethernet, noch Infiniband..
Und Nvidias Hopper bzw Nvlink4 ist meines Wissens auf 256 Knoten begrenzt. Darüber hinaus müssten Knoten dann auch über eine andere Technologie vernetzt werden.
Mit Ethernet, schafft man auch ohne TCP/IP dann doch "etwas" größere Netzwerke.

Und das Intel nichts vergleichbares hat. Ultra Path, CXL sehen wie NVlink auch sehr nach PCIe aus und die Fähigkeiten sind so groß anders nicht.

 

[freifacht]

Ich komme mit dieser Bezeichnung als Münchner einfach nicht klar. Ich fange jedes Mal das grinsen an wenn ich was über „Gaudi“ lese.

..hm..., komisch....
Ich muss da direkt an Barcelona denken
😁

 

[Magellan]

Sieht mir jetzt nicht nach der ganz großen Konkurrenz für Nvidia aus - in den sicher sehr schmeichelhaften Vergleichen behauptet man sich gegen die vorletzte Generation von Nvidia, kann beim Cherry Picking auch mal gegen die letzte Generation antreten - wie das dann gegen Blackwell aussieht kann man sich in etwa denken.

Der Punkt wird eher sein, dass Nvidia die Nachfrage eh nicht komplett bedienen kann, und je nach Preis und Einsatzzweck kann dann auch Gaudi3 interessant werden.

 

[Volker]

Dass intel auf Ethernet setzt ist nachvollziehbar, jedoch würde ich das nicht als Vorteil gegenüber NVidias proprietären NVLink darstellen. Sie haben schlicht nichts Besseres.
...

@Yosub
...

Nunja, Ethernet hat schon einige Vorteile, vor allem eben für die Einfachheit, Marktdurchdringung und mehr, wie Piktogramm schon gesagt hat.


Der hier ja gern als Guru angesehene Jim Keller hat es als Kommentar letzte Nacht auch gesagt:

Ethernet always wins Replaced SNA, DECnet, AppleTalk, etc Workstations on ethernet crushed minicomputers The internet is mostly ethernet Cloud is low cost servers on ethernet
Why ? It’s open Speed of light is fast Great abstraction layers End points don’t have to know a lot about each other Never make a big hot thing when you can hook it together with ethernet

https://twitter.com/jimkxa/status/1777727236818546694