News Intels AI-Beschleuniger: Bei Gaudi 3 muss Intel schon wieder die Preiskarte ziehen

[Volker]

Intels neuer AI-Beschleuniger betritt heute offiziell den Markt. Doch Gaudi 3 ist spät dran, Intel muss also wieder die Preiskarte spielen. Das hat der Hersteller auch schon bei Gaudi 2 getan. Ob das am Ende von Erfolg gekrönt wird, bleibt abzuwarten.

Zur News: Intels AI-Beschleuniger: Bei Gaudi 3 muss Intel schon wieder die Preiskarte ziehen

 

[stefan92x]

Und auch auf Seiten AMD ist der Konkurrent dann ja vorraussichtlich nicht mehr MI300, sondern der Refresh MI325 (da steht in 2 Wochen ja auch ein großes AMD-Event an). Schwere Zeiten für Intel, auch und gerade in diesem Bereich.

 

[Rickmer]

Mit 600W ist kein Wunder, dass die nicht mit Perf/W geworben haben. Die können sich nicht (oder nur minimal) von einer 2 Jahr alten GPU absetzen...

Ein bisschen wundert mich auch, dass es Benchmarks für eine Karte (Llama 3 8B) und zwei Karten (Llama 2 70B) gibt, aber irgendwie vermisse ich eine Folie mit Benchmarks für das volle 8-Karten Gespann auf dem z.B. Llama 3.1 405B läuft...

 

[AI-Nadja]

Sollten Nvidia und AMD dieses Problem nicht mehr haben, wird es für Intel nur noch schwerer keine Gaudi mehr sein.

Verpasste Gelegenheit... @Volker

 

[lynx007]

@Volker

Magst und kannst du etwas näher drauf eingehen warum Gaudi3 zu spät ist, aus sicht der industrie? 125k vs 200k sieht eignetlich gut aus... klar niemand verkauft sich über den Preis, wen er nicht muss...
Aber die frage ist nur warum es sich nicht rechnet, bzw. warum Gaudi3 zu spät ist und derart runter vom Preis muss. Paar Kennzahlen wären halt nett. Auch wen man das vom Abverkaufableiten kann, wäre es nett zu erfahren, warum es sich für die einkäufer nicht lohnt Gaudi3 einzusetzen. Das geht aus dem Artikel leder nicht so hervor. Warum lohnt es sich nicht Gaudi3 zu kaufen, oder anders herum, warum zahlen die Leute lieber 200k als 125k...?

Vermutlich ist Performance/Watt einfach unterirdisch oder?
Danke dir schonmal im voraus.

 

[tollertyp]

Sieht nach einer Mordsgaudi aus für die Konkurrenz.

 

[Topflappen]

Klingt komisch, aber ich wünsche Intel einen mehr als kostendeckenden Erfolg für deren Mühen.

 

[stefan92x]

@lynx007 das Problem ist vor allem der Speicher, der zu klein und zu langsam ist. Gaudi 3 setzt immer noch auf HBM2e, während Nvidia/AMD schon auf HBM3 setzen und aktuell/in Kürze mit HBM3e ankommen. In dieser Hinsicht hängt Intel praktisch zwei Generationen hinterher und die zu Gaudi 3 vergleichbaren Produkte sind eben jetzt so langsam am Ende ihres Produktlebenszyklus angekommen.

 

[0x8100]

Sollten Nvidia und AMD dieses Problem nicht mehr haben, wird es für Intel nur noch schwerer keine Gaudi mehr sein.

Verpasste Gelegenheit... @Volker

das war schon bei der ersten generation nicht lustig - und irgendwie bezweifle ich, dass du weisst, wo der name eigentlich herkommt.

 

[lynx007]

@stefan92x
Danke dir. Also ist es im grunde auch nichts neues. Denn seit dem ersten Transistor baut man praktisch immer um den Speicher, der generell zu langsam ist, bzw schneller sein könnte.


Das ist halt auch krass....

 

[BxBender]

bei Intel News hab ich immer Gaudi ^^

 

[stefan92x]

Schneller und auch größer. Gerade bei AI geht es ja darum, dass das Modell komplett in den Speicher passen sollte, sonst bricht die Performance massiv ein. Gaudi 3 bringt 128 GB mit, AMDs MI300X hat heute 192GB und MI325X wird voraussichtlich in Kürze 288 GB haben.

Intels Lösung ist im Vergleich entsprechend nur für kleinere (und damit üblicherweise schlechtere) Modelle sinnvoll nutzbar. Solange das ausreicht, ist alles gut - aber wenn nicht, ist man eben woanders besser aufgehoben

 

[lynx007]

@stefan92x Schon krass wie Intel mitlerweile in fast jedem Feld versagt. Also ich hoffe ja das die noch die Kurve bekommen. Aber bis auf Notebook-CPUs kacken die gerade in jedem anderen Segement ab oder`? Das ist ja übel. Wer ist nochmal CEO und das wie lange...?

 

[tollertyp]

das war schon bei der ersten generation nicht lustig - und irgendwie bezweifle ich, dass du weisst, wo der name eigentlich herkommt.

Ich habe den Namen noch nicht gefragt, wo er herkommt, ich weiß auch gar nicht, ob man das heute noch darf oder ob das nicht schon diskriminierend ist. Für ein Wortspiel ist die Herkunft auch egal. Ein bisschen Gaudi darf ja wohl noch erlaubt sein.

@lynx007: Yap, hoffe ich auch, ein schwaches Intel ist für den Markt auch kein Vorteil. Andererseits: AMD war auch schon oft totgesagt... Und die GPU-Sparte ist es heute sogar duck und renn

 

[0x8100]

Ein bisschen Gaudi darf ja wohl noch erlaubt sein.

dieser wahnsinnig tolle wortwitz kam seit dem ersten artikel 2019 jedes mal... aber gut, unsere ai-naddel ist ja auch erst seit diesem jahr dabei.

 

[BAR86]

Klingt komisch, aber ich wünsche Intel einen mehr als kostendeckenden Erfolg für deren Mühen.

naja das kann man ja durchaus argumentieren:
erstens: im KI Sektor braucht Nvidia dringend ordentliche Konkurrenz. Intel hat dies über Ponte Veccio probiert und nun mit Gaudi auch noch (ich weiß nur nicht ob beide Lösungen weiterverfolgt werden). Es steckt in diesem Bereich so viel Geld, dass bei einem ordentlichen Erfolg Intel damit alleine schon die Fertigungssparte wieder hinbiegen könnte.
Ich weiß nicht ob Gaudi 4 eigentlich schon im Gespräch ist...

 

[tolga9009]

Das Problem bei AMD war und ist immer der Software-Support gewesen. Die Hardware ist absolut solide. Wenn ich "kleiner Student" oder "kleiner Unternehmer" meine Software unter AMD nicht testen kann, dann verwende ich halt CUDA. Da kann man bereits mit einer 3060 12GB extrem gut einsteigen, über die 4060 16GB weiter experimentieren und schließlich mit 3090 Ti 24GB für aktuell ca. ~800€, ggf. über NVLink sogar 2-mal, auch mal ein paar ausgefallenere Sachen lokal ausprobieren. Wenn da mal was richtig gutes dabei ist, dann miete ich mir irgendwas in der Cloud und kann bei CUDA generell davon ausgehen, dass ich keine bösen Überraschungen/Inkompatibilitäten zu erwarten habe.

Intel ist software-technisch deutlich besser aufgestellt als AMD, aber auch hier gibt es noch viel zu tun. Außer Acht darf auch nicht gelassen werden, dass (eher schlechte als rechte) dedizierte Intel GPUs erst seit 2 Jahren erwerblich sind - im kleinen Rahmen konnte man also nicht wirklich lange in diesem Ökosystem rumexperimentieren. Insgesamt geht es nicht "nur" über den Preis der GPUs bzw. Speicher. Es müssen auch Risiken mit einberechnet werden (Library Fehler, Inkompatibilitäten, Edge Cases) und da fährt man mit Nvidia aktuell und auf absehbare Zeit besser. Zumindest kann ich das von mir behaupten: wenn ich Budget-Verantwortung von zig Millionen bis Milliarden Dollar hätte, würde ich lieber "Safe" spielen.

Meine Meinung: das Billionen-Dollar Datacenter-Geschäft fängt beim "kleinen Studenten" und "kleinen Unternehmer" an. So, wie es Nvidia bereits vormacht.

 

[latiose88]

Ja da hängt Intel echt weit hinter her. Versuchen müssen sie es weil sonst kriegen sie garkein Geld mehr. Intel wird dennoch sich wieder aufrappeln. Dank dem mobilen Markt und des Militär Deals macht ja Intel durchaus genug Kohle. Aber das alleine reicht eben nicht aus um auf Dauer zu überleben, soviel ist sicher.

 

[SVΞN]

Den KI-Zug hat Intel leider in jeder Hinsicht verpasst und das ist neben den vielen anderen Problemen einer der Hauptgründe, weshalb sich Intel in die aktuelle Schieflage manövriert hat.

Ob Gaudi 3 selbst zu dem Preis das Ruder rumreißen kann? Ich bezweifle es ja.

 

[oicfar]

Gute Zusammenfassung ...

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung