News Intels AI-Beschleuniger: Bei Gaudi 3 muss Intel schon wieder die Preiskarte ziehen

Volker

Ost 1
Teammitglied
Registriert
Juni 2001
Beiträge
18.735
  • Gefällt mir
Reaktionen: eastcoast_pete, BrollyLSSJ, aid0nex und 5 andere
Und auch auf Seiten AMD ist der Konkurrent dann ja vorraussichtlich nicht mehr MI300, sondern der Refresh MI325 (da steht in 2 Wochen ja auch ein großes AMD-Event an). Schwere Zeiten für Intel, auch und gerade in diesem Bereich.
 
  • Gefällt mir
Reaktionen: Rockstar85 und fckzensur
Mit 600W ist kein Wunder, dass die nicht mit Perf/W geworben haben. Die können sich nicht (oder nur minimal) von einer 2 Jahr alten GPU absetzen...

Ein bisschen wundert mich auch, dass es Benchmarks für eine Karte (Llama 3 8B) und zwei Karten (Llama 2 70B) gibt, aber irgendwie vermisse ich eine Folie mit Benchmarks für das volle 8-Karten Gespann auf dem z.B. Llama 3.1 405B läuft...
 
  • Gefällt mir
Reaktionen: sader1994
@Volker

Magst und kannst du etwas näher drauf eingehen warum Gaudi3 zu spät ist, aus sicht der industrie? 125k vs 200k sieht eignetlich gut aus... klar niemand verkauft sich über den Preis, wen er nicht muss...
Aber die frage ist nur warum es sich nicht rechnet, bzw. warum Gaudi3 zu spät ist und derart runter vom Preis muss. Paar Kennzahlen wären halt nett. Auch wen man das vom Abverkaufableiten kann, wäre es nett zu erfahren, warum es sich für die einkäufer nicht lohnt Gaudi3 einzusetzen. Das geht aus dem Artikel leder nicht so hervor. Warum lohnt es sich nicht Gaudi3 zu kaufen, oder anders herum, warum zahlen die Leute lieber 200k als 125k...?

Vermutlich ist Performance/Watt einfach unterirdisch oder?
Danke dir schonmal im voraus.
 
  • Gefällt mir
Reaktionen: eastcoast_pete, ILoveShooter132, aid0nex und 3 andere
Sieht nach einer Mordsgaudi aus für die Konkurrenz.
 
  • Gefällt mir
Reaktionen: Rockstar85, Hicks404, aid0nex und 3 andere
Klingt komisch, aber ich wünsche Intel einen mehr als kostendeckenden Erfolg für deren Mühen.
 
  • Gefällt mir
Reaktionen: aid0nex, tritratrullala, BAR86 und eine weitere Person
@lynx007 das Problem ist vor allem der Speicher, der zu klein und zu langsam ist. Gaudi 3 setzt immer noch auf HBM2e, während Nvidia/AMD schon auf HBM3 setzen und aktuell/in Kürze mit HBM3e ankommen. In dieser Hinsicht hängt Intel praktisch zwei Generationen hinterher und die zu Gaudi 3 vergleichbaren Produkte sind eben jetzt so langsam am Ende ihres Produktlebenszyklus angekommen.
 
  • Gefällt mir
Reaktionen: nyster, fckzensur und lynx007
AI-Nadja schrieb:
Sollten Nvidia und AMD dieses Problem nicht mehr haben, wird es für Intel nur noch schwerer keine Gaudi mehr sein.
Verpasste Gelegenheit... @Volker
1727192807593.png

das war schon bei der ersten generation nicht lustig - und irgendwie bezweifle ich, dass du weisst, wo der name eigentlich herkommt.
 
  • Gefällt mir
Reaktionen: Kalsarikännit, RogueSix, coxon und eine weitere Person
@stefan92x
Danke dir. Also ist es im grunde auch nichts neues. Denn seit dem ersten Transistor baut man praktisch immer um den Speicher, der generell zu langsam ist, bzw schneller sein könnte. :daumen:


Das ist halt auch krass....
1727193919736.png
 
Zuletzt bearbeitet:
Schneller und auch größer. Gerade bei AI geht es ja darum, dass das Modell komplett in den Speicher passen sollte, sonst bricht die Performance massiv ein. Gaudi 3 bringt 128 GB mit, AMDs MI300X hat heute 192GB und MI325X wird voraussichtlich in Kürze 288 GB haben.

Intels Lösung ist im Vergleich entsprechend nur für kleinere (und damit üblicherweise schlechtere) Modelle sinnvoll nutzbar. Solange das ausreicht, ist alles gut - aber wenn nicht, ist man eben woanders besser aufgehoben
 
  • Gefällt mir
Reaktionen: fckzensur
@stefan92x Schon krass wie Intel mitlerweile in fast jedem Feld versagt. Also ich hoffe ja das die noch die Kurve bekommen. Aber bis auf Notebook-CPUs kacken die gerade in jedem anderen Segement ab oder`? Das ist ja übel. Wer ist nochmal CEO und das wie lange...?
 
0x8100 schrieb:
das war schon bei der ersten generation nicht lustig - und irgendwie bezweifle ich, dass du weisst, wo der name eigentlich herkommt.
Ich habe den Namen noch nicht gefragt, wo er herkommt, ich weiß auch gar nicht, ob man das heute noch darf oder ob das nicht schon diskriminierend ist. Für ein Wortspiel ist die Herkunft auch egal. Ein bisschen Gaudi darf ja wohl noch erlaubt sein.

@lynx007: Yap, hoffe ich auch, ein schwaches Intel ist für den Markt auch kein Vorteil. Andererseits: AMD war auch schon oft totgesagt... Und die GPU-Sparte ist es heute sogar duck und renn
 
  • Gefällt mir
Reaktionen: nyster, fckzensur, Inxession und 2 andere
tollertyp schrieb:
Ein bisschen Gaudi darf ja wohl noch erlaubt sein.
dieser wahnsinnig tolle wortwitz kam seit dem ersten artikel 2019 jedes mal... aber gut, unsere ai-naddel ist ja auch erst seit diesem jahr dabei.
 
  • Gefällt mir
Reaktionen: konkretor und [F]L4SH
Topflappen schrieb:
Klingt komisch, aber ich wünsche Intel einen mehr als kostendeckenden Erfolg für deren Mühen.
naja das kann man ja durchaus argumentieren:
erstens: im KI Sektor braucht Nvidia dringend ordentliche Konkurrenz. Intel hat dies über Ponte Veccio probiert und nun mit Gaudi auch noch (ich weiß nur nicht ob beide Lösungen weiterverfolgt werden). Es steckt in diesem Bereich so viel Geld, dass bei einem ordentlichen Erfolg Intel damit alleine schon die Fertigungssparte wieder hinbiegen könnte.
Ich weiß nicht ob Gaudi 4 eigentlich schon im Gespräch ist...
 
Das Problem bei AMD war und ist immer der Software-Support gewesen. Die Hardware ist absolut solide. Wenn ich "kleiner Student" oder "kleiner Unternehmer" meine Software unter AMD nicht testen kann, dann verwende ich halt CUDA. Da kann man bereits mit einer 3060 12GB extrem gut einsteigen, über die 4060 16GB weiter experimentieren und schließlich mit 3090 Ti 24GB für aktuell ca. ~800€, ggf. über NVLink sogar 2-mal, auch mal ein paar ausgefallenere Sachen lokal ausprobieren. Wenn da mal was richtig gutes dabei ist, dann miete ich mir irgendwas in der Cloud und kann bei CUDA generell davon ausgehen, dass ich keine bösen Überraschungen/Inkompatibilitäten zu erwarten habe.

Intel ist software-technisch deutlich besser aufgestellt als AMD, aber auch hier gibt es noch viel zu tun. Außer Acht darf auch nicht gelassen werden, dass (eher schlechte als rechte) dedizierte Intel GPUs erst seit 2 Jahren erwerblich sind - im kleinen Rahmen konnte man also nicht wirklich lange in diesem Ökosystem rumexperimentieren. Insgesamt geht es nicht "nur" über den Preis der GPUs bzw. Speicher. Es müssen auch Risiken mit einberechnet werden (Library Fehler, Inkompatibilitäten, Edge Cases) und da fährt man mit Nvidia aktuell und auf absehbare Zeit besser. Zumindest kann ich das von mir behaupten: wenn ich Budget-Verantwortung von zig Millionen bis Milliarden Dollar hätte, würde ich lieber "Safe" spielen.

Meine Meinung: das Billionen-Dollar Datacenter-Geschäft fängt beim "kleinen Studenten" und "kleinen Unternehmer" an. So, wie es Nvidia bereits vormacht.
 
Ja da hängt Intel echt weit hinter her. Versuchen müssen sie es weil sonst kriegen sie garkein Geld mehr. Intel wird dennoch sich wieder aufrappeln. Dank dem mobilen Markt und des Militär Deals macht ja Intel durchaus genug Kohle. Aber das alleine reicht eben nicht aus um auf Dauer zu überleben, soviel ist sicher.
 
Den KI-Zug hat Intel leider in jeder Hinsicht verpasst und das ist neben den vielen anderen Problemen einer der Hauptgründe, weshalb sich Intel in die aktuelle Schieflage manövriert hat.

Ob Gaudi 3 selbst zu dem Preis das Ruder rumreißen kann? Ich bezweifle es ja.
 
Gute Zusammenfassung ...

 
  • Gefällt mir
Reaktionen: gustlegga
Zurück
Oben