News Blackwell Ultra: Nvidia GB300 kommt auf 288 GB HBM3e und 1,4 kW pro GPU

[estros]

Völlig irrelevant. Strom wird trotzdem verbraucht und die Abwärme muss auch irgendwo hin.

Die Abwärme wird seit jeher immer und überall genutzt, da in ihr nutzbare Energie gespeichert ist.

 

[CDLABSRadonP...]

Was betrachtest du als Mainstream?
HBM wurde vor einigen Jahren auch noch auf "normalen" GPUs verbaut und ist inzwischen nur noch im HPC Segment zu finden.

"Hier soll mit der nächsten Generation der modulare LPCAMM einziehen, der ohnehin von Anfang für Notebooks, Desktops und Server geplant war."

Vielleicht schlaft mein Hirn schon, aber gehört nach dem Woart "Anfang" ein "an"?

Wie soll LPCAMM zum Mainstream werden, nur weil es in einer sehr spezialisierten, dedizierten HPC Solution eingesetzt wird?

Jetzt, wo ich es so nochmals betrachte, ist es nicht offensichtlich. Sorry dafür. Ich versuche, es kurz, knackig und dennoch vollständig darzustellen und übernehme den Abschnitt auch ins ursprüngliche Posting:

Bei LPCAMM handelt es sich um einen naturgemäß günstige Technologie. Das unterscheidet ihn von HBM, der Wechsel hin zu LPCAMM fällt eher in die Kategorie des Wechsels von SATA-AHCI hin zu PCIe-NVMe: Prinzipiell erzeugt PCIe-NVMe keine höheren Kosten. Das Problem waren bloß die Pfadwechselkosten, wie kommt man also von dem, was bisher im Einsatz war, hin zur neuen Lösung? Das ist teuer, wenn niemand darauf setzt. Man hat klassische Henne-Ei-Probleme, obwohl es eigentlich nichts gibt, was das ganze teuer macht.
Also, hier ganz praktisch gesprochen: LPCAMM wird in Masse für Nvidia gefertigt, deshalb können auch Notebookhersteller ganz einfach von der Erfahrung der Hersteller profitieren und kommen günstig an alles dran.
HBM ist hingegen naturgemäß teuer, denn HBM braucht den Interposer und das aufwendigere Packaging.

BTW, @nlr :@BAR86 hat recht, da fehlt ein an.

 

[t3chn0]

Diese Entwicklung unterstütze ich gerne mit dem Kauf einer 5090. Freue mich jetzt schon.

 

[ArrakisSand]

Deshalb ziehen genau das ja aktuell einige US-Firmen für ihre Datacenter in Betracht.

Und nicht nur irgend ein AKW sondern das AKW.
Wahrscheinlich würden sie sich dies sogar in Russland zweimal überlegen, bevor sie einen solch alten Kasten wieder in Betrieb nehmen würden.

Störfall-AKW soll Strom für Microsoft liefern
Der Störfall im Atomkraftwerk Three Mile Island war 1979 der schwerwiegendste in der US-Geschichte. Nun soll die stillgelegte Anlage wieder in Betrieb gehen. Grund ist der wachsende Energiebedarf von Microsofts KI.
tagesschau.de

Ja ich frage mich nur was als nächstes kommt.

 

[Tobias123]

Gleich fängt wieder das sinnlose Gejammer über den hohen Stromverbrauch an ohne die Effizienz in Betracht zu ziehen

Stimmt. Was für ein Schwachsinn solche Heizplatten zu verbauen.

 

[TheInvisible]

@mcmurphy100
Ich finde es irre, 2k für eine Grafikkarte auszugeben und das normal zu nennen. Das ist es, was die Leute in diesem Forum machen. Warum also nicht mal einen draufsetzen?

Ist halt ein Enthusiasten Forum, gehst du auch ins Porsche Forum und regst dich auf wenn die Leute dort alle >150k für Autos ausgeben wenn 20k auch reichen?

Find's schade das man sein Hobby nicht mehr ausleben darf und es immer in diese unsinnigen Preisdiskussionen abdriftet...

 

[Calid]

ich frage mich ernsthaft, wie diverse hyperscaler mit ihren eigenen chipdesigns da auch nur ansatzweise mithalten sollen. Wenn selbst chips-spezialisten wie AMD (oder Intel) sich die Zähne daran ausbeißen. Ich seh da überhaupt keine chance, dass irgendwie ein Weg an NV vorbei führt. Die eigenen "Süppchen", die die anderen kochen zu versuchen sind mehr oder weniger zum Scheitern verurteilt. Bestes Beispiel: Tesla und Dojo - kräht kein Hahn mehr danach. Tesla und X-AI kaufen massenhaft NV.

 

[Krik]

Find's schade das man sein Hobby nicht mehr ausleben darf

Ich hindere niemanden dran, sein Hobby auszuleben! Wie oft muss ich das eigentlich noch schreiben?

 

[nlr]

@nlr Hoffe da kommt noch eine News zum Jetson Orin Nano Super, der könnte für KI-Enthusiasten sehr spannend sein.

Ja bitte, vom 18.12.

https://www.computerbase.de/news/pc...d-robotik-ist-schneller-und-guenstiger.90735/

 

[Phunkberater]

ich frage mich ernsthaft, wie diverse hyperscaler mit ihren eigenen chipdesigns da auch nur ansatzweise mithalten sollen. Wenn selbst chips-spezialisten wie AMD (oder Intel) sich die Zähne daran ausbeißen. Ich seh da überhaupt keine chance, dass irgendwie ein Weg an NV vorbei führt. Die eigenen "Süppchen", die die anderen kochen zu versuchen sind mehr oder weniger zum Scheitern verurteilt. Bestes Beispiel: Tesla und Dojo - kräht kein Hahn mehr danach. Tesla und X-AI kaufen massenhaft NV.

Das ist eine Frage des Anwendungsfalls - gerade für die Anwendung von KI-Modellen (Inferencing) gibt es durchaus auch interessante Mitbewerber, die zugegeben allerdings eher Zukunftsperspektiven sind.
Siehe z.B. hier:
https://manashaloi.medium.com/revol...sambanova-are-shaping-the-future-9dc1ffb74208

 

[Atnam]

Und nicht nur irgend ein AKW sondern das AKW.

AKW =/ Reaktorblöcke.

Three Mile Island hatte 2 Reaktorblöcke. Block 2 hatte die partielle Kernschmelze. Block 1 wurde erst 2019 vom Netz genommen und hat noch eine Betriebserlaubnis bis 2034.

Block 1 will Microsoft nutzen.
Block 2 wird nie wieder ans Netz gehen.

 

[rentex]

Wenn eine Desktop Graka nen Verbrauch von 1,4 kW hätte, wäre es nen Aufstand wert, aber nicht bei so ner "Spezial HW".
Dann wieder so ne Diskussion warum sich einige Foristen hier und da ne 4090 leisten können...sie arbeiten wohl und verdienen überdurchschnittlich gut, daher whatever.
Hätte sie mir ebenfalls ohne weiteres leisten können, aber warum? Die 4080 reicht mir persönlich absolut und ich zocke ebenso AAA Titel..das ist aber mein Bier und mein Hobby. Dafür gibt es halt keinen Pauschalurlaub in der Türkei, Ägypten, Griechenland oder sonst wo...was ich persönlich absolut unwichtig finde (und ja, ich war schon in der Vergangenheit an wenigen Orten weltweit unterwegs).
Und wenn die Grakapreise explodieren, hat dies andere Gründe als ne bonzige Kundschaft. Entwicklung, Fertigung, Rohstoffpreise, einer Grafikkarte sind nun mal deutlich teurer geworden (als in der guten alten Zeit) UND VORALLEM FEHLENDER WETTBEWERB!
Aber im Gegenzug, nimmt man als PC Spieler verbuggte und nicht leistungsoptimierte Spiele hin, die dann eine 4090 brauchen🙄

 

[Gullveig]

Das ist alles irgendwie enttäuschend. Ich sehe da nicht wirklich eine Effizienzsteigerung, sondern da wird nur das Drumherum aufgebohrt.

 

[radoxx]

Wenn man da ein Rechenzentrum betreibt, in dem 100000 GPUs werkeln, hat man sicher einen erhöhten Stromverbrauch. Da bräuchte man fast ein AKW nebendran...

Das kommt auch genau so. Nicht umsonst steigen manche Tech Firmen indirekt in die Atomkraft ein.

So ein Rechenzentren frisst 24/7 365 Tage enorme Mengen Energie.

 

[Beg1]

Trinke ich nicht, esse ich nicht, habe ich nicht, kaufe ich nicht, kaufe ich nicht, sehe ich nicht, sehe ich nicht. Mein Budget für Gaming war in den letzten anderthalben Jahren 200€. 100€ in Steam und 100€ in GOG. In Steam habe ich noch 20€ übrig, in GOG noch 7€.

Okay, wir wissen jetzt, dass du GPUs für bis zu 2000€ (meine 4090 hat btw 1450€ gekostet) absurd findest.

Was ist denn dein teuerstes Hobby? Und warum bist du so ärgerlich, dass andere Leute in einem Enthusiastenforum die beste Hardware kaufen?

Es ist auch immer herrlich, wenn bei solchen lange nutzbaren Konsumgütern ein Fass aufgemacht wird, soll ich mich jetzt über jeden Autobesitzer beschweren, weil ich mich persönlich dagegen entschieden habe?

 

[qappVI]

Ja wild

 

[-Toad-]

wurde damals auch von Kollegen als Irre bezeichnet als ich mir meine 4090 für 1699€ geholt habe, aber Jährlich für seinen A6 1400€ an Versicherungen hinzublättern ist natürlich nicht Irre, da wird man ganz verdutzt angeschaut wenn man mal dagegen kontert xD

 

[matze313]

Was genau berechnet man eigentlich mit sowas, und was bzw. warum ist das so unglaublich rechenintensiv?

Aktuell: KI Modelle sind in der Ausführung (inferencing) zwar mittlerweile z.T. sparsam, im Training braucht man jedoch gewaltige Mengen an Rechenleistung und Speicher, um so ein Modell vom Rohdatensatz zu trainieren (also das neuronale Netz so aufbauen, dass für den Menschen sinnvoller Output generiert wird beim Inferencing).
Und wenn ein Unternehmen wie MS, Google oder OpenAI ihren Chatbot der ganzen Welt zugänglich macht, muss das ja auch irgendwo berechnet werden.

Abseits davon: Wettermodelle, Big Data Analysen (z.B. gewaltige Datensätze nach wiederkehrenden Mustern durchsuchen).

 

[MalWiederIch]

@mcmurphy100
Ich finde es irre, 2k für eine Grafikkarte auszugeben und das normal zu nennen. Das ist es, was die Leute in diesem Forum machen. Warum also nicht mal einen draufsetzen?

Solch eine „riesige“ Investition mag mit deinem Einkommen „irre“ aussehen - warum muss das jedoch für jeden gelten?

Wir haben allein in DE mehrere Millionen (!) Millionäre, weltweit kann man sich entsprechend vorstellen - und für verhältnismäßig „läppische“ ~1.700€ die nach 2 1/2 Jahren nicht einmal einen Cent Wertverlust sehen - sprich 0€ Kosten auf die 2 1/2 Jahre … von mir aus 5-10€ Strom im Monat, da zahlen die meisten mehr für Netflix etc. …

 

[Krik]

Was ist denn dein teuerstes Hobby?

Quad fahren. Aber nach einem Verkehrsunfall (nicht mit dem Quad) weiß ich nicht, ob ich das Hobby jemals wieder betreiben kann. Vielleicht verlege ich mich aufs Camping. Das interessiert mich gerade sehr.

Und warum bist du so ärgerlich, dass andere Leute in einem Enthusiastenforum die beste Hardware kaufen?

Ich bin ärgerlich, dass hier Leute es als normal hinstellen, für 2000 € eine Grafikkarte zu kaufen. Ist es nicht. Das habe ich in Post #20 auch schon geschrieben.
Und demnächst kommt die 5090, die möglicherweise 3000 € kostet. Auch das ist kein normaler Preis.

Für 2000 € kann man sich einen super Gaming-PC zusammenstellen, für 3000 € einen Gaming-PC plus einen super Monitor und andere exzellente Peripherie kaufen.

Aber 2k nur für die Grafikkarte ausgeben? Find ich irre. Kaufst nen gebrauchten Polo für 1k und schraubst dann Edelfelgen für 2k dran. So in etwa kommt mir das vor.
(Ich weiß, dass der Vergleich hinkt.)

Wir haben allein in DE mehrere Millionen (!) Millionäre

Ich bin keiner. Und nun?
Selbst wenn ich Millionär wäre, würde ich mit keine 4090 oder 5090 kaufen. Andere Millionäre übrigens auch nicht, denn diese Kategorie Menschen achten typischerweise noch viel mehr aufs Geld als wir Durchschnittsmenschen.