News Blackwell Ultra: Nvidia GB300 kommt auf 288 GB HBM3e und 1,4 kW pro GPU

[Krik]

@DeusExMachina
Alphafold ist eine KI. Zitat von Wiki:

AlphaFold (2018), AlphaFold 2 und AlphaFold 3 (2024) sind tiefe neuronale Netze aus Transformern

Wenn das keine KI ist, dann sind LLMs auch keine.

Gemäß der englischen Wiki liegt die Genauigkeit bei ca. 90/100 Punkten nach GDT.

 

[-=[CrysiS]=-]

Ich liebe diesen Post!
.... Jedes Mal....

Ich auch, schade das man den nicht einfach als „Gag“ stehen lässt.

 

[Fight for Right]

Nehme 4 schreibs auf den deckel XD

 

[Vexz]

@mcmurphy100
Ich finde es irre, 2k für eine Grafikkarte auszugeben und das normal zu nennen. Das ist es, was die Leute in diesem Forum machen. Warum also nicht mal einen draufsetzen?

Naja, andere Leute geben einen vierstelligen Betrag für ein Smartphone oder eine mechanische Uhr aus, oder einen sechstelligen Betrag für ein Auto. Aus meiner Sicht könnte ich das auch als "irre" bezeichnen, weil das nicht meine Welt ist und mir nie der Gedanke kommen würde, das zu tun. Aber jeder hat so seine Hobbys, für die er bereit ist, sein Geld auszugeben.

 

[cruse]

Bald dann mit 1TB Arbeitsspeicher pro Karte. Es geht wieder vorwärts.

Endlich!

 

[Picard87]

Deshalb ziehen genau das ja aktuell einige US-Firmen für ihre Datacenter in Betracht.

Eben. Amazon, Meta, Microsoft und Co. sind ja de facto schon zu Energieunternehmen geworden.
Weil viel über Stromverbrauch und Effizienz geschrieben wird in den Kommentaren: die grundsätzliche Frage stellt sich aber schon, ob diese Materialschlacht am Ende sinnvoll ist. Wenn ich meine Schüler angucke, dann sitzen die stundenlang vor der KI und lassen sich zur Gaudi irgendwelche Bilder generieren. Ist das sinnvoll? Ist das nachhaltig? Ich denke nicht.

 

[cruse]

288GB VRAM, net übel

Endlich passt CoD in den Vram!

 

[DeusExMachina]

@DeusExMachina
Alphafold ist eine KI. Zitat von Wiki:

Wenn das keine KI ist, dann sind LLMs auch keine.

LLM sind auch keine KI die werden nur so genannt weil sich das gut verkauft (dachte man)

 

[ZeT]

Gleich fängt wieder das sinnlose Gejammer über den hohen Stromverbrauch an ohne die Effizienz in Betracht zu ziehen

Völlig irrelevant. Strom wird trotzdem verbraucht und die Abwärme muss auch irgendwo hin.

 

[MiniM3]

Zwei bitte!
Einfach nur krass

 

[estros]

Völlig irrelevant. Strom wird trotzdem verbraucht und die Abwärme muss auch irgendwo hin.

Die Abwärme wird seit jeher immer und überall genutzt, da in ihr nutzbare Energie gespeichert ist.

 

[CDLABSRadonP...]

Was betrachtest du als Mainstream?
HBM wurde vor einigen Jahren auch noch auf "normalen" GPUs verbaut und ist inzwischen nur noch im HPC Segment zu finden.

"Hier soll mit der nächsten Generation der modulare LPCAMM einziehen, der ohnehin von Anfang für Notebooks, Desktops und Server geplant war."

Vielleicht schlaft mein Hirn schon, aber gehört nach dem Woart "Anfang" ein "an"?

Wie soll LPCAMM zum Mainstream werden, nur weil es in einer sehr spezialisierten, dedizierten HPC Solution eingesetzt wird?

Jetzt, wo ich es so nochmals betrachte, ist es nicht offensichtlich. Sorry dafür. Ich versuche, es kurz, knackig und dennoch vollständig darzustellen und übernehme den Abschnitt auch ins ursprüngliche Posting:

Bei LPCAMM handelt es sich um einen naturgemäß günstige Technologie. Das unterscheidet ihn von HBM, der Wechsel hin zu LPCAMM fällt eher in die Kategorie des Wechsels von SATA-AHCI hin zu PCIe-NVMe: Prinzipiell erzeugt PCIe-NVMe keine höheren Kosten. Das Problem waren bloß die Pfadwechselkosten, wie kommt man also von dem, was bisher im Einsatz war, hin zur neuen Lösung? Das ist teuer, wenn niemand darauf setzt. Man hat klassische Henne-Ei-Probleme, obwohl es eigentlich nichts gibt, was das ganze teuer macht.
Also, hier ganz praktisch gesprochen: LPCAMM wird in Masse für Nvidia gefertigt, deshalb können auch Notebookhersteller ganz einfach von der Erfahrung der Hersteller profitieren und kommen günstig an alles dran.
HBM ist hingegen naturgemäß teuer, denn HBM braucht den Interposer und das aufwendigere Packaging.

BTW, @nlr :@BAR86 hat recht, da fehlt ein an.

 

[t3chn0]

Diese Entwicklung unterstütze ich gerne mit dem Kauf einer 5090. Freue mich jetzt schon.

 

[ArrakisSand]

Deshalb ziehen genau das ja aktuell einige US-Firmen für ihre Datacenter in Betracht.

Und nicht nur irgend ein AKW sondern das AKW.
Wahrscheinlich würden sie sich dies sogar in Russland zweimal überlegen, bevor sie einen solch alten Kasten wieder in Betrieb nehmen würden.

Störfall-AKW soll Strom für Microsoft liefern
Der Störfall im Atomkraftwerk Three Mile Island war 1979 der schwerwiegendste in der US-Geschichte. Nun soll die stillgelegte Anlage wieder in Betrieb gehen. Grund ist der wachsende Energiebedarf von Microsofts KI.
tagesschau.de

Ja ich frage mich nur was als nächstes kommt.

 

[Tobias123]

Gleich fängt wieder das sinnlose Gejammer über den hohen Stromverbrauch an ohne die Effizienz in Betracht zu ziehen

Stimmt. Was für ein Schwachsinn solche Heizplatten zu verbauen.

 

[TheInvisible]

@mcmurphy100
Ich finde es irre, 2k für eine Grafikkarte auszugeben und das normal zu nennen. Das ist es, was die Leute in diesem Forum machen. Warum also nicht mal einen draufsetzen?

Ist halt ein Enthusiasten Forum, gehst du auch ins Porsche Forum und regst dich auf wenn die Leute dort alle >150k für Autos ausgeben wenn 20k auch reichen?

Find's schade das man sein Hobby nicht mehr ausleben darf und es immer in diese unsinnigen Preisdiskussionen abdriftet...

 

[Calid]

ich frage mich ernsthaft, wie diverse hyperscaler mit ihren eigenen chipdesigns da auch nur ansatzweise mithalten sollen. Wenn selbst chips-spezialisten wie AMD (oder Intel) sich die Zähne daran ausbeißen. Ich seh da überhaupt keine chance, dass irgendwie ein Weg an NV vorbei führt. Die eigenen "Süppchen", die die anderen kochen zu versuchen sind mehr oder weniger zum Scheitern verurteilt. Bestes Beispiel: Tesla und Dojo - kräht kein Hahn mehr danach. Tesla und X-AI kaufen massenhaft NV.

 

[nlr]

@nlr Hoffe da kommt noch eine News zum Jetson Orin Nano Super, der könnte für KI-Enthusiasten sehr spannend sein.

Ja bitte, vom 18.12.

https://www.computerbase.de/news/pc...d-robotik-ist-schneller-und-guenstiger.90735/

 

[Phunkberater]

ich frage mich ernsthaft, wie diverse hyperscaler mit ihren eigenen chipdesigns da auch nur ansatzweise mithalten sollen. Wenn selbst chips-spezialisten wie AMD (oder Intel) sich die Zähne daran ausbeißen. Ich seh da überhaupt keine chance, dass irgendwie ein Weg an NV vorbei führt. Die eigenen "Süppchen", die die anderen kochen zu versuchen sind mehr oder weniger zum Scheitern verurteilt. Bestes Beispiel: Tesla und Dojo - kräht kein Hahn mehr danach. Tesla und X-AI kaufen massenhaft NV.

Das ist eine Frage des Anwendungsfalls - gerade für die Anwendung von KI-Modellen (Inferencing) gibt es durchaus auch interessante Mitbewerber, die zugegeben allerdings eher Zukunftsperspektiven sind.
Siehe z.B. hier:
https://manashaloi.medium.com/revol...sambanova-are-shaping-the-future-9dc1ffb74208

 

[Atnam]

Und nicht nur irgend ein AKW sondern das AKW.

AKW =/ Reaktorblöcke.

Three Mile Island hatte 2 Reaktorblöcke. Block 2 hatte die partielle Kernschmelze. Block 1 wurde erst 2019 vom Netz genommen und hat noch eine Betriebserlaubnis bis 2034.

Block 1 will Microsoft nutzen.
Block 2 wird nie wieder ans Netz gehen.