News HBM2 mit AI: Samsungs Spezial-RAM bringt Processing-In-Memory

[Volker]

Auf Basis von klassischem HBM2 (ohne e) hat Samsung eine Adaption mit programmierbarer Kontrolleinheit entwickelt, die vornehmlich für AI-Beschleunigung und damit für den entsprechenden Markt gedacht ist. Dafür gibt es auf der einen Seite große Boni, auf der anderen Seite müssen aber Kompromisse eingegangen werden.

Zur News: HBM2 mit AI: Samsungs Spezial-RAM bringt Processing-In-Memory

 

[Madman1209]

Hi,

wow, klingt sehr interessant. Bin gespannt, wie sich das Thema noch entwickelt.

VG,
Mad

 

[Claus1221]

Wenn das System auf Bereiche zielt, die sehr stark von der Speicherbandbreite abhängen, könnte darunter dann auch Mining fallen? Wäre natürlich zu schön, wenn dafür dann spezielle Karten mit AI-HBM2 hergestellt werden könnten und dafür dann nicht mehr Consumer-Karten hergenommen werden müssten...

 

[-Ps-Y-cO-]

Von mir aus gibt es ein Daumen Runter!!
Wieso??
Weil HBM3 so ewig ewig lang dauert bis es mal hier ankommt...
und HBM2e ebenso.
Leicht Frustrierend.

 

[Madman1209]

Hi,

Wäre natürlich zu schön, wenn dafür dann spezielle Karten mit AI-HBM2 hergestellt werden könnten und dafür dann nicht mehr Consumer-Karten hergenommen werden müssten...

man könnte auch jetzt schon spezialisierte Miner-Hardware nutzen - das hält diese Leute jedoch nicht davon ab, zusätzlich auch die Consumer-Karten zu kaufen. Ich denke, das wäre hier nicht anders.

@-Ps-Y-cO-

wo ist denn das Problem, wenn Dinge für die Zukunft angekündigt werden? Ist doch völlig normal und sinnvoll...

VG,
Mad

 

[Maxxx800]

Wenn das System auf Bereiche zielt, die sehr stark von der Speicherbandbreite abhängen, könnte darunter dann auch Mining fallen?

Es könnte theoretisch funktionieren, die 1,2tflops FP16 könnten für einen solchen Chip gerade so reichen denk ich.

Die Frage ist sicher auch ob es Software seitig möglich ist.

 

[Colindo]

Wenn das System auf Bereiche zielt, die sehr stark von der Speicherbandbreite abhängen, könnte darunter dann auch Mining fallen?

Das Ding kann leider nur Multiply und Add, beides in FP16. Das wirkt doch arg eingeschränkt, wobei ich kein Experte für Mining bin. Aber so eine Grafikkarte ohne GPU, nur mit HBM-PIM vollgekleistert... Wäre sicher für einige Dinge ganz interessant.

 

[deineMudda]

@Volker Wie kommt ihr zur Schlussfolgerung, dass eine GPU genau so energieeffizient wäre? Ich habe mich mit der Technik nicht näher befasst, aber wenn ich das richtig interpretiere, soll die Energieersparnis vor allem aus der Vermeidung von Schnittstellen zwischen Speicher und Gerät resultieren. Das wäre die konsequente Forsetzung des altbekannten Prinzips, Speicher mehr und mehr in die Nähe der Logikeinheiten zu bringen und durch kurze Wege den Energieverbrauch zu senken.

 

[TriggerThumb87]

Das Ding kann leider nur Multiply und Add, beides in FP16. Das wirkt doch arg eingeschränkt, wobei ich kein Experte für Mining bin.

Allgemein betrachtet, reicht das nicht?
Die Frage ist doch letztendlich nur wie viele Taktzyklen sowohl diese als auch darauf basierende Operationen brauchen, verglichen mit der Performance von anderen Systemen, und bei diesem Drecksmining auch im Vergleich zur Leistungsaufnahme.
Mir kommt das sehr pauschal vor.

 

[Colindo]

Wie kommt ihr zur Schlussfolgerung, dass eine GPU genau so energieeffizient wäre? Ich habe mich mit der Technik nicht näher befasst, aber wenn ich das richtig interpretiere, soll die Energieersparnis vor allem aus der Vermeidung von Schnittstellen zwischen Speicher und Gerät resultieren.

War jetzt nur eine Vermutung, aber niedriger Takt und massive Parallelität helfen halt auch, nicht nur die Speichernähe. Ein Teil ist auch die hohe Speicherbandbreite, die die PCUs vor Ort haben, aber ob die GPU die theoretisch auch haben könnte, ist halt nicht klar.

Also ich verstehe schon, dass es Energie spart, kurze Leitungen zu haben. Aber dass die zwischen HBM und GPU soviel ausmachen würden... Ich weiß ja nicht.

Ergänzung (19. Februar 2021)

Mir kommt das sehr pauschal vor.

Dafür müsste man schon wissen, wie Mining-Codes funktionieren. Für normales GPGPU würde es definitiv nicht reichen, und darauf basiert Mining ja.

 

[C.J.]

@Volker Das wäre die konsequente Forsetzung des altbekannten Prinzips, Speicher mehr und mehr in die Nähe der Logikeinheiten zu bringen und durch kurze Wege den Energieverbrauch zu senken.

Das denke ich auch. Statt dass alle Daten einmal zur GPU und wieder zurücktransportiert, bleiben sie direkt vor Ort. Ich meine Nvidia hätte schon zu Kepler-Zeiten gesagt, dass Datentransport innerhalb des Chips (und außerhalb sowieso) der immer dominierende Faktor bei der Effizienz sein wird. Ich wette eine 6800XT würde deutlich mehr Strom verbrauchen, wenn sie statt des Infinity Caches ein doppeltes Speicherinterface hätte.

Also ich verstehe schon, dass es Energie spart, kurze Leitungen zu haben. Aber dass die zwischen HBM und GPU soviel ausmachen würden... Ich weiß ja nicht.

Es hat ja schon extrem viel Strom gespart ein GDDR-Interface durch HBM zu ersetzen. Auch innerhalb des Chips kosten die Wege viel Strom, denn die im HBM prozessierten Daten müssen ja nicht nur vom HBM-Chip bis zum Speichercontroller der GPU, sondern da auch noch über etliche Wege bis in die Compute Units hinein. Während diese Compute Units weiterhin kleiner und sparsamer werden, bleiben die Wege bis zum Speicher gleich lang, weil die Chips selber nicht kleiner werden, sondern einfach mehr Recheneinheiten auf gleicher Fläche verbaut werden. Dadurch steigt der Energiebedarf für den Transport gegenüber dem eigentlichen Rechnen immer weiter an.

 

[yurij]

Befehlssatz mit 9 Opcodes

 

[C4rp3di3m]

Hätte ja gerne wieder eine AMD Grafikkarte mit HBM gekauft, gab es na der Fury nicht mehr, oder?

mfg

 

[DarkerThanBlack]

Hä? Jede VEGA hatte HBM und auch die Radeon VII. Zuletzt sogar mit 16GB Speicher! 😊

 

[C4rp3di3m]

@DTB das ist aber schon was länger her oder, hat eine der aktuellen Karten HBM?

mfg

 

[-Ps-Y-cO-]

@C4rp3di3m
Ja! Die Radeon VII

7nm-GPU und 16GB HBM2
Diese ist sehr aktuell. Wenn nicht sogar Fortgeschrittener als 3090/6900XT


Du wirst nur Keine Bekommen dank der Miner.

und sag nicht sie sei nicht Aktuell, nur weil man sie nicht Kaufen kann ^^
Ein 7nm-Chip ist für mich Aktuell

GV100
GP100
wären auch noch "aktuell", wenn auch mit 12nm bzw. 16nm
mit 5999€ bzw. 9999€ aber ausser reichweite.

A100
P100
G100 ebenso
(auch ausser reichweite, Preismässig)

 

[spezialprodukt]

nice!
aber wohl erstmal ne weile nur aufm papier.

 

[C4rp3di3m]

Naja aber eine GPU der 69XX Klasse mit HBM, wäre ja was ich Kaufen möchte.
Die VII gibt es ja schon länger, also ich meine was neues mit HBM, aber kein Pro/CAM gedöns.

mfg

 

[DarkerThanBlack]

Ich denke eher bei RDNA3 bzw. NAVI31 wird es wieder HBM-Speicher geben, da AMD vor hat ein Multi-GPU-Package zu bauen worauf man auch gleich den HBM-Speicher mit draufsetzen kann. Aber ob das wirklich so geplant ist?
Abwarten...

 

[-Ps-Y-cO-]

RNDA 2 mit HBM ?
Da würden die Leute nur wieder Meckern dass das ja vieeel zu teuer sei.

Da nun die Problematik mit dem Mining besteht, sind die beiden so oder so die Bösen und werden natürlich die Preise der nächsten GPU Gen Saftig nach Oben Korrigieren sodass auch Scalper lieber 2x Überlegen.

Und da dann HBM mit an Board zu haben... puhh....
Alleine das MCM wird sich AMD vergolden lassen (zurecht, da innovation)
Und dann noch HBM ? ^^
... Legt schon mal Geld unter das Kopfkissen.
7700XT = 999$
7800XT = 1149$
7900XT = 1499$

alle mit HBM und MCM = Der Aufschrei wird Riesig!
/Glaskugel_ende