News In-Memory Processing: SK Hynix demonstriert seinen GDDR6-AiM-Beschleuniger

[MichaG]

Rechenaufgaben direkt in den Speicher verlegen, um die Wege der Daten zu verkürzen und deren Verarbeitung zu beschleunigen. Diese Idee steckt hinter dem Konzept Processing-In-Memory (kurz PIM). SK Hynix hat jetzt einen Prototyp seines AiM-Beschleunigers mit GDDR6-Speicher vorgeführt.

Zur News: In-Memory Processing: SK Hynix demonstriert seinen GDDR6-AiM-Beschleuniger

 

[Rickmer]

Etwas offtopic, aber die FPGAs sind echt beeindruckend groß.

Zum Thema: Wie lange es wohl dauert, bis wir Addin-Cards spezifisch für AI-Beschleunigung von z.B. Stable Diffusion oder LLMs bekommen, die zumindest für Inference GPUs komplett ablösen?
(Training soll wohl nochmal ein anderes Thema sein... aber der größte Stromfresser dürfte auf lange Sicht eher die Nutzung als das Training sein.)

 

[LamaMitHut]

Ich finde es immer so schnuffig, wenn hier einige "Experten" von einem KI-Hype reden.

Die passende Hardware für ML / KI steckt noch in den Kinderschuhen, was wir gerade sehen ist nur ein Vorgeschmack...

 

[latiose88]

wow noch mehr durchsatz sowie Bandbreite.Ja die Entwicklung gefällt mir.Mag zwar sein das ich nicht davon Profitieren werde,weil mein Programm Limitert ist,aber dennoch kann ich diese Entwicklung gut heißen.Vielleicht profitiert sie ja beim ein oder anderen moment ja doch davon und ich wusste das bisher nur noch nicht.Aber auch für uns alle ist das eine gute Entwicklung.Und sollte das nicht gut für die CPU sein,so ist es gut für die GPU.Sogar für die Onbaord GPU kann das ne gute Entwicklung sein.Irgendwann verschwindet der Flaschenhals dann ganz bei so ner Entwicklung.Bei Bandbreite braucht man sich da dann wirklich keine sorgen mehr zu machen.Durch das werden Alternativen möglich.

 

[eastcoast_pete]

Während komplexe Anwendungen wie hier demonstriert wahrscheinlich nicht so schnell in RAM Modulen für Enduser erscheinen werden, macht etwas mehr in-memory processing auch heute schon viel Sinn. Warum "mehr"? Weil schon heute zumindest etwas Compute schon bei RAM Modulen oft dabei ist (z.B. ECC). Ich würde auch bei SSDs noch was in der Richtung erwarten. Bei SSDs hat man ja im wesentlichen einen kleinen Rechner im Controller der die Speicherverwaltung schmeißt (Garbage collection, von temporärem Speicher - SLC Modus im Hintergrund in TLC oder QLC umschreiben usw). Da ist der Schritt zum Integrieren von anderen ASICs zum Abarbeiten von zusätzlichen Aufgaben nicht so groß.
Allerdings sind die hier gezeigten Module klar auf ML/KI Beschleuniger ausgelegt, und werden wohl auch entsprechend kosten.