News Transformer Models: Sohu-ASIC von Etched soll 20x schneller als Nvidia H100 sein

[nlr]

Das AI-Start-up Etched entwickelt derzeit einen auf Transformer Models spezialisierten ASIC namens Sohu, der aufgrund seiner anwendungsspezifischen Auslegung beim Inferencing bis zu 20 Mal schneller als Nvidias H100 agieren soll. Andere KI-Modelle lassen sich hingegen nicht ausführen, zudem braucht es Nvidia fürs Training.

Zur News: Transformer Models: Sohu-ASIC von Etched soll 20x schneller als Nvidia H100 sein

 

[Chesterfield]

das will ich erst sehen um das zu glauben .... und diese waghalsige Behauptung von einem "Start-UP" egal auch wenn's nur anwendungsspezifischen Auslegung ist, das glaube ich so nicht. ich habe schon hunderte startups in der IT Versprechungen gelesen sie selbst auf dem Papier nicht das konnten was sie versprachen.

 

[stefan92x]

Glaubhaft ist das schon, ASICs sind immer signifikant schneller als allgemein Nutzbare Hardware. Das ist halt dann immer die Frage, ob es sich lohnt eigene Chips für sowas spezielles zu produzieren. Wie ja auch im Artikel steht, ist es eben eine Wette darauf, dass solche Modelle viel genutzt werden.

 

[milliardo]

Ahja. Die alte Leier vom jungen Startup, das aus dem Stand Wunder vollbringt. Hatten die überhaupt schon ein tapeout oder sind das alles wieder ganz tolle Simulationen und Prognosen?

Schön wärs, aber ehrlich gesagt: Smells like Bullshit. Tachyum-Vibes.

 

[knoxxi]

Macht Tachyum nun auch in AI? Oder kommt dafür noch eine separate AI-CPU?

 

[eastcoast_pete]

Und, selbst wenn die Behauptungen auch nur einigermaßen hinkommen, hat man immer noch das Problem, das dieses ASIC eben nur genau eine (wichtige) Aufgabe von KI Beschleunigern erledigen kann. Die Herausforderung ist dann auch, ob und wie gut sich dieser ASIC integrieren lässt, und ob die Software auch mitmacht bzw angepasst werden kann. Es gibt gute Gründe, warum Firmen wie Microsoft, die ihre eigenen KI ASICs haben, trotzdem Riesenaufträge an Nvidia und AMD vergeben. Und nicht nur fürs Weitervermieten an Kunden, sondern auch für interne Entwicklung.

 

[peru3232]

irgendwie erinnert mich das an die Zeit als Hardwareminer aufgekommen sind und die Grafikkarten ersetzt haben. Auch mit speziellen ASICS für eben genau eine Art Nutzbar. Wurde auch ein Riesenhype. Sobald etwas "tot"gemined wurde, war die Hardware natürlich nur mehr Schrottwert und für nichts mehr zu gebrauchen. So blöd es für die Gamer davor war - die Karten wurden wenigstens nicht unbrauchbar, als der Hype vorüber war...
Jedenfalls - ja klar kann das so stimmen - nur, geht es gut, oder ist der produzierte Haufen auch bald nur mehr Schrott? Das wird die Zeit zeigen...

 

[der Unzensierte]

Solange da nicht wenigstens ein tapeout stattgefunden hat und ein paar ES unter die Leute gekommen sind ist das einfach nur eine schnöde Powerpoint und nicht mehr wert als heiße Luft im Sommer in Griechenland.

 

[Donnidonis]

das will ich erst sehen um das zu glauben

Der ASIC kann halt nur diese eine Aufgabe ausführen, klar ist der viel schneller als die GPU, die „alles“ kann. Ist wie mit spezifischen Mining Geräten. Das ist schon sehr glaubhaft.

 

[Qualla]

das will ich erst sehen um das zu glauben [...]

Das ist ein ASIC, der ist genau für eine Anwendung entwickelt und kann nichts anderes. Es würde mich nicht komplett überraschen, wenn das stimmt. ASICs gibt es auch in vielen anderen Bereichen und die sind stets deutlich leistungsfähiger als die Allrounder, sonst hätten sie auch keine Daseinsberechtigung.

 

[DeltaPee]

News in ein paar Tagen. Nvidia kauft etched...

 

[S.Kara]

Ist durchaus glaubhaft.

Wundere mich auch warum Nvidia da nicht schon längst etwas rausgebracht hat. Karten dediziert fürs Training und welche für die Ausführung. Selbst wenn es da nur ein x10 gäbe wäre das schon mega.

 

[Syrato]

News in ein paar Tagen. Nvidia kauft etched...

Sollte es stimmen, dass es 20x so schnell ist, was ich nicht glaube, so oder so würde das nie zu stande kommen.
Nicht bei der aktuellen Lage von Nvidia, da würde das Kartellamt gegenhalten.

 

[eazen]

Jaja jede neue Firma kommt mit solchen lächerlichen Versprechungen die nie eingehalten werden, ist Teil der Marketing Strategie - gigantische Versprechungen um Geld zu sammeln von Investoren.

 

[W4RO_DE]

Ein ASIC ist also in der einen Aufgabe, die er kann, viel schneller als der Generalist, der alles kann. Das hat es ja noch nie gegeben.

 

[-Ps-Y-cO-]

Wenn ich ne Firma wär,
direkt 172Mrd. FPGA Transistoren
auf 500 mm² Die Size Lasern.

Fertig.

 

[ThirdLife]

Sollte es stimmen, dass es 20x so schnell ist, was ich nicht glaube, so oder so würde das nie zu stande kommen.
Nicht bei der aktuellen Lage von Nvidia, da würde das Kartellamt gegenhalten.

nVidia muss die nicht kaufen, einen ASIC können die glaub auch gerade noch so selbst entwickeln. Das echte Know-How brauchs für das was sie aktuell entwickeln + Netzwerk und Datacenter Infra.

 

[lynx007]

das will ich erst sehen um das zu glauben .... und diese waghalsige Behauptung von einem "Start-UP" egal auch wenn's nur anwendungsspezifischen Auslegung ist, das glaube ich so nicht. ich habe schon hunderte startups in der IT Versprechungen gelesen sie selbst auf dem Papier nicht das konnten was sie versprachen.

Also, wenn das gut umgesetzt ist, dann sieht NV wirklich kein Land! Die Betonung liegt auf wen! Aber ein echter AI Chip, hier handelt es ja wiede "nur" um ASICS, aber eine echte NPU gegen eine GPU, die noch bisl AI kann ... Aber nach dem Aktienkurs ist das noch lange, lange hin.... Noch hat keiner nen echten NPU von Grund auf entwickelt.... die hier beschreibenen ASICS gehen aber schon ein ganz anderen Weg, das sie ja ein Grundgerüst brauchen, auf das sie hin optimiert sind, und da soll ihnen aber auch keiner das Wasser reichen.
https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/
https://venturebeat.com/ai/cerebras...ting-processor-with-2-6-trillion-transistors/

Aber ja, der Moment ist noch nicht da, Firmen versprechen immer sehr viel am Anfang, und am Ende, scheitern doch die meisten bei dem, was auf dem Papier gut aussieht. nV hat die Tür aufgemacht, und durchaus möglich, dass die keinen mehr hindurchlassen … Aber dass unter den ganzen Chip Designern keiner dabei ist, der 'nen vollwertigen AI Chip zustande bringt, ohne die GPU Altlasten, das halte ich wiederum für sehr fraglich.

Aber es ist ja zum Glück nicht nur ein Start-up, das sich das auf die Fahnen geschrieben hat, und damit wird es auch wieder wahrscheinlich, dass es einem oder zwei irgendwie gelingt, einen echte AI Chip herauszubringen. Ich mein früher hatte man auch alles über der CPU gerendert … irgendwann kann der 3d Beschleuniger … und bis jetzt haben APUs nicht wirklich dezidierte Lösungen verdrängen können.

Und vermutlich so wird es auch bei AI sein.... nv macht den Anfang … baut das alles drumherum auf. Aber die Zeit wird es immer mehr spezialisierte Lösungen geben, die sich einen Kuchen abschneiden. Aktuell ist davon alles noch weit weg am Horizont.... und es geht (nur) darum, Geld zu sammeln.

https://khairy2011.medium.com/tpu-v...r-comparison-between-ml-hardware-3f5a19d89e38

 

[Haldi]

Oh Stable Diffusion ist bereits bei 3 Angekommen? (Sogar Medium) Völlig verpasst.

Aber btt.
Wenn Fertigungs Kapazitäten bei TSMC gesichert wurden dann scheint das Bald ja mal ernst zu werden. Dann sehen wir wie das läuft.
Ich kann mir durchaus vorstellen das die Erfolg haben werden! Jede grössere Firma die AI nutzen möchte hat nun die Wahl ALLE Ihre Daten in die Cloud zu stecken oder ne eigene nVidia Serverfarm zu haben. Wer will schon alle seine Informationen in die Cloud schicken?
Gerade für KMU wäre so eine Karte auch eine Coole Sache. Wird nur vermutlich ein vermögen kosten... Aber für so 30-50 Leute mit privatem ChatGPT zu versorgen der PDFs skimmt und Meetings/E-Mail verläufe zusammen fasst wäre das sicher cool.

 

[HerrRossi]

Glaubhaft ist das schon, ASICs sind immer signifikant schneller als allgemein Nutzbare Hardware.

Richtig, das sieht man ja auch im Mining, die Dinger können dann aber auch nur einen Workload.