News KI-Beschleuniger: MI300-Nachfolger sollen AMD zur 100-fachen Effizienz bringen

[crogge]

@crogge Du hast den Artikel nur überflogen, dir ein paar Zahlen rausgepickt und überhaupt nicht verstanden was das Thema ist, stimmts?
Was haben denn Intel CPUs aus der Vergangenheit mit KI-Beschleunigern am Hut?

Meine Bemerkung über die Intel CPUs sollte nur ein humorvoller Vergleich sein, um das Thema aufzulockern

 

[LamaMitHut]

@foofoobar deine Aussage wiederlegt meine These aber auch nicht. Eine Technologie kann über Jahrtausende in einer Alphaphase / Dornröschenschlaf sein, siehe Landwirtschaft und Dampfmaschinen zum Beispiel.

Leute die das blaue vom Himmel versprechen sollen man IMHO keine Beachtung schenken, aber ich sehe da eine dynamische Entwicklung im Bereich Chip-Design, Packaging, Speicher, Flaschenhälse in Rechenzentren, und zuletzt den Algorithmen selbst.

In den nächsten 10 Jahren kommen noch Bauteile die auf Silicon Photonics setzen, und erste brauchbare Quantencomputer (man wird ja wohl noch träumen dürfen) dazu.

 

[calluna]

warum wir Deutschen im Gegensatz zu den Amis in Sachen Technologie jeden möglichen Zug

Das Silicon Valley ist nicht die ganze USA. 😉 Es wird bei solchen Aussagen gerne ausgeblendet, ein wie kleiner Teil der Menschen, die du mit Amis bezeichnest, tatsächlich mit diesem Thema und den Entwicklungen zu tun hat - und wie viele der Mitarbeiter in diesen Tech-Konzernen keine Amis sind.

 

[BarbieQueue]

@cob
Ansichtssache. Mit ETF steigt das Vermögen mittelmäßig bis langsam, aber relativ sicher.
Mit guten Aktien (Marktführer, Monopolisten, etc. = "Too big to fail") steigt es schneller, aber weniger sicher.
Das hat weniger mit Glück als mit Marktkenntnissen zu tun.

Die ETF bestehen ja auch zum größten Teil aus solchen guten Aktien. Als "Affe" könnte man die größten 5-10 Positionen wählen und mit Limits arbeiten. Im Vergleich zu einem Glücksspiel wie in Casinos gewinnt man um ein Vielfaches häufiger und sicherer. Allerdings bimmelt und leuchtet da nichts im Sekundentakt.


KI ist auf jeden Fall die Zukunft und befindet sich noch in der Einführungs- bis Wachstumsphase.
Von Mensch gemachte, statische Algorithmen können mit KI (schneller) verbessert werden.
Was der Mensch nicht versteht, Jahrzehnte oder Jahrhunderte testen müsste, kann die KI in wenigen Wochen erledigen. Es ist einfach ein Beschleuniger.

Es werden immer mehr Stellen durch KI ersetzt. Und das ist nur der früheste Anfang.

 

[Kuristina]

und wie viele der Mitarbeiter in diesen Tech-Konzernen keine Amis sind

Inwiefern spielt das eine Rolle? Wäre in Deutschland ja auch nicht anders.
Es war das Unternehmen gemeint und der Standort.

 

[cob]

@BarbieQueue
Die weltweite Finanzforschung sagt leider etwas anderes

Aber in meinen Anfangsjahren war ich auch so naiv. Das vergeht mit der Zeit.

 

[calluna]

Es war das Unternehmen gemeint.

Woher weißt du mit Bestimmtheit, was genau er / sie gemeint hat?

Vor allem bei Formulierungen wie „wir Deutschen“ und „die Amis“.

Das ist sprachlich nicht besonders differenziert… und das ist für mich ein Hinweis auf ein ebenso wenig differenziertes Denken.

 

[BarbieQueue]

@cob
Die weltweiten Finanzen sind auch schon mehrmals abgestürzt. Wenn man keine Interna besitzt und Verbindungen zur Regierung pflegt, kann man nur als Mitläufer agieren.
Jeder hat andere Erfahrungen. Bei mir läuft es ca. 20 Jahre gut, nicht nur auf ETF zu setzen.

 

[7H0M45]

Ich kann mir gut vorstellen das die Übernahme von Xilinx hier bald Früchte tragen wird. Keine Ahnung ob FPGA sich für KI eignet, aber richtig angewendet gibt's da massive Effezienzvorteile.

Da wird es eher in Richtung ASIC gehen. FPGAs sind schonmal besser als deine CPU zu verwenden. Aber letztlich brauchst du für KI spezielle Chipbausteine. Bei NVIDIA sind das die Tensor Cores.
Bei ASICs ist der Programmcode letztlich in Hardware gegossen, das ist dann super effizient, weil du nur exakt das hast was du brauchst. FPGAs sind da ein bisschen allgemeiner Aufgebaut, dh ineffizienter als ASICs, haben aber den großen Vorteil, dass sie flexibler sind, da sie programmiert werden können.

Hoffen wir das Nvidia sich auchmal einen dicken Patzer erlaubt, ich gönne es Ihnen von Herzen.

Lederjackenjonny hat eh mehr als genug Kohle....

Der dicke Patzer den NVIDIA sich aktuell erlaubt, ist dass sie die gunst der Stunde nutzen um ihre Kunden zu Melken. Die finden das alles andere als prickelnd und warten nur auf andere Lösungen bzw. entwickeln sogar selber welche. AMDs Chip wurde vor kurzem als der Preiseffizienteste betitelt. Heißt der NVIDIA Chip ist zwar technisch besser, für Unternehmen lohnt sich AMD aber eher

Ergänzung (25. Mai 2024)

@BarbieQueue
Die weltweite Finanzforschung sagt leider etwas anderes

Aber in meinen Anfangsjahren war ich auch so naiv. Das vergeht mit der Zeit.

Die weltweite Finanzforschung sagt, dass nur ein kleiner Bruchteil (<10%) derer die es versuchen, tatsächlich Erfolg haben. Das bedeutet also nicht, dass es gar nicht geht, das bedeutet nur, das >90% sich selbst überschätzen. Ich persönlich zähle mich nicht zu den auserwählten 10%. Es ist aber immer möglich, dass

@cob
Bei mir läuft es ca. 20 Jahre gut, nicht nur auf ETF zu setzen.

tatsächlich eine der Ausnahmen ist, welche die Regel bestätigt.

 

[PusteBlume0815]

Ich hab mal eine ganz allgemeine Frage. Was ist bei einem KI-Beschleuniger anders wie bei einer herkömmlichen CPU? Hab den Unterschied bis heute nicht verstanden - sorry - bin ich wohl der letzte auf dem Planeten.

 

[ETI1120]

Nur weil gerade mal wieder der x'te KI-Hype durch den Blätterwald rauscht sollten ruhig die Schlüpper trocken bleiben.

Die Einnahmen von Nvidia durch AI sind im letzten Jahrzehnt kontinuierlich gestiegen. Es haben sich jede Menge Startups gegründet und einige Branchenriesen haben ebenfalls heftig in AI investiert.

Der Hype wurde durch ChatGPT ausgelöst. Dieser Hype wird sich legen wie alle. Trotzdem werden die Investition in AI weiter gehen. Und deswegen wird AI und genauer Machine Learning in den nächsten Jahren weiter an Einfluss gewinnen.

Machine Learning und LLM sind Werkzeuge aber keine universellen Problemlöser. Was sehr gut funktioniert ist Menschliche Sprache zu analysieren und somit zwischen Sprachen zu übersetzen, Texte auf Fehler zu prüfen, Texte umzuformulieren, Zusammenfassungen zu erstellen.

Das was man meist mit ChatGPT versucht ist im übrigen genau das, in dem Machine Learning nicht gut ist.

Was ich mir wünschen würde wäre eine Suchmaschine, die meine Frage in eine Suchabfrage umwandelt und dann für mich eine Inhaltliche Zusammenfassung für die ersten Treffer erstellt, und nicht versucht direkt meine Frage zu beantworten und dabei Fakten verdreht.

Der Punkt ist, für einfache Suchabfragen funktioniert Google sehr gut, aber wenn man einen komplexen Sachverhalt abfragen will bekommt man keine Antwort. Perplexity liefert dann wenigstens Antworten, man muss aber noch prüfen, ob sie stimmen. Ich habe vor zwei Monaten mit Perplexity die Zusammensetzung von Legierungen gesucht, und kam so schnell zu vielen guten Ergebnissen. Es waren aber auch ein paar Nieten dabei.

Ob DeepL sinnvoll ist oder nicht braucht man nicht mehr zu diskutieren, es macht das gesamte Internet zugänglich. Es war für mich ein großer Spaß ein Interviews mit David Wang und Rick Bergman auf japanischen Websites zu lesen. DeepL hatte Probleme mit einigen Fachbegriffen, aber das Interview war gut zu lesen. Menschliche Übersetzer habe übrigens auch Probleme mit Fachwörtern die sie nicht verstehen.

Worauf ich raus will, Machine Learning ist ein Werkzeug das für einige Aufgaben sehr gut verwendet werden kann. Und für andere eben weniger. Nur weil eine Beißzange beim reinschagen von Nägel schlechtere Ergebnisse liefert als ein Hammer kommt niemand auf die Idee eine Beißzange für ein schlechtes Werkzeug zu halten.

 

[ghecko]

Was ist bei einem KI-Beschleuniger anders wie bei einer herkömmlichen CPU? Hab den Unterschied bis heute nicht verstanden - sorry

Er setzt die Algorithmen in Hardware besser um.
Vergleichbar mit Hardwaredecodern für Videos:
Du kannst ein Video über deine CPU dekodieren. Dafür brauchst du dann eine gewisse CPU-Leistung je nach Auflösung, Bitrate, Bildrate und Codec.
Deutlich effizienter (mit weniger Aufwand an Platz, Energie und Schaltelementen) geht das in den Hardwaredecodern der Multimedia-Coprozessoren, die oft in GPUs, APUs oder iGPUs stecken.
Genau dasselbe gilt für KI-Beschleuniger. Man hat sich angeschaut, welche Operationen KI benötigt und genau dafür Schaltkreise gebaut, die zwar recht wenig, aber dafür das eine richtig gut können.
Eine CPU hingegen muss quasi jede Aufgabe erfüllen können und bezahlt dafür mit schlechter Effizienz für spezifische Aufgaben.

 

[Blutschlumpf]

KI und Leistung pro Watt sind ja schön und gut, aber realistisch betrachtet muss man doch zu der Erkenntnis kommen, dass die meiste Energie wohl eher verschwendet wird wenn (Desktop) PCs idle zu viel Energie benötigen.
Warum bekommen Intel und AMD es nicht hin Desktop CPUs und Chipsätze herzustellen mit denen der PC idle unter 10 Watt braucht?
Da es ja durchaus möglich ist Notebooks herzustellen, die idle unter zwei Watt brauchen, kann mir niemand erklären, dass ein Desktop bei 30 bis 100 Watt idle liegen muss.
Vom dem in meinen Augen total peinlichen Versagen, dass die Top 3 es nicht hinbekommen, dass dedizierte Grafikkarten ohne Last zuverlässig unter 10 Watt brauchen, rede ich jetzt noch gar nicht.

 

[foofoobar]

Ich hab mal eine ganz allgemeine Frage. Was ist bei einem KI-Beschleuniger anders wie bei einer herkömmlichen CPU? Hab den Unterschied bis heute nicht verstanden - sorry - bin ich wohl der letzte auf dem Planeten.

Im wesentlichen ist das ein ganz gewöhnlicher Vektorrechner. Gibt es auch schon seit den 60'ern.

Ergänzung (25. Mai 2024)

Machine Learning und LLM sind Werkzeuge aber keine universellen Problemlöser. Was sehr gut funktioniert ist Menschliche Sprache zu analysieren und somit zwischen Sprachen zu übersetzen, Texte auf Fehler zu prüfen, Texte umzuformulieren, Zusammenfassungen zu erstellen.

Das was man meist mit ChatGPT versucht ist im übrigen genau das, in dem Machine Learning nicht gut ist.

Aktuelle Beispiele was dieses Zeug an Schwachsinn produziert:

https://www.derstandard.at/story/30...essen-neue-google-suche-kaempft-mit-problemen

 

[LamaMitHut]

@foofoobar

Was ist eigentlich deine Mission? Troll dich doch einfach in ein paar CPU News und mach dich darüber lustig das die Dinger aus Steinalter Technik bestehen, da es Transistoren schon ewig gibt.

 

[foofoobar]

@foofoobar

Was ist eigentlich deine Mission?

Kein Jubelperser sein.

Troll dich doch einfach in ein paar CPU News und mach dich darüber lustig das die Dinger aus Steinalter Technik bestehen, da es Transistoren schon ewig gibt.

Das entscheide ich doch lieber selbst.

 

[ETI1120]

KI und Leistung pro Watt sind ja schön und gut, aber realistisch betrachtet muss man doch zu der Erkenntnis kommen, dass die meiste Energie wohl eher verschwendet wird wenn (Desktop) PCs idle zu viel Energie benötigen.

Wenn jemand mit dem Lastwagen spazieren fährt, ist er selbst Schuld an der hohen Spritrechnung.

Wenn der Anwendungsfall ist dass der PC die meiste Zeit im Idle läuft, dann muss man sich den PC für diesen Anwendungsfall zusammenstellen.

Warum bekommen Intel und AMD es nicht hin Desktop CPUs und Chipsätze herzustellen mit denen der PC idle unter 10 Watt braucht?

Bei AMD ist eines der Probleme, dass die CPU-Kerne auf einem extra Die sitzen und dass deswegen die Kommunikation zwischen zwei Dies aufrecht erhalten werden muss. Jede Komponente die eingeschaltet ist verbraucht Energie, und wenn es nur wegen der Leckströme ist.

Wenn die Gerüchte stimmen verfügt Strix Halo über einen Cluster an Zen 5 LP Kernen im IOD. Damit wäre es möglich im Idlebetrieb und bei minimaler CPU Last die CCDs und den Infinity Fabric zu den CCDs komplett abzuschalten. Das sollte einige Watt einsparen.

Bei den Wirkungsgraden der Bauteile starren viele auf die tollen Wirkungsgrade im Sweetspot der Netzteile und Spannungswandler. Wenn Du die 10 W mit einem 500 W Netzteil bereitstellen willst, bist Du bei einer Auslastung von 2 %. Den Wirkungsgrad der Netzteile für 2 % Auslastung wird gewöhnlich gar nicht angegeben. Den Grund kannst Du Dir vorstellen.

Bei den Spannungswandler ist es dasselbe, ihr Wirkugsgrad ist bei geringer Auslastung beschämend. Die einzige Möglichkeit ist die Spannungswandler je nach benötigter Last zuzuschalten oder abzutrennen. So dass bei Idle die Spannungswandlung überhaupt in einem erträglichen Wirkungsgrad erfolgt. Welche Boards haben so etwas verbaut? (Keine Rethorische Frage, ich hab bisher nichts dazu gefunden)

Und wenn man wert auf wenig Verbrauch im Idle legt, sollte man darauf achten, dass im PC und auf dem Mainbord nur Komponenten verbaut sind, die man auch verwendet.

Da es ja durchaus möglich ist Notebooks herzustellen, die idle unter zwei Watt brauchen, kann mir niemand erklären, dass ein Desktop bei 30 bis 100 Watt idle liegen muss.

Es ist doch einfach, ein vernünftiges Notebook ist für einen wesentlich niedrigere Verbrauch ausgelegt als die Desktop PCs. Damit ist im Idle auch ein wesentlich niedrigerer Verbrauch möglich.

Notebooks die im Idle so wenig verbrauchen haben unter Garantie LPDDR SDRAM verbaut. Mit DDR SDRAM ist dies im Betrieb nicht möglich.

Vom dem in meinen Augen total peinlichen Versagen, dass die Top 3 es nicht hinbekommen, dass dedizierte Grafikkarten ohne Last zuverlässig unter 10 Watt brauchen, rede ich jetzt noch gar nicht.

Auch hier haben wir das Problem, dass die Spannungswandler der Grafikkarte bei 10 W mit beschämenden Wirkungsgrad arbeiten. Hinzu kommt dass auch die Grafikkarte nicht genutzte Komponenten ausschalten muss. Hier habe ich den Verdacht, dass das oft nur eingeschränkt gemacht wird, weil man Angst hat, dass die Firmware das wieder einschalten nicht hinbekommt.

Im Desktopbetrieb Grafikkarte ausschalten und die iGPU verwenden.

@foofoobar

Was ist eigentlich deine Mission?

Ich Frage mich die ganze Zeit wer der beiden er ist.

 

[Anonymous209]

AMD wieder mal mit top marketing "bis zu 100x effizizenter" 🤣🤣🤣🤣

AMD macht 2,3 Mrd. in datacenter, Nvidia macht 26 Mrd. in datacenter im Quartal....das ist die realität, so "super" läuft AMD.

 

[KurzGedacht]

. die sollen bluten für den Schrott den die mir vor mehreren Jahren angedreht haben. Quad-ARM Smart-TV BOXEN die kein halbes Jahr funktioniert haben

Was genau kann denn ARM dafür, dass du Systeme von grottigen China Noname Herstellern kaufst, die das billigste was gerade am Markt verfügbar ist auf die boards löten?
Dir ist auch mit an Sicherheit grenzender Wahrscheinlichkeit nicht der Arm chip (den nebenbei nicht Arm herstellt, die entwickeln nur Konzepte und geben Lizenzen an andere aus) sondern irgendein uninteressantes billig Bauteil auf dem Board kaputt gegangen.

 

[bensen]

Interessant noch folgende Slide.
https://cdn.mos.cms.futurecdn.net/jH85rnriCAdcgRsoKhyQME.jpg
Quelle:
https://www.tomshardware.com/pc-com...vances-during-keynote-at-imecs-itf-world-2024
AMD hat dort GAA bei 3nm eingezeichnet. Bei TSMC kommt das erst bei N2. Heißt das AMD wird auf Samsung setzen? Oder einfach nur eine Ungenauigkeit?