Bericht GPU-Chiplets bei AMD: Das steckt im Patentantrag zur besseren Shader-Auslastung

[RogueSix]

Von welchem SLI sprechen wir hier? SLI und CF so wie es bis zuletzt angeboten wurde, teilte die Bildausgabe mit geraden und ungeraden FRAMES auf die GPUs auf. Nicht die Bildzeilen.

Ich meinte, wie oben geschrieben, "klassisches" SLI. Wenn ich mich recht erinnere, dann war es doch anfangs im CRT Monitor Zeitalter mit den guten alten 3Dfx Voodoos (hatte selbst eine Diamond Monster 3D ab 1996 und später 2x Creative Voodoo 2 im SLI ) so, dass bei SLI alternierend die horizontalen Bildzeilen berechnet wurden. Das hat technisch bedingt dann natürlich später nicht mehr funktioniert.

Im Übrigen würde ich das Multi GPU Problem nicht so stark generalisieren. Es gab natürlich Spiele, die besser oder schlechter mit SLI auskamen, aber zum ganz überwiegenden Teil habe ich gute Erinnerungen an SLI, sowohl an die klassische 3Dfx Version, als auch an die neuere nVidia Variante mit alternierenden Frames. Überwiegend hat das schon sehr gut funktioniert.
Mein größeres Problem zu der Zeit (2x GTX 770) war eher der Multi-Monitor-Betrieb im Verbund mit SLI. Das war immer ziemlich viel Gefummel, gerade zwischen Treiber-Updates, bis da alles wieder lief.

Zu CF kann ich nix sagen. Ich hatte noch nie eine ATI oder AMD Karte im PC.

 

[incurable]

Wobei ich selbst das nicht nachvollziehen kann, weil "eine weitere Lage Verteilungslogik" so ziemlich alles beschreibt, was im letzten Jahrzehnt bei CPUs und GPUs Probleme gelöst hat.

Entschuldige bitte, die Aussage ist schlicht falsch. Du kannst das ganze für CPUs und GPUs durchdeklinieren, Leistung gewonnen wurde jeweils durch mehr und/oder bessere Recheneinheiten und bessere Speicheranbindung. (schneller, breiter, latenzoptimiert ggf mit mehr Cache)

Das einzige, was auch nur in die Nähe Deiner Beschreibung kommt ist Nvidias Umstieg auf TBR mit Maxwell, wobei TBR damals nun auch alles andere als eine neue Idee war.

 

[der Unzensierte]

Erst einmal ist das ganze nur ein Patentantrag. Der passt dann aber wieder gut zusammen mit der Gerüchteküche über eine RDNA3-Lösung mit 16.384 FP32-Einheiten basierend auf 2x Navi 32. Ob das jemals in ein finales Produkt mündet werden wir sehen und weiß aktuell wohl noch nicht einmal AMD. Wenn der Ansatz dann taugt um die Multi-GPU-Systemen bisher anhängenden Schwächen auszumerzen soll mir das recht sein. Ich gehe da nicht mit einer vorgefertigten Meinung heran - wer bin ich denn.

 

[v_ossi]

Entschuldige bitte, die Aussage ist schlicht falsch. Du kannst das ganze für CPUs und GPUs durchdeklinieren, Leistung gewonnen wurde jeweils durch mehr und/oder bessere Recheneinheiten und bessere Speicheranbindung.

Und jetzt erzähl uns doch bitte noch, wie man zukünftig immer mehr Recheneinheiten unterbringen soll, wenn nicht mit Chiplets.

Bei CPUs hat man bei Intel gesehen, dass monolithisches ‘Mehr vom Selben' nicht funktioniert hat, wohingegen Threadripper und Epic ganz gut skaliert haben.
AMD bleibt dem treu, Intel macht es ähnlich und hat sogar big.LITTLE in den Ring geworfen.

Dass das die theoretisch beste Lösung ist, behauptet Niemand, aber es ist die technisch einzig Machbare.

Ich gewinne lieber durch Chiplets doppelt oder dreifach so viele Recheneinheiten und verliere wieder 20 Prozent durch die nicht wegzudiskutierenden Nachteile der Technik, als das ich mir +50% durch einen Riesen Die erkaufen, den sich Niemand leisten kann.

Es ist ein Kompromiss. Immer.
Aber es scheint momentan der beste Kompromiss zu sein, den wir haben.

 

[-Ps-Y-cO-]

Habs schon aufgegeben das zu erklären.
bin RAUS.

 

[Colindo]

@incurable Jetzt sagst du es aber komplett entgegen der Realität. Mehr/bessere Recheneinheiten und bessere Speicheranbindungen sind die Standardantwort auf den Bedarf nach mehr Rechenleistung. DAS sind die "ordinären Lösungen".
Ich bezog mich aufs "Probleme lösen." Dabei denke ich an den Aufbau des I/O-Die von Zen 2, den L3-Cache von RDNA 2, die WGPs mit eigenem L1-Cache von RDNA, die Implementierung von Raytracing in die Shaderstruktur etc. Das sind alles innovative Lösungen fernab der Ordinarität bei denen mindestens der Kernaspekt war, eine Verteilungslogik zu erstellen, die die Recheneinheiten gut auslastet.

Das ist aber mein letzter Beitrag zu dem Thema, jetzt ist auch mal gut.

 

[BxBender]

Hmm... interessanter Artikel.



Ist das so? Dual-GPU gabs doch vorher schon, klar nicht in einem Chiplet aber da stand man doch auch schon vor dem Problem der effizienten Arbeitsteilung.

Du vergleichst Äpfel mit Birnen.
Das sind zwei völlig unterschiedliche Systeme.
Einmal arbeiten zwei komplett getrennte Arbeitsmaschinen im coop zusammen (sollen es zumindest), ein anderes Mal gibt es eine Arbeitsmaschine, die aus mehreren Einzelstücken zusammengesetzt wird.
Das eine System hat das Problem der ineffizienten bzw. nicht vorhandenen Arbeitsteilung und der langsamen Datenübertragung über die Verbindungsbrücke, das andere System hat diese Problem nicht, besitzt dafür aber mehrere kleine langsame Verbindungswege untereinander, wodurch das System nicht so schnell sein kann wie ein monolitischer Aufbau, oder gar eine komplette Integration wie bei Apple, wo quasi alles in einem großen Klotz verschmolzen ist (was andere Limits und Kosten mit sich bringt).

 

[Novasun]

Es gibt nichts neues unter der Sonne, nur frisch verpackte Ideen.

Ich kann es gar nicht abwarten, bis jemandem auffällt, dass die Lastverteilung ein inhärentes Problem ist und ein monolitischer Prozessor bei gleicher Fläche immer Vorteile haben wird.

Das Problem wird eher sein - das die Größe des monolithischen Prozessors limitiert...

 

[BxBender]

In erster Linie sind diese Chiplets doch nur Kostenoptimierung für AMD oder nicht?

Heißt, man kann mit einfacher oder doppelter (oder noch mehr) Bestückung oder teildefekten Chiplets von der Mittelklasse bis zum High End alles abdecken und alles basiert auf ein und dem selben Chiplet.

Ich denke deshalb dass es da weniger darum geht, ob ein Monolithischer Ansatz besser oder effizienter wäre. Er ist wohl einfach deutlich teurer und die Ausbeute bei der Fertigung schlechter?

Ist nur meine Vermutung auf basis meines Halbwissens...

Meine Vermutung auf Basis meines Halbwissens sagt mir, dass du nicht bereit bist meinetwegen 3000 Euro für eine Grafikkarte mit extrem großen Die zu bezahlen und lieber halb so viel für ein gutes und kostengünstiges Chipletdesign ausgibst.
Intel musste sich schon eingestehen, dass man gegen AMD keine Chance hat, wenn man weiterhin auf riesige monolitische Gebilde verlässt.
Die maximale Größe ist beschränkt, es gibt hohe Ausfallraten, die bei den immer kleineren Fertigungsprozessen proportinal ansteigen und die extrem teuren und kostbaren Plätze auf den Wafern die Unkosten stark steigen lassen, gleichzeitig die Anzahl der gefertigten Produkte senken, was zur doppelten Preissteigerung führt.
Die dritte Preissteigerung komtm durch die geringe Belegung durch große Klötze auf den Wafern, diese werden schlechter ausgenutzt und mehr Verschnitt weggeschmissen.
Diese Kosten trägt einzig und allein schon einmal der Endkunde + Steuern, + Händlergebühren etc..
Während AMD mit seinem ersten Ryzen für läppische 7500 Euro einen Intel für 20000 Euro nicht nur locker schlagen konnte, hat er Intel dazu genötigt, deren Preis auf 10K zu senken.
Da man auf Diegrößen und Fertigungslimits beschränkt ist, ist man auch leistungstechnisch eingeschränkt.
man fummelt seit knapp 20 Jahren an der Technik rum und hat es gerade einmal von 4 auf 5,5Ghz hoch geschafft, bei eklatant viel höherer Leistungsaufnahme.
Bei Grafikkarten wird man mit bis zu 3Ghz die 600 Watt spätestens mit OC Schallmauer brechen können.
Wer jetzt noch nicht mit den Ohren schlackert, wird wohl nicht bemerkt haben, dass es keinen anderen Weg gibt als die Chipletfertigung, um demnächst überhaupt noch irgrndwo was an Leistungssprünge oberhalb der einstelligen Prozente herauszukitzeln.
Und auch diese Art der Fertigung wird eines Tages an ihre Grenzen kommen, wenn man so viele Chips auf die Platinen geklebt hat, dass man die Steckkarten schon aufklappen kann wie ein Smartphone mit extragroßem Display.^^
Aber so hat man sich wohl erst einmal wieder für die nächsten 10 Jahre gerettet und kann weiterhin halbwegs günstige Produkte mit gewissen Leistungsdaten anbieten.

 

[Novasun]

Hmm... interessanter Artikel.



Ist das so? Dual-GPU gabs doch vorher schon, klar nicht in einem Chiplet aber da stand man doch auch schon vor dem Problem der effizienten Arbeitsteilung.

Ja und die ungenügende Lösung führte dann zu Mikrorucklern... Aber genau das will AMD damit umgehen... Bzw. hinten am Ende muss nur noch eine Art Bildcache die fertigen Bilder halten und erst dann in optimierter zeitlicher Abfolge an den Monitor ausgeben... Somit ließen sich die Mikrorucklern endgültig ausmerzen (wobei wenn alle Chiplets an einem Bild arbeiten gibt es die eh nicht... Du hast dann eher mit nem klassischen Framedrop zu rechnen...

Ergänzung (5. Juli 2022)

Wer wissen will, wie das ausgeht, der werfe auf dem Friedhof der Geschichte einen Blick auf die Grabsteine von SLI und Crossfire.

Ehm nein. SLI und Crossfire waren noch so aufgebaut das jede GPU an einem eigenen Bild arbeitete... Das macht AMD nicht mehr. Alle arbeiten an einem Bild - und die Workunits müssen bei AMDs Ansatz eben nichts mehr von einander wissen... Denn der Boss hat saubere Arbeitspakete geschnürt...

 

[tidus1979]

Zu deinem SLI/CF-Vergleich: Grundsätzlich passt das, aber das Umfeld ist schon ein anderes. Der Infinity Interconnet leistet schon bei CDNA 2 100 GB/s, bei SLI waren es selbst mit der HB-Bridge nur 3,x GB/s. Die neuen Packaging-Technologien machen definitiv einen Unterschied.

Und Apple ist mit UltraFusion im M1 Ultra schon bei 2,5 TB/s. In einem echten Produkt, das man heute kaufen kann und das in Massen gewinnbringend produziert wird. Und es funktioniert in der Praxis. Ich denke, das wird definitiv die Zukunft sein.

 

[Fegr8]

Das Produkt ist nicht mal draußen und schon wird geschimpft. Und wenn man die monolothischen Chips anschaut, da sind schon auch teilweise Dinge in Gruppen zusammengefasst. Und was heißt Effizenz und Auslastung. Man weißt ja nicht mal ob der Primary Chiplet identisch ist mit den anderen Chiplets. Könnte gut sein das diese ein bisschen mehr kann wegem dem "Bining" und Aufgabenverteilung. Zumindest wo ich auch was positives Abgewinne, wenn die Spiele weniger anspruchsvoll sind oder die FPS eh durch FreeSync begrenzt wird und vielleicht wird es in Zukunft soweit getrieben das die Chiplets verschiedene Aufgaben bekommen und unterschiedlich takten und damit steigt wieder die Effizenz. Monolith ist immer einfacher aber auch das hat Grenzen und da hat jemand vorhin Compute Async erwähnt: während beim AMD monolitischen GPU sehr Effizenz läuft musste Nvidia monolith ein bisschen über Treiber und Brechstange tricksen kommt aber nicht an die gleiche Effizenz hin. Und bestimmt kommt in Zukunft auch wieder neue Arten von Berechnungen und Technologien die den Chipletsnachteil kompensieren oder sogar besser laufen könnten.
Und wer die Dual-Gpu oder SLI/Crossfire erwähnt, das sind im Mikrobereich heutzutage extrem große Entfernungen (und waren zudem noch langsam), das kannst man einfach nicht vergleichen! Auch wie die Signale verarbeitet wurden. Da hat sich viel getan und Nvidia entwickelt ja auch weiter am SLI, nicht ganz aber im Prinzip den praktischen Nachfolger names NVlink.

 

[Khaotik]

Leider bin ich technisch bei den Themen ziemlicher Laie, aber der Artikel wirkt auch für mich noch verständlich. Daher erstmal danke an den interessanten Einblick in die Materie!

Zum Thema selbst: Wenn ich das richtig verstehe, lässt sich damit auch wiederum eine mögliche Effizienzsteigerung erzielen? Das wäre aus meiner Sicht gerade in den kommenden Zeiten sicherlich sinnvoll.
Mir gefällt aktuell überhaupt nicht, dass der Trend zu immer Stromhungrigeren Karten geht. In Zeiten, in denen man schon fast eine Energiekriese ausrufen möchte, ein Trend, der sehr bedenklich ist.

Abgesehen davon würde es mich als AMD-Aktionär doch freuen, wenn die den nächsten großen Shit entwickeln

 

[Vitec]

... ein monolitischer Prozessor bei gleicher Fläche immer Vorteile haben wird.

Anscheinend dürfte das aber nicht ganz so wirtschaftlich sein, umsonst wird nicht in die Chiplet Richtung geforscht und optimiert. Bei AMD war das Chiplet bis 3700 auch nicht so effektiv, aber bis dahin eine finanziell sehr gute Möglichkeit um Boden gut zu machen
. Danach als es möglich war ist man wieder zum Monolith bis zum 8 Kerner gegangen, was vorallem in Games ordentlich geboostet hat, allerdings sind die 5K CPUs auch im Preis entsprechend gestiegen.

 

[Diablokiller999]

Spannender Ansatz, da ich gerade versuche GPUs vollständig zu verstehen um Bugs in der embedded render pipeline zu finden merke ich, dass das noch deutlich komplizierter sein kann xD

Aber ich werde wohl RX 7xxx aus setzen, die Erfahrung zeigt, dass erste Revisionen immer nur "gut genug zum raushauen" sind und erst sie zweite Iteration richtig zu gebrauchen ist (Erster Ryzen, Turing, K6-II...). Meine RTX 3080 Mobile (GA-104 Vollausbau) wird mich die nächsten 2 Jahre noch über Wasser halten denke ich.

 

[ETI1120]

Ich kann es gar nicht abwarten, bis jemandem auffällt, dass die Lastverteilung ein inhärentes Problem ist und ein monolitischer Prozessor bei gleicher Fläche immer Vorteile haben wird.

Das ist Blödsinn.

Es ist offensichtlich dass die Verbindungen in einer aus gestapelten Chiplets aufgebauten GPU oder CPU sind kürzer als auf einem monolithischen Die. Also ist auch die Verteilung der Last viel einfacher.

Natürlich gibt es Gründe warum man es aktuell noch nicht macht.

• Durch das Hybrid Bonding mit einem Abstand von 9 µm steht jetzt die Verbindungstechniktechnik bereit. Der 3D V-Cache war nur der Anfang.
• Die Stromzufuhr durch die vertikalen Verbindungen (TSVs) ist nicht trivial, da sie mit Schaltkreisen interagiert. Deshalb sind sogenannte Keep Out Zonen erforderlich.
• Und das große Problem ist dass Logikschaltkreise viel Verlustwärme abgeben. Und die muss abgeführt werden. Die thermische Simulation von Stacks und die Lösungssuche für die Wärmeabfuhr aus Stacks sind aktuell große Forschungsthemen.

Ja und nein. Bis zu einem gewissen Punkt ist es Kostenoptimierung, aber darüber hinaus ist die technische Machbarkeit das Problem, weil der Yield ins Bodenlose fällt. Klar könnte man GPUs mit weit mehr als 800mm² herstellen, aber es macht halt keinen Sinn...

Das Recticle Limit ist nicht weit größer als 800mm². Und die Kosten steigen bei großen Die auch weil man entweder die verfügbare Die-Fläche nicht nutz oder wenn man sie nutz und öfters belichten muss.

Die Entwicklungskosten sind da noch ein ganz anderes Thema. Letztendlich wird AMD wohl ähnlich verfahren wie mit Zen, sprich ein I/O "Master" Chiplet und daran mehrere Compute "Slave" Chiplets mit den Shadern. Lässt sich halt super skalieren... Einstiegsklasse dann 1 Slave Chiplet, Mittelklasse 2, Oberklasse 3 und Highend 4. Bumms, fertig

Bei den CPUs konnte AMD mit 3 Dies eine riesige Anzahl von CPUs anbieten.
64 Kerne wäre monolithsch nicht möglich gewesen. Es werden in Zukunft mehr Dies die sich mit den IOD verbinden lassen.

Das Trennen von CCD und IOD also die heterogenen Chiplets sind der eigentlich Clue.
Die Logik die gut skaliert auf dem teuren 7 m Prozess die IO die nicht gut skaliert auf dem billigen 14 nm Prozess.

Dies ist ein Punkt bei dem AMD sehr auskunftsfreudig ist. Dazu hat AMD Fachartikel veröffentlicht und viele Vorträge gehalten.

Wenns nur danach ginge, technisch das Optimum zu erreichen, würde jeder versuchen alles was geht in einen Chip, egal wie groß, zu quetschen.

Das technische Optimum ist eine Illusion.

Je Entscheidung in der Technik hat Konsequenzen. In der Technik muss man Kompromisse machen.

Man kann immer für konkrete Anwendungsfälle optimieren. Eine allgemeine Lösung ist immer Speziallösungen unterlegen. Aber nur bei den Anwendungsfällen für die die Speziallösung entwickelt wurde. Bei anderen Anwendungsfällen kann die Speziallösung kläglich versagen.

Wenns nur danach ginge, wirtschaftlich das Optimum rauszuholen, dann würds vmtl. jetzt schon Chipletarchitekturen bei den GPUs geben, ungeachtet der technischen Probleme, die sich dann in Mikrorucklern etc. äußern würden.

Nein.

GPUs zu zerlegen ist viel schwerer als eigenständige CPU-Kerne auf verschiedene Dies zu verteilen.
Die Technik die es ermöglicht GPUs aufzuteilen, dass sie als eine GPU agieren können entsteht gerade erst.

Sie ist nicht billig. Sie wird billiger sein als eine monolithische GPU mit mehr als 1000 mm² zu fertigen. Aber das liegt daran, dass mit dem überschreiten der Recticle Size einige Zusatzkosten auftauchen.

 

[Atent12345]

@incurable

Hast du mal die samples für TSMCs TSV Verbindungen durchgemessen die jetzt seit 1-2 Jahren doch recht breit gestreut rumschwirren? Die lassen sich erstaunlich gut terminieren. Der Latenzanstieg ist minimal. Deswegen sind die Cache Latenzen auf den 3D Cache Zen3 Chips verglichen mit Power 10 auch derart gut.

Bei der GPU werden sicherlich C Elemente eingesetzt werden um das Ganze zuverlässig zu resynchronisieren, aber der grundsätzliche Latenznachteil dürfte geringer sein als von vielen Befürchtet. Je nach Aufbau könnte sie sogar fallen, wenn sich die Leitungslängen an manchen Stellen dadurch reduzieren lassen.

 

[SoDaTierchen]

Wer wissen will, wie das ausgeht, der werfe auf dem Friedhof der Geschichte einen Blick auf die Grabsteine von SLI und Crossfire

Das funktioniert argumentativ aber nur, wenn du ignorierst, warum SLI / CF / ähnliche derartige Probleme haben. Große Teile des Problems sind nämlich, dass eine GPU die Arbeit nimmt, auf 2 Bereiche aufteilt und anschließend an den Scheduler einer zweiten GPU übergibt. Anschließend wird das Bild wieder auf der ersten GPU zusammengesetzt. Zusätzlich müssen beide GPUs Replikate vom VRAM enthalten, die Synchronisation belastet das PCIe-Interface und die Latenzen zusätzlich. Und das in Größenordnungen, der Zugriff auf VRAM ist ja sowieso schon ein Flaschenhals, PCIe ist gar noch viel langsamer.

Mit Chiplet ignorierst du einige dieser Probleme. Der Zugriff auf dem VRAM findet gestützt durch den Infinity-Cache an denselben VRAM statt. Damit ist jedes Chiplet erstmal gleich an den VRAM angebunden, zudem ist der VRAM immer "synchron". Außerdem wird der Scheduler so umstrukturiert (2-Level-Binning), dass dieser effizienter mit Chiplets umgehen kann, was den Overhead reduzieren dürfte. Und die Kommunikation innerhalb einer GPU lässt sich erheblich schneller realisieren, als z.B. über PCIe oder diese Datenbrücken.

Multichip-GPUs stellen neue Herausforderungen. Aber im Prinzip kann man alles bewerkstelligen, was auch ein monolithisches Design kann, mit 2 wesentlichen Unterschieden: 1) Die Leitungslängen sind größer. 2) Es gibt kein Limit mehr bei der Chipfläche. Wo Punkt 1 ein klarer Nachteil ist, da längere Leitungen Nachteile bei Übertragungsgeschwindigkeit und Latenz bedeuten ist Punkt 2 möglicherweise ein deutlich stärkerer Vorteil, da nun viel mehr Chipfläche für Recheneinheiten verwendet werden kann. Ich behaupte daher einfach mal, dass deine Einschätzung von der Zukunft des Multichip-Designs sich als sehr falsch herausstellen wird und wir wenigstens auf ein Jahrzehnt eine Zunahme und am oberen Leistungsende gar eine Exklusivität von Multichip-GPUs erleben werden.

Und bedenke: Nur, weil eine Lösung in der Theorie langsamer ist, muss es in der Praxis keine Bedeutung haben. Die Latenzen der Grafik-Pipelines zwischen zwei GPU-Generationen steigen teils deutlich, die Pipelines werden länger. Trotzdem sind die neueren GPUs schneller. Denn die Nachteile bei der Pipelinelänge haben zu großen Vorteilen beim Takt geführt, was mit kürzeren Pipelines nicht möglich wäre. Das heißt selbst der offensichtliche Nachteil bei Multichip-GPUs kann sogar ein Vorteil sein.

 

[Beitrag]

Ich kann es gar nicht abwarten, bis jemandem auffällt, dass die Lastverteilung ein inhärentes Problem ist und ein monolitischer Prozessor bei gleicher Fläche immer Vorteile haben wird.

Den Die will ich aber nicht bezahlen müssen...

 

[ETI1120]

Je nach Aufbau könnte sie sogar fallen, wenn sich die Leitungslängen an manchen Stellen dadurch reduzieren lassen.

Mit 3D auf jeden Fall.

Mit 2.5D werden die Signalwege ein kleines bisschen*) länger und je nach eingesetzter Verbindungstechnik und Anzahl der Verbindungen gibt es noch einen zusätzlichen Aufschlag auf die Latenz.

*) Wenn es auf hohen Bandbreiten und kleine Latenzen ankommt ist der Abstand zwischen den Chiplets ca. 0,1 mm. D. h. der Abstand zwischen den Chiplets fällt im Vergleich zur Größe des Chips nicht ins Gewicht.

Der zweite Faktor ist die Anzahl der Verbindungen zwischen 2 Chiplets. Aber hier gibt es momentan von der Technik keine Grenzen mehr. Es entscheidet alleine der Aufwand den man treiben will.