ampre schrieb:
Ja und ich hab mich schon oben drüber korrigiert. Wie gesagt wenn du 2x 9100 Pro im Server hast, hast du 1000 GB/S das ist in etwa das selbe wie eine GV100.
Der Interconnect bei Nvidia ist NVLink mit 300 GB/S AMD hat hier leider nur PCI 3.0 und da nur 32 GB/s. Wobei man nicht weiß was Infinity Fabric noch im Hintergrund betreibt.
Nichts ja und - du hast die Problematik eben noch nicht verstanden.
Wenn du 2 GPUs mit 5 TFlops fp32 betreibst, dann ergibt das nur dann in der Realität <= 10 TFlops für deine Simulationen, wenn sich die Arbeitslast gleichmäßig auf beide GPUs verteilen lässt
und du alle notwendigen Daten ausreichend verteilen und wieder einsammeln kannst.
Benötigen bestimmte Operationen schon vor dem Endergebnis Informationen aus dem ganzen Datensatz der aktuell bearbeitet wird, dann muss auch vor dem Endergebnis schon untereinander kommuniziert werden. D.h. VRAM1 <-> GPU1 <-> PCI-E <-> CPU/RAM <-> PCI-E <-> GPU2 <-> VRAM2.
Das wird natürlich umso schlimmer, wenn man mehr als nur 2 GPUs einsetzt. Das ist ja auch der ganze Punkt von NVLINK: da basteln die in einem DGX einen Interlink, wo jede GPU mit jeder GPU kommunizieren kann, ohne PCI-E / CPU / RAM Bottleneck.
Das typische Szenario ist ein map-reduce, wo man Datensatz D optimalerweise in D/2 aufteilt, dann das jeweils auf einer GPU berechnet und am Ende auf der CPU per reduce wieder zu einem Gesamtergebnis zusammenführt.
Wenn bei den Operationen nun viel mit dem VRAM kommuniziert werden muss, limitiert der stark, weil jede GPU ja nur 500 GB/s in deinem Beispiel hat, nicht fast das doppelte, wie die V100.
Das sind gänzlich unterschiedliche Probleme. NVLINK beseitigt das Problem, Daten schnell untereinander auszutauschen, besonders für Zwischenergebnisse. Schneller VRAM beseitigt das Bottleneck, dass Daten nicht schnell genug der GPU zur Verfügung gestellt werden können.
