Ampere: Nvidia bietet A100 als PCIe-Karte für Server an
Nvidia bietet die A100-GPU auf Basis der Ampere-Architektur ab sofort auch als PCIe-Karte für den Einsatz in Servern an. Damit will Nvidia Server-Anbietern mehr Flexibilität bei der Ausstattung ihrer Systeme geben, da nun Server und Workstations mit zum Beispiel einer Karte und ohne Mellanox-Interface angeboten werden können.
Die Ampere-Architektur kommt keine sechs Wochen nach der Ankündigung auf einer Vielzahl von unterschiedlichen Lösungen zum Einsatz. Die neue PCIe-Variante ergänzt das bisherige Portfolio aus SXM4-Modul, von dem im DGX A100 acht Stück verbaut sind und im DGX A100 SuperPOD 140 Stück zum Einsatz kommen, sowie HGX A100 für Server-Anbieter und EGX A100 für die Edge-Cloud. Die PCIe-Karte nutzt wie alle anderen Varianten die „Nvidia A100 Tensor Core GPU“ und nicht den Vollausbau GA100. Die GPU wird bei TSMC im N7-Node gefertigt und weist 54 Milliarden Transistoren auf.
-
Nvidia A100 mit 54 Milliarden Transistoren und 40 GB HBM2 (Bild: Nvidia)
PCIe-Karte mit 40 GB HBM2
Die A100-GPU als PCIe-Karte ist der Nachfolger der Nvidia Tesla V100 für PCIe auf Basis der Volta-Architektur. Videoausgänge sucht man erneut vergebens, da die Karte wie ihr Vorgänger ausschließlich für die Beschleunigung von KI-Training und Inferencing, HPC-Anwendungen sowie datenwissenschaftliche und Grafikanwendungen konzipiert ist. Nvidia wirbt bei Ampere im Vergleich zu Volta mit einer bis zu 20 Mal höheren Rechenleistung etwa bei FP32-Training (312 TFLOPS) und INT8-Inferencing (1.248 TOPS). Die FP64-HPC-Leistung steigt um den Faktor 2,5 (19,5 TFLOPS). Die PCIe-Variante ist mit den gleichen 40 GB HBM2 wie das SXM4-Modul mit A100-GPU bestückt.
SXM4-Modul mit Vorteil unter Dauerlast
Unterschiede gibt es allerdings bei der TDP, die mit 250 Watt deutlich unterhalb der 400 Watt des SXM4-Moduls angesetzt ist. Das wirft die Frage auf, wie Nvidia für die PCIe-Karte mit den gleichen Leistungswerten wie für das SXM4-Modul werben kann. Nvidia erklärte auf Nachfrage, das lediglich die Spitzenleistung (Peak) identisch sei, die kontinuierlich (sustained) abrufbare Leistung der PCIe-Karte aber je nach Anwendung und Konfiguration des Servers zwischen 10 Prozent und 33 Prozent niedriger als beim SXM4-Modul ausfalle. 10 Prozent sind es bei Single-GPU-Anwendungen und maximal 33 Prozent beim Vergleich eines Multi-GPU-Aufbaus des HGX A100 mit acht über NVLink verbundenen A100-SXM4 im Vergleich zu acht A100-PCIe-Karten.
Wie sich mehrere GPUs untereinander verbinden lassen, weicht ebenfalls von den anderen Lösungen ab. Von der A100-PCIe-Karte lässt sich maximal ein Paar aus zwei Karten bilden, die über zwölf NVLinks miteinander kommunizieren. In der Variante HGX A100 können vier oder acht GPUs zusammengeschlossen werden, in Nvidias eigener Komplettlösung DGX A100 sind es stets acht GPUs. Diese Limitierung bedeutet aber nicht, dass in einem Server nicht mehr als zwei A100-PCIe-Karten verbaut werden können, lediglich die direkte Kommunikation untereinander ist auf zwei Stück begrenzt.
-
Nvidia A100 auf PCIe-Karte (Bild: Nvidia)
Weitere Zusagen von Server-Anbietern
Nachdem bereits für die HGX-A100-Plattform zahlreiche Server-Partner Zusagen ausgesprochen hatten, folgen für Server mit der PCIe-Variante Anbieter wie Asus, Cisco und One Stop Systems. Branchengrößen wie Atos, Cray, Dell, Fujitsu, Gigabyte, HPE, Inspur, Lenovo, Quanta und Supermicro waren bereits zur Ankündigung vor sechs Wochen an Bord. In der Cloud wird die Ampere-Architektur unter anderem bei Alibaba, AWS, Baidu, Google, Microsoft Azure, Oracle und Tencent zum Einsatz kommen.
-
Nvidia erhält weitere Zusagen durch Server-Partner (Bild: Nvidia)
Einen Preis für die PCIe-Karte mit A100-GPU nannte Nvidia nicht. Nicht Nvidia sei der Ansprechpartner für das Produkt, sondern die Server-Anbieter, erklärte der Hersteller. Der von PNY gefertigte Vorgänger Tesla V100 liegt im Online-Handel derzeit zwischen rund 8.000 Euro in der Version mit 16 GB HBM2 und 10.000 Euro mit 32 GB HBM2.
Nvidias Mitte Mai vorgestellte Komplettlösung DGX A100 mit acht A100-SXM4-Modulen, sechs NVSwitches, zwei AMD Rome alias Epyc 7742, 1 TB RAM, 15 TB NVMe-SSD-Speicher und neun Mellanox ConnectX-6 kostet 199.000 US-Dollar vor Steuern.
ComputerBase hat Informationen zu diesem Artikel von Nvidia unter NDA erhalten. Die einzige Vorgabe war der frühest mögliche Veröffentlichungszeitpunkt.