Nvidia A2: KI-Beschleuniger kommt im kleinen HHHL-SS-Format

Nvidia nutzt die GTC für eine kleine Neuvorstellung im Bereich der KI-Beschleuniger. Die Nvidia A2 auf Basis der GA107-GPU erweitert das Datacenter-Portfolio im untersten Segment um eine Karte, die mit halber Höhe und halber Länge (HHHL-SS) nur wenig Platz im System belegt und die mit 40 bis 60 Watt konfiguriert werden kann.

Das Portfolio der Beschleuniger fürs Datacenter (PDF) spreizt sich damit von der ganz großen A100 bis zur A2, wobei sich die Karten nicht nur hinsichtlich Leistung, sondern auch Ausstattung und Einsatzgebiet unterscheiden. In der verlinkten Auflistung mit Stand November 2021 fehlt außerdem die A10, die parallel zur A30 im April vorgestellt wurde.

Einsteigerkarte für Deep Learning Inferencing

Die A2 ist demnach für das Deep Learning Inferencing, Grafikberechnungen, Cloud-Gaming sowie die KI-Beschleunigung im Enterprise- und Edge-Umfeld ausgelegt. Bei A30 und A100 sind Einsatzgebiete wie Grafik und Cloud-Gaming hingegen nicht zu finden, weil es dort keine RT-Cores gibt. Unterdessen werden die kleinen Lösungen von der Leistung nicht für das Deep Learning Training und die Datenanalyse empfohlen.

Alternative zum Xeon Gold 6330N

Nvidia sieht die A2 als viel schnellere Alternative zum Inferencing auf einer CPU, wobei ein Intel Xeon Gold 6330N als Vergleich herangezogen wird. In den Feldern Computer Vision, Natural Language Processing und Text-to-Speech schneidet die A2 um ein Vielfaches besser als der Xeon ab (PDF). Bei der Videoanalyse mittels ShuffleNet v2 und MobileNet v2 werden Vorteile von 20 respektive 30 Prozent gegenüber der Nvidia T4 mit Turing-Architektur genannt, außerdem habe die A2 ein 60 Prozent besseres Preis-Leistungs-Verhältnis. Einen Preis nennt Nvidia freilich nicht, aber der Vergleich mit dem Xeon Gold 6330N zeigt, dass man von rund 2.000 US-Dollar zuzüglich Steuern ausgehen kann.

Kleine Karte im HHHL-SS-Format

Auf der A2 kommt die GA107-GPU zum Einsatz, die auch bei der GeForce RTX 3050 und 3050 Ti Laptop GPU für Consumer verbaut ist. Am 128 Bit breiten Speicherinterface hängen im Datacenter aber 16 GB statt 4 GB GDDR6, der hier mit 12,5 statt 12 Gbps (6.251 vs 6.000 MHz) betrieben wird, sodass unterm Strich eine Speicherbandbreite von glatt 200 statt 192 GB/s steht. Die Besonderheit der Karte ist ihre Bauform mit HHHL-SS, also Half-Height, Half-Length, Single-Slot. Der Beschleuniger lässt sich mit 40 bis 60 Watt konfigurieren (PDF) und wird passiv gekühlt, was für Server üblich ist, weil die Komponenten den Luftstrom nutzen, der von Lüftern durch das Rack geblasen wird.