GTC Berlin: Google und Nvidia planen KI-Cluster mit bis zu 960.000 GPUs

Auf der GTC Berlin kündigt Google Cloud gemeinsam mit Nvidia neue Infrastruktur für agentische KI an. Im Zentrum stehen Vera-Rubin-Systeme für große GPU-Cluster, zusätzliche Modelle und Speicher­funktionen sowie der souveräne und vertrauliche Betrieb. Unternehmen sollen KI skalieren und sensible Daten kontrollieren können.

Neue Infrastruktur für große KI-Workloads

Google Cloud erweitert seinen AI Hypercomputer um Instanzen auf Basis der Vera-Rubin-Plattform von Nvidia. Die A5X-Instanzen sollen ab kommendem Monat allgemein verfügbar sein. Google kündigt außerdem neue regionale Standorte an, um Anforder­ungen an Datenresidenz und digitale Souveränität in der EMEA-Region zu unterstützen.

960.000 GPUs über mehrere Standorte hinweg

Für größere GPU-Cluster kommt das Virgo Network hinzu. Das Netzwerk soll eine nicht blockierende Verbindung zwischen Gebäuden ermöglichen. Google zufolge können damit bis zu 80.000 Vera-Rubin-GPUs an einem Standort und bis zu 960.000 GPUs über mehrere Standorte hinweg verbunden werden.

GPUDirect Storage und KV-Caching

Auch Speicher und Datenzugriff in Googles Cloud werden ausgebaut: Google Cloud Managed Lustre soll auf A5X-Instanzen GPUDirect Storage unterstützen. Trainings- und Inferenzdaten können so über eine direkte RDMA-Verbindung in den GPU-Speicher gelangen. Ergänzend ist KV-Caching vorgesehen, das Kontext­informationen über mehrere Speicherebenen hinweg vorhalten und wieder­verwenden soll. Das könne wiederholte Berechnungen verringern und die Inferenz­leistung verbessern, erklärt Google.

Für den Betrieb verteilter KI-Workloads setzt Google auf die Kombination aus neuen A5X-Instanzen und Google Kubernetes Engine (GKE). Funktionen wie Managed DRANET und Kueue (Job Queueing and Scheduling) sollen die Verwaltung von RDMA-Netzwerk­ressourcen und die standort­bewusste Planung verteilter Arbeitslasten erleichtern.

Mehr Auswahl bei Modellen

Google erweitert zudem die Unterstützung für offene Modelle in seinem Portfolio für Sovereign Cloud. Dazu zählen Gemma, Mistral und Nvidia Nemotron. Unternehmen sollen die Modelle mit Nvidia-GPUs betreiben und verwalten können, während Modell­gewichte und Laufzeit­umgebungen unter ihrer Kontrolle bleiben. Nvidia Nemotron 3.5 Super lässt sich laut Google nun über Managed Training Clusters auf der Gemini-Plattform anpassen. Für das Training stellt Google eine optimierte Trainings­vorlage bereit. Nvidia Cosmos 3 soll außerdem virtuelle Umgebungen für Robotik und autonome Fahrzeuge erzeugen, in denen sich Simulations- und Realwelttests vorbereiten lassen, bevor sie ausgerollte werden.

Souveräne KI im eigenen Rechenzentrum

Für Umgebungen ohne Internet­verbindung erweitert Google die Möglichkeiten von Google Distributed Cloud (GDC). Nvidias B300-GPUs sind ab sofort allgemein verfügbar. Zusätzlich kündigt Google Gemini-3.5-Flash-Modelle an, die lokal auf den B300 laufen sollen. Sie unterstützen dem Unternehmen zufolge die multimodale Verarbeitung von Text, Audio, Video und Bildern innerhalb einer abgeschotteten Umgebung.

Eine neue Enterprise-Suche für GDC ist zunächst als Vorschau verfügbar. Sie soll Mitarbeitern ermöglichen, interne Dokumente und Medien über eine dialogbasierte Oberfläche zu durchsuchen und zusammenzufassen. Indexierung, Einbettungen und Inter­aktionen blieben dabei innerhalb der jeweiligen Sicherheitsgrenze.

Souveräne KI-Workloads lassen sich auch in der öffentlichen Cloud betreiben: Google Cloud Data Boundary soll regionale Vorgaben zur Datenresidenz durchsetzen. Google Cloud Dedicated bietet eine isolierte Cloud-Umgebung, die von lokalen Partnern betrie­ben wird, darunter S3NS in Frankreich und Thales in Deutschland.

Vertrauliche Verarbeitung auf Nvidia-GPUs

Für sensible Trainings- und Inferenz­aufgaben erweitert Google außerdem sein Angebot an Confidential Computing. G4-Instanzen mit RTX Pro 6000 Blackwell Server Edition sind nun allgemein verfügbar. Auf A4-Instanzen mit Nvidia B200 und Intel TDX, die seit Herbst 2024 angeboten werden, steht Confidential Computing bereits bereit.

Die Funktion soll auch auf A4X-Max-Instanzen mit GB300 NVL72 ausgeweitet werden. Mit Nvidia Confidential Bare Metal nennt Google hardware­basierte Attestierung, verschlüsselte NVLink-Verbindungen und geschützte Ausführungs­umgebungen als Bausteine, um Prompts und Modelle während Training und Inferenz abzusichern.

ComputerBase hat Informationen zu diesem Artikel von Google Cloud unter NDA erhalten. Die einzige Vorgabe war der frühestmögliche Veröffentlichungszeitpunkt.