Wettrüsten mit OpenAI: Zuckerberg will 350.000 Nvidia H100-GPUs für die AGI-Entwicklung

Bis dato galt immer noch das Metaverse als Mark Zuckerbergs Steckenpferd. Nun verlagert sich sein Fokus auch zunehmend auf den AI-Bereich, in einem Instagram-Beitrag nennt er AGI – also eine allgemeine künstliche Intelligenz – als Ziel. Erreichen will er das mit neuen Open-Source-Modellen und vielen Nvidia-Chips.

AI wird der Bereich sein, in dem Meta in 2024 am meisten investieren will. Das gilt sowohl bei der Entwicklung als auch den Hardware-Ressourcen. Bis Ende 2024 will Meta insgesamt mehr als 350.000 von Nvidias H100-GPUs betreiben, die als Goldstandard für die KI-Entwicklung gelten. Der gesamte GPU-Bestand des Konzerns soll dann der Leistungsfähigkeit von rund 600.000 H100 entsprechen – diese Angabe umfasst aber den Einsatz anderer Chips.

Neben Microsoft soll Meta bereits 2023 der führende Abnehmer von H100-GPUs gewesen sein. Beide Konzerne kommen auf 150.000 Stück, heißt es in einer Analyse von Omdia Research, von der The Verge berichtet. Microsoft ist der Premium-Partner von OpenAI und stellt die für die Entwicklung benötigten Rechenzentren-Kapazitäten bereit. Was sich also anbahnt, ist ein Wettrüsten zwischen den Konzernen. Ebenfalls mit im Ring steht Google. Bemerkenswert ist aber: Den Zahlen von Omdia Research zufolge liegt Google mit 50.000 H100-GPUs auf Rang 3, gleichauf mit Amazon.

Bemerkenswert sind auch die Kosten. Der Preis einer einzelne H100-GPU liegt schätzungsweise bei rund 30.000 US-Dollar. Will Meta den Bestand in diesem Jahr auf 350.000 GPUs aufrüsten, sind mehr als 5 Milliarden US-Dollar fällig. Und dazu kommen noch die Kosten für weitere KI-Chips.

Llama 3 als neues State-of-the-Art-Modell

Meta will die Rechenpower nutzen, um zunächst den Nachfolger des Llama-2-Modells zu entwickeln. Llama 2 wurde im Verlauf des Jahres veröffentlicht und sorgte vor allem durch den Open-Source-Ansatz für Aufsehen, die Modelle sind somit vielfältig einsetzbar. Bei der Leistungsfähigkeit war es noch nicht State of the Art. Das soll sich aber mit dem Nachfolger ändern. Der würde damit zu OpenAIs GPT-4 und Googles Gemini-Modellen aufschließen – und frei verfügbar sein.

„Unsere langfristige Vision ist, eine allgemeine Intelligenz zu entwickeln und sie auf verantwortliche Weise als Open Source zur Verfügung zu stellen, sodass alle profitieren können“, so Zuckerberg. Neue Systeme wären nötig, um die nächste Generation an AI-Assistenten sowie die entsprechenden Tools für Kreativschaffende und Unternehmen anzubieten.

Mit Open Source zur AGI

Bei der Entwicklung setzt Zuckerberg auf den Ansatz, für den Metas AI-Chefentwickler Yann LeCun wirbt. Er spricht sich regelmäßig für eine offene Entwicklung von KI-Modellen aus. Warnung vor potenziellen Doomsday-Szenarien hält er für haltlos. Im Endeffekt würde sich die KI-Entwicklung nicht von anderen Bereichen unterscheiden, schilderte er etwa in einem Interview mit Wired.

Damit unterscheidet sich Metas Strategie insbesondere von OpenAI. Dort entwickelt man hinter verschlossenen Türen und warnt vor den potenziellen Gefahren. In der Branche werden solche Ängste aber skeptisch bewertet. Bereits im Sommer sagte Antonio Krüger, CEO vom Deutschen Forschungszentrum für KI, im Interview mit ComputerBase, dass nur eine Minderheit der KI-Forschenden an die Weltuntergangsszenarien glaubt.

Warum eine AGI so gefährlich sein soll, ist aber weiterhin nicht präzise definiert. Einer der Gründe für diese vagen Angaben: Es ist nicht mal klar, wann ein AGI-Status überhaupt erreicht ist. Wie The Verge berichtet, legt sich auch Zuckerberg nicht fest. Man könne darüber streiten, ob eine allgemeine künstliche Intelligenz „der menschlichen Intelligenz entspricht, eine Art Mensch-Plus ist oder eine weit in der Zukunft liegende Superintelligenz“, so der Meta-Chef. Wichtig seien für ihn aber, dass diese AGI-Systeme verschiedene Fähigkeiten haben, um zu schlussfolgern und eine Intuition entwickeln.

Abschied vom Metaverse nimmt Zuckerberg indes nicht. Vielmehr verweist er auf die Ray Ban Smart Glasses, die Meta im September vorgestellt hatte. Intelligente Brillen, die einem AI-System denselben Blickwinkel wie ein Mensch bieten, wären einer der Bereiche, in dem die Konzepte verschmelzen.