GPT-4-Nachfolger enttäuschen: Neue KI-Modelle von OpenAI, Anthropic und Google stoßen an Grenzen
Sowohl OpenAI als auch Google und Anthropic kommen laut Medienberichten bei der Entwicklung neuer Spitzenmodelle nicht voran. Der aktuelle Trainingsansatz, der vor allem auf dem Skalieren von Rechenleistung und Trainingsdaten setzt, stößt demnach an Grenzen.
Den Anfang nahm die Diskussion der letzten Tage mit einem Report von The Information. Die Kernaussage, auf die Platformer verweist: Das als GPT-4-Nachfolger gehandelte Orion-Modell ist nicht so leistungsfähig, wie man es erwartet hätte. Es wäre demnach kein Sprung, wie es bei GPT-3 und GPT-4 der Fall war. In manchen Bereichen soll es laut OpenAI-Mitarbeitern schwächer abschneiden als die Vorgänger. Fortschritte gibt es bei Sprachaufgaben, bei Logik-Aufgaben wie Programmieren würde es die Vorgänger hingegen teilweise nicht übertreffen.
Allein steht OpenAI damit nicht, berichtet Bloomberg. Anthropic wollte ebenso noch in diesem Jahr eine überarbeitete Version des Spitzenmodells vorstellen. Claude 3.5 Opus wurde aber auf unbestimmte Zeit verschoben, das Upgrade bleibt also vorerst auf das Mittelklasse-Modell Sonnet und die kleine Variante Haiku beschränkt. Dasselbe Spiel lässt sich bei Google beobachten. Ein Nachfolger für die im Dezember 2023 vorgestellte Ultra-Variante steht noch aus, intern entsprechen die Ergebnisse der nächsten Gemini-Modelle laut dem Bloomberg-Bericht nicht den Erwartungen.
Ende der Scaling Laws? Mehr Hardware und Daten reichen nicht mehr aus
Wie die Nachrichtenagentur Reuters in Gesprächen mit rund einem Dutzend KI-Forschern und Investoren erfahren hat, wird in der Branche ein Paradigmen-Wechsel erwartet. Mehr Daten und Rechenpower würden nicht mehr ausreichen, um Modelle zu verbessert.
So erklärte Ilya Sutskever gegenüber Reuters, dass das Skalieren in der Pre-Trainingsphase ein Plateau erreicht habe. Der Mitgründer von OpenAI und seinem neuen Start-up Safe Superintelligence (SSI) gilt als einer der frühen Verfechter des Skalierungsansatzes. Anfang der 2010er Jahre prognostizierte er, dass Fortschritte bei generativer KI möglich sind, indem man mehr Daten und Rechenpower für das Training verwendet. Diese Erkenntnis war eine der Grundlagen für den Erfolg von OpenAI.
„Die 2010er Jahre waren das Zeitalter des Scaling, jetzt sind wir zurück im Zeitalter des Staunens und Entdeckens. Alle sind auf der Suche nach dem nächsten Ding“, so Sutskever gegenüber Reuters. Momentan sei es daher wichtiger denn je, das richtige zu skalieren.
Fokus auf Inferenz bedroht Nvidias Dominanz
Welche Optionen sich bieten, lässt sich an OpenAIs o1-Modell erkennen. Das verlagert Ressourcen in die Inferenzphase, in dieser berechnen trainierte Modell die Antwort auf eine Eingabe. In ChatGPT bezeichnet OpenAI den Vorgang, der je nach Anfrage mehr als 100 Sekunden dauern kann, als „Nachdenken“. o1 benötigt also mehr Zeit für eine Antwort, ist so aber in der Lage, mehrere Lösungswege durchzuspielen und komplexere Antworten zu geben.
Laut dem Reuters-Bericht muss die Skalierung also in anderen Bereichen erfolgen. Um eine Antwort zu berechnen, benötigt ein Modell wie o1 mehr Ressourcen als etwa GPT-4o. So ein Wandel hat aber auch Auswirkungen auf die Infrastruktur. „Diese Verschiebung wird uns von einer Welt mit massiven Pre-Training-Cluster zu Inferenz-Clouds führen, also dezentralen, Cloud-basierten Servern für Inferenz“, sagt Sequoia-Capital-Partnerin Sonya Huang zu Reuters.
Das beeinflusst den Hardware-Markt. Nvidia verdankt seine Marktstellung der Dominanz bei den Trainings-Chips. Wenn jedoch die Inferenzphase wichtiger wird, fällt es der Konkurrenz leichter, die Lücke zu schließen.
Langsamere Fortschritte bei Modellen, dafür komplexere Agent-Systeme
Auf Anfrage von Reuters wollte OpenAI sich nicht äußern, Sam Altman erklärt aber via X, dass „keine Mauer“ existiere. Bei OpenAI ist aber ohnehin regelmäßig von AGI-Systemen – also künstlichen Superintelligenzen – die Rede, für deren Entwicklung man für Infrastrukturprojekte wirbt, die 100 Milliarden US-Dollar und mehr kosten. Der Glaube an schnellen und prognostizierbaren Fortschritt ist also Teil der Botschaft. Andere Forscher wie Metas KI-Chef Yann LeCun bezeichnen speziell Sutskevers Aussagen als „told-you-so“-Moment. LeCun hält den LLM-Ansatz aber ohnehin für zu limitiert, um damit eine künstliche Superintelligenzen zu erschaffen.
Relevant ist zudem: Fortschritte bei der Modellentwicklung übertragen sich nicht eins zu eins auf das, was Nutzer im Alltag erleben. Denn in diesem Bereich ist eher entscheidend, wie die generativen AI-Systeme in Programme und Prozesse integriert werden. Ein Fokus der KI-Firmen liegt daher auch auf Agenten-Systemen, die grundsätzlich in der Lage sind, komplexere und mehrstufige Aufgaben selbstständig zu erledigen.
Anthropic hat erst vor kurzem ein System vorgestellt, dass eigenständig den Computer steuern kann. OpenAI will laut einem Bloomberg-Bericht im Januar nachlegen. Dann soll ein Agent-System mit dem Codenamen „Operator“ vorgestellt werden, das eigenständig Programmieraufgaben lösen oder Reisen buchen kann.
Zusätzlich will OpenAI in diesem Jahr noch die vollständige Version von o1 veröffentlichen. Bislang ist das Modell nur in einer Vorschauversion verfügbar.