Llama 3.1: Meta veröffentlicht Konkurrent für GPT-4o mini als Open Source

Mit Llama 3.1 hat Facebooks Mutterkonzern Meta ein neues KI-Modell vorgestellt, das in der leistungsstärksten Ausbaustufe laut den internen Benchmarks mit OpenAIs GPT-4o mithalten kann. Das Besondere: Wie bei Meta üblich ist es als Open-Source-Variante verfügbar.

Llama 3.1 405b wurde bereits länger erwartet. Wie der Name nahelegt, verfügt es über 405 Milliarden Parameter – deutlich mehr als die bisherigen Llama-3-Modelle mit 70 Milliarden und 8 Milliarden Parametern. Auch die alten Modelle erhalten aber Optimierungen und neue Fähigkeiten. So wurde etwa das Kontextfenster vergrößert, es ermöglicht nun Eingaben mit einem Umfang von 128.000 Token.

Laut den von Meta veröffentlichten Benchmarks positioniert sich Llama 3.1 405b an der Spitze des Marktes. Die Ergebnisse sind auf einem ähnlichen Niveau wie die von GPT-4o mini und Anthropics Claude 3.5 Sonnet, beide gelten als derzeit führende Large Language Models (LLM). Llama 3.1 mit 8 Milliarden Parameter und 70 Milliarden Parameter schneiden gegenüber vergleichbaren Modellen ebenfalls gut ab.

Herunterladen lässt sich Llama 3.1 bei Meta oder über Hugging Face. Abrufbar sind die Modelle zudem über die Cloud-Angebote der Partner. Zu diesen zählen AWS, Azure, die Google Cloud, Dell und Nvidia. Details zum Modell beschreibt Meta in einem technischen Paper.

Meta setzt auf Open Source

Den Start von Llama 3 405b verbindet Meta erneut mit einem Bekenntnis zu Open Source. Zuckerberg selbst erklärt in einem Blog-Beitrag, der offene Ansatz habe Vorteile bei der Entwicklung der Modelle. Ein solches Ökosystem ermögliche etwa, dass möglichst viele Parteien an Tools, Optimierungen oder der Integration arbeiten. Somit verbessere sich die Technologie, von der am Ende auch Meta profitiere.

Neue Funktionen für Meta AI

Der Konzern nutzt die Llama-Modelle als Grundgerüst für Meta AI. Dabei handelt es sich um den Chatbot, den man in die sozialen Netzwerke integriert, also Facebook, Instagram und WhatsApp. Durch die neuen Modelle erhält nun auch Meta AI neue Funktionen.

Verbessert wird etwa das Coding. So lässt sich Llama 3.1 405b über WhatsApp abrufen, wenn Nutzer Anfragen stellen, die Mathematik- und Programmieraufgaben beinhalten. Erweitert wurde zudem Bildbearbeitung und man unterstützt nun mehr Sprachen, zu diesen zählt auch Deutsch. Noch ist Meta AI nicht in der EU verfügbar, aufgrund der Datenschutzprobleme steht der Start auch in der Schwebe.

Zuckerberg: KI für Meta nicht Teil des Geschäftsmodells

Dass Meta die KI-Modelle nutzt, um die sozialen Netzwerke um attraktivere Funktionen zu erweitern, sei laut Zuckerberg auch bereits der entscheidende Unterschied zu anderen KI-Anbietern wie OpenAI, die geschlossene Systeme vertreiben. Für Meta wären die KI-Modelle nicht Teil des Geschäftsmodells. Stattdessen sind diese ein Instrument, das die Attraktivität der Plattformen steigere – und mit diesen verdiene der Konzern letztlich das Geld.

Vorteile habe dieses Konzept aber nicht nur für Meta, sondern auch für die Anwender. Unternehmen könnten die Open-Source-Modelle etwa vollständig auf der eigenen Infrastruktur betreiben. So man die Hoheit über das System, Datenabflüsse lassen sich ausschließen. Zudem sei es auf diese Weise möglich, die Llama-Modelle in einer Umgebung zu betreiben, die nochmals effizienter als OpenAIs kürzlich vorgestelltes Modell GPT-4o mini arbeitet.

Llama 3.1 405b soll auch die Entwicklung kleinerer Modelle voranbringen. Mit dem neuen Spitzenmodell würde unter anderem das Erstellen synthetischer Daten, um das Training zu optimieren.