Meta-KI: Erste Llama-4-Modelle sind besonders effizient – aber nicht in der EU
Mit Maverick und Scout hat Meta die ersten zwei Llama-4-Modelle vorgestellt. Es handelt sich um multimodale Modelle, die zwar nicht über Reasoning-Fähigkeiten verfügen, dafür aber besonders effizient laufen sollen.
Während Llama 4 Maverick über 17 Milliarden aktive Parameter bei insgesamt 400 Milliarden Parameter sowie 128 Experten verfügt, kommt Llama 4 Scout auf 17 Milliarden aktive Parameter bei insgesamt 109 Milliarden Parameter sowie 16 Experten. Maverick ist also das Größere der beiden Modelle.
Meta vergleicht es mit Konkurrenten wie Googles Gemini 2.0 Flash, GPT-4o sowie DeepSeek v3.1, bei den veröffentlichten Benchmarks kann es sich an die Spitze setzen oder ist nahe am jeweiligen Top-Modell dran.
Llama 4 Scout konkurriert hingegen eher mit kleineren Modellen wie Gemma 3 27B, Mistral 3.1 24B und Gemini 2.0 Flash Lite. Mit Gemma und Mistral handelt es sich also um Modelle, die generell darauf ausgelegt sind, auch lokal auf Systemen zu laufen. Bei den Benchmarks kann sich Scout ebenfalls an die Spitze setzen.
Meta nutzt einen Mixture-of-Expert-Ansatz
Was Meta mit den neuen Modellen verspricht, ist Effizienz. Das technische Stichwort lautet Mixture of Expert (MoE). Man nutzt also einen Ansatz, bei dem sich das Modell im Prinzip aus mehreren kleinen Modellen zusammensetzt. Welcher Teil des Modells beim Verarbeiten eines Tokens aktiviert ist, entscheiden die Routing Experts im Modell. Jeder Token wird zu einem gemeinsamen Experten sowie zu einem der 128 Routing-Experten gesendet. Im Endeffekt sind bei einer Anfrage daher nur 17 Milliarden von den insgesamt 400 Milliarden Parametern aktiv.
Das Resultat: mehr Effizienz. Das Modell ist schneller und benötigt weniger Rechen-Kapazitäten. So soll Llama 4 Maverick bereits auf einer einzelnen Nvidia H100 DGX laufen, während für Llama 4 Scout lediglich eine Nvidia H100 GPU ausreicht.
Im Kern setzt Meta damit auf einen ähnlichen Ansatz wie Deepseek. Das Modell des chinesischen Start-ups sorgte Anfang des Jahres für Aufsehen, weil es deutlich weniger Rechen-Kapazitäten erfordert als bis dato vergleichbare Modelle von OpenAI oder Google.
Maverik und Scout lernen von Llama 4 Behemoth
Beide Modelle profitierten von Llama 4 Behemoth, dem bis dato größten Modell, das über 288 Milliarden aktive Parameter und insgesamt über 2 Billionen Parameter verfügt. Das befindet sich noch im Preview-Status, die finale Version trainiert Meta derzeit noch. Wenn diese fertig gestellt ist, soll Behemoth GPT-4.5, Claude Sonnet 3.7 und Gemini 2.0 Pro in unterschiedlichen Benchmarks übertreffen.
Die Vorschau-Version von Llama 4 Behemoth hat Meta allerdings schon verwendet, um Maveric und Scout zu trainieren. Dafür nutzte man Destillation, also eine Technik, bei der ein großes Modell Antworten generiert und kleinere Modelle diese nachahmen – es ist also eine Art Wissensübertragung. So ist es möglich, mit kleineren Modellen ein ähnliches Niveau zu erreichen, obwohl diese weniger komplex sind.
Deepseek soll diesen Ansatz ebenfalls verwendet haben, dabei aber Erkenntnisse von ChatGPT genommen haben – und das ohne Erlaubnis, wie OpenAI dem chinesischen KI-Start-up vorwirft.
Llama 4 nicht in der EU verfügbar
Llama 4 Maverick und Scout lassen sich über Llama.com und Hugging Face herunterladen. Meta veröffentlicht die Modelle unter der Llama-Lizenz, man verfolgt also weiter einen Open-Source-Ansatz. Der gilt aber nur eingeschränkt, so dürfen etwa Dienste mit mehr als 700 Millionen Nutzer die Modelle nur verwenden, wenn Meta einwilligt. Untersagt wird zudem Firmen und Individuen mit Standort in der EU, die Modelle zu verwenden. Dieses Verbot betreffe aber nicht Nutzer von Produkten oder Diensten, die Llama-Modelle verwenden.
Die Llama-4-Modelle integriert man zudem in Meta AI. Den Chatbot hat der Konzern in all seine sozialen Netzwerke integriert, nutzen lässt dieser sich sowohl über Facebook und Instagram als auch WhatsApp. Wie Decoder meldet, gilt die Meta-AI-Integration in der EU ebenfalls nicht.
Meta setzt also die bekannte Strategie fort: KI-Modelle und die entsprechenden Dienste kommen erst mit Verzögerung in die EU. Der Chatbot Meta AI startete etwa erst vor einigen Wochen. Der Grund dafür sind Streitigkeiten rund um EU-Regulierungen wie den AI Act und das Gesetz für digitale Märkte (Digital Market Act; DMA).