Stable-Diffusion-Entwickler: StableLM als Open-Source-Konkurrent für ChatGPT

Stable Diffusion zählte zu den ersten Text-zu-Bildgeneratoren, die den aktuellen KI-Hype befeuerten. Als Open-Source-Anwendung verfügbar, können Nutzer so auch auf dem heimischen Rechner Bilder generieren. Nun haben die Entwickler von Stability.AI ein Sprachmodell veröffentlicht, das mit OpenAIs GPT-Modellen konkurrieren soll.

Die als StableLM bezeichneten Sprachmodelle können nun – wie etwa ChatGPT – Text und Code generieren, sind aber als Open-Source-Varianten verfügbar.

Konkurrent für proprietäre KI-Anwendungen

Die verfügbaren Sprachmodelle haben 3 Milliarden und 7 Milliarden Parameter, bei künftigen Modellen soll die Spannweite von 15 Milliarden bis zu 65 Milliarden reichen. Zum Vergleich: Metas LLaMA-Sprachmodelle bieten 7 Milliarden bis 65 Milliarden Parameter, während GPT-3 von OpenAI über 175 Milliarden Parameter verfügen soll.

Parameter allein entscheiden aber nicht, wie leistungsfähig ein Sprachmodell ist. Entscheidend sind auch die Architektur und das Training. Details dazu sowie zum generellen Aufbau entsprechender Sprachmodelle liefert ein Hintergrundartikel.

Stability.AI will mit StableLM demonstrieren, dass auch kleine und effiziente Modelle eine hohe Performance bieten. Trainiert wurde das Sprachmodell mit einer überarbeiteten Version des Open-Source-Datensatzes The Pile, der 1,5 Billionen Token enthält – das sind dreimal so viele wie zuvor. Tokens sind vereinfacht formuliert Einheiten eines Vokabulars, das Large Language Models (LLM) nutzen, um Wörter zu generieren.

Verfügbar unter Open-Source-Lizenz

Das Besondere: StableLM ist unter einer CC-BY-SA-4.0-Lizenz verfügbar. Das heißt, es ist sogar für kommerzielle Zwecke beliebig verwendbar, solange die Weiterentwicklung unter denselben Bedingungen verfolgt. Verfügbar sind die Modelle auf GitHub. Derzeit befinden sich diese noch in einer Alpha-Version. Mit einem Leistungsniveau wie bei ChatGPT sollte man nicht rechnen. Vielmehr sind die Ergebnisse bislang äußerst überschaubar, heißt es in einem Bericht von Mashable.

Durch den Open-Source-Ansatz verspricht Stability.AI Vorteile bei der Entwicklung. Das gelte sowohl für die Performance als auch für Sicherheitsmechanismen oder das Identifizieren von Risiken. Lauffähig sind die Modelle auch auf gewöhnlicher Hardware – wobei abzuwarten bleibt, wie effizient vor allem die großen Sprachmodelle auf entsprechenden Systemen laufen. So können Entwickler „unabhängige Anwendungen erstellen (…), anstatt sich auf proprietäre Dienste von einem oder zwei Unternehmen verlassen“ zu müssen.