LLM-Forschung: Apple will AI-Tools wie ChatGPT direkt auf dem iPhone laufen lassen

Bei der Entwicklung generativer AI-Tools hängt Apple noch hinterher, will aber aufholen. Eine Besonderheit bei Apples Strategie ist Medienberichten zufolge: Die Large Language Models (LLM) sollen direkt auf Geräten wie dem iPhone laufen. Ein Forschungspapier untermauert diese Vermutungen.

Das Paper mit dem Titel „LLM in a Flash (PDF)“ wurde bereits am 12. Dezember veröffentlicht. Nachdem es bei der KI-Plattform Hugging Face erwähnt wurde, verbreitete es sich in der Medienlandschaft.

Laut den Autoren ebnet die vorgestellte Lösung einen Weg zum effizienten Betrieb der Modelle auf Geräten, die nur über eine begrenzte Speichermenge verfügen. Konkret bezieht man sich dabei auf die „Inference“ der LLM, also den Prozess, bei dem die Modelle die Eingaben der Nutzer verarbeiten.

Laut dem Paper gehen auch die Apple-Forschenden davon aus, dass LLMs grundsätzlich immer komplexer und größer werden. Wichtig sei daher, auch Ansätze zu verfolgen, die die Effizienz beim Betrieb steigern. Denn nur so können die Modelle mit einer Vielzahl von Anwendungen auf unterschiedlichen Geräteklassen laufen.

Hersteller wechseln zu einer „On-Device-Strategie“

Dass Apple eine „On-Device“-Strategie verfolgt, sickerte bereits im Oktober durch. Bloomberg meldete, dass Apple nicht nur aufholen will, sondern sich auch von der Konkurrenz absetzen möchte. Auf Geräten lauffähig sind bislang vor allem Open-Source-Modelle wie Llama 2 von Meta oder die Stable-Diffusion-Ableger. ChatGPT ist hingegen genauso eine Cloud-Anwendung wie Microsofts KI-Assistent Copilot, der ebenfalls auf OpenAIs GPT-4-Modellen basiert. Auch Google nutzt für Bard noch den Cloud-Ansatz.

Dass die Konzerne sich breiter aufstellen, zeichnete sich aber schon bei den jüngsten Ankündigungen ab. Im Rahmen der Gemini-Präsentation stellte Google auch Gemini Nano als kleinste Variante vor. Die Modelle verfügen über 1,8 und 3,25 Milliarden Parameter und sind explizit für den Betrieb auf Geräten ausgelegt. Das Pixel 8 Pro (Test) ist zudem Googles Spielwiese für neue AI-Funktionen.

Andere Hersteller ziehen zudem nach. Denn im Smartphone-Markt gilt im Prinzip dasselbe wie für den PC-Markt: Die Hoffnung ist, dass die neuen AI-Funktionen wieder die Verkäufe ankurbeln, nachdem die gesamte Branche zuletzt in der Krise steckte.

Unklar, wann Apple ins generative KI-Rennen einsteigt

Wann Apple nachzieht und beispielsweise das iPhone und iOS um umfangreichere AI-Funktionen erweitert, ist bis dato nicht bekannt. Offiziell hält man sich nach wie vor bedeckt, intern soll man aber von dem durch den ChatGPT-Start ausgelösten Hype überrascht worden sein. Berichten zufolge prüft der Konzern nun, wie sich generative AI in möglichst viele Apps integrieren lässt. Ein Profiteur soll insbesondere der Assistent Siri sein. Ob eine Einführung in 2024 erfolgt, ist aber noch nicht absehbar.

Allein durch die Forschungsarbeiten zeigt sich aber, dass Apple die Arbeiten intensiviert. Wie Ars Technica berichtet, war das aktuelle Paper bereits das zweite, das binnen kurzer Zeit veröffentlicht wurde. Die New York Times meldete zuletzt, dass Apple mit diversen Presseverlagen verhandelt, um die Nachrichten-Archive als Trainingsmaterial verwenden zu können. Dafür will der Konzern Abkommen abschließen, die bis zu 50 Millionen US-Dollar wert sind.