Meta zeigt Projekt Orion: Erste holografische AR-Brille mit KI und neuraler Steuerung

Auf der Meta Connect 2024 hat Meta die weltweit erste funktionierende AR-Brille mit holografischem Display, KI und neuraler Steuerung gezeigt. Veröffentlicht wird sie zwar vorerst nicht, doch Meta will auf dieser Basis später auch einmal Konsumenten bedienen.

Holografisches Display verdeckt nicht die Augen

Die Displays bestehen nicht aus Glas, sondern einer Scheibe Siliciumcarbid, da es deutlich leichter ist und keine optischen Artefakte zulässt. Über zahlreiche kleine Projektoren wird das Material dann von neuen „uLEDs“, wie Meta sie nennt, angestrahlt und damit ein „extrem energieeffizientes“ Display ermöglicht.

Im Ergebnis soll ein Sichtfeld von rund 70° ermöglicht werden, auf dem mit zahlreichen durch den Raum schwebenden Benutzeroberflächen interagiert werden kann. Meta zeigt als Beispiele KI-Funktionen, Videochats und auch Spiele wie Pingpong.

AR erweitert die Realität, wandelt sie nicht ab

Der Blickwinkel erscheint auf den ersten Blick recht schmal, doch das wird bei AR weniger ein Problem sein: Anders als mit aktuellen Mixed-Reality-Brillen wie der neuen Meta Quest 3s oder Apple Vision Pro muss Orion dank der holografischen Technik die Umgebung nicht aufwendig mit Kameras und Rechenarbeit auf den Displays darstellen. Der Nutzer sieht seine Umgebung durchgehend und die Brille kann virtuelle Inhalte einfach über die Projektoren in die Gläser strahlen lassen ohne die Umwelt komplett zu verdecken.

Die Augen des Nutzers bleiben so durchgehend sichtbar und werden nur durch das Schimmern der Projektoren in den Hintergrund gerückt. Die Realität wird somit um Inhalte erweitert und verstärkt, aber nicht ausgewechselt – deswegen auch der englische Name Augmented Reality (AR).

1. 

Bild 1 von 3

Man fragt sich nach der Vorstellung schon, aus welchem Jahr Meta die Brille hergezaubert hat, denn bisher finden holografische Displays eigentlich nur in Sci-Fi-Serien Verwendung. Meta weiß um den Umstand auch bestens Bescheid: Mehrmals scherzte CEO Mark Zuckerberg, man habe Zeitreisen erfunden. Weniger als 100 Gramm soll die Brille zudem wiegen.

Steuerung per Neural-Wristband

Bei der Bedienung geht der Schritt in die Zukunft weiter: Neben Sprach-, Augen- und Handtracking kann Orion auch über ein Armband gesteuert werden, das mithilfe von Elektromyografie (EMG) bestimmte Bewegungen der Finger erfasst und so präzise Gesten in der Benutzeroberfläche von Orion zulässt. Der Nutzer kann damit scrollen, Eingaben bestätigen und das Hauptmenü aufrufen. Mittels haptischem Feedback reagiert das Armband und damit die Brille auf die Eingaben.

Meta nennt dies auf der Connect ein „neurales Interface“, das Meta, damals noch Facebook, bereits im Jahr 2021 per Blogeintrag vorgestellt hatte. In einem Ersteindruck beschreibt The Verge das Armband als „eine der wahrlich magischsten Erfahrungen mit neuer Technologie“.

Technik auf Millimeter komprimiert

Seit über 10 Jahren arbeitet Meta schon an AR-Brillen und das zeigt sich in den Details zu Orion, denn die Brille verfügt über keine Lüfter, sondern selbst entwickelte Chips für KI und spezielle Kühlmaterialien, wie sie auch die NASA nutzt, um Abwärme zu reduzieren und besser abzuführen. Während der Entwicklung hat Meta nach eigenen Angaben den Stromverbrauch so von einigen Hundert mW auf wenige Dutzend verringert. Wie lange der verbaute Akku im Alltag halten soll, ist unklar; Orion aber auch noch kein Endkundenprodukt.

Grafikberechnung auf Hosentaschen-Puck ausgelagert

Dass die Brille am Ende selbst kaum Strom verbraucht und damit wenig Abwärme erzeugt, liegt allerdings auch daran, dass Meta aufwendige Grafikberechnungen auf einen externen „Wireless Compute Puck“ auslagert. Statt über ein Kabel wird die Brille jedoch per Funk angesprochen, sodass Orion weiterhin komplett kabellos bleibt. Der Puck soll in die Hosentasche passen.

Veröffentlichung noch in der Ferne

Die erste holografische AR-Brille wird jedoch vorerst nicht veröffentlicht. Nur ausgewählte Partner und Mitarbeiter sollen Orion als Dev-Kit beziehen können, um bereits an der Software zu tüfteln und damit bereit sein, wenn die ersten AR-Brillen von Meta die Marktreife erlangen. Wann das sein soll, hat Zuckerberg noch nicht verraten.

Kosten wohl noch sehr hoch

Erst einmal möchte der Konzern die Brille vor allem schlanker machen. Auch der Preis soll nach Angaben des CEOs noch zu hoch für einen Marktstart sein, doch Meta habe bereits Pläne für die Lieferkette.

KI-Brillen von Meta gibt es schon heute

Während Orion damit eine technisch verfügbare, wenn auch kommerziell vorerst unerreichbare Vision bleibt, hat Meta am Abend für die bereits im Handel erhältlichen KI-Brillen von Ray-Ban ohne Display, aber mit Kamera, Mikrofon und Prozessor neue Funktionen und Designs angekündigt.

Neue KI-Funktionen dank Llama 3.2

Die Ray-Ban-Sonnenbrillen erhalten etwa die neue Meta AI mit Llama 3.2 und damit Video-, Foto- und Texteingaben sowie eine natürlichere Stimme – auf Wunsch auch in Echtzeit. Das Keyword „Hey Meta“ entfällt zudem, womit die KI noch schneller zur Seite steht. Hier hilft auch, dass die KI nun weniger Anweisungen benötigt, um antworten zu können.

Besonders hervorgehoben hat Meta eine Echtzeit-Übersetzung mittels künstlicher Intelligenz, die allerdings vorerst nur in Spanisch und Englisch startet. Die KI-Funktionen kommen vorerst weiterhin nicht in die EU, Zuckerberg gab sich jedoch „ewig optimistisch“ Llama 3.2 auch in der EU eines Tages anzubieten.

Gleichzeitig kündigt Meta zudem an, dass der Glas-Partner EssilorLuxottica Kunden jetzt auch Zugriff auf selbsttönende Gläser gewährt; damit sollen die Brillen auch in Innenräumen verwendbar werden.

Während Orion damit noch in der Ferne bleibt, zeigt Meta bereits heute, was mit KI auch ohne Bildschirm möglich ist. Dass hiervon auch die AR-Brillen profitieren werden, daraus macht Meta am heutigen Abend kein Geheimnis.