News Meta zeigt Projekt Orion: Erste holografische AR-Brille mit KI und neuraler Steuerung

[Exit666]

Velma Dinkley und Nana Mouskouri gefällt das.

 

[Kraeuterbutter]

:

Eben doch, denn so nehmen wir unsere Umgebung war. Unsere Augen sehen nur den Bereich scharf den wir auch gerade fokussieren.

das ist unnötig
denn wie du sagst: so funktioniert unser Auge.. dort wo wir gerade nicht den Fokus haben, sehen wir verschwommen..

die echte welt ist aber nicht "verschwommen" an der Stelle
vondaher muss man das uach nicht in einer Brille simulieren..
dort wo du in der Brille hinschaust ist es scharf und überall sonst ist es für dich unscharf..
egal ob die Brille das bedenkt oder nicht..

warum gibt es dann eyetracking kombiniert nicht foveated rendering ?
nicht damit es realistischer ist..

sonder um Rechenlast einzuspare..
dort wo du den Fokus deiner Augen nicht hast, muss es nicht scharf sein, weil du sowieso keinen Unterschied feststellen würdest..
also kann man hier Rechenleistung sparen, in dem man diese Bereiche mit geringerer Auflösung, ohne Filter etc. berechnet

also es ist kein Feature für mehr Realismus für den User,
sondern ein Feature für mehr Rechnepower die übrig bleibt für die Brille

Ergänzung (Gestern um 10:50)

Ja in dem Video konnte man das bei den Gesten mit den Armen auf dem Schoß machen. Wenn weitere Gesten dazu kommen wird das vielleicht nicht mehr so sein.

alsozuviele Gesten wirds nicht brauchen...
das Ding ist eher mit einer Maus zu vergleichen.. genauergesagt mit dem Scroolrad und dem Button einer Maus..

die Mausbewegung ansich übernimmt dann z.b. Eyetracking.. dort wo man hinschaut, wird auch der "Mauszeiger" hinbewegt...
bestätigt wird dann eben mit einem "Mausklick", also mit der Fingerbewegung..
da brauchst keine vielen Gesten dafür

Ergänzung (Gestern um 10:53)

Mit den Armen in der Luft rum zu fuchteln, ist auf Dauer nicht bequem. Wer kann schon länger als 10, 15 Minuten die Arme in der Luft halten?

völlig korrekt..
das sieht bei Minority-Report und co zwar cool aus..
und jede 2te VR-Demo auf Youtube abseits von Games beinhaltet das..
aber in Realität will man das nicht haben..

ich hab das schon bei einem Tower-Defense-Spiel gemerkt, das es auf der Oculus Go gab (einfacher 3dof-contorller, den man in der Hand liegen hatte und nur per Winkel gesteuert hat - Laserstrahl als Zeiger)

und dann kam das gleiche Spiel auf der Quest1 raus, wo man dann auf 6Hof-Controller-Steuerung umgestellt hat..
und: deutlich anstrengender, wenn man ganze Zeit seinen Arm durch den Raum bewegen muss wenn man Spielfiguren versetzt, Menüs antippt etc. etc.

 

[Randnotiz]

Ich habe so eine HDMI-Brille, sage ich mal, welche als Monitor genutzt werden kann.
Finde ich schon sehr cool und hätte definitiv Lust drauf, wenn das Konzept weiter ausgebaut wird.

VR kann davon auch profitieren, zumindest wenn die Brille selbst nur Eingabe (Bewegung, Augen) und Ausgabe (Bild und Ton) erfasst.

 

[Azghul0815]

3) Die Leute die sowas toll finden, sind oft IT-Nerds, auf welche die Frauen überhaupt nicht stehen. Daher wird es wenig Gefolgschaft finden. Es ist überhaupt nicht cool, seine Menschlichkeit abzulegen und zum möchtegern Robotor zu mutieren.

Besster Grund ever...
So ein Quatsch....

Die Möglichkeiten, die eine gute AR Brille bietet sind so geil.
Wenn man mal vom Consumer Bereich absieht, gibt's da im Closed Environment so viele geile Anwendungmöglichkeiten.
Von Fabriken mit grossen Anlagen (Fehler Analyse, Wartungen usw.) bua hin zur Medizin wo man aktuell auf Monitore schaut in 2D (Endoskopie oder wenn man mit präzisionsrobotern arbeitet) usw.


MS hat damals auch das erste Tablett entwickelt...die waren ihrer Zeit voraus, die Technik war nur noch nicht reif...

 

[Kraeuterbutter]

wer trägt schon freiwillig eine Brille

nunja..

bis jetzt wurden über 500 Millionen Smartwatches verkauft..
und mittlerweile kommen pro Jahr kommen 100-150 Millionen dazu

ich muss daran denken, da ich vor 3 Tagen eine geschenkt bekommen habe..
und als eigentlich "Nicht-Uhren-Träger" es schon ungewohnt ist ständig was am ARm zu haben

aber: man gewöhnt sich an sowas denk ich

500 Millionen Leute sind bereits Smartwatches die bis zu 150g wiegen am Handgelenk rumzutragen..
wozu ?

und Millionen MEnschen sind bereit die aberwitzigsten Dinge zu tragen, teils umbequem, nur weils "modisch" ist - ohne sonstigen Mehrwert

ich denke da muss man sich kein Sorgen machen..
wenn die Smartbrillen hinreichend bequem sind werden sich genug Nutzer dafür finden

 

[Blaexe]

67% der Deutschen ab 16 Jahre tragen bereits eine Brille. Ab 60 Jahre sind es 91%.

Teilweise werden aus modischen Gründen sogar Brillen ohne Stärke genutzt. Und dann kommen im Sommer noch Sonnenbrillen dazu.

Also das Argument "Wer trägt schon freiwillig eine Brille" ist extrem weit her geholt.

 

[Kraeuterbutter]

MS hat damals auch das erste Tablett entwickelt...die waren ihrer Zeit voraus, die Technik war nur noch nicht reif...

och.. 1988 gabs schon Tablets in Ipad-Form:

und sogar 1969 gabs schon tablets mit Stifteingabe ;-)

 

[yellowbird]

Mich würde mal interessieren, wieviel nicht-Brillen-Träger eine AR-Brille tragen würden.
Mich persönlich nervt ja schon die Sonnenbrille im Sommer.

 

[Krik]

@yellowbird
Dann hast du die falsche Sonnenbrille. Eine gute Brille merkt man quasi nicht (von der Abschattung bei Sonnenbrillen mal abgesehen).

 

[Kraeuterbutter]

Mich würde mal interessieren, wieviel nicht-Brillen-Träger eine AR-Brille tragen würden.
Mich persönlich nervt ja schon die Sonnenbrille im Sommer.

Millionen Frauen tragen Schmuck... nervt das nicht?
die Brille bietet ja auch noch Funktionen..

wir schleppen alle 150-200g Smartphones mit uns herum
und bei der Benutzung desselben ist dann auch noch min. 1 Hand blockiert..

hindert über 1 Milliarde Menschen nicht daran, ständig sowas rumzuschleppen

 

[yellowbird]

@Kraeuterbutter: ich glaube Du hast mich da missverstanden. Ich bin kein Brillenträger aber wenn ich im Sommer eine tragen "muss" (z.B. beim Autofahren) nervt mich das Drücken auf der Nase ziemlich schnell. ... Und ich trage meine Handy im übrigen nicht ständig bei mir und erst recht nicht ständig in der Hand ... ja es gibt auch noch solche steinzeitler

@Krik: Du magst nicht unbedingt falsch liegen, da meine Brile schon ein paar Jahre auf dem Buckel hat, aber schlecht war/ist die eigentlich nicht.

 

[Kraeuterbutter]

@Kraeuterbutter: ich glaube Du hast mich da missverstanden. Ich bin kein Brillenträger aber wenn ich im Sommer eine tragen "muss" (z.B. beim Autofahren) nervt mich das Drücken auf der Nase ziemlich schnell. ... Und ich trage meine Handy im übrigen nicht ständig bei mir und erst recht nicht ständig in der Hand ... ja es gibt auch noch solche steinzeitler

schau:
ne Smartwatch ist nicht für jeden was.. nicht jeder will sowas am Handgelenk baumeln haben (und doch: 500 Millionen verkauft)

Sonnenbrillen sind nicht für jeden was: ich hab im Sommer so gut wie immer eine auf und sie stört mich überhaupt nicht

ne Brille aufsetzen, nur weils cool ausschaut -> ne.. würd ich nicht machen
aber ne Brille aufsetzen, weil sie mir den AI-Assistenten im Ohr gibt,
zusätzlcihe Infos eingeblendet werden können etc. etc.
und ich mir damit z.b. das Smartphone erspare (im Fitnesscenter, beim Laufen, etc..)
her mi der Brille !

also ja, es gibt "Steinzeitler" ;-)
und die Brille wird nicht für jeden was sein
aber es werden sich genug Leute dafür finden, dass es ein Milliarden-Business wird

 

[Krik]

@yellowbird
Falls du eine "fertige" Sonnenbrille im Kiosk (oder so) gekauft hast, ist diese nicht mit jenen von einem Optiker vergleichbar. Ich finde, da liegen Dimensionen dazwischen, weil der Optiker auch dafür sorgt, dass sie dir optimal passt.
Wenn deine Brille auf der Nase drückt, dann ist sie definitiv die falsche oder nicht auf dich abgestimmt.

 

[Kraeuterbutter]

@Kraeuterbutter: nervt mich das Drücken auf der Nase ziemlich schnell. ...

bin ich bei dir..
kürzlich wurde die Immersed vorgestellt, 180Gramm..
wie eine Brille
schaut cool aus, aber das drückt bei dem hohen Gewicht (super leicht für ein VR-Headset, aber halt doch "schwer" für eine Brille) auf der Nase

da brauchs dann doch ein Headstrap - was natürlich dann nicht mehr so cool ausschaut
und für ein Brille die ständig getragen werden soll im Alltag wohl ein "Abturner" ist

ich hab ne AR-Brille die wiegt 78g (also schwerer als ne normale Brille, leichter als die von Meta hier vorgestellte Brille):
und: sie wird mir auch schwer auf der nase.. also 2h am Stück spür ich dann schon auch auf der Nase


da ist tatsächlich mein 600g Headset modifiziert in manch Situationen angenehmer, weil gewichtslos im Gesicht

2h ins Smartphone-Schauen hingegen will ich ned machen, Nacken...

Und ich trage meine Handy im übrigen nicht ständig bei mir und erst recht nicht ständig in der Hand ...

das mag für dich ja zutreffen..
aber schau dich doch mal in U-Bahnen etc. heute um:

das kann man schrecklich finden.. früher warens die Bücher oder die riesige Tageszeitung
heute ists das Smartphone

alle mit gesenktem Kopf
ich würde meinen: großteil der Leute glotzt aufs Smartphone
inkl. der Haltungsschäden bzw. Nackenschmerzen die da mit einhergehen..

das ist mit einer Brille dann angenehmer machbar: und eben: Handsfree..

 

[Pipmatz]

Niemals. Aber warum, kannst du nicht sagen.

- keine Lösung für bestehende Probleme.
Sondern Lösung für nicht bestehende Probleme.

- teuer, unbequem und geht auf die Augen.

- stundenlanges tragen wird niemals angenehm sein im Vergleich zu normalen Displays. Vor allem für die Augen nicht.

Ich bin jetzt mal präziser:
Das Teil könnte ein nettes gimmick werden a la Videospiel Konsole Zuhause.
Was auch mal Wochen lang in der Schublade rum liegt.
Dafür müsste es max. 200-300€.

Aber WEIT entfernt von einem Bestseller a la iPhone, Apple watch oder tablet.

Und natürlich werden die Brillen so dünn wie eine normale Brille werden.

Weck mich wenn das passiert.
Genauso mit dem ultra super Akku für Smartphones der auch seit gefühlt 10 Jahre bald kommen soll.

Weil du das sagst?

Nein, weil ich Realist bin.
Die brillen werden nie ein iPhone oder Apple watch sein.
Ein nettes gimmick.

Ich frag mich echt:
Wie viele dieser tech Journalisten und influencer haben Apple & meta Aktien.

Die Leute starren schon heute in jeder Situation stundenlang auf ihre Handys, als gäbe es nichts anderes. Das hat sogar einen eigenen Namen: Smombie.

Und das geht leichter und überall. So eine Brille nicht. Dazu werden solche brillen Verbote bekommen:

Auf der Arbeit, im Gym, in der Schule usw.

Ja die Vorstellung davon wie man es benutzt ist dann oft weit entfernt von der Realität. Und funktioniert dann manchmal nicht so leicht oder es wiederspricht dem wie es bequem wäre.

So ist es. Reale Tests zeigen dann die Probleme.

Vor allem:
Aus dem meta Video:
Brille die man benutzt um Rezept zu finden. Nett aber mit Smartphone alleine bin ich viel schneller. 🤷🏻‍♂️

500 Millionen Leute sind bereits Smartwatches die bis zu 150g wiegen am Handgelenk rumzutragen..
wozu ?

Nicht ganz richtig.
Die haben nur ihre Zeiger Uhr gegen eine smarte Uhr getauscht. 🎊

wenn die Smartbrillen hinreichend bequem sind werden sich genug Nutzer dafür finden

Für ein paar mal in der Woche 1-2 Std. Damit rum zu spielen.
und dann ab in die Schublade.
Da werden sich bestimmt einige influencer und Nutzer finden. 🤓

Gibt meta eigentlich bekannt wie viele Quests usw. die verkaufen pro Jahr?

 

[Kraeuterbutter]

- keine Lösung für bestehende Probleme.
Sondern Lösung für nicht bestehende Probleme.

das war doch immer schon so...
vor der Smarphone-Zeit haben ja auch nicht alle gesagt: "Mann.. ich bräuche eine Landkarte die ich mit Finger zoomen kann und immer in der Hosentasche habe"
dieses "Problem" gab es nicht...

und doch haben alle die "Lösung" dann angenommen.. niemand läuft mehr mit nem Buch als Stadtplan durch die Gegend

- teuer, unbequem und geht auf die Augen.

Preis -> wird sich ändern
unbequem: unbequemer als was? als ein 200g Smartphone das man halten muss und Nacken senken? unbequemer als ein 750g Tablet?

geht auf die Augen: wieso ?
ein Problem unserer modernen Welt ist (aber früher waren es auch die Bücher):
dass wir ständig auf sehr kurze Distanzen starren..
Smartphone, Tablet und auch Notebookscreens.. teils auch Computerbildschirme die sehr nahe sind..
das belastet unsere Augen ziemlich

genau hier kann eine Brille eigentlich helfen, da die Distanz weiter weg sein kann...
derzeitige VR-Brillen haben wo den Fokuspunkt in 2-3m Entferung..

mein Vater ist z.b. Altersweitsichtig: für Smartphone, Kamera, Tablet -> braucht er ne Brille, kann er nicht mehr ablesen..
VR-Brille geht, da die Distanz größer ist..

in der Zukunft könnte ich mir vorstellen, dass mit Vario-Fokal-displays (womit Meta ja auchschon experimentiert hat) man ein Arbeitsbrille schaffen kann, wo man über den Tag verteilt die Distanzen variieren kann, wo die virtuellen Screens sich befinden.. 20m entfernt, 10m entfernt, 2m entfernt...
um so die Augen zu schonen

- stundenlanges tragen wird niemals angenehm sein im Vergleich zu normalen Displays. Vor allem für die Augen nicht.

stundenlanges Tragen... wird bequemer sein als über gleichen Zeitraum ein Tablet zu halten oder ein Smartphone

jetzt vielleicht noch nicht, wegen Formfaktor etc.. aber in Zukunft.. bestimmt

und für die Augen denk ich dass im Endziel es besser sein kann, als alles an kleinen Displays das wir heut haben

Und das geht leichter und überall. So eine Brille nicht. Dazu werden solche brillen Verbote bekommen:

Handyverbote gibts auch jetzt schon in Schulen..

aber leichter und überall: seh ich umgekehrt..
ne Brille kann ich bei vielen Tätigkeiten tragen, wo eben ein Smartphone nicht geht..
Beispiel: Sport

Leute tragen Smartwatches mit der Begründung, dass sie das Smartphone nicht so oft in die Hand nehmen müssen oder gar aus der Hosentasche ziehen

Aus dem meta Video:
Brille die man benutzt um Rezept zu finden. Nett aber mit Smartphone alleine bin ich viel schneller. 🤷🏻‍♂️

ja.. manche Beispiele find ich auch komisch, z.b. bei AI immer die Frage "was soll ich anziehen"
also dafür brauch ich echt keine AI :-)

Nicht ganz richtig.
Die haben nur ihre Zeiger Uhr gegen eine smarte Uhr getauscht. 🎊

hmm...
denke Uhren waren schon lange vorher - mit Aufkommen der Smartphones und Handies - im Abwind..
viele Leute die früher Armbanduhren trugen, haben heute keine mehr wegen Smartphone..

also ja: die vorher ne Armbanduhr hatten, greifen heute zur Smartwatch..
aber ich glaub das sehr viele auch zur Smartwatch greifen, die vorher keine Armbanduhr m ehr hatten

Gibt meta eigentlich bekannt wie viele Quests usw. die verkaufen pro Jahr?

man weiß es indirekt.. es sollen so 20-25 Millionen Quests gesamt bis jetzt sein

also schon nicht wenig..
zum Vergleich: Steamdeck: sollen zw. 3-4 Millionen bis jetzt verkauft worden sein

die Quests (und andere Brillen) stehen aber noch an der Schwelle finde ich:
noch nicht gut genug um einen Fernseher in Bildqualität zu ersetzen oder gleichzuziehen
noch nicht gut genug um einen 24-32" Office-Monitor von der Qualität her zu ersetzen
und: noch zu groß und schwer um sie längere Zeit bequem zu tragen..

es muss jetzt keine 50g Brille sein
aber wenn sie halb so schwer wären, mit gutem Headstrap-Design kann man so eine Brille schon mal beim Arbeiten am KOpf "vergessen"

und wenn die Qualität passt, sodass ich mir nicht denke: "ma.. am Fernseher/Monitor würde das aber besser ausschauen"
dann kommen die Qualitäten zum Zuge: ich kann sie überall nutzen, am Balkon, im Bett, im Zug, im Urlaub etc. etc.
und nicht wie z.b. den Fernseher, der mit 70kg an die Wand geschraubt ist auf genau dem einen Fleck im Wohnzimmer und sonst nirgends

also noch können sie ihr Potential nicht ausspielen, weil die Qualität - finde ich - noch nicht ausreicht
nen Film in der Quest anschauen: ansich cooler als am TV - 3D geht auch noch - und größe, Form, Krümmung, LIchtverhältnisse, etc. lässt sich alles einstellen .. Fernseher an der Decke um im liegen zu schauen -- >alles kein Problem

und trotzdem: man denkt sich dann: hmm.. die Schwarzwerte sind am Fernseher aber besser, und Pixel seh ich auch keine, usw. usf.

also da muss noch nahgeschärft werden

 

[Blaexe]

Nicht ganz richtig.
Die haben nur ihre Zeiger Uhr gegen eine smarte Uhr getauscht. 🎊

Dir ist bewusst dass das exakt gleiche Argument auch bei Brillen greift? Die Ironie...

 

[Kraeuterbutter]

Dir ist bewusst dass das exakt gleiche Argument auch bei Brillen greift? Die Ironie.

@Blaexe .... und es gibt mehr Brillenträger als Uhrenträger...

also rosige Zukunft für Smartglases/AR-Brillen..

wenn schon 500 Millionen Smartwatches es an die Handgelenke geschafft haben

 

[Nine-tailed Fox]

@Kraeuterbutter Respect dass du das alles beantwortest hast. 👍

Ich stimm dir zu.

 

[Kraeuterbutter]

ich hätte da noch Frage zu Orion:

in den Medien wird das jetzt ja als "Nachfolger" von VR gehandelt..
VR nur Zwischenlösung
AR das Endziel
und AR besser, weil Durchsicht usw...

bei Orion ansich (also diesem PRototypen) wurde gesagt: Bildqualität nicht gut genug um damit einen Film zu schauen
damit werden heute AR-Brillen (Xreal, Viture, etc.) beworben.. also ich geh davon aus, dass Orion hier von der Bildqualtiät wohl (deutlich) schlechter sein wird

was für ein Auflösung, in welchem Bereich liegen diese Orion-Brillen

weiters: "AR ist besser als VR, weil Kamera-Passthrough ist mist"
ein weiteres Argument das ich schon oft gesehen habe..

mit den jetzigen AR-Brillen seh ich das überhaupt nicht, da hier die Reflexionsscheibe und die oben montierten Displays ein nicht gerade kleinen Teil des FOV völlig abschneiden
was dazu führt dass man mit einr Quest3 im Passthrough wesentlich besser durch die Wohnung laufen kann, als mit einer AR-Brille (derzeit)

Orion macht das hier besser, hier scheint mir kein "Technik" im Blickbereich zu sein (zumindest nicht groß anders wie bei einer normalen BRille/Sonnenbrille)

ABER: der Punkt bei AR-Brillen der oft genannt wird: "Reale Welt, nicht diese Kamera-passthrough"

der Vorteil von Kamera-Passhtrough, wie ich ihn jetzt erlebt habe: Fokusebene.. es ist ALLES auf der gleichen Fokusebene
sprich: die abgefilmte Welt, als auch die eingeblendeten Objekte..
werden diese eingeblendeten Objekte hinreichend gut genug gerendert (das schafft eine Quest3 onboard noch nicht, aber z.b. die Cloudlösung mit Kamera-Passthrough von Varjo soll teilweise auf so einem hohen Niveau sein, das User den Unterschied zwischen einem echten Sofa und dem daneben reingerenderten künstlichen Sofa auf die schnelle gar nicht erkennen können...

die Auflösung, das REndern etc... da ist die Quest3 noch nicht gut genug dafür..
aber man erkennt wo die Reise hingeht..

bei AR-Brillen: (wieder Beispiel Viture): seh ich die Reale Welt, und in jeder Sekunde wo ich in das Teil reinschaue, sehe ich dass das was dort gerendert ist künstlich einfach drübergelegt wird..
es fehlt die Tiefe der Objekte (ok, bei Viture gibts - außer bei 3D-Filmen - kein 3D: jedes Auge sieht das selbe Bild)
und: die Fokusebene stimmen nicht:
fokusiere ich auf die Reale Welt, z..b einen Tisch in 5 Meter entfernung, verschwindet das eingeblendete virtuelle Objekt aus der Fokusebene, und teilt sich sogar in 2 Bilder auf, also man hat dann ein Doppelbild!
fokusiere ich dann wieder auf das virtuell eingeblendete Objekt, wird reale Welt unscharf und aus dem Doppelbild wird wieder ein einfaches

es ist ein fixe, immer präsente Trennung zwischen Realer Welt, und der virtuellen Objekte die eingeblendet werden..

wie wird das bei Orion gelöst.. ok: objekte die 3D sind und somit - jedes Auge kreigt eigenes Bild mit angepasster Perspektive - geschenkt...
Orion hat Kameras, vielleicht auch Tiefensensor: also kann das dann auch im Raum verankern etc..
geschenkt..

aber was ist mit der Fokusebene:
die REale Welt hat eben verschiedene Fokusebenen....
wenn ich da dann "drüberzeichne" und das drübergezeichnete immer in der selben Fokusebene sich befindet (so wie es bei allen VR-Brillen derzeit ist, bei allen AR-Brillen)
dann fällt das immer auf...
weil die gerenderte Vase am Tisch in "Fokusebene 2 Meter" ist,
der Tisch real aber 5m entfernt ---> passt dann nicht zusammen,
auch wenn geometrisch, vom 3D her etc. eigetnlich alles passt

in der Quest3 eben: hab ich für alles EINE Fokusebene, sprich: die abgefilmte reale Welt ist in genau der gleichen Fokusebene, wie das gerenderte Bild das reingezeichnet wird..
und so wirkt dann ein Screen der an die Wand geheftet wird, oder 1m vor der Wand schwebt, auch realistisch..

bei den AR-Brille ists eben nur ein Bild aus einer völlig anderen Fokusebene, die nix mit der realen welt zu tun hat.. das sieht man einfach immer, hätte ich bei meiner AR -Brille noch NIE "vergessen" können

ich seh nicht, das Orion das hier besser machen kann (?)

vondaher glaub ich, dass VR-Brillen mit Kamera-Passthrough, mit höherer Rechenleistung, besseren Kameras, mehr Auflösung --> vom Prinzip her realistischer sein können, und die kombinierte Welt "echter" schlussendlich wirkt,
als alle bis jetzt gezeigten AR-Lösungen (inkl. Orion)

was meint ihr? @Blaexe ?

für mich ist MR mit der Quest3 jedenfalls viel realistischer als MR mit der AR-Brille

Edit: geht mir nur um den Faktor Immersion!
was man im Alltag eher trägt, ist wieder ne andere GEschichte