News Omniverse Cloud APIs: Nvidia bringt digitale Zwillinge auf die Apple Vision Pro

[nlr]

Das Nvidia Omniverse für digitale Zwillinge kommt über neue APIs unter anderem auf die Apple Vision Pro. Diese APIs ermöglichen es Entwicklern, ihre OpenUSD-Szenen aus ihren favorisierten Content-Creator-Apps an das GDN von Nvidia zu schicken, dort rendern zu lassen und an die Apple Vision Pro, aber auch Software zu streamen.

Zur News: Omniverse Cloud APIs: Nvidia bringt digitale Zwillinge auf die Apple Vision Pro

 

[Cool Master]

Hört sich interessant an aber ich glaube die Latenz wird das richtig ekelig machen.

 

[Yosup]

Wenn ich es richtig verstehe wird ja die "GUI" oder VR-Umgebung weiterhin lokal - und damit latenzarm - gerendert, nur der Inhalt bestimmter Viewports kommt aus der Cloud. Die Latenz dort dürfte sich ergo nicht dramatischer auswirken als bei einem physischen Bildschirm auf dem Schreibtisch.

Hier wirkt sich natürlich die Erfahrung Nvidias mit GeforceNow sehr synergetisch aus. Ob sie das wirklich alles antizipiert haben oder hatten sie einfach nur ein glückliches Händchen?

 

[mic_]

Hört sich interessant an aber ich glaube die Latenz wird das richtig ekelig machen.

5G?

 

[Cool Master]

@mic_

Ich sehe das Problem noch vor der Übertragung. Vor allem wenn etwas manipuliert wird und neu gerendert werden muss wird das wohl kritisch. Wenn das aber wirklich so geht. @Yosup schreibt ja etwas anderes ich lass mich da aber überraschen

 

[Kraeuterbutter]

macht Varjo nicht schon lange sowas in der Richtung?

in einem Interview haben sie auch mal davon gesprocohen, dass der Kunde sich dann z.b. 6GPUs oder 20GPUs nimmt die das rendern, und das wird dann zur Brille gestreamed

Ergänzung (20. März 2024)

EDIT: https://varjo.com/products/realitycloud/

 

[projectneo]

Warum sollte das nicht funktionieren, ist jetzt auch nicht viel anders als Gamestreaming. Da ist auch viel Interaktion drin, sicher sogar mehr als bei diesen Renderings.

 

[Kraeuterbutter]

bei Multiplayer GAmes wird die GRafik halt nicht übertrage, sondern nur Positionsdaten

bei Game-Streaming: war mehr oder weniger ERfolgreich..
da gehts aber meist eher um 1080p (Also 2 Megapixel die übertragen werden) und dann
vielleicht nur 30fps oder 60fps

in VR wollen wir mehr fps, also mindestens 72, eher 90
und wir reden - z.b. bei Varjo XR4 - von 14,4 nativen MEgapixel pro Auge...
also in Summe 29 MEgapixel
(im Vergleich zu nur 2 Megapixel bei einem Full-HD Monitor)

also die Anforderungen sollten doch deutlich höher sein, will man so ein High-End-Headset gut bespielen als beim klassichen GAme-Streaming

wobei: ich glaub Varjo bezieht beim STreamen das Eyetracking mit ein.. sie müssen also nicht die vollen Daten übertragen, nutzen hier das Eyetracking für eine art komprimierung mit