News GANverse3D: Nvidia erzeugt 3D-Modelle aus nur einem 2D-Foto

[t3chn0]

Sieht aus wie die Autos im FS2020 =). ABER, man sollte der Sache mal 1-2 Jahre geben. Dann wird man hier vermutlich richtige Sprünge machen.

Das wird allen zugute kommen. Warum meckern immer alle über neue Technik die noch in den Kinderschuhen steckt, aber massig Potential hat?

Ach stimmt, DLSS und Raytracing werden sich eh nicht durchsetzen....

 

[BeBur]

Das wird allen zugute kommen. Warum meckern immer alle über neue Technik die noch in den Kinderschuhen steckt, aber massig Potential hat?

So richtig wichtige Anwendungen sehe ich ehrlich gesagt nicht gerade. Woran konkret denkst du?

Ach stimmt, DLSS und Raytracing werden sich eh nicht durchsetzen....

Auf jeden Fall, die Masse ist immer gegen Neuerung und Veränderung und weiß viel besser, dass X ja totaler Schrott und vor allem überflüssig sei.

Ich verorte das Thema GANverse3D mehr im Bereich "Was ist mit GANs möglich?" GANs an sich sind schon hart revolutionär und da wird einfach grad hardcore geforscht und experimentiert, die Ergebnisse sind schon wirklich recht absurd gut im Allgemeinen.

 

[icemanspirit]

Ich verorte das Thema GANverse3D mehr im Bereich "Was ist mit GANs möglich?" GANs an sich sind schon hart revolutionär und da wird einfach grad hardcore geforscht und experimentiert, die Ergebnisse sind schon wirklich recht absurd gut im Allgemeinen.

Die Faehigkeiten von GANverse3D sind halt leider ganz salopp gesagt eher noch als "schnuckelig" zu verorten im Vergleich zu solchen Flaggschiffmodellen wie Dall-E, welches auf Texteingabe hin dazu passende Bilder generieren kann.

Was GANverse3D klar inhaerent hat ist dass bei Machine learning Modellen Skalierungsgesetze, e.g. arXiv:2010.14701, effektiv die Obergrenze der Faehigkeiten von solchen Modellen definieren. I.e. wenn NVIDIA hier 500k anstatt von 50k Beispielen haette koennten die Faehigkeiten direkt wieder um Einiges besser sein. In der Regel hakt es aber daran, dass solche Datensets bisher nicht verfuegbar sind und erst noch in einer Mischung aus Handarbeit und Web-Scraping erstellt werden muessen.

 

[BeBur]

Die Faehigkeiten von GANverse3D

Ich schrieb ja von GANs im Allgemeinen, also Generative adversarial networks. GPT-3 auf welchem Dall-E aufbaut ist aber selbstredend ebenfalls beeindruckend.

Das was hier jetzt abgeliefert wurde ist verglichen mit dem Stand der Forschung bzw. anderen GANs aber in der Tat als "schnuckelig" zu bezeichnen.

 

[noxon]

Die Faehigkeiten von GANverse3D sind halt leider ganz salopp gesagt eher noch als "schnuckelig" zu verorten im Vergleich zu solchen Flaggschiffmodellen wie Dall-E, welches auf Texteingabe hin dazu passende Bilder generieren kann.

Wenn man zusätzlich zu dem Bild aber noch ein paar Zusatzinformationen über das Objekt ermitteln kann, dann kommen da aber schon ganz andere Ergebnisse zu stande, wie Nvidia hier zeigt.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Erschreckend daran ist aber auch, dass man sich in naher Zukunft schon nicht mehr sicher sein kann mit wem man sich in einer Live Konferenz wirklich unterhält.

 

[EMkaEL]

"Schalt auf Überwachnung, Kumpel!"

 

[BeBur]

Wenn man zusätzlich zu dem Bild aber noch ein paar Zusatzinformationen über das Objekt ermitteln kann, dann kommen da aber schon ganz andere Ergebnisse zu stande, wie Nvidia hier zeigt.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Erschreckend daran ist aber auch, dass man sich in naher Zukunft schon nicht mehr sicher sein kann mit wem man sich in einer Live Konferenz wirklich unterhält.

Das ist zwar mega cool, aber einfach nur kommende Dystopie 2.0. Ich sag nur Xerox Drucker Skandal x 1000. Am besten Audio ebenfalls noch so "komprimieren".

"Du siehst traurig aus, alles ok?" - "Ne alles gut das täuscht, muss die Bild-KI sein die mich traurig aussehen lässt".

 

[noxon]

Wenn das empfangene Video genau das Quellmaterial darstellt, dann ist das keine Dystopie.
Ist ja bei den Druckern genau so, wenn sie die Dokumente vernünftig kopieren würden und keine Zahlen vertauschen oder bei der h264 Kodierung wo die Artefekte gering genug sind um keinen traurigen Gesichtsausdruck zu vermitteln, der nicht existiert.

Wenn die KI die Realität gut genug übermitteln kann, dann ist das super. Es muss halt nur sichergestellt werden, dass sie nicht absichtlich falsche Daten übermittelt, aber das kann man durch verschlüsslete Kanäle in denen die Kodierungseinheiten verschlüsselt sind auch sicherstellen. Ist ja bei HDMI ja jetzt auch schon der Fall.

Aber selbst absichtlich falsche Übermittlung kann gewolt sein. Austausch des Gesichtes durch anonyme Avatare kann zum Beispiel sehr praktisch sein. Ich sehe dem als sehr gelassen entgegen.

 

[flappes]

"Er kommt – nvidia. Eine Grafikkarte, ein Computer, ein Mann. nvidia – ein Mann und seine Lederjacke kämpfen gegen das Unrecht"

Wieso verspüre ich jetzt den Drang einen Hamburger vom Boden zu essen? Ne nur Spaß ;-)
Schönes Wochenende!

 

[general-of-omega]

Das sieht echt nicht gut aus und natürlich hat die KI aus einem Bild erkannt dass der Rote Balken sich bewegen muss

 

[Zespire]

Autos sind symetrich somit zählt das Bild doppelt!
Mehr als ein Diorama ist mit den Daten eines Bildes nicht möglich ist nur Marketing bla bla.

 

[Deluxeplay]

Wir leben in einer Matrix ^^

 

[andi_sco]

Wow, coole Sache.
Mich würde da mal interessieren, wie gut das Training da bei Fotos/Autos aus den 1910er-30er Jahren ist.

Ergänzung (16. April 2021)

Also doch keine Wundertüte, wie ich nach der Überschrift (nicht) gedacht hatte!

Naja, du kannst auch nicht von einem Menschen verlangen, er soll das Space Shuttle zeichnen, wenn er es vorher noch nie gesehen hat!

 

[Vigilant]

Die spielen halt... oder trainieren... noch. Lasst das Zeug noch ein paar Jahre auf der Weide grasen, und es wird wahrscheinlich schon ganz anders aussehen und reif für Olympia sein.

Man sollte nicht in Überheblichkeit verfallen, etwas ausschließlich nach heutigem Stand zu bewerten, sondern auch (und vielleicht vor allem) welches realistische Potential vorhanden ist.

Das Thema KI, sowohl starke als auch schwache, nimmt ja gerade erst in vielen Bereichen Fahrt auf und wird sich dort auch festsetzen.

Durchaus auch gesellschaftlich problematisch, wenn man bedenkt, wie viele einfache Geschäftsprozesse in vielen Berufen heute schon durch Algorithmen und "KI" nach und nach ergänzt und teilweise ersetzt werden, quasi die Erweiterung industrieller Automatisierung ins Office.

 

[andi_sco]

Andere Leute haben hier die Pionierarbeit geleistet und NVIDIA skaliert hier den Ansatz nur

Ist es denn eventuell mit den Nvidia Karten nur einfacher und schneller für jedermann, das zu rendern?

Ergänzung (16. April 2021)

etwas ausschließlich nach heutigem Stand zu bewerten

Sehe ich genauso

Ergänzung (16. April 2021)

direkt 3D Modelle für alle 55.000 gelernten Autos hinterlegt hätte

Nun stell dir aber mal vor, jemand verändert das Auto optisch. Das kannst du jetzt damit abdecken.

Oder, jemand will einen Lkw Aufbau und aus mehreren Fotos von bereits hergestellten Fahrzeugen wird dann der neue Lkw optisch angenähert, so das man auch auf eventuelle Kollisionen achten kann.
Und nein, Lkws gehören in einigen Bereichen nicht zur Standardware!

 

[Vigilant]

Ist es denn eventuell mit den Nvidia Karten nur einfacher und schneller für jedermann, das zu rendern?

Ich vermute, es geht eher darum, diese Geschäftsfelder mit den eigenen Produkten zu erschließen, bzw. die Eignung der Nvidia-Produkte für diese Geschäftsfelder herauszustellen und mit entsprechenden Anwendungsfällen zu präsentieren.

 

[andi_sco]

wenn NVidia direkt 3D Modelle für alle 55.000 gelernten Autos hinterlegt hätte

hat Nvidia zuvor mit 55.000 Bildern verschiedener Automobile aus mehreren Perspektiven trainiert

Es sind nicht 55.000 Fahrzeuge, nur 55.000 Bilder

 

[Weyoun]

Wie will man aus EINEM einzigen Foto eine komplette 360 Grad 3D Ansicht generieren? Ein Foto kann doch maximal 180 Grad eines Objekts (in der Regel deutlich weniger) abbilden. Sieht man z.B. das Auto von vorne schräg links, so sieht man nur die Front- aber nicht die Heckpartie.

 

[Vigilant]

Na ja, der Algorithmus "erkennt" vermutlich anhand der 2D-Bilddaten die Fahrzeugart und das Modell. Mit diesen Infos greift es in die Datenbank und baut aus den Infos dort das 3D-Modell zusammen.

Vergleichbar mit einem Auftrag an die 3D-Artistin, das Auto auf dem Bild als 3D-Modell zu erstellen.

Bei Nvidia geht es schon lange um deutlich mehr, als nur Grafikkarten für Gamer in die Regale zu stellen.

https://www.nvidia.com/de-de/

 

[Enigma]

Wie will man aus EINEM einzigen Foto eine komplette 360 Grad 3D Ansicht generieren? Ein Foto kann doch maximal 180 Grad eines Objekts (in der Regel deutlich weniger) abbilden. Sieht man z.B. das Auto von vorne schräg links, so sieht man nur die Front- aber nicht die Heckpartie.

Garnicht. Sie tragen ne Textur auf ein grossteils bekanntes 3d-Modell, das höchstens in den Proportionen angepasst wird.
Das ist wie wenn man n fertigen Aimbot hat, dem man nur noch beibringt ein Gesicht zu erkennen. Das verkaufen die dann als Gaming AI.
NVidia hat gerade n Rad ab was Marketing betrifft. Die schaffen gerade ihre ganze Glaubwürdigkeit ab.