News Nvidia ACE ausprobiert: KI-NPCs machen Spaß, eine RTX 4060 hat aber zu wenig VRAM

[raPid-81]

Lustig wie Nvidia der eigene Speicher Geiz bzw. die Gewinnmaximierung bei einem ziemlich geilen Feature auf die Füße fällt.

Jo, fällt Ihnen bestimmt TOTAL auf die Füße. Es war zwar schon immer so dass die neuesten Features nur auf den neuesten Grafikkarten liefen, aber hey, hauptsache man kann Nvidia bashen, gell?

Wenn in frühestens 2-3 Jahren Spiele mit ACE erscheinen, dann ist die 4060 3-4 Jahre alt. Wer nicht spätestens jede 2. Gen aufrüstet kann, konnte, und wird wohl, nie alle Features der neuesten Spiele nutzen.

 

[usernamehere]

Richtig geil! Hoffentlich hört Nvidia dann mal mit dem VRAM-Geknausere auf. Dann könnten alle Spieler in den Genuss von sowas kommen.

dann ist die 4060 3-4 Jahre alt

Halt schon echt scheiße, wenn die 3060 das dann hinkriegt und die 4060 nicht. Da muss man nichts beschönigen, das ist peinlich.

Edit: Die oben im Text erwähnten 4B Parameter sind für einen so eingeschränkten Anwendungsbereich ziemlich groß. Da gibt es sicherlich noch viel Raum für Model Compression, um die Inference Efficiency zu verbessern und gleichzeitig die Response Latency zu senken. So könnten auch die Zugangsvoraussetzungen für den Einsatz erheblich reduziert werden.

 

[t3chn0]

Das Potential kann ich noch verstehen. Die Präsentation ist aber....."gewöhnungsbedürftig".

Der Boy spricht in gebrochenem Englisch und die AI Antwort klingt so, als ob die Dame am anderen Ende in ein billig Mikrofon im Discord spricht.

Aber natürlich verstehe ich, dass dies die ersten Auswüchse sind.

Dennoch hätte man sowas deutlich geschliffener präsentieren können (meiner Meinung nach).

 

[AI-Nadja]

@AI-Nadja
Auf 42 sollte die AI schon recht fix kommen 😉.

Dann müsste sie ja außerhalb ihres Universums denken können.
Oder kennen wir die Antwort auch nur deshalb, weil unsere AI einen Film darüber drehen ließ, welcher aus einem uns übergeordneten Universum stammt? 🤔

 

[t3chn0]

Vermutlich wieder Nvidia Exklusiv? Oder lassen sie die Konkurrenz wieder irgendeinen Müll berechnen, damit sie langsam erscheinen?

An eine offene Lösung die Gaming voran bringt, glaube ich bei Nvidia irgendwie nicht...

Ja, mit einer AMD Karte klingt die Konversation nach einem 102 jährigen Schlaganfall Patienten auf Ecstasy.

 

[Vigilant]

Oder kennen wir die Antwort auch nur deshalb, weil unsere AI einen Film darüber drehen ließ, welcher aus einem uns übergeordneten Universum stammt?

Durchaus naheliegende Hypothese, wobei ich nicht von übergeordnet ausgehen würde, weil das eine Hierarchie in einem möglichen Multiversum implizieren würde 🤯.

 

[Boimler]

Schön, dass hier KI lokal arbeitet. Das ist zumindest der richtige Trend. Bisher sind die LLM ja im Grunde nur eine Fortsetzung der Datenkraken, die es schon gibt.

@Vitche Ich gehe Wetten ein, dass es in der 5000er Generation wieder ein 8GB Modell geben wird. Einfach weil sie es können .

 

[Deeen]

Da gab es doch eine Mod für Skyrim, mit der ein NPC nebenher läuft und einen voll sabbelt, oder? Sah interessant aus, ebenfalls mit lokalen LLM, habe ich aber nie getestet.

 

[icetom]

darin steckt ein riesen Potentail, die Demo zeigt aber einen Fall den ich gerade nicht als interessant dafür bewerte. Ich hab keinen Bock ewig den Bot über so Standardfragen auszufragen, stattdessen wäre es schneller einfach die Mechs mit Werten in einer Tabelle zu sehen. Ich stelle mir das noch zu schwierig vor, tatsächlich interessante Gespräche zu führen. z.b. in Fallout richtig variabel mit einem NPC zu sprechen und der Spielverlauf sollte dann natürlich auch dynamisch auf meine Sprache reagieren. Es führt dort aber dann die ganze Spielmechanik ad absurdum mit den Sprache-Stats. Die Schwierigkeit für die Entwickler wird, sich nicht ganz darauf zu verlassen, sonst wird es öde und Standard.

Die Antworten und das Gespräch sind hier im Beispiel so Standard, dass hier das ganze Potential verschenkt wird. Wird sicher aber noch super in ein paar wenigen Jahren.

 

[Nine-tailed Fox]

Liest sich sehr gut und interessiert mich viel mehr als wie viel (einstellige) % eine CPU/GPU schneller als die Andere ist.

Ich hoffe das hier wird die Zukunft und dafür würde ich am ehesten nochmal aufrüsten. Auch auf ne Nvidia GPU.

PS: Awesome dass ihr nach nem Date gefragt habt 😅👍

 

[Rickmer]

Vermutlich wieder Nvidia Exklusiv? Oder lassen sie die Konkurrenz wieder irgendeinen Müll berechnen, damit sie langsam erscheinen?

Würde ich mir nicht so sicher sein.

Man kann es zumindest das Minitron 4B direkt von Huggingface herunterladen - wobei ich mir das NVIDIA Open Model License Agreement nicht durchgelesen habe.

Wobei vermutlich eine leicht abgewandelte Version zum Einsatz kommt, weil bei Huggingface steht explizit "This model is for research and development only."

Falls das Feature für das Spiel zentral sein soll kann ich mir nicht vorstellen, dass es exklusiv gehalten wird.

Edit: Die oben im Text erwähnten 4B Parameter sind für einen so eingeschränkten Anwendungsbereich ziemlich groß. Da gibt es sicherlich noch viel Raum für Model Compression, um die Inference Efficiency zu verbessern und gleichzeitig die Response Latency zu senken. So könnten auch die Zugangsvoraussetzungen für den Einsatz erheblich reduziert werden.

Hmm... siehe hier:

Minitron-4B-Base is a large language model (LLM) obtained by pruning Nemotron-4 15B; specifically, we prune model embedding size, number of attention heads, and MLP intermediate dimension. Following pruning, we perform continued training with distillation using 94 billion tokens to arrive at the final model; we use the continuous pre-training data corpus used in Nemotron-4 15B for this purpose.

Ich würde mich nicht darauf verlassen, dass nvidia die niedrig hängenden Früchte nicht abgeerntet hat.

Ob es wohl auf Dauer bei dem Model bleibt? Oder wird es in 1-2 Jahren ein Update mit besserem LLM geben?

Der Boy spricht in gebrochenem Englisch und die AI Antwort klingt so, als ob die Dame am anderen Ende in ein billig Mikrofon im Discord spricht.

Der hat normal in einem typischen (wenn auch relativ starkem) asiatischen (japanischen?) Akzent gesprochen. Gebrochen war da nichts.

Für ein gutes TTS (text to speech) hat vermutlich der VRAM nicht gereicht

 

[SportMönch]

Das mit der 4060 konnte sich wohl jeder Käufer von Anfang an denken. Ich weis das die nicht gerade billig ist, aber in meinem Augen gibt es kein einziges, sinnvolles, Argument das für die 4060 spricht.

Egal… ACE ich brauch dich unbedingt und will dich so schnell wie möglich und gut umgesetzt in BG4 sehen 😂

 

[ZeT]

• KI-NPC: "Sei gegrüßt, Abenteurer! Kannst du mir die Gewürze für meinen Trank bringen? Du bekommst auch eine Belohnung!"
• Mensch: "Nur wenn du die endgültige Frage nach dem Leben, dem Universum und dem ganzen Rest beantwortest!"

Ich weis nicht ob 42 dich wirklich weiter bringt. ^^

 

[AssembIer]

Ich sehe das Potential bez. KI und Gaming eher auf Seiiten der CPU.

Wenn die Einheiten zur AI Beschleunigung eh bald großflächig wegen Windows bei den CPUs Einzug halten wäre das der ideale Anwendungsfall.

Die CPU hat meist wegen GPU Limit nicht viel zu tun und Speicher (RAM) steht i.d.R. auch genug zur Verfügung. Da können es dann auch mal etwas größere Modelle sein.

 

[Corpus Delicti]

[auf einer GeForce RTX 4060 läuft ACE aber nicht]

Wer so einen alten Schinken an GraKa hat, sollte sich besser gleich ein neues nVidia-Produkt kaufen...

 

[Botcruscher]

8GB sind zu wenig... ach! Nein doch oh!

 

[PrinceVinc]

Lustig wie Nvidia der eigene Speicher Geiz bzw. die Gewinnmaximierung bei einem ziemlich geilen Feature auf die Füße fällt.

Nicht wirklich... da es bloß den Anreiz zum Kauf der nächsten Gen ist... das scheint mir eher so geplant...

 

[Rickmer]

Wenn die Einheiten zur AI Beschleunigung eh bald großflächig wegen Windows bei den CPUs Einzug halten wäre das der ideale Anwendungsfall.

Als Spieleentwickler müsste man mindestens 6-10 Jahre warten bis man davon ausgehen kann, dass genügend Anteil des Publikum eine CPU mit integrierter NPU hat.

Dazu kommt noch, dass falls das Spiel auf anderen Plattformen veröffentlicht werden soll noch zusätzliche Probleme entstehen. Vielleicht haben die PS6 und wie auch immer die nächste xbox heißt eine NPU. Vielleicht auch nicht. Auf jeden Fall wird das noch etwas auf sich warten lassen und hätte keine Abwärtskompatibilität zur vorherigen Generation.

Aktuell ist es einfacher auf die GPU zu gehen - da kann wenigstens davon ausgegangen werden, dass alle Spieler eine haben.

 

[Haldi]

Ich finde die Idee dahinter richtig gut...
Aber an der Umsetzung zweifle ich noch.

Wär aber schon cool wenn man so in Cyberpunk einfach JEDEN Bürger ansprechen könnte und die alle irgend was zu erzählen hätten.

hier macht AI tatsächlich sinn. schlaue interaktive gegner

.... Die KI übernimmt aber nicht die kontrolle der NPC's, sie gibt nur die Antworten aus und die Befehle die sie ausführen sollen. also in Shootern wirst du immernoch genau gleiche brotdumme Zielscheiben haben.

und die AI Antwort klingt so, als ob die Dame am anderen Ende in ein billig Mikrofon im Discord spricht.

So klingt doch jede AI ausser die neu vorgestellte OpenAI version. die hört sich aber IMHO extrem nervend an.... mit so einer würde ich keinen Tag überleben.

Da gab es doch eine Mod für Skyrim, mit der ein NPC nebenher läuft und einen voll sabbelt, oder?

Solange der nicht Mud heisst geht das schon in Ordnung...

 

[pitu]

RIP Traumberuf Synchronsprecher!