News Nvidia RTX Voice: Sehr gute Ergebnisse, aber es reicht auch GeForce GTX

[Weedlord]

Nvidia würde aber gut daran tun, es am Ende offiziell auch für GeForce GTX freizugeben.

Fände ich auch richtig, immerhin ist das die vorletzte Generation von Nvidia. Da können die ruhig noch ein Feature nachschieben. Ich kann aber verstehen wenn man die 900er Reihe nicht mit dem Feature beglücken will, Nvidia ist letztlich ein Unternehmen was Geld verdienen will.

 

[Pisaro]

Übrigens: Wenn Nvidia schreibt, RTX sei eine Voraussetzung für das Feature, heißt das nicht, dass es nicht auch auf anderen Karten laufen könnte.

Doch eigentlich schon, denn genau das impliziert das Wort Voraussetzung.

"Sie wollen hier arbeiten? Haben Sie eine Ausbildung? Das ist hier Voraussetzung" "Nein habe ich nicht" "und tschüss"...

 

[dampflokfreund]

So wie ich das sehe, gibt es derzeit nur einen logischen Grund für den gleichen Performance-Hit bei Turing und Pascal: RTX Voice läuft derzeit ausschließlich auf den CUDA cores und per FP32 Berechnung. Das würde ebenso den hohen Speicherverbrauch erklären. Meiner Ansicht nach möchte Nvidia in Zukunft die Tensor Cores nutzen und verspricht sich einen hohen Qualitäts und Performance-Gewinn, weshalb sie es RTX Voice nennen und es auf RTX locken. Eine zukünftige Version wird dann wohl in FP16 auf den Tensor Cores laufen. Man könnte es mit der shaderbasierten DLSS 1.9 Version bei Control und jetzt DLSS 2.0 vergleichen. Zudem sehe ich bei Nvidia's Webseite auch keine Indizien, dass die Tensor Cores gerade genutzt werden, es steht nur was von "Nutzt AI-Fähigkeiten" aber das kann ja alles bedeuten, denn Nvidia GPUs haben durch CUDA auch so gute AI Performance. Würde es die Tensor Cores in der derzeitigen Version nutzen, dann würde Nvidia sicherlich das auch bewerben, wie sie es bei DLSS 2.0 ja tun, was nachweislich die Tensor Cores in großen Umfang nutzt.

Gegen diese Theorie spricht nur, dass es eben trotzdem gut auf den CUDA Kernen läuft und man es daher nicht auf RTX locken müsste, also bitte Nvidia, entwickelt auch eine GTX Version. Ich bin mir sicher, die 10% Performance-Einbuße können GTX User verkraften.

 

[captain kirk]

Ich glaube auch nicht, dass da wirklich irgendein Fallback aktiv wird. So wie sich die Sache zur Zeit darstellt, läuft RTX Voice immer auf den gewöhnlichen Shadereinheiten.

Das macht für das neuronale Netz wenig Sinn , hier bei RTX Turing dauerhaft auf die normalen ALUs zu setzen, wenn ich mit RTX 8bit kleine schnell schaltende Tensor Cores habe , die das nun mal um einiges schneller abarbeiten

Es ist doch im Grunde vom Ablauf nix anderes wie DLSS
Ich tippe darauf das die Beta nur noch nicht vollends angepasst ist auf deren Verwendung

Und an alle die die meinen RTX Voice als Label wäre sugestiv , ja ist es auch ,denn es soll ja auch die bessere Methode bewerben, und damit selbstredend die RTX Modelle mit den Tensor Cores

Das schließt aber keinesfalls aus, das alle anderen nicht den Fallback bekommen, denn Turing ist mehr wie nur RTX 2060 aufwärts

Wer sich da unbedingt in Wortklauberei ergehen muss ,bitteschön sein Problem

 

[SVΞN]

Das macht für das neuronale Netz wenig Sinn, hier bei RTX Turing dauerhaft auf die normalen ALUs zu setzen (...)

Na dann kommt da ja ggf. noch was.

Zur Zeit läuft da ganz sicher noch nichts auf den Tensor Cores, denn dann müsste sich die RTX 2060 stärker von der GTX 1060 ansetzen können.

Warten wir einfach mal ab was da rauskommen wird.

 

[captain kirk]

Ausschlusskriterium könnte aber sein , wenn schon DLSS in Verwendung ist, denn dann muss sogar der Fallback greifen, sonst nimmt ein neuronales Netz ,dem anderen die Ressourcen weg

 

[McFly76]

Ich glaube auch nicht, dass da wirklich irgendein Fallback aktiv wird. So wie sich die Sache zur Zeit darstellt, läuft RTX Voice immer auf den gewöhnlichen Shadereinheiten.

Das könnte man doch mit dem eigenem Tool von Nvidia prüfen ? https://developer.nvidia.com/nsight-graphics

 

[dampflokfreund]

Das könnte man doch mit dem eigenem Tool von Nvidia prüfen ? https://developer.nvidia.com/nsight-graphics

Das ist aber nur für Spiele. Du kannst damit die Tensor Aktivität von Spielen überprüfen, aber keine Audio Software. Allerdings gibt es eine Nsight-Version für Compute, mit der sollte man die Tensor-Aktivität allgemein überprüfen können.

Ausschlusskriterium könnte aber sein , wenn schon DLSS in Verwendung ist, denn dann muss sogar der Fallback greifen, sonst nimmt ein neuronales Netz ,dem anderen die Ressourcen weg

Hab das schon getestet, RTX Voice hat kein Einfluss auf DLSS. Ein weiteres Indiz dafür, dass es derzeit auf den CUDA Cores läuft, denn da RTX Voice innerhalb des ganzen Frames läuft, sollte auch der Rekonstruktions-Prozess betroffen sein, ist er aber nicht! Gleichzeig hat aber RTX Voice die gleiche Performance Einbuße egal ob DLSS on oder off, demzufolge gibt es da also kein Fallback, es scheint generell auf den CUDA Kernen zu laufen.

 

[captain kirk]

Hab das schon getestet, RTX Voice hat kein Einfluss auf DLSS.

darf es eigentlich auch nicht ,DLSS müsste eigentlich wenn es dann irgendwann für beide Optionen ginge, als primär geflaggt sein,und RTX Voice sich dem unterordnen und notfalls zurückschalten auf die ALUs

Aber vielleicht braucht Ampere das dann nicht mehr, wenn die da ordentlich aufstocken ...

 

[Oneplusfan]

Doch eigentlich schon, denn genau das impliziert das Wort Voraussetzung.

"Sie wollen hier arbeiten? Haben Sie eine Ausbildung? Das ist hier Voraussetzung

Hier geht es aber um Systemvoraussetzungen. Ähnlich wie bei Spielen: X/Y wird vorausgesetzt, d.h. aber nicht, dass es mit schlechterer Hardware nicht auch läuft.
Nur garantiert dir das halt niemand.

Zudem ist dieser Trick so offiziell auch gar nicht vorgesehen, insofern läuft es ja eigentlich auch nicht.

Bei deinem Beispiel würde ich lügen und ja sagen. Dann werde ich eingestellt und niemand merkt es, weil die Ausbildung doch nicht ausschlaggebend/wichtig war.

Aber so wie ich die meisten hier verstehe, hat sich Nvidia mit dem Teil hier wohl ein Eigentor geschossen.
Hätten sie gar nichts gebracht, wäre der Hate ausgeblieben. Interessant

 

[eLdroZe]

Habs heute mal installiert. Im TS hört nun niemand mehr wenn ich im Ragemode auf der Tastatur schreibe oder wenn ich Shisha rauche, was davor immer alle gestört hat. Funktioniert fein. Beim Spielen sind mir bisher keine Leistungseinbußen aufgefallen. Waren aber auch keine hardwarehungrigen Games bisher.

 

[#Andreas#]

2080 tai

 

[Drakonomikon]

Das ist sehr beeindruckend wie gut dieser Filter funktioniert. Ich würde gerne nachrichtentechnisch verstehen wie dieser Filter im Detail arbeitet.

 

[dampflokfreund]

darf es eigentlich auch nicht ,DLSS müsste eigentlich wenn es dann irgendwann für beide Optionen ginge, als primär geflaggt sein,und RTX Voice sich dem unterordnen und notfalls zurückschalten auf die ALUs

Aber vielleicht braucht Ampere das dann nicht mehr, wenn die da ordentlich aufstocken ...

Nicht zwangsläufig. Es hängt davon ab, wie viel Compute-Leistung DLSS und RTX Voice beanspruchen. Es wird ja nur einmal die volle Rechenleistung der Tensor Cores genutzt, nämlich in einem winzigen Bruchteil am Ende eines Frames in z.B. Minecraft mit DLSS. Da stört ein Tensor Core RTX Voice gar nicht (abseits von kleinen Performance-Schwankungen wie vorher und unten erläutert). Heißt, beide können gleichzeitig ausgeführt werden. Dass sich irgendwas unterordnet, hab ich jetzt noch nichts von gehört. FP16 Operationen werden immer auf den TC ausgeführt.

Hab dazu gerade eben einen interessanten Test gemacht: es gibt das sogenannte Nvidia AR SDK, welches die Tensor Cores für Facetracking in OBS mittels eines Plugin nutzt ( https://developer.nvidia.com/rtx-broadcast-engine#arsdk ) , also OBS angeschmissen und als Quelle ein Bild einer Frau ausgewählt. Warum ein Bild? Nun, das Screen-Mirroring oder das Nutzen einer Webcam alleine würde schon Rechenleistung beanspruchen, mich interessiert ja nur die Rechenlast der KI selbst.

Dann Minecraft gestartet und die Window-Size so verändert, dass ich bei nativ sowie DLSS respektiv 60 FPS erhalte. Ergebnis: bei der nativen Auflösung hab ich keine Einbuße in der Performance. Bei DLSS verlier ich aber 1-2 FPS! Die Ki hat währenddessen ihre Arbeit gut verrichtet, hat brav auf das Gesicht draufgezoomt.

So muss das also aussehen, wenn die TC wirklich genutzt werden. Natürlich weiß ich nicht, wie aufwendig das Face-Tracking Modell im Vergleich zu RTX Voice ist, aber einen kleinen Anhaltspunkt hat man mit dem Test definitiv.

 

[benneq]

verstehen wie dieser Filter im Detail arbeitet.

Es ist ein Neuronales Netzwek, trainiert mit menschlicher Stimme. Damit wird dann der Audio Stream analysiert und alles rausgeworfen, was nicht nach menschlicher Stimme aussieht.
Insgesamt handelt sich eigentlich "einfach" nur um Mustererkennung. Eine ganz simple Form der Mustererkennung ist z.B. das Anti Aliasing. Bei simplen Anti Aliasing Verfahren werden dabei einfach die Farbwerte von umliegenden Pixeln verglichen, und wenn ein bestimmtes Muster gefunden wird, werden ein paar Farbwerte abgeändert, sodass der Treppeneffekt verschwindet.

Das Interessante an Neuronalen Netzwerken ist nun aber, dass man hochkomplexe Muster verwenden kann. Und die Erkennung auch funktioniert, wenn man völlig neue und unbekannte Daten analysieren lässt. Das wird dann auch gerne als "KI" bezeichnet. Funktioniert dann genau so wie die menschliche Intelligenz: Du kannst eine Katze als Katze identifizieren, obwohl du genau diese Katze noch nie zuvor gesehen hast. Aber das Neuronale Netzwerk in deinem Kopf kennt andere Katzen und kann sich daraus ein Muster für Katzen zusammenreimen, und wenn du was auf der Straße siehst, das diesem Muster genügend ähnelt, dann weißt du: Aha! Eine Katze!

Das Ergebnis einer solchen Mustererkennung wird in der Regel mit einer Wahrscheinlichkeit angegeben und es können auch mehrere Ergebnisse rauskommen, wie z.B. Objekt trifft zu 95% eine Katze zu und zu 33% auf einen Hund. Dann liegt es natürlich bei den Software Entwicklern diese Daten sinnvoll weiterzuverarbeiten, z.B. kann man sagen, dass man Ergebnisse erst ab 99,9% akzeptiert, oder bei mehreren Ergebnissen einfach das mit der höchsten Wahrscheinlichkeit nimmt.
Es können natürlich auch mehrere Objekte in einem Bild erkannt werden. Und das Neuronale Netz kann dir auch zeigen wo genau sie das Objekt gefunden hat.

Und genau das passiert auch beim Filtern von Audio Streams. Es werden halt keine Bilder analysiert, sondern Audio Samples. Aber im Endeffekt macht das keinen Unterschied: Man sucht bekannte Muster in einem Datenhaufen.
Bei RTX Voice wird nach menschlicher Stimme gesucht, und alles was überhaupt nicht erkannt wurde oder mit einer sehr geringen Übereinstimmung wird aus dem Audio Stream entfernt.

Wenn du genauer wissen willst, wie so ein Neuronales Netz arbeitet, such einfach bei der Suchmaschine deiner Wahl nach "neuronales netz funktionsweise" oder "mustererkennung".

 

[Memono]

Also mit welchen Karten funktioniert es nun letztlich? Ein Freund mit einer GTX760 konnte es zwar installieren, aber die Stimme wird dann nicht übertragen. Mit meiner 1070 funktioniert es einwandfrei.

 

[KlaraElfer]

Wieder seitenweise Hate für ein eigentlich sehr gutes Feature, muss man nicht verstehen.
Als ob irgendjemand den Anspruch darauf hätte, dass neue Software mit 4 Jahre alten GPUs arbeiten muss und die Hersteller den Support ewig mitschleppen. Aktuell ist die Software Beta und wird offensichtlich über normale Cuda Cores berechnet.
Bin sehr gespannt wie sich das entwickelt.

 

[Vitche]

Also mit welchen Karten funktioniert es nun letztlich? Ein Freund mit einer GTX760 konnte es zwar installieren, aber die Stimme wird dann nicht übertragen. Mit meiner 1070 funktioniert es einwandfrei.

Das kann derzeit noch niemand genau sagen. Garantiert funktionieren sollte es natürlich mit Turing RTX, aber auch mit Turing GTX und mit Pascal (GTX 10xx) kriegen es wohl fast alle zum Laufen. Bei Maxwell (GTX 9xx) ist es ein Glücksspiel und bei noch älteren Generationen und AMD-Karten läuft es wohl (eher) nicht.

 

[K3ks]

GTX760

Ist praktisch ein locker 8 Jahre alter Keplerchip (ab Geforce 6xx), insofern...

Wieder seitenweise Hate für ein eigentlich sehr gutes Feature

404 - der "hate" war nicht auf/gegen das feature gerichtet, ganz im Gegenteil -> Reaktion ist positiv hier, verständlicherweise imo.

Als ob irgendjemand den Anspruch darauf hätte, dass neue Software mit 4 Jahre alten GPUs arbeiten muss und die Hersteller den Support ewig mitschleppen.

Tja... Hier hast du meiner Meinung nach recht, die Entscheidung liegt bei Nvidia aber deren Geschäftspraktiken und evtl. (in diesem Fall) deren Kommunikation führen zu solchen Reaktionen, auch mehr als verständlich. Natürlich würde es mich freuen wenn ältere Karte neue Features kriegen, erwarten tue ich das nur eingeschränkt bzw. garnicht.


Btw. hab ich den Apologeten schon vor Seiten geblockt, good riddance.

 

[tiga05]

Die Frage ist doch: Läufts auf meiner CPU? Weil ich habe beim Zocken noch nen paar CPU Cores frei, während meine GPU nahe Anschlag läuft (GTX1080).

Aber ich vermute halt: eher nicht, weil die Software halt für die GPU geschrieben ist, und dort mit massig Rechenleistung in Form von vielen Kernen "gelöst"/erschlagen wird.