„Chat with RTX“-Demo: Nvidias AI-Chatbot läuft nach Download lokal auf RTX 30 & 40

Nach der Ankündigung im Januar hat Nvidia heute „Chat with RTX“ zum Download für jedermann freigegeben, wobei nur Inhaber einer GeForce RTX 3000 oder GeForce RTX 4000 auch in der Lage sind, den AI-Chatbot auch auszuführen. Das Large Language Model kann mit eigenen Daten gefüttert werden.

50 bis 100 GB Download-Volumen

„Chat with RTX“ basiert auf dem SDK TensorRT und beschleunigt Berechnungen mittels der Tensor-Kerne in den Ampere- und Ada-Lovelace-GPUs.

Der initiale Download beträgt 35,1 Gigabyte, je nach im Installationsprozess gewählten Modellen fallen letztendlich aber 50 bis 100 GB an. Die Installation kann 30 bis 60 Minuten Zeit in Anspruch nehmen. Eine Demo kann über eine Website des Entwicklers bezogen werden.

Ab Werk nutzt Chat with RTX das Large Language Model Mistral 7B int4 und hat lokal Zugriff auf einen Ordner mit Blogbeiträgen zu GeForce-Neuigkeiten, zu denen Nutzer über Chat with RTX Fragen stellen können. Alternativ lassen sich eigene Inhalte (Dokumente, Notizen, Videos, Audiodateien) auswählen, wobei das Hinzufügen neuer Inhalte Zeit in Anspruch nimmt um das Modell die Daten einbinden zu lassen – je nach Systemkonfiguration, Art und Umfang der Dateien unterschiedlich lange.

Als weitere Möglichkeit steht über die Benutzeroberfläche das Erstellen von YouTube-Transkripts zur Verfügung, die über Chat with RTX anschließend „ausgefragt“ werden können. Chat with RTX stellt in der Antwort auch den Link zum Video, in dem sie gefunden wurde, zur Verfügung.

Persönliche Daten gehen nicht in die Cloud

Nvidia verspricht durch die lokale Ausführung des Modells, dass die Daten sicher sind:

And because it all runs locally on your Windows RTX PC or workstation, you’ll get fast and secure results.

Was Chat with RTX noch nicht kann, ist die Verknüpfung von Fragen: „Wann erschien sie?“ liefert also keine Antwort, auch wenn davor „Was kostet die GeForce RTX 4080?“ gefragt wurde.

Systemvoraussetzungen für Chat with RTX
Grafikkarte	Grafikkarte der Serie GeForce RTX 30 oder GeForce RTX 40 mit mindestens 8 GB VRAM
Grafiktreiber	GeForce 535.11 oder neuer
Betriebssystem	Windows 11
Arbeitsspeicher	mindestens 16 GB RAM
Speicherplatz	50 bis 100 GB SSD/HDD