News „Chat with RTX“-Demo: Nvidias AI-Chatbot läuft nach Download lokal auf RTX 30 & 40

drmaniac schrieb:
Das finde ich sehr interessant was mich interessieren würde ist ob ich z.b eine eBook Sammlung von meinen lieblingsautoren lernen lassen kann und dann könnte die KI quasi eine Geschichten fortschreiben?

Vergiss es.... Chat GPT wie auch Bard sind noch nciht einmal auf dem Level eines Taschenrechners.... Versuche mal mit den komplexe operationen zu rechnen.... Und da reden wir über Chatsystem, die Großrechner im Rücken haben....

Stell dir das wie kniffel, als würfeln vor. Sehr verständlichg wird das mit den AIs die Bildermalen und dann sachen machen die keinen Sinn machen... und deshalb mnanchaml auch richtig cool sein können, weil sie abstrakt wirken, wie ausn traum.... aber das ist halt dann auch zufall... Ist halt wie son mixer, ne wundertüte, wo etwas tolles, oder auch purer schrott rauskommen kann. Und du wirst vermutlich nicht jeden zweiten absatz müll lesen wollen. ^^

Jetzt kann man natürlich damit argumentieren, "stop es geht ja um schreiben und text, und darauf ist ein Chatbot ausgelegt." Pustekuchen, die dinge schaffen es ja leider noch nichtmal eine ordneltiche Unterhaltung zu führen, die in sich plausibel und stimmig ist. Heute wie mit bard erlebt, wo praktisch jeder zweite antwort in sich unplasibel ist, bzw sich zu der vorigen antwort widerspricht, oder in ner dauerschleife verläuft. Damit willst du kein Buch generieren! Damit kannst du dir vieleihct helfen, assistieren lassen, selber ein buch zu schreiben! Aber das wird in 10 Jahren keinen Autor ersetzen. Die haben weder ein Bewusstsein, können nicht reflektieren oder auch über das was sie schreiben eine Plausibilitätsprüfung machen. Stichwort Wundertüte. gut um bing/google zu ergänzen.... Aber würde mich sehr wundern wen du an deinem Homerechner nen digitalen perryrodan antrainieren könntest.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Haldi
@lynx007
über die API kannst du dir einen "Assistant" bauen dem du über JSON eigene Funktionen gibst beziehungsweise "custom actions". Damit kann ChatGPT besser werden als jeder Taschenrechner. Außerdem kann man in dem normalen Chat auf der Hauptseite auch einfach zu jedem mathematischen Problem schreiben "Test this problem in Python" und dann errechnet und listet er dir alles wie du willst.
 
  • Gefällt mir
Reaktionen: lynx007
@GeleeBlau gut zu wissen. ich bezog mich auch jetzt auf die öffentlich, gefühlt seit 2 Jahren extrem runter kastrierten chatbots, die gefühlt nach jeden zweiten Satz nur müll schreiben.... Aber tagesabhängig....

und ich habe ja schon 2 Jahren nen vid gesehn, wo jeman mittel gpt 4und api sogar quelccode schreiben lässt.... aber irgendwie passt nur noch null zu den erfahrungen die man mit bard oder gpt 3.5 hat. Das was er sagt macht keinen sinn.... und früher hat der dazugelernt, fast wie ein mensch, zumindewst hat es sich so angefühlt.... mitlerweile ist es wie son dummer bot, der nur noch in der schleife läuft, wie schallplatte.... keine Ahnung was die rumgepfuscht haben, aber gpt und bard werden gefühlt immer schlechter.... obwohl gpt vor 2 jahren schon aufsätze verfassen konnte, doktorarbeiten, quelcode.... aber davon ist nichts übrig geblieben.... nur müll in der dauerschleife.... oder miten im gesprächsverlauf "ich bin chatbot, ich kann nicht helfen".... Aus GPT 3.6 ist gefühl, gpt 0.1 geworden. ^^

Muss vieleicht mal wirklich mal das abo und paar apis holen.... Aber alles auf den eigneen Rechner bis da was läuft? So gut wie gpt 3.5 vor 2 Jahren bevor sie alles verändert haben.... stelle ich mir schon wieder sehr schwer vor....
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: GeleeBlau
@lynx007
das stimmt. OpenAI hat bei den älteren Modellen eher heimlich die Tokengröße reduziert. Glaube GPT-3.5 fährt mit 2048 Tokens auf die gesamte Chathistory, was ja grob 10 größere Nachrichten sind bis er es vergisst. Ist halt wie bei allen Firmen, wer vollen Zugriff haben will muss blechen.
 
Wintermute schrieb:
Warum nur Windows 11? Wollte es gerade auf die ausprobieren Liste setzen. Dann eben nicht...

Laut Nvidia geht auch Windows 10... jedenfalls schreiben sie in ihren Text einmal nur Windows 11, aber im ausführlichen Abschnitt: "In addition to a GeForce RTX 30 Series GPU or higher with a minimum 8GB of VRAM, Chat with RTX requires Windows 10 or 11, and the latest NVIDIA GPU drivers."

DaLexy schrieb:
//EDIT
Hab das RTX Chat mal versucht zu installieren, allerdings bricht er ab und installiert Mistral nicht. Habs erstmal wieder runtergeworfen und warte auf ne andere Version.

Bei mir laufen beide Modele nun. Erst versucht auf Laufwerk D: zu installieren und ebenfalls wiederholter Abbruch. Jetzt auf Laufwerk C: alles ohne Probleme.

Nefcairon schrieb:
Ich verstehe das nicht. Das ist eine lokal laufende KI? Was sind da potentielle Anwendungsfälle?

Du möchtest ja nicht alle deine privaten Dokumente und Firmengeheimnisse in die Cloud schicken. Ebenso kannst du so schnell deine Emails, PDFs usw. durchsuchen. Youtube-Videos finde ich aus ein paar Gründen auch interessant.
 
  • Gefällt mir
Reaktionen: FX9590 und Wintermute
@GeleeBlau ja... bei gpt könnte es hinkommen.... Bei bard hat man das gefühl das der nicht mal 2 nachrichten mekren kann..... oft blubbert der um die frage herum, schreibt eine wall of text, nen wikipedia eintrag, obwohl man sagt, fass dich kurz und wirklcih unmissverständlich sagt worum es geht.... ignoriert er! Du frägst nach einen Wert, eine Zahle, eine Funktion... und stattdesnen kommt ne "doktorarbeit..." die wall of text, wo man wie bei c3po den stecker sucht, innerlich schreit "komm zum punkt" und am ende gefühlt paar tausend Zeichen, hast du immer noch keine Antwort auf deine Frage bekommen. ^^ Wie diese androiden "co-piloten" in Star Wars....
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: 2Stoned und Wintermute
Ich verstehe schon wieso die da so lange an den modellen rumtüfteln....

Hab mal kurz par Dokumente reingeschmissen und Fragen gestellt... Die Antworten sind nicht immer ganz korrekt.

1707879243404.png

how many cards are in a Blitz deck?
A Blitz deck for Outsiders consists of 60 cards (plus equipment) and is comprised of 3 pieces: a 20-card CORE list per class, a 20-card Hero 1 list to be added to the CORE, if desired, and a 20-card Hero 2 list to be added to the CORE, if desired.
Reference files:
FAB_Learn_to_Play_Kit.pdf
how many heroes are there?
Based on the given context information, there is only one hero per player in the hero zone.
Reference files:
FAB_Learn_to_Play_Kit.pdf
how many heroes are there to choose from?
Based on the given context information, there are 4 heroes to choose from: Lightning Lexi, Earth Briar, Ice Oldhim, and Ice Lexi.
Reference files:
FAB_Learn_to_Play_Kit.pdf
how many cards are there?
Based on the given context information, there are 34 cards in the core deck plus equipment. However, the number of cards in each green box of the core deck is not specified. Therefore, it is not possible to determine the exact number of cards in the game.
Reference files:
FAB_Learn_to_Play_Kit.pdf
how much health does a hero have?
The context information does not provide information on the health of any heroes.
Reference files:
card - Copy.txt
how much does it cost to play a card?
To play a card, it costs the amount of resource points shown in the top right corner of the card or the amount shown in the text box for an activated ability. The cost of a card or an activated ability is paid when the player declares the cost as part of the process of playing the card.
Reference files:
FaB_Comprehensive_Rules_v2_7_0_access.pdf
how do i attack?
To attack, you need to play an attack card or activate an ability with an attack ability/effect. Once you do this, you must declare an attackable object controlled by an opponent as the target of the attack (attack-target). The attack-target becomes the target of the attack and is resolved in the "Defend" step of the combat chain.
Reference files:
FaB_Comprehensive_Rules_v2_7_0_access.pdf
what does the card Aether Flare do ?
The card Aether Flare is a Wizard Action card that deals 1 arcane damage to a target opposing hero. The next card you play this turn with an effect that deals arcane damage, instead deals that much arcane damage plus X, where X is the damage dealt by Aether Flare.
Reference files:
card - Copy.txt
what does the card widowmaker do ?
The card Widowmaker is a Ranger card that has an attack action. If Widowmaker is defended by fewer than 2 cards, it has +3{p}. The attack action of Widowmaker can be used to attack a hero or a non-hero permanent. When attacking with Widowmaker, the player discards a random card and if a card with 6 or more {p} is discarded this way, Widowmaker gains "go again".
Reference files:
card - Copy.txt
what is the speciality of Azalea?
Based on the given context information, it is not clear what the specialty of Azalea is. The context information includes information about cards and abilities in a card game, but it does not provide any information about Azalea's specialty.
Reference files:
FaB_Comprehensive_Rules_v2_7_0_access.pdf
what is Azalea action?
Azalea is a Ranger hero with a "Once per Turn Action" ability. The ability allows the player to put a card from their arsenal on the bottom of their deck and put the top card of their deck face up into their arsenal. If the top card is an arrow card, it gains "Dominate" until the end of the turn. This ability can be used once per turn.
Reference files:
card - Copy.txt


Aber die Geschwindigkeit läuft gut.
VRAM ist mit 11GB auch recht genügsam mit dem 13B model.
Ergänzung ()

drmaniac schrieb:
Es gibt ja auch romanreihen die sind unfassbar lang z.b 3000 Perry rhodan Romane und wenn ich mir jetzt überlege diese KI könnte quasi das Perry rhodan Universum verstehen und man kann Fragen dazu stellen da wären die Antworten sicherlich sehr interessant.
1707880173006.png

Code:
Parsing nodes: 100%|█████████████████████████████████████████████████████████████████████████████| 197/197 [00:00<00:00, 488.72it/s]
Generating embeddings: 100%|██████████████████████████████████████████████████████████████████████| 787/787 [00:11<00:00, 66.14it/s]

Wer ist Edgar Allan Poe ?
Based on the context information provided, Edgar Allan Poe appears to be an author of various poems and stories, including "Liebe auf den ersten Blick" and "Der Doppelmord in der Rue Morgue." The context suggests that he is a writer who explores themes of love, death, and the human psyche.
Reference files:
(ebook - german) Poe, Edgar Allan - Liebe auf den ersten Blick.pdf
Write a Story similar to Edgar Allan Poe
Certainly! Here's a story similar to Edgar Allan Poe's "The Murders in the Rue Morgue"):
It was a dark and stormy night in the city of Paris. The streets were empty, and the only sound was the howling of the wind. But in one small, dimly lit room, a group of detectives were gathered around a table, intently studying a series of mysterious events.
"Gentlemen," said the lead detective, a man named Dupin, "we have a most peculiar case before us. A wealthy family, the L'Espanayes, have been murdered in their home in the Rue Morgue. The killer, it seems, has left behind no trace, no witnesses, no motive. It is a mystery that has stumped the entire police force of Paris."
"And yet," said one of the detectives, a man named Ganimede, "we have a feeling that we are not dealing with an ordinary criminal. The victims were all found with their heads twisted around, as if they had been looking up at the sky. And the only clue is a small, golden key found near the body of the daughter."
"Ah, but that is where our brilliant Dupin comes in," said another detective, a man named Dufour. "He has a theory that the killer was not human, but rather some sort of supernatural entity. And he believes that the key is the key to unlocking the secrets of the crime."
Dupin nodded gravely. "Gentlemen, I have studied the case, and I believe I have uncovered the truth. The killer was not a human, but rather a creature from another world. And the key is the key to unlocking the secrets of the crime."
"But how can that be?" asked Ganimede. "How can a creature from another world leave behind no trace, no witnesses, no motive?"
"Ah, but that is where our Dupin's brilliance comes in," said Dufour. "He has discovered that the creature was not of this world, but rather a being from the realm of the dead. And it was summoned here by a powerful curse, one that was placed upon the family by a rival of theirs."
"And the key?" asked Ganimede.
"The key, my dear Ganimede, is the key to unlocking the secrets of the curse," said Dupin. "It is a powerful artifact, one that was passed down through the generations of the L'Espanaye family. And it is the key to unlocking the secrets of the crime."
The detectives nodded gravely, their minds racing with the implications of Dupin's theory. They knew that they had a long and difficult road ahead of them, but they were determined to uncover the truth behind the murders in the Rue Morgue. And with Dupin's brilliance leading the way, they knew that they would uncover the truth, no matter how strange and otherworldly it may be.
Reference files:
(ebook - german) Poe, Edgar Allan - Der Doppelmord in der Rue Morgue.pdf
Wobei das auch bereits der "Llama 2 13B int4" Grunddatei bekannt sein könnte!
Ergänzung ()

Kraeuterbutter schrieb:
könnte man so ein KI Modell seine DAten "Einlernen lassen" (primär: Fotos und Videos)

und dann so fragen stellen wie:
"ich war mal auf einer RAdtour mit Zelt.. hab in einem Wald übernachtet. Es gab einen wunderschönen Sonnenuntergang mit Sonnenstrahlen durch den Wald die das Zelt schön beleuchtet haben.
es muss zwischen 2010 und 2012 gewesen sein"

und die KI findet mir das Foto bzw. liefert mir 50 Fotos wovon dann eines davon das richtige ist..
Ja und nein.
Technisch durchaus möglich. Müsstest du aber alles selber programmieren.
Steht und fäll aber mit der Bild Erkennung. Und die ist zwar sehr gut aber leider sehr schlecht!
Objekterkennung in Bildern funktioniert sehr gut. Aber die komplette Bild Analyse zur Definition was in dem Bild drin ist.... Naja...
Facebook war vor 10 Jahren schon etwa gleich weit wie jetzt.

Kannst du aber bereits selbst ausprobieren.
Immich hat ne Suche integriert und analysiert alle deine Fotos Lokal.
Screenshot_20240214_043708_Firefox.jpg
V1.94 ist noch mit der alten Such Engine. Sie sind am wechseln auf eine neue.
https://github.com/immich-app/immich/releases
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: Moerf, Wintermute, Apocalypse und 2 andere
"And because it all runs locally on your Windows RTX PC or workstation, you’ll get fast and secure results"
Klar Windows.. fast and secure
 
drmaniac schrieb:
Könnten Studenten damit ihre lernskripte von der KI lernen lassen und sich Zusammenfassungen erstellen lassen?
Ja, können sie, könnte halt Blödsinn sein, weil die KI aktuell null Verständnis darüber hat was sie ausgibt. Das I in KI ist noch eine Lüge, sind halt immer noch "nur" komplexes Machine Learning bei dem Ausgeben wird, was die der Algo für die wahrscheinlichste Antwort hält.
 
SpartanerTom schrieb:
@konkretor Aber vielleicht ändert man da ja endlich die Denkweise. Das Ausklammern der Consumer GPUs ist meiner Meinung nach ein großer Fehler.
Irtgendwann weinen alle wieder, weil Consumerkarten für "Businesszwecke" entfremdet werden. Wissen wir, ob der Preis der Grünen so hoch ist, weil die Deppenconsumer ihn zahlen oder weil viele Karten in Rechenzentren gehen?
 
  • Gefällt mir
Reaktionen: Cool Master
Matthias B. V. schrieb:
Die Meisten Nutzer werden Tools von Microsoft, Google, Apple, etc. nutzen da die ohnehin in die Software integriert werden...

Die meisten Nutzer werden nichts davon nutzen außer 3-5 mal damit herum spielen und dann ist es nicht mehr interessant. Man sieht es ja an ChatGPT. Vor einem Jahr noch völliger Hype heute spricht niemand mehr drüber.
 
  • Gefällt mir
Reaktionen: Haldi und Matthias B. V.
Cool Master schrieb:
Vor einem Jahr noch völliger Hype heute spricht niemand mehr drüber.
Ist doch gut so, ich erhoffe mir eine Professionalisierung in dem die KIs endlich als Werkzeuge normalisiert werden.

Edit: Es gibt ja noch genügend Entwicklungsarbeit in diesem Thema.
 
Zuletzt bearbeitet:
@KarlsruheArgus

Werden sie und sind sie bereits. Das Problem ist aktuell noch, dass der Mehrwert bzw. die Qualität noch nicht voll gegeben ist aber ich denke noch 2-3 Jahre und das Problem ist auch weg. Sieht man ja schon an Bildern die im Prinzip jeden Tag besser werden. Was Video angeht sieht man ja schon was damit geht siehe z.B. Corridor Digital.
 
Es wäre durchaus Interessant ob man zB auch OpenAI Forks wie LocalAI mit RTX Karten zum laufen bekommt. Nachdem bereits alles auf GitHub gepostet wurde kann auch das vermutlich nicht lange dauern. Mein Celeron J4105 Miniserver braucht im Schnitt 32 Sekunden um eine Antwort für ne Anfrage von HomeAssistant/WyomingSatellite an den RasPi Zero zurück zu schicken. :freak:
OpenAI funktioniert zwar, kostet aber auch 0.01 USD per API Call. Aber gut wir sind ja noch am Anfang der ganzen AI Geschichte.
 
  • Gefällt mir
Reaktionen: meneguzzo68 und Haldi
ja, so lernt NVidia auf Kosten der Fanbois...
 
  • Gefällt mir
Reaktionen: Mondgesang
drmaniac schrieb:
Oder wie wäre es mit einem neuen Harry Potter Roman
Würde sich kaum was ändern. Die Grütze der letzten Jahre (natürlich auch etlicher anderer Franchises) kann nur AI generiert sein. Auf sowas Fahdes kommt doch kein Mensch.
Ergänzung ()

drmaniac schrieb:
lokale KI zu haben die meine Daten eben nicht in die Cloud und in die Welt hochlädt
Und das glaubst du? (ernste Frage, kein Sarkasmus, obwohl ich mir den massiv verkneifen musste).
 
Ich finde AI Thema schon interessant aber bin was die Technik dahinter angeht aber nicht im Thema.

Mich würde aber dennoch interessieren wenn ein Minimum von 8GB ausreichend ist (auch wenn es dann langsam ist) warum werden dann hier die 2000 Karten außen vor gelassen ?

Soviel ich weiß haben die 2000er Karten zu den vergleichbaren Versionen (2070>3070>4070, 2080>3080>4080) mehr Tensor Cores.

Somit sollten diese doch nicht Schlechter sein als eine 3070 oder 4070 (Ausnahme des höheren RAM’s bei der 4000 modellen)

Wenn hier allein der VRAM und die Tensor Cores eine Rolle spielen.

Wie gesagt interessiert mich halt und wenn einer das hier Beantworten könnte wäre das nett.


Wenn Zeit der einzige Faktor dann ist, würde mich das je nach Anwendung nicht stören. Kenne selber noch Zeiten da hat man mal ebend 20h für das Umwandeln einer Wave Datei in eine lausige MP3 gebraucht ^^
 
Zurück
Oben