News OpenAI: Verluste steigen durch ChatGPT-Entwicklung auf 540 Mio. Dollar

Hab mich heute nacht damit beschäftigt. Die Datenbank ist ca. 20 GB gro und muss in gpu ram passen. Dann hat man fast gpt3 Niveau. Natürlich wie forist schrieb hat man dann schon eine trainierte Version in seinem gpu RAM. Ne 3090 wurde gute arbeit leisten und hat sli oder nvlink wie das immer jetzt heisst.

Wird dann aucjnir belastet wenn man Nr anfrage macht.


Am Beispiel des geleakten llama gibt es dazu einiges im web
Ergänzung ()

Die trainierte Version mit unter 10 GB ist gpt2 Niveau und passt auf ne 3080 und kleiner
 
KI-Forschenden ? o_O
 
  • Gefällt mir
Reaktionen: Zockmock, Ichthys, Talis1000 und eine weitere Person
Ich bin mir sicher, sobald das die Copyright Fälle bei den Gerichten nicht nur als Klage liegen, sondern so in Richtung Entscheidung gehen, wird da vieles in sich zusammenfallen. Getty Images hat ja schon eine dicke Klage eingelegt und will deren Bilddatenbank aus dem Basismaterial rauslösen lassen.

🍿
 
Zeitwächter schrieb:
Aber nicht mehr weit und wir haben auch einen Jarvis von Tony Stark :D
Gibt es schon
 
seyfhor schrieb:
Das muss man sich halt leisten können. Aber wenn man die Micro$oft Milliarden hat kann man ja auch etwas klotzen und muß nicht kleckern.
Für Bing muss es womöglich so aufwändig sein, steht ja auch in der Öffentlichkeit und jedes Defizit wird groß angeprangert, aber für die verschiedenen Lösungen, die diverse Firmen benötigen ist halt Anpassbarkeit und Kosteneffizienz besser.

Wieviel Rechnepower benötigt man denn für so ein paar in den Kommentaren genannten Lösungen mit 200MB oder 2 GB, die man lokal auf den heimischen PC packen könnte? Für, z.B. "Schreib einen Liebesbrief". Rödelt da der PC die nächsten Jahre oder hat man am Morgen oder nach einer Stunde ein Ergebnis?
Oder wär das ein falscher Einsatzweck? Was würde man denn so damit sinnvoll anstellen können? Bin da leider eher an den Punkt "was soll ich damit?" Wobei die natürlich auch nicht direkt für mich zu Hause geschaffen wurden.
Also Stable diffusion ist eine Text-zu-Bild-Generierungs KI . Da laufen auch 10 GB Mdoelle rund, komt eigentlich mehr auf den vram an bzw die Graka.
Wenn man eine Nvidia hat mit 8 GB Grafikspeicher und CUDA gehts in ein paar Minuten, je nach Einstellung schneller. zu empfehlen ist das Modell Realistic_Vison 2.0 in der 1.5 Variante (Realismus) bzw. Anything 3.0 (Zeichnungen und Anime)
Alternative: Midjourney- online + kostenpflichtig

Die Chatmodelle haben da andere anforderungen, aber ein 7b Modell mit gpt-3.5 Fähigkeiten sollte auch auf einer 16gb Karte flüssig laufen. Zu empfehlen ist das Modell vicuna mit der WebUi oobaoonga
Mit 8gb läuft es auch, jedoch kann eine Anwort mitunter etwas dauern.
Alternative: chatgpt- online +je nach paket kostenpflichtig
 
  • Gefällt mir
Reaktionen: iGameKudan
Haldi schrieb:
Und dann gibt es die 150-244mb Loras und Lycoris die einen ähnlichen Korrektur Effekt erziehlen können bei wesentlich weniger Aufwand!
Du musst bei solchen Modellen immer unterscheiden, wie "mächtig" diese am Ende sind und was du alles damit anstellen kannst.

@4nanai beschreibt das sehr gut. Mit Loras und/oder Lycoris kommst du nicht sehr weit, sondern du musst selbst noch Arbeit hinein stecken und auch dann ist es "limitiert", besser stark spezialisiert. Das funktioniert nur sehr gut, wenn du selbst entsprechend dann Vorstellungen hast, was du machen magst und du keine große Flexiblität haben möchtest und dann bist du aber auch schnell bei ein ein paar Gigabyte, wenn du entsprechend gute Bilder haben möchtest.

Die großen Modelle bei Stablefusion sind dann eher Generalisten, die ein breites Spektrum abdecken und dafür auch entsprechende Grundlagen benötiigen um "gut" zu sein. Und selbst bei Modellen mit 15 - 20 GiB, bist du manchmal limitiert, was die Vielfältigkeit angeht. Das geht sogar teilweise soweit, dass du am Ende sogar mehre Modelle zusammen schaltest für entsprechende Flexiblität. ;)

Aber ja, du hast recht: Man kann das ganze auch "effizienter" gestalten, dann sind es aber eben Spezialisten, keine Generalisten.
79luca79 schrieb:
Der Bard ist ja mal ein totaler Reinfall verglichen mit GPT-4, ChatGPT und mittlerweile sogar Open Assistant, den ich hauptsächlich benutze.
Bitte jetzt nicht als Kritik oder Angriff verstehen: Für mich ist das immer irgendwie "verwirrend", wenn man auf der einen Seite die Namen der Modelle nennt und dann gleichzeitig auch ein Produktname einpflegt. ChatGPT - wenn ich es richtig im Kopf habe - basiert ja auf einem verbesserten GPT-3-Modell?

Gibt es eigentlich schon GPT-4 in freier Wildbahn?
79luca79 schrieb:
Natürlich ist er noch nicht so gut wie ChatGPT oder GPT-4 aber ein Gratisprogramm ist schwer zu schlagen.
Der Vorteil der Opensource-Modelle ist oft, dass man - wie bei Stablefusion für "Kunst" - ist ja, dass die meisten Systeme flexibel sind und man auch verschiedene Modelle kombinieren kann, die auf entsprechende Bereiche optimiert werden.

Es ist durchaus eine berechtige Frage, ob man "allmächtige" Systeme auch braucht. Das, was GPT-3/ChatGPT so beeindruckend macht, ist gleichzeitig auch das, was diese Systeme so "ineffizient" macht. Und die Frage stellen nicht nur ich mir gerade, sondern auch Experten auf diesem Gebiet.

Man kann aber gespannt sein, was kommt. Wenn man aber bedenkt, was vor 6 - 8 Jahren bereits dazu geschrieben wurde - Weltuntergang - und jetzt, sind die Parallele faszinierend.
duAffentier schrieb:
10 Mrd. Dollar Invest, mal schauen wann die ROI hier erreicht werden soll.
Bei solchen Investements geht es oft nicht darum, dass man wirklich das "Geld" wieder raus bekommt, sondern dass man Zugriff auf die Technologie erhält. Es kann sein, dass Microsoft "nie" das Geld direkt aus dem Investment bekommt, sondern dadurch, dass andere Sparten davon profitieren.
 
  • Gefällt mir
Reaktionen: 79luca79, rosenholz, 4nanai und eine weitere Person
Falc410 schrieb:
Ich kenne mich mit LLM nur minimal aus, aber bei anderen ML Modellen hat man doch nur starke Hardware benötigt um das Model zu trainieren - anwenden ging dann mit deutlich weniger Hardwarepower.
Stimmt grundsätzlich, allerdings sind die LLM so gigantisch, dass auch ein forward-pass durchs Modell schon sehr viel Rechenleistung kostet.
Das ganze Modell wird auf über 1000 A100 GPUs trainiert und das für eine ganze Weile. Daher Ist es schon so, dass das Training hier eben einfach auch wesentlich komplizierter.
 
silentdragon95 schrieb:
Bleibt zu hoffen, dass der Google Mitarbeiter Recht behält. Ich träume ja schon etwas von einem Sprachassistenten wie z.B. Alexa in meiner Wohnung, nur dass alles lokal läuft und ich keinen Tech-Konzern mit Daten füttere.

Sprachasisstenten sind mittlerweile kein Feature mehr das nur die ganz großen Smart Home System besitzen.

Schau dir doch mal Home Assistant an. Dieses System unterstützt verschiedene Assistenten die lokal laufen und Open Source sind
 
  • Gefällt mir
Reaktionen: Haldi
Klar, genauso könnte man auch spezifische Suchmaschinen günstiger produzieren. Aber würden die Sieger sein bei Consumern? Na sicherlich nicht. Deshalb, steile These, dass die ganz fetten Modelle mit den ganz fetten Daten nicht den Consumermarkt besetzen werden.
 
Opensource AI wird genauso Marktführer wie Opensource bei folgendem Marktführer ist: Messanger, Social Media, Desktop Betriebssysteme, Sprachassistenten, Smarthome von Hue bis Waschmaschinen, Auto-Systeme, Office, Kamera-Systeme, Nas-Systeme …

Die einzigen OpenSource Marktführer die mir auf Anhieb einfallen sind Mobile Os (Android) und Server/Webserver
 
pacifico schrieb:
Sprachasisstenten sind mittlerweile kein Feature mehr das nur die ganz großen Smart Home System besitzen.
Hmm, dass Home Assistant mittlerweile auch Sprache kann wusste ich tatsächlich nicht, das ist schonmal ziemlich cool.

Ich denke allerdings, dass ein LLM ein deutlich größeres Potenzial hätte, als ein normaler Sprachassistent wie es sie heute schon gibt - alleine schon beim Nachschlagen von Infos im Netz und dem verbalen Zusammenfassen eben dieser. Siri & Co. geben da ja nur das Ergebnis einer Google-Suche aus und man muss dann selbst nachlesen. Ein LMM könnte ich dann z.B. auch Sachen fragen wie "Wie hieß nochmal dieses Zombie Computerspiel, was letzten Monat rausgekommen ist?" oder "Fasse mir doch mal die Computerbase News von heute zusammen".

Und je nachdem wie leistungfähig die Dinger dann wirklich werden, es gab ja scheinbar schon Versuche, bei denen die "KI" Aufgaben bekommen hat wie z.B. "Make me money" und diese dann autonom durchgeführt hat, in dem Fall hat es dann soweit ich mich richtig erinnere alle möglichen Fördergelder und Steuervergünstigungen nachgeschlagen, einen Fragenkatalog zusammengestellt und aufgrund der Antworten dann die Anträge erstellt, was dann scheinbar einige hundert Dollar generiert hat. Aber selbst wenn das nicht klappt, es wäre schon praktisch genug wenn man der KI einfache Aufgaben geben könnte wie "hey, reservier mir doch mal einen Tisch bei Restaurant XY für morgen 18 Uhr" und es dann eine entsprechende Mail oder Anfrage auf der Webseite des Restaurants schreibt.
 
Zeitwächter schrieb:
Da fühle ich mit dir. Ich hätte gerne auch "Smart Home", welches lokal ohne Internetanbindung und mit Sprachassistent funktioniert.

Aber nicht mehr weit und wir haben auch einen Jarvis von Tony Stark :D
HomeAssistant kann das schon ganz gut. Whipser und Piper sei dank komplett offline!
 
LamaMitHut schrieb:
Ich glaube nicht, dass er nicht verstanden hat was mit dem Wort gemeint ist, sondern wie es geschrieben ist. Und der von einem Privatunternehmen herausgegebene Duden ist keine Referenz mehr. Such mal nach Artikeln/Interviews mit der Geschäftsführerin, die sehr mit ihrer Einstellung hausieren geht.

Bzgl. KI weiß ich nicht ob die Meinung eines Mitarbeiters und irgendeiner Organisation (was ist Algorithmic Bridge?), die vor allem entlang der derzeitigen Kosten argumentiert, so viel Aussagekraft hat. Google ist wegen des Nachrichtenrummels um OpenAI merklich verschnupft, aber hat sicherlich sehr bald auch spannende Sachen zu bieten, abgesehen von heute bereits in Produkten eingebauten Algorithmen. Und vor allem sind Silicon-Valley-Unternehmen sehr gut darin ihre Lösungen zu monetarisieren (und zwar so, dass es den Endnutzer nicht merklich schmerzt, bspw. mit dem Handy mitgekauftes/mitlizenziertes Android) und über Ökosysteme unersetzbar zu machen (Google, Apple, M$). Wer weiß, vielleicht lachen wir in ein paar Jahren über die Hoffnungsvollen von heute, die den Sieg von Open Source vorhergesagt haben. Linux ist auch günstig, sogar kostenlos, Microsoft hat aber trotzdem den Endbenutzer-Markt in seiner Hand.

Edit: Um es klar zu formulieren: Mich würde es natürlich sehr freuen wenn Open-Source-Modelle, die auch nicht wie Android enden und am Ende doch vor allem einem Unternehmen dienen, gewinnen würden!
 
  • Gefällt mir
Reaktionen: Fritzler
Forlorn schrieb:
Ich bin mir sicher, sobald das die Copyright Fälle bei den Gerichten nicht nur als Klage liegen, sondern so in Richtung Entscheidung gehen, wird da vieles in sich zusammenfallen. Getty Images hat ja schon eine dicke Klage eingelegt und will deren Bilddatenbank aus dem Basismaterial rauslösen lassen.

🍿
Ich denke das wird sehr schwierig werden. Wenn ich mir Bilder angucke und daraus lerne wie eine Katze aussieht oder ich etwas abzeichne, ist das dasselbe wie wenn es eine KI macht. Weil die Bilder stecken danach nicht mehr im Trainingsmodell (KI) drin, sondern nur selbsterlernte Muster. Daher kann da auch nichts mehr heraus"gelöst" werden.

Die Vergütung haben die Anbieter (Getty Images) bereits über den Zugang erhalten. Ihnen bliebe nur noch für die Zukunft entweder:
a. den Zugang für selbstlernende KIs teurer zu machen oder
b. den Zugang komplett für KIs zu sperren.

Letztere Variante wäre reichlich dumm, die Konkurrenz würde sich dumm und dusselig verdienen. Und so wird es der Markt, wie immer, von selber regeln.
 
Wenn die Sinnhaftigkeit von "KI" in der breiten Masse erkannt wird, führt es vielleicht zu einer neuen Form "KI-Grafikkarte". Deren GPU leistet nicht viel, hat aber einen riesigen Speicher. Dann lädt man sich aus dem Netz das aktuelle Modell herunter und lässt es zu Hause laufen. Gleichzeitig läuft das Training ähnlich dem Bitcoin Mining ab. Oder wie bei Folding@Home Projekten. Personen mit starken Grafikkarten oder ausgemusterten/modifizierten Cryptomining Rigs trainieren dann P2P neue Modelle in der Gemeinschaft.

Am Ende werden die großen Konzerne nur mit etwas besseren Modellen voran schreiten und die OpenSource Community dicht dahinter. So wie es sich bereits jetzt ja auch schon abzeichnet.

Den großen Konzernen traue ich nicht viel zu. Siehe Microsoft. Besitzen billionen an Dollars und bekommen ihr einziges Betriebsystem Windows einfach nicht unter Kontrolle. Das Problem an großen Konzernen ist, dass diese immer ineffizienter arbeiten, je größer sie werden.


Harry2k schrieb:
Also Stable diffusion ist eine Text-zu-Bild-Generierungs KI . Da laufen auch 10 GB Mdoelle rund, komt eigentlich mehr auf den vram an bzw die Graka.
Wenn man eine Nvidia hat mit 8 GB Grafikspeicher und CUDA gehts in ein paar Minuten, je nach Einstellung schneller. zu empfehlen ist das Modell Realistic_Vison 2.0 in der 1.5 Variante (Realismus) bzw. Anything 3.0 (Zeichnungen und Anime)
Alternative: Midjourney- online + kostenpflichtig
Alternative: Dream.ai/create - online + kostenlos
Ohne Account, unendliche Anzahl an Bilder, parallel in mehreren Tabs lassen sich auch mehrere Bilder gleichzeitig erzeugen. Ich weiß nicht, was alle immer mit ihrem "Midjourney" haben. Das scheint ja nur minimal besser zu sein. Einziger Wermutstropfen ist das Portraitformat bei dream.ai.
Aber ich setze den Kram auch nicht professionell ein. Vielleicht ist da mein Bedarf ein anderer.
 
  • Gefällt mir
Reaktionen: Harry2k
Ich finde den Titel Irreführend @Andy - Der Titel benennt Klar Entwicklungskosten, obwohl es im Wesentlichen Betriebskosten sind. Das würde aber wohl niemanden überraschen und niemand würde es klicken?!
 
Zurück
Oben