News Zweistellige Milliarden-Beträge: OpenAI-Chef plant Mega-Rechenzentren für KI-Entwicklung

[Krik]

Wie schon in einem anderen Thread geschrieben, wird der KI-Hype noch einige Jahre und einige Milliarden US-Dollar weitergehen. In 5 bis 10 Jahren kann man dann mal eine Bilanz machen, inwiefern sich das Ganze gelohnt hat oder nicht.

Wie viele Server, CPUs & GPUs, RAM und Storage stellt man sich denn eigentlich vor? Über ungefähr welchen Zeitraum soll aufgebaut werden? (Kein Hersteller kann mal eben Hardware für 100 Mrd. liefern. Das dauert Jahre.)
Oder ist man noch nicht so weit, um wenigstens eine Ahnung von den Dimensionen zu bekommen?

Ich kann nachvollziehen, dass man so einen Monsterkomplex bauen will. Das Anlernen von ChatGPT 3 dauerte 34 Tage, bei ChatGPT 4 waren es schon 100 Tage (Quelle). "Mal eben" ein paar Sachen in der Praxis ausprobieren, geht hier für die Forscher nicht mehr. Und gleichzeitig will/muss man noch Kunden wie z. B. Microsoft bedienen. Die ganzen KI-Zentren laufen alle am Limit.

 

[Khorneflakes]

Ich will dir nicht zu nahe treten, aber ich kann mir nur schwer vorstellen, dass du einen akademischen Informatik-/Mathematik-Hintergrund hast, dazu wenigstens mal Vorlesungen gehört oder Paper gelesen hast, dann aber nur Infrastuktur administrierst.

Informatik ja, Mathematik nein. Und die Leute, mit denen ich da zusammenarbeite, haben weder noch. DAS ist die Realität da draußen in der Industrie und bei den Kunden. Das aktuellste Projekt: Ein Copilot-artiger Desktop-Assistent, aber selbstgebaut, zentral und on-premise, der Mails lesen soll und solche und ähnliche Scherze. DAS ist das Niveau worüber wir hier reden. Und das ist kein Einzelfall, das ist der Standard. Das sind die Projekte, die irgendwann mal Geld einspielen sollen. Ja, genau...

Niemand beschwert sich über einen Naturwissenschaftler, der mit ML versucht aus einem Datensatz Erkenntnisse zu ziehen oder an etwas forscht, mit dem sowas in Zukunft besser oder überhaupt erstmal möglich ist. Aber das ist ja nur noch eine Randerscheinung. Dominiert wird das Thema von dem anderen Unfug.

Wenn irgendeine Forschungseinrichtung sich Rechenzeit auf einem Cluster mit 10.000 H100-GPUs bucht, oder direkt selbst so einen Cluster hinstellt, um irgendeinen coolen, neuen Scheiss zu berechnen, dann bin ich dabei. Das ist übrigens auch nichts neues dann. Supercomputer wurden schon seit jeher für Forschung benutzt.

Ich habe auch schon Projekte mit GPUs implementiert, bei denen spannende Dinge berechnet werden, die wirklich einen Mehrwert erzeugen. Auch schon deutlich bevor KI jeden Tag in den News aufgetaucht ist. Spoiler: Dafür zahlen Leute dann auch, sowas trägt sich.

Wenn das aber alles nicht passiert, dann ist das auch die Hardware, auf der ChatGPT und ähnlicher Spielkram läuft. Oder die Google-Suche, die mit KI angereichert einfach schlechter ist als vorher. Oder "Content Creation", damit Leute Webseiten mit KI-generiertem Müll füllen können, die dann die eben noch erwähnten Suchergebnisse vollmüllen, sodass ich dann sogar KI² habe und nichts brauchbares mehr finde. Oder Alexa, wo Amazon jetzt den KI-Teil erweitern und daraus ein Abo machen will. Oder, oder, oder...

Wacht doch mal auf. Das Land hat nicht 85 Millionen Forscher, die nur darauf hoffen morgen den nächsten Durchbruch zu erzielen, sei es mit oder ohne ML oder KI. Ein Großteil der Resourcen, um die es hier geht, werden einfach verschwendet. Die fließen nicht in irgendein Forschungsprojekt. Das ist die Realität.

 

[supermanlovers]

Die großen Tech Konzerne haben das Geld halt auf der hohen Kante liegen und müssen es praktisch irgendwo investieren. Was soll Meta und Co sonst mit dem vielen Geld machen? Weitere Konkurrenten aufkaufen mit der Gefahr zerschlagen zu werden? Ins Immobiliengeschäft oder Viehzucht einsteigen?

Mit Investitionen können sie nebenbei auch ihre Steuerlast senken.

 

[RogueSix]

Heutzutage verwendet man den Begriff nicht für die wortwörtlichen Boomer.
"Wir" unterscheiden zwischen "Baby-Boomern" (die Echten mit vielen Kindern und hohem Alter)

Ähem, nein, Du scheinst da aber ordentlich etwas durcheinander gebracht zu haben . "Echte" Boomer haben nicht viele Kinder, sondern sie heißen in der Tat so, weil man die geburtenstarken Nachkriegsjahrgänge (von 1946 bis einschließlich circa 1964, dann kam der "Pillenknick") als "Baby Boomers" bezeichnet hat.

Echte Boomer gehören schlicht diesen geburtenstarken Jahrgängen an, aber selbst haben sie keineswegs zum Kinderreichtum beigetragen. Eher im Gegenteil, wenn man sich die demographische Entwicklung in den westlichen Industrieländern ab 1964 ansieht.

Die mit den vielen Kindern sind demnach die Eltern der Boomer (vornehmlich 1930er und 1940er Jahrgänge) und nicht die Boomer selbst .

 

[LamaMitHut]

Chat GPT: "Die Leute betteln geradezu darum, enttäuscht zu werden – und das wird auch passieren"

Open-AI-Boss Sam Altman sieht völlig überzogene Erwartungen an GPT-4 und damit die nächste Version des zugrunde liegenden Sprachmodells

https://www.derstandard.de/story/20...-betteln-geradezu-darum-enttaeuscht-zu-werden

<-

Als wüsste man bei Google/Microsoft/Open AI nicht, dass noch ein weiter Weg zu gehen ist. Die Kommentare hier sind echtes Internetgold, wird lustig sich das ganze in 5-10 Jahren nochmal durchzulesen.

 

[Nahkampfschaf]

Ich habe lange gezögert, den Kommentarbereich zu lesen, aber letztlich konnte ich nicht widerstehen. Was soll ich sagen – es war genau das, was ich erwartet hatte: typisch deutsche Angst, Pessimismus und Engstirnigkeit. Es ist traurig, besonders in einem Umfeld, das von technikaffinen Menschen geprägt sein sollte. Gerade hier erhofft man sich ein tieferes Verständnis für das, was gerade geschieht – einen der größten, wenn nicht den größten technologischen Fortschritte in der Geschichte der Menschheit. Wir schaffen Intelligenz in einem Ausmaß, das wir derzeit kaum erfassen können. Wer meinen Worten nicht trauen will, sollte einen Blick auf die Arbeiten der führenden Köpfe dieser Technologie werfen, wie Ilya Sutskever, Geoffrey Hinton oder Dario Amodei.

Ich bin da ganz bei dir, kommentiere daher auch weniger zu solchen Themen. Ich denke auch nicht, dass es etwas mit dem Alter, sondern eher der "deutschen Angst" zu tun hat. Ich meine, es ist schon bezeichnend, wenn es im englischen überhaupt ein eigenes Wort für die deutsche Angst gibt. Man sagt dort auch gerne, man fühlt sich "angsty", sprich die Angst vor dem unbekannten, eine Angst die man schwer definieren kann, dieses deutsche "ja, aber was ist wenn".

Was im deutschen als "Risikokapital" bezeichnet wird, wird in den USA als "venture capital" bezeichnet, welches sich tatsächlich vom Wort "Adventure" ableitet. Es hat schon Gründe, wieso Deutschland in so vielen Dingen hinterherhängt. Und das hat meiner Meinung nach viel mit der generellen Einstellung hier zu tun.

 

[S.Kara]

Schade um das schöne Geld. Hätte man besser investieren können um dringende Probleme zu lösen.

Zum Beispiel?

Ist ja auch nicht so als wäre das Geld weg, es wechselt halt nur den Besitzer. Dieser kann dann damit seine dringensten Probleme lösen.

 

[Pampersbomber]

Seufz

 

[Sherman789]

Warum ist Japan dort mit dabei, wir aber nicht?

Ob der Antreiber jetzt Altmans AI-Farm wird oder nicht, wir sind mitten in einer gigantischen technischen Revolution, die in wenigen Jahren all unsere Lebensbereiche, insbesondere die Arbeitswelt, umgekrempelt haben wird.

 

[Weyoun]

"Wir" unterscheiden zwischen "Baby-Boomern" (die Echten mit vielen Kindern und hohem Alter) und Boomern, welche auch 30 Jahre alt und kinderlos sein können, aber sich wie Klischee-Boomer verhalten.

Wer ist "Wir"? Ich verbitte es mir weiterhin, als "Boomer" beschimpft zu werden!

Frag mal einen Zoomer, was ein Boomer ist.

Wer oder was ist ein "Zoomer"? Ich habe noch keine Leselupe.

 

[oicfar]

Wie schon in einem anderen Thread geschrieben, wird der KI-Hype noch einige Jahre und einige Milliarden US-Dollar weitergehen. In 5 bis 10 Jahren kann man dann mal eine Bilanz machen, inwiefern sich das Ganze gelohnt hat oder nicht.

Bisher haben die Firmen viel Geld in die neue Hardware reingesteckt. Aber noch kaum was verdient.

D.h. sollten hier keine Einnahmequellen gefunden werden, dann wird auch keine weitere Hardware gekauft werden.

 

[Krik]

Ich meine, es ist schon bezeichnend, wenn es im englischen überhaupt ein eigenes Wort für die deutsche Angst gibt. Man sagt dort auch gerne, man fühlt sich "angsty", sprich die Angst vor dem unbekannten, eine Angst die man schwer definieren kann, dieses deutsche "ja, aber was ist wenn".

Das englische Wort angst ist ein Lehnswort. Genauso wie kindergarten. Wie das Wort in deren Sprache gekommen ist, geht nicht auf das Verhalten* der Leute hier zurück.

* Die Deutschen haben keine Angst, sie meckern und nörgeln einfach nur (gerne). Hätten sie Angst, wären sie alle prepper.

Was im deutschen als "Risikokapital" bezeichnet wird, wird in den USA als "venture capital" bezeichnet, welches sich tatsächlich vom Wort "Adventure" ableitet.

Dir ist schon klar, dass man adventure mit Wagnis (= risikoreiches Unterfangen) und venture mit Risiko übersetzen kann? Was du da vorbringst, ist überhaupt kein Argument, das ist einfach nur Quatsch.

Übersetzung von venture:

Es hat schon Gründe, wieso Deutschland in so vielen Dingen hinterherhängt. Und das hat meiner Meinung nach viel mit der generellen Einstellung hier zu tun.

Die Amis sind turbokapitalistisch, wenig gebildet, überheblich und werden in der Schule schon zu Patrioten indoktriniert. Die Engländer sind immer noch Untergebene des jeweilig amtierenden Monarchen, halten sich für besser als die Kontinentaleuropäer und sind aktuell ziemlich ausländerfeindlich (deutlich mehr als hier).

Sind die Leute besser als nörgelnde Deutsche? Das kann jeder für sich selbst entscheiden.

 

[Rainbowprincess]

Mir wird das alles zu viel. Bin mittlerweile dabei, mein Leben wieder mehr zu analogisieren.
Das nimmt alles merkwürdige Ausmaße an, die kaum mehr jemand wirklich durchblicken kann. Umso weniger digital mein Leben ist, umso kleiner mein ewiger Fußabdruck in diesen Konstrukten.

 

[Nahkampfschaf]

Die Amis sind turbokapitalistisch, wenig gebildet, überheblich und werden in der Schule schon zu Patrioten indoktriniert. Die Engländer sind immer noch Untergebene des jeweilig amtierenden Monarchen, halten sich für besser als die Kontinentaleuropäer und sind aktuell ziemlich ausländerfeindlich (deutlich mehr als hier).

Sind die Leute besser als nörgelnde Deutsche? Das kann jeder für sich selbst entscheiden.

Mir ist das alles klar. Wer wirklich viel mit Amerikanern zu tun hat, wird allerdings merken, dass die Vorurteile über uns doch eben doch eben stimmen. Ich habe auch nie gesagt, dass die US Einstellung "besser" ist, sondern nur "anders". Und zwar merklich. Wer native US Amerikaner kennt, die nach deutschland immigriert sind, oder andersum, wird das sicher bestätigen können. Wer einen Partner aus den USA hat, sicher noch mehr. Man ist dort oft genauso schockiert über die deutschen Eigenheiten, wie wir über deren. Einfach oft komplett anderes mindset.

Btw:

The moniker “venture capital” is believed to have originated from the financier John Hay Whitney. Having served in World War 2, Whitney returned to the United States with a new mission: to spread American ideals of free enterprise by supporting fledgling entrepreneurs. He distinguished his investment method from traditional private equity or investment banking by making riskier investments in new, unproven businesses with the aim of larger returns should these businesses succeed. He called this investing style “adventure capital,” eventually shortening the term to “venture capital” for marketing purposes

Ich kenne auch mehrere Leute, die in die USA ausgewandert sind und wo andere sich gewundert haben, wieso diejenigen es "risk capital" genannt haben. Das mag sich regional unterscheiden, aber im grossen und ganzen sind wir nicht weniger "seltsam", als wir einige Entscheidungen der Amis empfinden. Mit all den Konsequenzen.

 

[Arcturus128]

Müsste man mal abwiegen, ob KI uns unterm Strich Strom kostet oder bringt... Fortschritt sorgt eigentlich für eine bessere Effizienz langfristig gesehen und KI kostet auch nur viel Strom, weil es Milliarden Menschen benutzen. Ich glaube wir könnten an ganz anderen Stellen viel mehr Energie sparen. Forschung und Entwicklung ist grundsätzlich gut um die Menschheit weiter zu bringen.

Bisher hat das »Menschheit-Weiterbringen« aber den Klimawandel erzeugt und bisher ist der Energie- und Ressourcenverbrauch des Einzelnen fortwährend gestiegen durch Fortschritt. Insofern ist das was du schreibst einfach eine Milchmädchenrechnung, denn nur weil alles effizienter wird, heißt das noch lange nicht, dass am Ende auch ein geringerer Verbrauch herauskommt; meist wird die Effizienz genutzt um einfach noch mehr zu erreichen.

 

[surtic]

Das Problem ist der Chatbot kann dir quasi nie weiter helfen. Weil du den Support meistens wegen einer Speziellen Sache anschreibst.

Ich setzte ChatGPT als erste Support Instanz ein und die meisten Fragen die er beantworten muss wären auf der Startseite der Webseite beschrieben aber die Leute sind zu faul. Bur bei etwa 10% werde ich aufgefordert zu antworten

 

[Ayo34]

Bisher hat das »Menschheit-Weiterbringen« aber den Klimawandel erzeugt und bisher ist der Energie- und Ressourcenverbrauch des Einzelnen fortwährend gestiegen durch Fortschritt. Insofern ist das was du schreibst einfach eine Milchmädchenrechnung, denn nur weil alles effizienter wird, heißt das noch lange nicht, dass am Ende auch ein geringerer Verbrauch herauskommt; meist wird die Effizienz genutzt um einfach noch mehr zu erreichen.

Das stimmt zwar, aber nicht in dem Maße wie es scheint. 1950 waren wir bei 30.000 TWh und jetzt sind wir bei 150.000 TWh. Also Faktor 5. Das meiste geht aber auf das Wachstum der Bevölkerung zurück. 1950 hatten wir keine 2,5 Milliarden Menschen. Jetzt sind es über 8 Milliarden. Das ist immerhin Faktor 3,x.

Man stelle sich vor, diese 8 Milliarden Menschen hätten noch alle ihre Kohle-Öfen zu Hause. Oder wir hätten überhaupt keine Solar und Windenergie. Bleibe dabei, dass die Investition in Forschung und Entwicklung meistens gut ist und man ganz woanders viel mehr sparen könnte und sollte.

Ich sehe jedenfalls nur eine Chance den Klimawandel mit Forschung zu begegnen, weil kein Mensch bereit ist wieder wie im 19 Jahrhundert zu leben. Dazu kommt viel Ignoranz beim Thema. Es wird weder weniger Auto gefahren noch auf einen Flug verzichtet.

 

[markox]

Na da ist er von seinen Plänen bezüglich der Chipfertigung ja wieder ein ganzes Stück zurück gerudert und nun in deutlich realistischeren Dimensionen unterwegs.
Es wundert mich nur, dass er nicht mal versucht bezüglich der Chipfertigung auf Intel zu zu gehen. Das würde doch super passen. Intel hat die Technologie, es fehlt aber das Geld um die Kapazitäten schnell aus zu bauen und die Aufträge um diese Kapazitäten aus zu Lasten. Altman könnte die Aufträge erteilen oder vermitteln und helfen das Geld aufzutreiben. Win Win!

Ergänzung (9. September 2024)

Ich setzte ChatGPT als erste Support Instanz ein und die meisten Fragen die er beantworten muss wären auf der Startseite der Webseite beschrieben aber die Leute sind zu faul. Bur bei etwa 10% werde ich aufgefordert zu antworten

Ja, und ich bin dann ständig einer dieser 10% und die Systeme sind so ausgerichtet, dass man es immer schwerer hat Kontakt zu einem echten Menschen zu bekommen. Und falls man es doch schafft sind die Supportler von den hohlen Fragen der 90% so abgestumpft, dass sie sich die Frage(n) die man hat nicht richtig durchlesen oder einen einfach nicht ernst nehmen.

 

[Krik]

Und falls man es doch schafft sind die Supportler von den hohlen Fragen der 90% so abgestumpft, dass sie sich die Frage(n) die man hat nicht richtig durchlesen oder einen einfach nicht ernst nehmen.

Ich habe früher in einem CallCenter gearbeitet (wo auch EMails beantwortet wurden) und kann dir sagen, das die Leute im überwiegenden Fall verpflichtet sind, die Antworten aus vorgegebenen Textbausteinen zusammen zu setzen.
Die sehen die gleichen Probleme jeden Tag und können meist schon im Schlaf aufsagen, woran es liegt. Aber sie dürfen nicht von den vorgegebenen Antworten abweichen. Vor allem im technischen Bereich gibt es vorgeschrieben Frage-Antwort-Spielchen, um ein Problem schnell einzugrenzen. Für den Kunden klingt das aber oft doof, weil die Fragen für ihn oft keinen Sinn ergeben.

Bedanke dich bei den Auftraggebern dafür. Diese geben diese Kommunikationsrichtlinien vor und setzen sie auch mit Druck durch.

Und ja, man stumpft mit der Zeit ab. Das liegt allerdings vor allem an den Kunden. 95% von denen, die sich melden, sind einfach zu doof, sich mal die Anleitung oder einen Hilfetext durchzulesen und danach zu handeln, frei nach dem Motto: "Geht nicht? Ruf mal an!" Es sind oft wirklich nur 5% oder weniger, die echte Probleme haben, für die sie nichts können.

 

[surtic]

Ja, und ich bin dann ständig einer dieser 10% und die Systeme sind so ausgerichtet, dass man es immer schwerer hat Kontakt zu einem echten Menschen zu bekommen. Und falls man es doch schafft sind die Supportler von den hohlen Fragen der 90% so abgestumpft, dass sie sich die Frage(n) die man hat nicht richtig durchlesen oder einen einfach nicht ernst nehmen.

Ja das ist mühsam, wenn man keine Tel, E-Mail oder sonst was hat um die zu kontaktieren.

Aber wie viel Zeit und Nerven ich mir dadurch spare ist enorm! Der Service kostet mich ~50$ pro spart mir aber sicher pro Woche 2-4h Zeit ( (3*4)*150=1500.-). Und das bei mir mit einem kleinen Service mit ~700 aktiv zahlenden Kunden.