engineer123 schrieb:
Der Levelslink häts auch getan.
Bei der bisherigen Argumentation und Degradierung einzelner Quellen war zweifelhaft, welches Niveau an Beweisführung zur Überzeugung geführt hätte. Sicher ist sicher.
engineer123 schrieb:
Dann noch was auffälliges an Deinem Post, hast Du eigentlich einen Beschützerinstinkt 😉
Ich denke nicht, dass
@FrAGgi @Sweepi usw. verteidigt werden müssen, mir missfiel lediglich die Misrepräsentation der Sachlage sowie die zu scharfe / zu wenig begründete Kritik.
hallo7 schrieb:
Das Training von GPT-5 soll zwischen
1-2 Mrd. kosten.
Ohne das jetzt im Detail gelesen und interpretiert zu haben: normalerweise inkludiert man bei den Trainingskosten alles von erstem Training bis finalem Snapshot, bei vielen Projekten auch inklusive Aufbereitung von Trainings- und Testdaten, Validierung, ...
Das alleine das Training in den Milliardenbereich geht bei GPT-5 halte ich für realistisch - deckt sich mit Kennzahlen, die ich aus dem ML-Umfeld kenne. Für ein einziges Experiment allerdings halte ich das für zu hoch gegriffen: wenn da Datenaufbereitung, Korrekturen,
mehrere Experimente/Durchläufe, Auswertung sowie Auswahl finaler Parameter, ... nicht mit inbegriffen wären, dann wäre das ansonsten für OpenAI auch zu teuer. Es fallen natürlich nicht alle Kosten für jedes Experiment doppelt an, aber wenn
ein Durchlauf 1-2 Mrd. kosten würde und man, wie üblich, Prototyping + diverse Anläufe zum finalen Produkt benötigt, dann wäre der Gesamtkostenaufwand alleine beim Training schon ein zweistelliger Milliardenbereich.
Dazu kommen dann Personalkosten für die Entwicklung, Betriebs- und Infrastrukturkosten bei der Entwicklung und Prototyping, die eigentlichen Kosten für die Datenakquise und natürlich sämtliche Forschungskosten.
Das wäre selbst bei OpenAI dann außerhalb des Budgets.
Weyoun schrieb:
Sagte der Typ wirklich "Seven Trillion Dollars"?
Jenergy schrieb:
Das klingt auch nicht besonders realistisch. In einer Mitteilung von Ende Januar waren es noch 8 bis 10 Milliarden USD. Dort wurde allerdings zurecht angemerkt, dass solche Beträge im Vergleich zu den hunderten von Milliarden, die die Chiphersteller investieren, eher klein seien.
knoxxi schrieb:
Das stimmt schon, sind aber, sofern ich mitbekommen habe, sämtliche perspektivischen Budgets über X Jahre, vorausgesetzt man bekommt das ganze ins Rollen. Wenn man überlegt, wie viele Zulieferer man benötigt und dass eine einzige Fab schon im zweistelligen Milliardenbereich kosten kann bei High-End-Chips, dürfte das schon in die richtige Richtung gehen. Der Plan scheint ja zu sein, dass man
der Bereitsteller weltweit für LLMs & Co. sein möchte. Wenn das Zeug in jedes Smartphone, jedes Auto, ... rein soll oder die dafür notwendigen Ressourcen in der Cloud, braucht man ja quasi etwas von der Größenordnung von TSMC + Zulieferer + Software + Betrieb + ...
Meta alleine will ja z.B. auf ~600.000 NVIDIA H100 in ihren Rechenzentren kommen. Selbst wenn die NVIDIA am Ende nur 4stellig kosten, sind allein die Selbstkosten der Hardware (und NVIDIA fertigt ja nicht selbst und nutz schon bestehende Fertigung) 6 Mrd. Und wenn du jetzt überlegst, dass du selbst fertigst, die notwendigen Lieferketten und Personal aufbauen musst und das nicht in der Größenordnung von 600.000 Chips sondern im Millionenbereich weil du
der Bereitsteller von LLMs & Co. wetlweit sein möchtest...denke die Größenordnung stimmt schon als Schätzung.
Das dürfte auch der Grund sein, warum man sich mit diversen potenziellen Investoren und Ölscheichs usw. trifft. Wenn es um zweistellige Milliardenbeträge ginge, könnte MS das ja alleine aus der Portokasse bezahlen.