News Sprung auf dem Weg zur AGI?: OpenAI stellt neues Spitzenmodell o3 vor

[gollum_krumen]

Inwiefern ist meine Aussage interessant? Sie optimieren! Sie haben nicht mehr Trainingsdaten und sie haben keine neuen Algorithmen, sondern drehen an verschiedenen Stellschrauben.

Natürlich haben sie "neue Algorithmen". Nochmal für dich zusammengefasst:

Generell bewerten KI-Forscher eine solche Architektur als Lösung, um die Geschwindigkeit bei der KI-Entwicklung hochzuhalten. [...] Es seien neue Ansätze erforderlich, so Sutskever. Die Inferenzberechnungen zu skalieren, ist einer davon.

Aber klar, KI-Forscher werden es natürlich nicht einschätzen können, im Gegensatz zu dir.

 

[duckyisshiny]

Architektur != Algorithmen … das Prinzip von LLMs hat sich nicht verändert.

Ergänzung (22. Dezember 2024)

Selbst wenn man davon ausgeht, dass man nur mehr optimiert, bruteforced and spezifisch trainiert, werden die Modelle vermutlich unser Leben massiv verändern.

Volle Zustimmung! Das wird der weg sein!

 

[Shad82]

@iGameKudan
Das Wissen der Welt verdoppelt sich angeblich alle 12(!) Stunden, die digital gespeicherten Daten angeblich alle 1,5 bis 4 Jahre. Das sagt jetzt nichts über die Qualität des Wissens aus. Da kann auch Schrott dabei sein.
Wir überblicken das schon lange nicht mehr, darum gibt es heute nur noch Spezialisten und keine Generalisten mehr.

Ehrlich gesagt, kommt man ohne irgendeine Suchhilfe heute nicht mehr zu Rande. Es sind einfach zu viele Informationen. Man muss zu viel nachschlagen. Ob ein LLM jetzt die richtige Art Suchhilfe ist, kann ich nicht sagen. Sie hilft aber zumindest, die richtige Richtung durch den Datenwust zu finden.

12 Stunden sind es ganz bestimmt nicht, da hat sich wohl ein Typo eingeschlichen ;-)

 

[ReactivateMe347]

"Fokus auf Inferenz" - also statt einmal beim Training viel Strom zu verbraten (und Beim Anfragen ein bisschen) tut man das nun bei jder Anfrage und nennt es "das effiziente Modell" ?!

 

[tipmyredhat]

Der moderne Agraringenieur hatte möglicherweise jetzt nicht die mühevolle Arbeit, die du im Kopf hast, aber umsonst wird er seine Dienste deshalb trotzdem nicht anbieten, das stimmt 😅.

Außer natürlich, er wird von den Genossen am regierenden Schalthebel der Macht stark dazu "ermutigt".
Eine Vorstellung, die bei einigen hier keinen Schrecken hervorzurufen scheint...

 

[KurzGedacht]

Wer will das denn noch bezahlen?

Das Problem sehe ich persönlich eher nicht. Solche Modelle sollen Probleme lösen, für die sonst eine Gruppe menschlicher Experten ne Weile brauchen würde. Wenn ich 5-10 Menschen einen Monat an einem Projekt basteln lasse, bin ich sehr schnell im sechstelligen Bereich was die Kosten angeht.

Wenn das Ergebnis mit Modellen wie o3 am Ende tatsächlich brauchbar ist, sind die Kosten doch sogar noch ziemlich niedrig und vor allem bekomme ich das Ergebnis innerhalb weniger Minuten, statt Wochen darauf zu warten.

 

[Northstar2710]

Wenn das Ergebnis mit Modellen wie o3 am Ende tatsächlich brauchbar ist,

und das muss ja nunmal wieder eine gruppe Menschen überprüfen. Den Mensch kannst du nicht ausklammern.

 

[Krik]

12 Stunden sind es ganz bestimmt nicht, da hat sich wohl ein Typo eingeschlichen ;-)

Nope, ich habe mich nicht verschrieben:
https://de.wikipedia.org/wiki/Zettabyte-Ära#Zunehmendes_Wissen
https://ncpeaprofessor.org/de/wie-schnell-verdoppelt-sich-das-wissen-2020/

Zwölf Stunden

Ich habe es auch erst nicht geglaubt, bis ich mehrere Seiten gefunden habe, die alle das gleiche berichtet haben. Man muss hier aber sehr darauf achten, dass es sich hier ausschließlich um das menschliche Wissen handelt. Man schätzt, dass das menschliche Wissen weniger als 1% der Informationen im Internet darstellt. Der Rest sind Pornovideos oder so was.

 

[LamaMitHut]

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Und künstliche Intelligenz kann uns schon jetzt dabei helfen, das beste aus den gigantischen Datenberg rauszuholen.

 

[Schwachkopp]

Die angeblichen 12 Stunden zur Verdopplung menschlichen Wissens können nicht stimmen. Das ist völlig unplausibel. Das würde bedeuten, dass, wenn man das gesamte heutige Wissen auf einer einzige Festplatte packen könnte, man in weniger als hundertfünfzig Tagen soviele Festplatten benötigen würde, dass diese das Volumen des beobachtbaren Universums einnehmen würden. Die Rechnung ist einfach und kann daher weggelassen werden.

ChatGPT o1 hat das auch erkannt, allerdings mit deutlich schwächeren Argumenten unterlegt.

Außer dieser besserwisserischen Anmerkung habe ich leider nicht viel beizutragen.

 

[No Cars Go]

Ein Siliziumatom ist, je nachdem nach welchem Verfahren man geht, um die 0.2nm
Ein Transistor besteht aus mehreren Atomen.
Die kleinsten Strukturen aktller ICs liegen schon um die 2nm. Das sind 10 Atome.

Ein bisschen was wird noch gehen, aber der klassische Performancezuwachs geht schon seit Jahren zurück.
Nicht sicher, ob ich gerade an 2 weitere Größenordnungen glauben kann

Wobei Raw Compute bei Transformermodellen eher im Inferencing limitiert. Es gibt aktuell auch ein paar Paper die glaube, dass sie MatMul los werden koennen, was deutlich interessantere Architekturen als heutige GPUs erlauben koennte.

Sobald wir eine AGI haben, die sich rekursiv selbst optimiert, werden wir über unsere Sorgen und Bedenken von heute eh nur noch müde lächeln können.

 

[Krik]

@Schwachkopp
Ich hab mir das nicht ausgedacht. Mehrere Forscher berichten das und selbst IBM hat das vorhergesagt.

Ich bin vorher immer davon ausgegangen, dass sich das Wissen alle 1,5 bis 2 verdoppelt, aber das betrifft wohl stattdessen alle Daten im Internet, wo auch viel redundantes und nutzloser Schrott dabei ist.

 

[tipmyredhat]

Sobald wie eine AGI haben, die sich rekursiv selbst optimiert, werden wir über unsere Sorgen und Bedenken von heute eh nur noch müde lächeln können.

Bleibt nur noch zu hoffen, dass die AGI auch selbstständig neue Atomkraftwerke bauen kann, um sich selbst aufrechtzuerhalten.
Oder Fusionsreaktoren, was auch immer schneller geht...

 

[Schwachkopp]

@Krik Ich weiß, dass Du dir das nicht ausgedacht hast. Wollte nur die Unmöglichkeit dieser Voraussage oder dieses hypotetischen Wertes anmerken. Denn genau das wird es sein. Ein theoretischer Wert, den man vor einigen Jahren durch ein Kurvenfitting berechnet hat.

 

[KurzGedacht]

und das muss ja nunmal wieder eine gruppe Menschen überprüfen. Den Mensch kannst du nicht ausklammern.

Nicht alle, klar. Aber einen großen Teil. Es bleibt nur noch Aufgabe korrekt definieren und Ergebnis überprüfen übrig. Alles dazwischen fällt im Idealfall weg.

 

[Lan_Party94]

Da ich mit meiner Rechtschreibung Probleme habe, nutzliche sehr oft ChatGPT um Texte neu zu formulieren /zu verbessern oder diese z.b. domianter/freundlicher/sachlicher etc. zu schreiben. ChatGPT ist mein täglicher begleiter geworden.

Korrekturlesen hilft, da braucht es kein ChatGPT. Hinzu kommt das KI Texte sehr schnell zu erkennen sind, wenn du nicht gerade durchgehend KI Texte nutzt und dein Gegenüber nichts anderes von dir kennt. Und nicht zu vergessen geht die Persönlichkeit vollkommen verloren - was mir z. B. sehr wichtig ist.

 

[No Cars Go]

Bleibt nur noch zu hoffen, dass die AGI auch selbstständig neue Atomkraftwerke bauen kann, um sich selbst aufrechtzuerhalten.
Oder Fusionsreaktoren, was auch immer schneller geht...

Gepaart mit Robotik, die die AGI ebenfalls selbst designen und optimieren kann, klar, problemlos.

 

[ric84]

Ich bin überhaupt kein Twitter Freund mehr, dennoch muss ich sagen, dass deren KI Grok mir bei Excel VBA helfen konnte, was chatgpt nicht geschafft hat. Und erstaunlich ist auch, dass die selbst vor Space Karen nicht halt macht und mit als größten Spreader von Falschinformation hält.

 

[ShiftyBro]

Das heißt, das leistungsstärkere Modell der beiden eine einzelne Aufgabe lösen zu lassen kostet 3400$?

Das ist natürlich noch happig... Wenn es heißt, dass das Aufgaben seien, die Menschen allgemein relativ leicht lösen könnten.

 

[calluna]

Also willst du hier einen Test der von Experten genau darauf ausgerichtet wurde und der vor 2 Jahren noch bei 5% richtig lag als unnütz hinstellen? Als Mensch lese ich mir auch ein Fachbuch durch und mache dann einen Test.

Dazu noch einmal das folgende… einer der Experten ist F. Chollet… habe schon 2017 ein großartiges Fachbuch von ihm durchgearbeitet. (Er ist auch bekannt durch die Keras-API von Tensorflow).

Dass die LLMs vor zwei Jahren noch unnütz bei dem Test waren, liegt schlicht daran, dass die ARC-Tests kein Sprachproblem sind.

„Sprachlich“ lässt es sich aber als JSON darstellen und verarbeiten, womit sich ein LLM für diese Tests feintunen lässt. Was OpenAI getan hat - denn das lässt sich gut fürs Marketing einsetzen.

Die Interviews mit Chollet sind sehr interessant… und was seine Sicht zur aktuellen Technologie ist.

Und damit du mich nicht falsch verstehst, auch wenn ich es vorher schon verteilt geschrieben habe, was meine Ansicht ist:

- Für den praktischen Nutzen ist es irrelevant, ob eine AI tatsächlich Denken kann oder alles auswendig lernt… es zählt nur das Systemverhalten und nicht wie es realisiert ist!

Genau deswegen ist eine Kritik daran, was eine AI in einem philosophischen Sinn eben nicht ist, kein Zweifel am praktischen Nutzen.

Und dass du als Mensch auch ein Fachbuch liest… Ja… Analogien sind gut und wichtig, wir könnten ohne sie nicht Denken, aber man sollte auch deren Grenzen kennen und bei Analogieschlüssen vorsichtig sein.

Davon abgesehen ist das Lesen eines Fachbuches kein passiver Vorgang. Und der Datensatz ist auch ziemlich klein… keiner liest tausende Fachbücher und Artikel und auch nicht jedes Fachbuch hunderte Male. - So könnte man jedenfalls die Analogie fortführen. ;-)

Aber wie gesagt, für das Endergebnis ist das irrelevant.