Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsNeue Sprachmodelle: OpenAI will mit o1 Logikaufgaben auf PhD-Niveau lösen
Mit o1 hat OpenAI eine neue Reihe von Sprachmodellen vorgestellt, die wesentlich stärker darauf trainiert ist, komplexe Aufgaben zu lösen. Versprochen werden deutliche Fortschritte im Bereich Wissenschaft, Mathematik und beim Programmieren. Nutzen lassen sich die Modelle mit ChatGPT.
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Das klingt spannend. Vor allem, dass ChatGPT irgendwann selbst das passende Modell für die Anfrage wählt klingt super.
Weiß eigentlich jemand woher das o1 kommt? Soll das Binärcode darstellen?
Ansonsten vielleicht noch ein humoristischer Beitrag (von Gemini erstellt)
"Logikaufgaben auf PhD-Niveau lösen"
PhD-Niveau heißt selbständig an aktuellen Forschungsfragen arbeiten. Die LLM können nicht denken, das einzige was die können ist bekanntes wiedergeben. Damit können die per Definition niemals das Niveau erreichen.
Wenn das Modell die ARC AI Tests auf Phd-Niveau besteht - also die Quote hat, welche Personen aus der entsprechenden Gruppe haben… dann glaube ich es.
Alles andere ist auswendig lernen.
Wenn es um logisches Schließen geht, ist Prolog besser… denn Logik ist kein statistisches Muster. Aber vielleicht verwendet das Modell im Hintergrund Prolog als Tool, so wie bereits Python für Berechnungen verwendet wird.
Dann muss das Modell „nur“ die Prämissen und Relationen definieren.
Wie soll das gehen? Es ist beim LLM im Grunde dasselbe wie bei der Bilderkennung… natürlich kann es Objekte erkennen, die ähnlich sind zu dem, was in den Trainigsdaten gewesen ist, aber eben nichts, was nicht zu statistischen Mustern passt, die sich aus den Daten ergeben.
Das gilt so auch für LLMs. Es kann nur Aufgaben lösen, die zu den statischen Mustern aus den Trainingsdaten passen. (Es müssen also nicht dieselben Aufgaben sein im Konkreten… aber in der Struktur schon.)
@Andy ihr könntet eventuell auch noch die Kosten für den API-Zugang erwähnen.
Wie man aus den 30 Antworten pro Woche erahnen kann - die ganze Denkerei ist teuer.
ByCloud hat mMn eine gute Zusammenfassung in Video-Form veröffentlicht:
YouTube
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Ähm nein. LLM können nicht Abstrahieren und daraus eine Transferleistung erzeugen.
Es kann eine Antwort erzeugt werden die an den Trainingssatz ran kommen das kann trotzdem total falsch sein aber super richtig und nachvollziehbar klingen
Das steht für "Omni"... also, übersetzt ungefähr so viel wie "allumfassend", und es kam mit der Einführung von GPT-4: https://en.wikipedia.org/wiki/GPT-4o
Ähm nein. LLM können nicht Abstrahieren und daraus eine Transferleistung erzeugen.
Es kann eine Antwort erzeugt werden die an den Trainingssatz ran kommen das kann trotzdem total falsch sein aber super richtig und nachvollziehbar klingen
Nein, das ist falsch.
LLM besitzen Logik und analog zum Gehirn Denkvermögen.
Die Foundation sind Word2Vec(W2V) nd daraus Fasttext, die Embeddings im Vektorraum stehen in Clustern, welche zusammenhängende Informationen abbilden können und nicht nur deren Cluster eine zusammenhängende Beziehung besitzen sondern zwischen Clustern Beziehungen bestehen. Durch Reinforcement Layers und die Kapazität zu neuer Clusterbildung, lernen sie auch selbstständig neu.
Die Hyperparameter Fortschritte verbessern den Rest.
Und das ist doch auch ausreichend? Menschen funktionieren auch nicht anders. Wir schließen von bereits Bekanntem auf Ähnliches. Forschung geht ja auch Stück für Stück. Niemand schreit "Heureka" und hat eine Lösung zu einem bisher völlig losgelösten Problem zu allem was wir kennen.
Ergänzung ()
Cool Master schrieb:
für jeden Bereich ein eigenes Modell statt probieren alles in ein großes Modell einzubauen.
Vielleicht, vielleicht auch nicht. Das Projekt Strawberry was für die Logik verantwortlich ist, kann ja genauso auf zukünftige Modelle angewandt werden.
Zukünftige ChatGPT werden immer noch kommen, mit großen Fortschritten.
Klar, vieles wird weitergenutzt werden und es wird immer weitere LLMs geben, keine Frage aber ich sehe LLMs eher als den Generalist an und die "kleinen" Modelle sind dann die Spezialisten. So wie eben 01 was auf Logikaufgaben spezialisiert ist.
....ists aber nicht so dass es hier via Training ganz wesentlich auch um sog. Mustererkennung geht.
M.a.W. imho arbeiten die LLMs wie GPT-4 oder der Google-Konkurrent BERT trainingshalber auf riesigen Mengen von Texten - und trainiert dann an diesen: einfach um daran bestimmte Muster zu erkennen und Zusammenhänge zwischen Wörtern, Sätzen und größeren Textstrukturen zu verstehen und dieses Verständnis ständig auszubauen. Aber was sie imho nicht machen ist, spezifische Fakten oder logische Regeln zu lernen, so wie dies wir Menschen tun.
So, wie ichs verstanden habe, gehts hier im Wesentlichen darum statistische Beziehungen zwischen Wörtern und Phrasen zu erkennen.
Aber geschenkt - vielleicht kann man näherungsweise ja auch das menschliche Lernen ähnlich ansetzen und konzeptualisieren...
ProfDrHabilWegn schrieb:
Die Foundation sind Word2Vec(W2V) nd daraus Fasttext, die Embeddings im Vektorraum stehen in Clustern, welche zusammenhängende Informationen abbilden können und nicht nur deren Cluster eine zusammenhängende Beziehung besitzen sondern zwischen Clustern Beziehungen bestehen. Durch Reinforcement Layers und die Kapazität zu neuer Clusterbildung, lernen sie auch selbstständig neu.
Die Hyperparameter Fortschritte verbessern den Rest.
Nein, das ist falsch.
LLM besitzen Logik und analog zum Gehirn Denkvermögen.
Die Foundation sind Word2Vec(W2V) nd daraus Fasttext, die Embeddings im Vektorraum stehen in Clustern, welche zusammenhängende Informationen abbilden können und nicht nur deren Cluster eine zusammenhängende Beziehung besitzen sondern zwischen Clustern Beziehungen bestehen. Durch Reinforcement Layers und die Kapazität zu neuer Clusterbildung, lernen sie auch selbstständig neu.
Die Hyperparameter Fortschritte verbessern den Rest.
Die Aussage haben ich so oder ähnlich häufig gelesen, aber es gab nie eine belastbare Quelle dazu. Also irgendwas in Richtung Veröffentlichung in einem (brauchbarem) Journal.
Die Foundation sind Word2Vec(W2V) nd daraus Fasttext, die Embeddings im Vektorraum stehen in Clustern, welche zusammenhängende Informationen abbilden können und nicht nur deren Cluster eine zusammenhängende Beziehung besitzen sondern zwischen Clustern Beziehungen bestehen. Durch Reinforcement Layers und die Kapazität zu neuer Clusterbildung, lernen sie auch selbstständig neu.
Die Hyperparameter Fortschritte verbessern den Rest.
Und das selbstständige Lernen bezweifle ich stark. Dazu müssten die Modelle Hypothesen aufstellen, daraus Fragen/Informationsgesuche ableiten, daraufhin Informationen suchen, bewerten und in ein kohärentes Modell eingliedern.
Auch da fehlen mir komplett die wissenschaftlichen Veröffentlichungen, die ein solches Verhalten zeigen.
Und das was du beschreibst klingt für mich immer noch wie extrem potente Mustererkennung samt -replikation. Beeindruckend aber (noch?) nicht viel mehr.
