News Neue Sprachmodelle: OpenAI will mit o1 Logik­auf­gaben auf PhD-Niveau lösen

Hui, offenbar brauchte es wirklich PHD-Niveau, um das Strawberry-Problem zu lösen :)
(die Vorgänger waren in der Regel der Meinung, es mit 2 'r's zu tun zu haben)

o1_vs_strawberry.png


Jedoch findet die KI das Ergebnis offenbar unlogisch ... oder wie soll man das "Interessanterweise" verstehen? :confused_alt:
 
Bei künstlicher Intelligenz Frage ich mich immer wieder ob es so die wichtigsten Erkentnisse wird selbstständig erarbeiten können.

Z.B.: Wenn wir die KI mit dem Wissen Füttern das Darwin 1831 hatte als er auf die Beagle stieg. Kommt sie dann mit der Evolutionstheorie um die Ecke? Oder mit dem Wissen um 1900 was Einstein haben konnte, kommt dann die Relativitätstheorie raus? Es wäre ja relativ leicht herauszufinden zu welchen Büchern zB Einstein oder Darwin Zugang hatten. Kann sie selbstständig mit die Quantenphysik erarbeiten basierend auf den damaligen Werken?
 
  • Gefällt mir
Reaktionen: [-oMLeTTe-]
Habe gerade etwas getestet, womit das Modell davor auch Probleme hatte… und zwar zu einem Satz ein neues Wort aus den Anfangsbuchstaben zu erstellen. Und dann daraus einen neuen Satz zu bilden.

Bekommt o1 hin… aber irgendwie habe ich das Gefühl, dass die Eingabe zerlegt wird, bevor sie ein LLM als Input bekommt. Also ich glaube nicht, dass das einfach nur ein LLM ist.

Muss mir dazu mal Literatur anschauen. Wie gesagt, die Modelle davor haben schon Tools verwendet - es wäre auch Unsinn, wenn das LLM die Aufgaben eines Parsers, Berechners etc. übernehmen würde.

@proton

Unser Wissen von der Welt basiert auf erlebten Erfahrungen… d.h. die Sprache codiert nicht unser gesamtes Wissen, sondern nur den Teil, der explizit ist. Und selbst in diesem Teil gibt es viele Metaphern, Vorstellungsbilder, die notwendig sind. (Die Forschung zur Sprache bei Menschenaffen und Kleinkindern zeigt, dass Wörter am Anfang vor allem fixierte Perspektiven innerhalb einer geteilten Wahrnehmungssituation zwischen zwei Individuen sind.)

In Bezug auf Einstein ist das Buch „Analogie“ von Hofstadter interessant. (Der Autor von „Gödel, Escher, Bach“.)

Die von dir genannten Theorien wurden nicht logisch hergeleitet. Eine wichtige Rolle haben Gedankenexperimente und bestimmte Überzeugungen über die Welt gespielt.

Interessanter an den LLMs ist deswegen eigentlich viel mehr, dass die Muster, die wir durch die vielen sprachlichen Werke, die wir produziert haben, solche interessanten Tools wie ChatGPT ermöglichen. Das ist etwas, was nicht offensichtlich gewesen ist, dass es so gute Ergebnisse bei der Imitation von kognitiven Prozessen liefert.
Aber man sollte dennoch vorsichtig sein, die jetzige Entwicklung allzu optimistisch in die Zukunft zu extrapolieren.

Vermutlich wird es eine ganz andere Technologie sein, die entwickelt werden muss, um noch weiter zu kommen.
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: rosenholz
calluna schrieb:
Die von dir genannten Theorien wurden nicht logisch hergeleitet. Eine wichtige Rolle haben Gedankenexperimente und bestimmte Überzeugungen über die Welt gespielt.
Klingt nach geschicktem Raten ... kann o1 auch. ;) Nur muss es ja irgendwie dann auch bewiesen werden.
Ergänzung ()

Goldilox schrieb:
oder wie soll man das "Interessanterweise" verstehen?
dass normalerweise nicht so viele r's in Wörtern vorkommen.
 
calluna schrieb:
Habe gerade etwas getestet, womit das Modell davor auch Probleme hatte… und zwar zu einem Satz ein neues Wort aus den Anfangsbuchstaben zu erstellen. Und dann daraus einen neuen Satz zu bilden.

Bekommt o1 hin… aber irgendwie habe ich das Gefühl, dass die Eingabe zerlegt wird, bevor sie ein LLM als Input bekommt. Also ich glaube nicht, dass das einfach nur ein LLM ist.

Muss mir dazu mal Literatur anschauen. Wie gesagt, die Modelle davor haben schon Tools verwendet - es wäre auch Unsinn, wenn das LLM die Aufgaben eines Parsers, Berechners etc. übernehmen würde.

@proton

Unser Wissen von der Welt basiert auf erlebten Erfahrungen… d.h. die Sprache codiert nicht unser gesamtes Wissen, sondern nur den Teil, der explizit ist. Und selbst in diesem Teil gibt es viele Metaphern, Vorstellungsbilder, die notwendig sind. (Die Forschung zur Sprache bei Menschenaffen und Kleinkindern zeigt, dass Wörter am Anfang vor allem fixierte Perspektiven innerhalb einer geteilten Wahrnehmungssituation zwischen zwei Individuen sind.)

In Bezug auf Einstein ist das Buch „Analogie“ von Hofstadter interessant. (Der Autor von „Gödel, Escher, Bach“.)

Die von dir genannten Theorien wurden nicht logisch hergeleitet. Eine wichtige Rolle haben Gedankenexperimente und bestimmte Überzeugungen über die Welt gespielt.
Exakt. Sie sind Resultate von Wissen, Erfahrung, Prägung etc. Deswegen frag ich mich ob KI jemals in der Lage zu solchen Gedankengängen sein wird die die wirklich grossen Fragen beantworten die sich stellen und stellen werden.
 
@CyborgBeta

Vielleicht… aber da mich Einstein als Kind fasziniert hat, habe ich mir Bücher mit Abhandlungen von ihm gekauft. Und da merkt man, wie dominant Anschaulichkeit bei ihm ist, also wie ausgeprägt die visuelle Vorstellungskraft ist.

Die Theorie selbst, die spezielle wie die allgemeine Relativitätstheorie, haben einen axiomatischen Aufbau, sind also aus wenigen Prinzipien hergeleitet. Aber sein eigentliches Genie lag im Weg zu diesen Prinzipien… dazu musste er den vorhandenen Denkrahmen weit überschreiten.

(Im Grunde ist es der Weg von Newton zu Leibniz, was die Vorstellung über Raum und Zeit angeht.)

Auch wenn Gedanken oft in eine sprachliche Form gebracht werden, so ist Denken selbst bei vielen Menschen kein sprachlicher Akt.

So… was impliziert das für LLMs?

(Deswegen haben ich es weiter oben angezweifelt, als gesagt wurde, dass ein LLM analog denkt wie Gehirne. Zum einen wissen wir nicht, wie Denken funktioniert - sonst hätten wir einen Ansatz, wie wir das nachbauen können -, und zum anderen sind Texte Resultate von Denkakten, also der Inhalt, aber nicht der Prozess. Und LLMs sind das, auch wenn ich manche Erwartungen kritisiert habe, vorerst geniale Ergebniss aus einer Analyse der statistischen Muster in den Texten.)
 
Zuletzt bearbeitet:
  • Gefällt mir
Reaktionen: rosenholz und madmax2010
proton schrieb:
Bei künstlicher Intelligenz Frage ich mich immer wieder ob es so die wichtigsten Erkentnisse wird selbstständig erarbeiten können.

Z.B.: Wenn wir die KI mit dem Wissen Füttern das Darwin 1831 hatte als er auf die Beagle stieg. Kommt sie dann mit der Evolutionstheorie um die Ecke? Oder mit dem Wissen um 1900 was Einstein haben konnte, kommt dann die Relativitätstheorie raus? Es wäre ja relativ leicht herauszufinden zu welchen Büchern zB Einstein oder Darwin Zugang hatten. Kann sie selbstständig mit die Quantenphysik erarbeiten basierend auf den damaligen Werken?

Ich verstehe immer nicht ganz, was direkt erwartet wird. Ich meine wir haben Millionen Jahren an Entwicklung hinter uns und die Menschheit baut in einer Generation auch immer nur etwas Wissen auf, worauf dann die Nachfolger wieder aufbauen.

Wie lange gibt es den Computer? Wie lange gibt es jetzt KI in der Form von ChatGPT? Was passiert, wenn KIs in Roboterform quasi alles wahrnehmen können wie ein Mensch? Vielleicht braucht es auch eine andere Art von Rechner, ähnlicher des dem Menschens? Wenn wir unser Gehirn nachbauen könnten und das mit einem PC und unendlicher Energie koppeln, dann wird ja offensichtlich die Intelligenz eines Menschens um ein Vielfaches überstiegen...

Ich glaube ein Faktor bleibt aktuell die Interaktion mit der Welt. Menschen bekommen jede Menge Input und können so Sachen "Erfahren". Diese Interaktion hat eine KI eben durch den Input in Form von z.B. Text.

Und mal ganz ehrlich, 99,9% der Menschen bringen es in 100 Jahren nicht hin, irgendwas nützliches "Neues" zu erfinden oder zu erdenken. Wir lernen Dinge, die es schon gibt und manchen monotone Dinge jeden Tag... wir sind einfach maximal limitiert mit unserem Gehirn (Energieaufnahme) und der Lebensdauer.
 
  • Gefällt mir
Reaktionen: rosenholz, CyborgBeta und KitKat::new()
Ayo34 schrieb:
Ich verstehe immer nicht ganz, was direkt erwartet wird. Ich meine wir haben Millionen Jahren an Entwicklung hinter uns und die Menschheit baut in einer Generation auch immer nur etwas Wissen auf, worauf dann die Nachfolger wieder aufbauen.
Unser Wissen ist aber in den letzten 200 Jahren geradezu explodiert und hat nicht mehr viel mit der Zeit davor zu tun. Die letzen paar Generationen Menscheheit hat mehr neues Wissen erschlossen als alle Millionen Jahre davor.
Ayo34 schrieb:
Und mal ganz ehrlich, 99,9% der Menschen bringen es in 100 Jahren nicht hin, irgendwas nützliches "Neues" zu erfinden oder zu erdenken. Wir lernen Dinge, die es schon gibt und manchen monotone Dinge jeden Tag... wir sind einfach maximal limitiert mit unserem Gehirn (Energieaufnahme) und der Lebensdauer.
Das stimmt natürlich. Allerdings bringen 99.9% der Menschen die Menschheit auch nicht weiter.

Natürlich ist es beeindruckend was die KI schon kann. Und es wird auch weiterhin grosse Verbesserungen geben. Nichts desto trotz bleibt die Frage erlaubt ob KI jemals zu Einfällen der ganz aussergewöhnlichen Genies wird fähig sein.
 
Oh, entweder warnt OpenAI davor, dass morgen seine KI die Welt übernehmen und Funktionen daher zurückgehalten werden müssen, oder aber das neue Modell wirklich nie gesehen, super hilfreich und ultra smart sind.

Ich habe heute erst wieder mit Co-Pilot "gekämpft" der heftig halluziniert hat (und das ist derzeit 4o - also bereits "supersmart") und immer wieder mit dem gleichen Müll ankam und sich einfach nicht davon abbringen ließ.

TL;DR: Marketing und Versuche, den Hypetrain am Leben zu erhalten.
 
KitKat::new() schrieb:
Es gibt zwar KNNs, die sich mehr ans Gehirn anlehnen, z.B. SNNs, aber selbst die sind weit davon weg ähnlich zu funktionieren wie ein Gehirn, und das kann man schon sagen, obwohl wir nicht wirklich wissen wie genau das Gehirn funktioniert.
Wie wahr :)
Irgendwann am Anfang des Studiums habe ich bemerkt, dass gerne Forschende in allen Disziplinen die teile des Gehirns die sie nicht verstehen gern anderen Disziplinen zuordnen. Sprachwissenschaften verwiesen gern auf Quantenphysik, Quantenphysiker verwiesen gern auf Mikrobiologie, Mikrobiologie verwies hingegen auf die Informatik, usw..
In jeder Disziplin gibt es sehr disjunkte Ideen wie das Gehirn funktionieren können und die Meinungen sind teils sehr gefestigt.
Nur in einem ist man sich durchgehend einig. Niemand weis wie das Gehirn wirklich funktioniert. Das beginnt bei der Funktionsweise von Neuronen, über deren Verbindungen und deren Zweck und geht entsprechend tief.
Das Gleiche gilt auch bei Intelligenz an sich.

Blaexe schrieb:
Grundsätzlich falsch. LLMs können Aufgaben lösen die nicht im Trainingssatz vorhanden sind. Wäre sonst ja auch unsinnig.
Sorry, aber @Michael-Menten hat da schon recht
Toller Satz dazu, der zwar schon 4 Jahre alt ist, aber bisher hat niemand was gegenteiliges gefunden:

Alternatively, one major difference between text generation in humans and neural LMs is that humans usually have a meaning that they want to express that guides their text generation, whereas LMs have no explicit plan when producing text. This difference may partly explain the ways in which models are less novel than humans: Since models mainly manipulate text alone, they fall back to repeating text they have seen before. Thus, novelty may be improved by incorporating more explicit semantic planning (Rashkin et al., 2020).

Das aktuellste was ich dazu habe, gerade 1 Woche alt:

Despite this, no evaluations have shown that LLM systems can take the very first step of producing novel, expert-level ideas, let alone perform the entire research process (Si et al, 2024).

calluna schrieb:
Haben die Neuro- bzw. Kognitionswissenschaften mittlerweile einen Durchbruch gehabt, wie unsere höheren kognitiven Leistungen realisiert sind?
Danke :D

CyborgBeta schrieb:
LLMs funktionieren sehr ähnlich. Deshalb spricht man auch von KNNs. ;) Und daraus folgt dann auch ... dass sie intelligent sind, insoweit ihre Möglichkeiten es zulassen.
Ok, dann verusch mal in eigenen Worten zusammenzufassen: Was ist Intelligenz und wie funktioniert sie?
 
madmax2010 schrieb:
Ok, dann verusch mal in eigenen Worten zusammenzufassen: Was ist Intelligenz und wie funktioniert sie?
Nö, meine Beiträge werden eh versenkt. Und zwar von solchen Leuten wie dir.

ChatGpt ist total doof. Besser?
 
CyborgBeta schrieb:
ChatGpt ist total doof. Besser?
absolut nicht. LLMs sind super Tools. Sowohl ChatGPT als auch andere. Wenn ich mir aber ansehe wie unreflektiert manche die Ergebnisse aus Anfragen daran reproduzieren wird es gruselig.

es geht nicht ums versenken sondern darum zu verstehen wie viel des aktuell AI hypes nichts weiter als marketing Geschwätz einiger weniger Firmen ist. Es gibt bald 10 Jahre LLMs und Transformer Modelle allgemein noch länger. In der Zeit wurde keine ihrer generellen Schwächen gelöst.

wohl aber wurde der Begriff AI mehrfach umgedreht und meint je nach Kontext immer das was gerade passt

wie soll es da nen sauberen diskurs in der öffentlichkeit geben, wenn Wissenschaft, tech Konzerne und User keine klare Begrifflichkeit haben die sie nutzen können, weil regelmäßig umgedeutet wird order irgendwelche Klick bait news alles verstopfen
 
Michael-Menten schrieb:
Die LLM können nicht denken, das einzige was die können ist bekanntes wiedergeben. Damit können die per Definition niemals das Niveau erreichen.
Und genau daher gibt es auch noch keine echte KI. LLMs sind keine KI, sondern "sehr schlaue" Datenbanken die aber kein Wissen hinzufügen können oder unbekanntes lösen können.
 
@CyborgBeta

Es wurde von dir genau ein Beitrag absichtlich versenkt, und zwar der, in dem du geschrieben hast, dass du einen Beitrag gemeldet hast. 😉
Der Rest war ein Automatismus, weil jeder Beitrag mit verschoben wird, der einen verschobenen Beitrag zitiert hat.

Und ich kann dir weiterhin einen Blick auf z.B. die ARC AI Tests empfehlen, wenn dich ein nüchterner Blick auf das Thema Intelligenz interessiert.



Die Leistungsfähigkeit der Modelle ist zwar sehr interessant, aber z.B. Codeforces ist etwas, bei dem sich Muster auswendig lernen lassen… die kleinen Code-Katas gibt es in großer Zahl und sind Variationen einer endlichen Themenanzahl.
Und es gibt zu jeder Variante eine sehr große Zahl an von Menschen produzierten Lösungsvarianten.

Im Unterschied dazu müssen die meisten Menschen, die nicht aus Spaß ein Jahr lang solche Rätsel gelöst haben und dabei die Muster ebenso auswendig lernen und die Aufgaben irgendwann nach Schema-F lösen, tatsächlich nachdenken.

(Und das ist es, was sich für viele Menschen gut anfühlt, ein Problem gelöst zu haben, zu dem man die Lösung als Schema nicht kannte…)
 
Zuletzt bearbeitet:
madmax2010 schrieb:
Das aktuellste was ich dazu habe, gerade 1 Woche alt:
Despite this, no evaluations have shown that LLM systems can take the very first step of producing novel, expert-level ideas, let alone perform the entire research process (Si et al, 2024).#
Der direkt auf dein Zitat folgende Satz aus dem verlinkten paper lautet:
We address this by establishing an experimental design that evaluates research idea generation while controlling for confounders and performs the first head-to-head comparison between expert NLP researchers and an LLM ideation agent.
We find LLM-generated ideas are judged as more novel (p < 0.05) than human expert ideas while being judged
slightly weaker on feasibility.

Das paper widerspricht imo Deiner These und ist keinesfalls ein Beleg.
Ich finde es äußerst unlauter und manipulativ, auf so selektive Weise zu zitieren.
 
Zuletzt bearbeitet:
Dann hoffe ich mal, dass chatGPT gut darin ist oder wird automatisch das richtige Modell für den Task zu wählen. Vor allem wenn da immer mehr Modelle kommen..
 
Zurück
Oben