News Neue Sprachmodelle: OpenAI will mit o1 Logik­auf­gaben auf PhD-Niveau lösen

[KitKat::new()]

LLMs funktionieren sehr ähnlich.

Eigentlich ja überhaupt nicht.
Fängt an damit, dass das Gehirn verteilte elektrochemische Prozesse nutzt während LLMs digitale Berechnungen durchführen.

Es gibt zwar KNNs, die sich mehr ans Gehirn anlehnen, z.B. SNNs, aber selbst die sind weit davon weg ähnlich zu funktionieren wie ein Gehirn, und das kann man schon sagen, obwohl wir nicht wirklich wissen wie genau das Gehirn funktioniert.

 

[calluna]

@CyborgBeta

Das sind ja interessante „logische“ Analogieschlüsse.

Kühe geben Milch… Kühe fressen Gras… Frauen geben Milch… Frauen fressen Gras. ;-)

Ich habe das Buch von Ian Goodfellow (Deep Learning) von 2016 damals durchgearbeitet. So ein klein wenig weiß ich über KNN.

 

[ProfDrHabilWegn]

@ProfDrHabilWegn

Hypothetisch gibt es auch eine Weltformel in der Physik. 😉
Meine Frage war rhetorisch… ich weiß, dass es da bisher keinen Durchbruch gab und unbekannt ist, wie die höheren „geistigen“ Fähigkeiten realisiert sind.

Aber das zu wissen ist eben die Voraussetzung für die Analogie, die du dargelegt hast.

Und du solltest wissen, dass z.B. Piktogramm jemand mit einer sehr guten fachlichen Bildung ist.

Ja das hatte ich absolut ausgedrückt, um dem KI Thema mehr Gewicht zu geben, auch wenn es keine Absolutheit dabei gibt, und hätte es in Relation zu der Theorie setzen können. Das hätte bedeutet, dass ich die Quelle raussuche für die Theorie und das war mir zu viel Aufwand und dann hab ich es trotzdem gesendet, weil mir das Medium nicht so wichtig war als dass ich den Aufwand dafür betreibe es zu löschen, wenn es ggü einer populären Hypothese stimmt. Also ja, das sollte ich so nicht gesagt haben und es gibt genug Hypothesen, die Gedächtnis anders betrachten. Leider wollte ich eine anständige Theorie aus 2022 jetzt noch verlinken, aber das liegt schon so weit zurück, da hab ich jetzt auch Autor und Titel vergessen und hoffe ich kann dazu baldig etwas nachliefern.

 

[Kantonspital]

Uff. Und ich hab mich noch 4 Jahre mit dem Prof (und noch schlimmer den Studenten) rumgeschlagen um nur 1 Thema mal vertiefend zu beleuchten. Seufz

 

[Piktogramm]

Wissenschaft sollte frei von Ideologie sein, und damit meine ich nicht die Ideologie Ideologiefreiheit zu erzwingen.
Wenn ich etwas reviewe, das gegen die "Ideologie" meines Journals spricht, oder gegen aktuelle soziale oder politische Präferenzen, dann hab ich ein Problem, und das eingereichte Paper wird auch nach mir nicht publiziert, weil der, der an meine Stelle tritt dann wieder nicht ganz unabhängig reviewed.
Die zur Publikation zugelassenen Artikel müssen nicht nur fachlichem Anspruch genügen, sondern auch in gewisser Weise der gängigen Einstellung der Welt, weil das generiert keine negativen Schlagzeilen von der Welt und im Endeffekt - und darauf kommt es an - Geld

Der Ideologiebegriff ist mindestens schwierig. Es gibt da mindestens drei Definitionen von "Ideologie". Einmal die marxistische, einmal aus der Wissenssoziologie und dann das unsägliche Geplöke der rechtsextremen bis rechtskonservativen Ecke. So wie du den Begriff verwendest, werde ich da absolut nicht schlau und Vermute leider eher Letzteres :/ [1].

Nach der Wissenssoziologie ist jedes Konstrukt sozialer Normen eine Ideologie und Wissenschaft daher inhärent ideologisch. Es können ja eindeutig Normen der Wissenschaft formuliert werden in Form von Anforderungen wie:

• Falsifizierbarkeit
• Belegbarkeit
• Reproduzierbarkeit
• …

Insofern ist deine gesamte Kritik an Ideologien irgendwie sinnlos. Sinnvoll ist wenn dann eine konkrete Kritik gegenüber Publikationen, Journals, Wissenschaftler·innen an der Verletzung wissenschaftlicher Prinzipien. Also der Verletzung der in dem Bereich bevorzugten Ideologie.

Und wenn du die Motivation der Journals anzweifelst und ein Publikationsbias darstellst, der sich kommerziell orientiert, da verstehe ich nicht, wie dieses Muster der Kritik gegenüber den größeren Unternehmen nicht noch deutlicher erfolgt. Die finanziellen Anreize sind bei Aktienunternehmen ja noch deutlich extremer.


[1]bloß weil es bei mir so ankommt, bedeutet das keine Absicht deinerseits.

 

[SpamBot]

Forschung geht ja auch Stück für Stück.

Naja, es gibt auch Grundlagenforschung. Da erfindet man coole sachen ohne überhaupt ein Problem zu haben / zu lösen.

 

[calluna]

@Piktogramm

Na ja… es gibt auch noch eine vierte Möglichkeit bei Ideologie, den diffusen und nicht reflektierten Begriff in der Alltagssprache, den ich ebenso verwende. (Es nützt ja nichts, eine Wort so zu verwenden, dass es fast niemand versteht).

Deswegen behaupte ich mal, dass Ideologie oft im Sinne von Interessengeleitet, dogmatisch verwendet wird.

Jedenfalls verwende ich das Wort auf diese Weise.

 

[Mimir]

Oh wow, wenn die KI nachdenkt, bevor sie eine Antwort gibt, ist sie automatisch wahrscheinlich 99,99% aller Menschen weit voraus.

"Logikaufgaben auf PhD-Niveau lösen"
PhD-Niveau heißt selbständig an aktuellen Forschungsfragen arbeiten. Die LLM können nicht denken, das einzige was die können ist bekanntes wiedergeben. Damit können die per Definition niemals das Niveau erreichen.

Du hast hier auch nichts anderes getan, als bereits bekannte und eventuell falsche Information wiederzugeben.

Das Niveau eines Menschen zu erreichen ist daher wahrscheinlich äußerst einfach und womöglich längst passiert.
Was Chat GPT jedoch leisten muss, um von möglichst vielen Leuten als halbwegs intelligent eingestuft zu werden ist, mindestens so intelligent zu sein und so viel Wissen zu erreichen, wie eben jene Menschen, die es prüfen.

ChatGPT ist praktisch der EINE Prüfling, der ALLE Aufgaben bestehen soll und dabei am besten noch schlauer sein soll, als der Aufgabensteller.

Ich denke vielen ist nichtmal bewusst, welche Anforderungen wir hier stellen. Gemessen daran ist die Entwicklung schon sehr weit fortgeschritten.

 

[calluna]

Es gibt viele Parallelen zwischen Neuronen, Rezeptoren usw. und neuronalen Netzen

Natürlich gibt es Parallelen, weil die KNN das Ergebnis von Bioengineering sind. Wir haben uns da von der Natur inspirieren lassen.

Aber jede Analogie hat ihre Grenzen. (Vor allem eine so Skizzenhafte wie die zwischen einem KNN und einem Gehirn)

Ein großer Unterschied ist, dass es in biologischen Gehirnen räumliche und zeitliche Muster gibt.

So etwas gibt es in den bisherigen KNN nicht… es spielt dort keine Rolle, wie schnell oder langsam die Bearbeitung erfolgt.

Jede Berechnung von heutigen KNNs kann auf einer Turing-Maschine ausgeführt werden, die im Prinzip auch durch menschliche Handlungen realisiert werden kann - auch wenn die Berechnungen eines LLM dann Millionen Jahre dauern könnten. Die Zeit spielt da keine Rolle.

Wenn die Art der Realisierung also keine Rolle spielt - was die Ansicht des Funktionalismus ist - dann wäre auch jede geistige Leistung realisierbar durch eine Turing-Maschine, die durch menschliche Handlungen realisiert wird.

 

[Ayo34]

Wenn das Modell die ARC AI Tests auf Phd-Niveau besteht - also die Quote hat, welche Personen aus der entsprechenden Gruppe haben… dann glaube ich es.

Alles andere ist auswendig lernen.

Ist es eben nicht!

Das o1-preview Modell ist z.B. beim Codeforces Test besser als 62% der Menschen. Das o1 Modell dann schon besser als 89% der Menschen und jetzt kommt erst das optimierte und trainierte Modell für den Team mit o1-ioi und das ist dann besser als 93% der Menschen.

Man kann sich das wie einen Matheprofessor vorstellen, der alles schon sehr gut kann, aber bestimmte Bereich wo er "trainiert" ist, eben nochmal ein paar Prozent besser. Es ist ja auch ein Trugschluss, dass wir Menschen nicht auch extra für bestimmte Aufgaben trainieren müssen. Häufig fängt es mit Auswendig lernen (nur) an...


edit: Endlich ein spannendes Sprachmodell, welches etwas "anders" macht.

 

[Piktogramm]

@calluna
Naja, eine diffuse, nicht konkrete Begriffsverwendung taugt halt null zur Kommunikation oder Kritik konkreter Begebenheiten. Diese sinnvermeidende Verwendung ist genau das, wie die Rechten betreiben. Das ist keine weitere, vierte Bedeutung für mich.

Und wenn "dogmatisch" gemeint ist, sollte man vielleicht das Wort Dogma uns seine Formen nutzen?!

 

[Ayo34]

Achja:

Bei den transparenten Grafiken von OpenAI sollte man einen Hintergrund einfügen. Dann kann man die Grafiken auch lesen.

 

[calluna]

Das Niveau eines Menschen zu erreichen ist daher wahrscheinlich äußerst einfach und womöglich längst passiert.

Schau dir mal die ARC Tests von F. Chollet an.

@Ayo34

Ja, das sind beeindruckende Ergebnisse. Aber sieh dir andere Testmethoden an, bei denen auswendig Lernen derzeit nicht oder nur schwer möglich ist.

Am Ende schmälert das auch nicht die Leistung der Modelle, nur weil man weiß, wie sie im Grunde funktionieren… und die Stärken und Schwächen kennt.

PS… und Codeforces ist doch so etwas wie CodeWars, CodInGame etc?
Genau zu solchen Aufgaben gibt es sehr viele Daten.

 

[Piktogramm]

https://ai.meta.com/research/publications/the-llama-3-herd-of-models/

So Paper "überflogen", für mich ist das hauptsächlich die Präsentation, wie sie LLama3 trainiert und verifiziert haben. Wobei keine Beschreibung darauf hindeutet, dass das Ganze mehr ist als potente Mustererkennung und -replikation ist. Es ist aber auch nicht weniger und die Quote (laut Paper) bei denen Eingabemuster passende Ausgabemustern hervorbringen ist beeindruckend.
Wobei bei der Beschreibung wie sie das Training über Code bewerten über die selben Hürden stolpert wie die Bewertung von Code von Menschen. Statische Codeanalysen gehen, aber die Bewertung ob das Programm den formulierten bzw. implizierten Anforderungen entspricht ist nicht möglich bei komplexeren, abstrakteren Anforderungen.
Etwaige Probleme der anderen, aufgeführten Bereiche kann ich schwer bewerten, da fehlt mir Kompetenz.

 

[calluna]

https://lab42.global/arc/

Hier der Link, wer Interesse daran hat.

Ich bin da drüber gestolpert, als ich mir von Chollet sein Deep Learning Buch gekauft habe, um mich in Keras einzuarbeiten.

Wenn diese Tests bestanden werden, bin ich überzeugt.

 

[DeusExMachina]

Das konnten schon mind 10 Jahre alte Machine Learning Modelle.
Wenn die Fähigkeit zur Abstraktion und Transferleistung nicht da wäre, könntest du genauso gut eine Datenbank nutzen und dort input->output eintragen und auslesen

Was GPT am ende macht.
Und ML abstrahiert auch nicht es wird nach Übereinstimmungen gesucht

Deswegen sind Menschen mit der falschen Hautfarbe für bestimmte Berufe ungeeignet

Oder es ist Hautkrebs wenn ein Lineal daneben liegt.

Das heißt nicht das die Software deswegen total nutzlos ist.
Aber echte Transferleistung ist das noch nicht.

Wir wollen hier aber mal fair sein die meisten Menschen haben da auch ihre Schwierigkeiten.

Das Niveau eines Menschen zu erreichen ist daher wahrscheinlich äußerst einfach und womöglich längst passiert.

Bei genereller KI ist der Stand der Technik irgendwo beim Niveau einer Katze
Zumindest war das der Stand im Sommer und da wird sich nicht viel dran getan haben

 

[Gesher]

Im Deutschen würde man dann aber Doktoranden-Niveau schreiben.

 

[Sambow]

Hast du ne quelle zu?
Soweit ich das verstehe funktioniert das Reinforced Learning nicht so wie das beschreibst

Und alles gut?

 

[MichaG]

ChatGPT, erstelle eine Legende zu den Bildern im Artikel.

@Andy die benchmark-bilder sind jetzt wenig hilfreich

Da ist irgendwas beim Screenshot-Import schief gelaufen. Jetzt kann man auch die Legende sehen. Ich poste sie hier direkt noch rein:

 

[Mimir]

Bei genereller KI ist der Stand der Technik irgendwo beim Niveau einer Katze
Zumindest war das der Stand im Sommer und da wird sich nicht viel dran getan haben

Hmm, das Video hat mir Youtube gerade vorgeschlagen. Sieht für mich schon nach Fortschritt aus.

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung