News Strawberry und Orion: OpenAI könnte GPT-4-Nachfolger im Herbst starten lassen

[###Zaunpfahl###]

stochastische Papageien

Und wir funktionieren anders?

 

[DeusExMachina]

Ja.
Da wir Kontext herstellen können und abstrahieren.

Unser Gehirn ist nicht perfekt und muss auch trainiert werden.
Aber LLMs bilden die Funktionsweise nicht nach und sollen das auch nicht.

 

[###Zaunpfahl###]

Das glaube ich nicht, das ist nur Einbildung. Natürlich ist KI noch nicht soweit und unser Gehirn hat noch mehr drauf aber ich glaube das lässt sich alles nachbilden und der glaube an "der Mensch" ist der gleiche Irrglaube wie die Erde im Zentrum von allen.
So wie Evolution durch "physikalische Optimierung" und Milliarden von Jahren von statten ging, so auch unser Gehirn. Die bisherige KI hat bis jetzt auch ziemlich anders gelernt als wir es mit all unseren Sinnen tun, eigentlich überraschend was die jetzigen Modelle können ohne eine Ausbildung wie wir gehabt zu haben.

Und schon mal einem Baby "Kontext" erklärt? Das kriegt KI besser hin aber am Ende werden es beide über die Jahre lernen und das über ein ähnliches Muster

 

[LamaMitHut]

@DeusExMachina

Der Datenpool aus dem LLMs Trainiert werden können ist nun mal endlich.

Ist er nicht. Die Daten können von Menschen ausgewählt und zur Not extra für das Training erstellt werden, wir reden hier von Unternehmen die ziemlich viel Kohle haben.

Außerdem kann man auch Modelle immer mehr dahin optimieren, dass sie mit weniger Trainingsdaten auskommen.

 

[DeusExMachina]

Du verstehst echt nicht wie die Dinger funktionieren oder?

Selbst wenn du Synthetische Testdaten erstellst (was auch endlich ist) nützt dir das wenig wenn da bei nur gebrabbel heraus kommt. Es gibt nur mal nur einen Endlichen Satz an Daten dem ein Kontext zu geordnet werden kann in der Sprache. Alles andere ist Rauschen

Der Text:
Die Schwalben (Hirundinidae) sind eine artenreiche Familie der Ordnung Sperlingsvögel (Passeriformes), Unterordnung Singvögel (Passeres). Schwalben haben ein sensibles Gehör, sie kommunizieren ununterbrochen in einer großen Bandbreite an Lauten miteinander. Sie ernähren sich von Fluginsekten, in Mitteleuropa sind sie Zugvögel.

Ergibt nun mal wenig Sinn wenn du Schwalbe durch Seehund tauscht.
Das sind dann zwar tolle Trainingsdaten verzerren aber das Wahrscheinlichkeitsmodell für das LLM weil es dann nicht mehr klarer Schwalben und Seehunde in einen Kontext Zugvögeln bringen kann. (sehr sehr stark vereinfacht formuliert)

Ein LLM weiß nicht was eine Schwalbe oder ein Seehund ist sondern kennt nur die Statistische Wahrscheinlichkeit mir der Schwalbe und Seehund zu anderen Worten stehen.
Schwalbe wird öfter in Kontext mit Zugvogel genannt wobei Seehund das eher selten wird.

Nimmt man jetzt die Lerndaten, dupliziert die Schwalben Einträge und fügt den Seehund da ein.
Halte ich es eher für Wahrscheinlich das die "KI" sich was zusammen fantasiert das Seehunde und Schwalben um Nistplätze unter Dachvorsprüngen konkurrieren als das eine Datenverbesserung stattfindet.

---------

Klar man kann dadurch die Lerndaten Manipulieren um bestimmte Ergebnisse zu erhalten so wie es der Google Übersetzer mal war der aus I love Call of Duty ich liebe Battelfield gemacht hat

Oder Google Maps das je nachdem von wo du die Indisch Chinesische Grenze googlest andere Verläufe bekommst

Ein LLM das bestimmten Bevölkerungsgruppen von höherer Bildung ab rät ist bestimmt der Traum eines jeden echten Ariers der (un)menschen mit zu viel Pigmenten in der Haut lieber auf dem Feld sieht.

----

Das ändert aber nix daran das der Datensatz mit dem man ein LLM füttern kann immer noch endlich ist.


Was dein Kohle Argument angeht
Warum wird noch mal das internet als Lerndaten verwendet?
Und warum werden für das Pretraining der Chatbots nochmal billigstlohn Sklaven in Weitwegistan benutzt?
Oder warum benutzte Amazon Clickinder anstatt echter Kamerabild analyse?

Ich denke du kommst selber drauf

 

[LamaMitHut]

Wo habe ich jetzt von synthetischen Testdaten gesprochen? Ich spreche von Mitarbeitern die die Lücken füllen und Fehler ausmerzen.

Da du gar nicht darauf eingehst das Modelle auch darauf trainiert werden können mit weniger Daten auszukommen Frage ich mich auch, ob du wirklich an einer konstruktiven Debatte interessiert bist.