News GPT-4-Nachfolger enttäuschen: Neue KI-Modelle von OpenAI, Anthropic und Google stoßen an Grenzen

JesusLiftus schrieb:
Lernfähig ist da meist gar nichts.

Das wird dich jetzt schockieren aber LLM können nicht lernen. Sie können trainiert werden. Aber das hat mit lernen wenig zu tun.

JesusLiftus schrieb:
Während Staaten wie die USA & China sogar eigene Reaktoren bauen nur für KI Farmen anzutreiben.

Achja tun sie das ? Beweise bitte.
Und bitte nicht die Absichtserklärungen irgendwo SMR ins die Pampa zu Pflanzen.
Mehr gibt's da nämlich noch nicht.

lorpel schrieb:
Kann die KI denn neuen Input nicht einfach interpolieren?

Nein wie denn?
Neuer Input würde das Wahrscheinlichkeitsmodel verzerren. Echtes Lernen wäre für LLMs der Datentod
 
Das dürfte die mögliche K.I. Blase aber vermutlich nicht platzen lassen, aber evt. einige Investitionen überdenken lassen und sich somit die Entwicklung da (im Bereich LLM zumindest) noch weiter in die Länge ziehen.

Für mich ist K.I. aktuell immer noch mehr Hype als Nutzen, aber das heisst nicht zwangsläufig, dass sich das nicht irgendwann ändern kann ... K.I.-NPCs und -Schwierigkeitssteuerung sehe ich aber nicht unbedingt positiv oder als Segen an, da Spiele damit evt. nur künstlich/billig (mit weniger Entwicklungsarbeit/Mühe) in die Länge gezogen bzw. aufgebläht werden und den Grindfaktor weiter erhöhen könnten, aber schauen wir 'mal, wie das werden wird.
 
DeusExMachina schrieb:
Das sind doch nur Schätzwerte. Und ewig alte noch dazu.
Hast du dir mal die Rohdaten angesehen?

Die sind wie Familien Duell wir haben hundert Leute am Dienstag Morgen am Flughafen gefragt.

Von der Umfrage bis zur Veröffentlichung vergeht viel Zeit. Die Veröffentlichung war am 18.07.2024.
Vergleichbare Daten von Mitte 2024 wirst du also unmöglich finden.
Und die Quelle der Daten findest du hier, was sich Statista gut bezahlen lässt. Falls du z.B. durch dein Unternehmen darauf zugreifen kannst, solltest du es tun.

Kurz: Es ist nicht ansatzweise mit "Familien Duell", einer Straßenumfrage oder ein paar Anrufen vergleichbar.
 
C4rp3di3m schrieb:
schaut euch mal diese nervtötende Abwimmel Chatsupport-Bots an, wo mir noch nie eine Lösung auf irgendein Problem geboten wurde. Wo meine einzige Eingabe immer nur "Operator" ist, um einen Menschen ranzubekommen.
Oh, ja nervtötend trifft es gut. Abwimmeln auch.
 
  • Gefällt mir
Reaktionen: C4rp3di3m
Es wird trotz allem damit Kasse ohne Ende gemacht, man muss nur wissen wann und wo man einsteigen und wieder raus gehen muss. Wie immer und bei allem.
Mir hat der aktuelle Stand der KI tatsächlich schon einen guten Nutzen gebracht mittlerweile und ich nutze es auch im Alltag, was ich so vorher nicht erwartet habe. Der Grund ist nicht mal Faulheit, ich nutze es gezielt als Alternative zu Google und zur Erweiterung des eigenen Horizonts.

Mir sind aber auch die Limitierungen und Fehler der Sache bekannt. Ich finde hier einen guten Vergleich der Stand der Automatisierung des Fahrens, da gibt es auch nach wie vor Probleme. Der Aufwand ist einfach enorm und es ist mit vielen Problemen versehen. Das was man derzeit unter "KI" versteht und was da entwickelt wird, hat klar seine Grenzen. Da muss dann wieder ein Sprung kommen, den ich derzeit nicht sehe. Das ganze wird daher erst mal dahin dümpeln. Finde ich aber ganz gut, so gibt es dann doch noch Arbeitsplätze und der Mensch bleibt nützlich ;)
 
Die Blase ist geplatzt. Verkaufen!
 
Mxhp361 schrieb:
Danke für den Artikel und deine Investierte Zeit. Ich werde erstmal lesen..
Gibt da so ein spannendes Konzept: Den 3-Minuten-Artikel zuerst lesen und danach etwas sinnvolles kommentieren.

DeusExMachina schrieb:
Sie können trainiert werden. Aber das hat mit lernen wenig zu tun.
Ich glaube das ist deutlich schwieriger von einander abzugrenzen, als es oberflächlich den Anschein macht. Oder hast du eine Definition fürs Lernen, die auf Maschinen nicht zutrifft?

DeusExMachina schrieb:
Nein wie denn?
Neuer Input würde das Wahrscheinlichkeitsmodel verzerren. Echtes Lernen wäre für LLMs der Datentod
Synthetische Daten werden heute schon fürs Training verwendet, dass das gut funktionieren kann zeigt Alpaca.
 
AI-Nadja schrieb:
Kurz: Es ist nicht ansatzweise mit "Familien Duell", einer Straßenumfrage oder ein paar Anrufen vergleichbar.

Oh das wirklich teuer.
Deswegen soll ich des nicht weiter geben.

Egal wichtiger ist das die Umfrage Führungskräfte befragt hat und Investitionvolumina für 2022 hat schätzen lassen und zwar 2021

Daraus haben sie dann die Grafik erstellt

Das ist wie wir haben 100 Leute gefragt.
Die Gruppe war erstens nicht representativ
Zweitens Fachfremd
Und drittens gibt es keine Belege das die geschätzten Summen auch investiert wurden
Ergänzung ()

Bright0001 schrieb:
Oder hast du eine Definition fürs Lernen, die auf Maschinen nicht zutrifft?

Abstraktion und Transferleistung.
LLM konnen das nicht.

Zu dem ist lernen Iterative.
Aber einem trainiertem Modell nichts mehr hin zufügen es muss neu trainert werden.
Komplett von Null Iterative geht nicht weil dad die Datenbasis verzerrt nicht ergänzt


Bright0001 schrieb:
Synthetische Daten werden heute schon fürs Training verwendet, dass das gut funktionieren kann zeigt Alpaca.

Und was soll das bringen Garbage in Garbage out?
Oder doch eher ein definierter Datensatz das schränkt das LLM aber extrem ein
Das kann nett sein für ganz bestimmte Anwendungen aber dann ist ende
 
Zuletzt bearbeitet:
Sehr schöne Nachrichten, hoffe das bleibt so und der Hype geht langsam zu Ende.

Zitat aus dem Artikel: Nvidia verdankt seine Marktstellung der Dominanz bei den Trainings-Chips. Wenn jedoch die Inferenzphase wichtiger wird, fällt es der Konkurrenz leichter, die Lücke zu schließen.

Und ich hoffe es kommt so, dann freue ich mich den Aktienkurs von Nvidia zu verfolgen 😁.
 
DeusExMachina schrieb:
Aber einem trainiertem Modell nichts mehr hin zufügen es muss neu trainert werden.
Komplett von Null Iterative geht nicht weil dad die Datenbasis verzerrt nicht ergänzt
Das stimmt so nicht ganz, Modelle nachtrainieren ist Gang und Gebe. Bei LLMs sogar Standard, da es mehrere Stufen des Trainings gibt (siehe z.B. Chatversionen von LLMs, die sind mit Frage-Antwortpaaren nachtrainiert worden). Google mal nach SFT bzw. RLHF in dem Zusammenhang.

Gibt es auch bei vielen anderen Modellen, z.B. im Bildklassifikationsbereich, da es viel einfacher ist, ein Modell zu nehmen, dass bereits geometrische Strukturen auseinanderhalten kann und nur die letzten Layer im Netzwerk für die Erkennung der spezifischen gewünschten Objekte auszutauschen, statt von vorne anzufangen.
 
Zuletzt bearbeitet:
puh die drehen voll am Rad von agi ist man sehr weit entfernt die illusion von Intelligenz das man vergleiche sucht ist schon arg bemüht wie bekomme ich mehr invest geld
Das aber die Skalierung durch mehr hardware nicht mehr geht da die Modelle an ihre grenze stoßen sagt aus das alles quasi ne dicke Lüge ist.
Die aktuellen llm sind lediglich verbesserte Suchmaschinen ohne menschliche Aktion kommt da nix raus.
Das gute jetzt geht der Fokus auf npu und weg von dgpu was tendenziell endlich Vernunft in nvidia zurückbringt.
Das gute damit dürfte der Energiebedarf drastisch sinken und es kristallisieren sich echte anwendungsfälle die ich primär in Forschung sofern nachprüfbar und Wissenschaft sehe.
Da helfen Statistiken auswerten sehr wohl aber ein Massenprodukt wird das nicht es gab ein Grund warum die Assistenten Systeme cortana alexa und siri gescheitert sind.
 
  • Gefällt mir
Reaktionen: Maviapril2
@Maviapril2 du hast recht

Ich war da unklar ich meinte natürlich nicht alle Grund Mechaniken neu zu bauen sondern den Datensatz neu durchlaufen zu lassen um das eigentliche Model zu generieren
 
Ich habe es ja erst vor ein paar Tagen hier geschrieben.
Die aktuelle Rechenleistung ist halt einfach noch ein Witz für sowas wie KI's.
Eine Erhöhung der Rechenleistung (maybe) um den Faktor 1000 oder 2000 könnte das Ganze wieder interessant machen.
Aber das dauert bestimmt noch 10 oder 20 Jahre. 😂

Aber die meisten sind auch noch im Hype. OpenAI und Google sollten auch aufpassen wie offen sie die Limits diskutieren. Sonst platzt die Blase schneller als ihnen lieb ist.
Wobei Nvidia wohl das längste Gesicht machen dürfte, wenn die Blase mal platzt bzw. der KI Boom pausiert.
 
Zurück
Oben