Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsGPT-4.5 veröffentlicht: OpenAIs bis dato größtes Modell ohne Reasoning-Fähigkeiten
OpenAI hat eine Vorschauversion von GPT-4.5 veröffentlicht. Laut dem Blog-Beitrag ist es das bislang größte Modell, das am besten für Chats geeignet ist. Es soll sich noch natürlicher als die Vorgänger anfühlen.
Jedes Modell halluziniert "anders" und natürlich kann man auch diesen Aspekt verbessern. Einfaches Beispiel bei einem Reasoning-Modell... er gibt eine Antwort und dann wird diese Antwort mit Wissen abgeglichen oder noch einmal beantwortet und verglichen ob die Antwort 1 mit der Antwort 2 übereinstimmt.
Hier ist es dann wohl eher das "Weltwissen". Das Modell hat eine deutlich größere Wissenbasis und wurde stärker trainiert, entsprechend weiß es auch "mehr". Natürlich kann man auch andere Mechanismen gegen Halluzinationen einbauen.
Häufig ist das aber immer ein Tradeoff, man beschränkt ein Modell irgendwo, dafür wird es dann an anderer Stelle schlechter.
Einer der wichtigsten Vorteile eines "reasoning models" ist eben, daß man die KI direkt fragen kann, wie sie denn auf die gegebene Antwort gekommen ist, und die einem das auch sagen kann. Alleine diese Eigenschaft macht Halluzinationen viel unwahrscheinlicher. Mittlerweile geben bereits einige Modelle (DeepSeek, Claude, darauf aufbauende) die Quellen (mit Links) für ihre Aussagen an. Auch aus dem Grund mag ich zB Perplexity.
ChatGPT scheint hier etwas hinterher zu sein.
@Silencium Nein da es ja noch nichts gibt in der Art außer Ankündigung. Schätzungsweise wird es mindestens noch 10 Jahre dauern.
Und selbst wenn die Chips dann 1000 Mal schneller berechnen können ist die Frage was die kosten und was das bei KI an Mehrwert bring. Weil wie schon erwähnt wird jedes Prozent mehr an KI Intelligenz Unmengen an Mehraufwand benötigen als beim vorherigen Prozent.
Das sicher so dass die Modelle effizienter werden, trotzdem wird der Energieauufwand und Rechenaufwand bei LMMs vermutlich doch sehr sehr viel schneller steigen als die Effizienzverbesserungen.
Denn deren Komplexität steigt in Millionen von Wissenbereichen parallel - was also exponentiell dann im gesamten ist. Von wie macht man Kaffeeflecken aus Teppichen bis zu aktuellen Theorien zur Gravitation.
Eine Effizenzsteigerung ist eher das Gegenteil von exponentieller Zunahme - die einfachen und grossen Brocken sind da am schnellsten weg und dann sinkt die Effizenzsteigerung eher immer schneller gegen 0.
Schon eine lineare Effizienzsteigerung wäre doch extremst ungewöhnlich.
Im Gegenteil. Der Weg ist doch gerade weg von den riesigen Modellen hin zu kleinen, aber schnellen, die dann ber der Inferenz mehr Output generieren. Aber da der aufgrund der Größe des Modells viel schneller berechnet wird, brauchts am Ende trotz besseren Antworten weniger Ressourcen.
Auch schön an den Open-Weight Modellen zu sehen, von denen wir die Details wissen (bei OpenClosedAI weiß man ja nicht mal wirklich die Anzahl der Parameter): Bisher hat man jedes Jahr die Leistung der großen in die ein Klasse darunter bekommen. Das ist bis zuletzt der Fall.
Dazu kommen wohl auch neue Architekturen wie bspw. Googles Titans (quasi der Nachfolger der Transformer-Architektur, auf der die aktuellen LLMs basieren), womit der aktuell quadratische Anstieg in der benötigten Rechenleistung deutlich reduziert wird.
Topmodelle sind wichtig und darauf basieren ja häufig auch die kleineren Modelle.
GPT4 war auch richtig teuer. GPT4o dann deutlich effizienter und trotzdem besser. Gemini Ultra war auch sehr teuer und wurde dann von Gemini Pro 1.5 und später sogar selbst von Gemini 2 Flash abgelöst.
Im Grunde wachsen Modelle gerade in alle Richtungen. Sie werden besser und teurer, sie werden aber auch besser und günstiger. Man muss ja auch mal sagen, dass man nicht die Topmodelle für einfache Anfragen benötigt. Wenn du wissenschaftliche Arbeit von einem Monat durch eine 50€ Anfrage erledigen kannst, dann ist das eine super Preiseinsparung. Wenn man eine 50€ Anfrage dafür nutzt um nach dem Wetter zu fragen, dann macht man eben etwas falsch.
Und ich verstehe auch nicht wie man zu dem Schluss kommen kann, dass die Schritte klein sind. Im Grunde haben wir erst gestern mit LLMs angefangen und jeden Tag kommt etwas Neues. Deepseek, Grok 3, Sonnet 3.7 hat einen starken Sprung bei Programmierung gerade gemacht...
Allerdings hat DeepSeek (die Open Source Modelle, nicht die App!) auch klar gezeigt, daß auch bei KI "work smarter, not harder" gelten kann*. Ansonsten wird es fast unmöglich sein, KI Modelle gut und wirtschaftlich zu betreiben.
* Natürlich ist es trotzdem wichtig, genug Compute Leistung zu haben, weswegen sich Nvidia zumindest bis 2026 noch keine Sorgen um ihren Absatz machen müssen.
Das Problem was in Zukunft hinzukommt: wie das Alles refinanzieren? Die große Masse will kein Geld ausgeben. Sicherlich sind die üblichen paar Euro im Monat machbar aber mehr? Zudem wird die Masse auch nicht unbedingt smarter Lösungen brauchen, den reicht ein Ersatz für Google und das ist ja nun schon lange gegeben. Es bleibt spannend.
Was wir auf kurz oder lang sehen werden sind Business Lösungen für 100-500 Euro im Monat.
Die Fähigkeiten von ChatGPT sind unglaublich. Die kontinuierliche Verbesserung ist schon fast etwas unheimlich. Denke viele Unternehmen "ohne ChatGPT" werden in absehbarer Zeit nicht mehr Konkurrenzfähig sein können.
Genau deswegen ist es auch ein Problem. Bisher ist es nur geeignet Phantasietexte zu generieren auf Fake News Niveau. Das schränkt es ziemlich ein.
Ich beschrieb es hier schon mal, allerdings umschrieben. Exakt war die erste Frage:
Wie lang sind Exon 2, 3 und 4 von KRAS
gefolgt von
Wie lang sind Exon 1, 2, 3 und 4 von KRAS
Ergebnis:
Exon 2, 3 und 4 waren unterschiedlich lang bei den beiden Antworten.
Das größte Problem ist einfach, dass viele denken, dass Computer nicht lügen können und keine Meinung vertreten. Wenn man dann z.B. über den Voice Mode fragen stellt, nimmt man es so hin. Und in Textform kontrolliert auch kaum einer die Quellen.
Dabei kann man LLMs in eine Richtung trainieren und gleichzeitig später noch manipulieren. Als Nutzer sieht man das aber kaum. Und dadurch hat dann OpenAI, Google und Co. enorme Macht zur subtilen Beeinflussung an Milliarden Menschen.
Und wir sind ja so simpel gebaut, dass selbst eine offensichtliche "BILD" uns beeinflusst.
