ChatGPT: OpenAI will Sprachmodellen das „Halluzinieren“ abgewöhnen

Dass generative KI-Systeme wie ChatGPT, Microsofts Bing-Chat und Google Bard skurrile bis falsche Antworten präsentierten, ist bekannt. Das Phänomen ist den Systemen inhärent und wird als Halluzinieren bezeichnet – die KI-Helfer erfinden Fakten. OpenAI präsentiert nun potenzielle Lösungsansätze.

Beim Lösen komplexer Aufgaben, die mehrstufige Schlussfolgerungen benötigen, haben Large Language Models (LLM) enorme Fortschritte erzielt, schreibt OpenAI in dem Blog-Beitrag. Nichtsdestotrotz produzieren auch die modernsten Systeme weiterhin logische Fehler, die auch als Halluzinationen bekannt sind. Bei dem Phänomen handelt sich um die abstrusen und teils völlig falschen Antworten, die die generativen KI-Chatbots produzieren.

Einer der Haken: Die Antworten wecken keinen Zweifel, dass die Tatsachen erfunden sind. Es ist eine souverän vorgetragene Ahnungslosigkeit. Zu sehr sollte den Ergebnissen also nicht getraut werden. Zuletzt wurde etwa bekannt, dass ein amerikanischer Anwalt ChatGPT für die Recherche in einem Gerichtsverfahren nutzen wollte. Mehrere Fälle, auf die sich der Anwalt berufen wollte, hatte der Chatbot allerdings vollständig erfunden. Dementsprechend sorgte der Vorfall für Aufsehen.

Fakten erfinden in „Momenten der Unsicherheit“

Gründe für das Halluzinieren sind unter anderem unzureichende Informationen in den Datensätzen, mit denen das Modell trainiert wurde. Das führt zu den „Momenten der Unsicherheit“, in denen die Modelle dazu neigen, „Fakten zu erfinden“, wie es im von OpenAI vorgelegten Paper heißt. Besonders problematisch ist das bei Aufgaben, die eine mehrstufige Lösung erfordern. Denn ein Logikfehler kann in solchen Fällen eine umfangreiche Antwort vollständig ruinieren.

Daher will OpenAI bei der Ergebniskontrolle ansetzen. Um halluzinierte Antworten zu identifizieren, lassen sich entweder die Endergebnisse („outcome supervision“) oder der Prozess überwachen („process supervision“). Bei letztere werden auch alle Zwischenschritte auf dem Weg zur Antwort bewertet. Basierend auf dem MATH-Test – es geht also um Rechenaufgaben – hat sich nun die Prozessüberwachung als Verfahren bewährt.

Noch lässt sich laut OpenAI nicht absehen, inwieweit die Erkenntnisse über den Bereich Mathematik hinaus verallgemeinerbar sind. Doch der Anspruch wird als vielversprechend beschrieben, weil das Verfahren performanter ist und zuverlässigere Ergebnisse als die Ergebnisüberwachung liefert. Weitere Details finden sich dazu in dem Paper, das OpenAI neben Trainingsdaten bereitstellt.

Zweifel am Wert der Ergebnisse

„Logische Fehler, oder Halluzinationen, erkennen und abschwächen ist ein kritischer Bereich auf dem Weg zur Entwicklung einer angepassten Künstlichen allgemeinen Intelligenz (AGI)“, erklärt der KI-Forscher Karl Cobbe gegenüber CNBC. OpenAI habe den Ansatz zur Prozessüberwachung demnach nicht erfunden, wolle ihn aber voranbringen, um die Qualität der Systeme zu verbessern.

KI-Forscher aus anderen Institutionen sind aber skeptisch, ob dieser Ansatz tatsächlich der große Wurf ist. Ben Winter von dem Electronic Privacy Information Center geht laut CNBC nicht davon aus, dass sich nur auf diese Weise die Ausgabe falscher Informationen und inkorrekter Resultate reduzieren lässt. Ebenso erklärt Suresh Venkatasubramanian von der Brown University, dass LLM generell so instabil sind, dass sich Lösungsansätze von einem spezifischen Szenario bei einem Modell nicht ohne weiteres übertragen lassen. „Was in einer bestimmten Umgebung, einem bestimmten Modell oder einem bestimmten Kontext funktionieren mag, läuft möglicherweise nicht in einer anderen Umgebung mit einem anderen Modell und Kontext“, so Venkatasubramanian zu CNBC. Erschwerend komme hinzu, dass unklar sei, ob das OpenAI-Paper ein Peer-Review-Verfahren durchlaufen habe oder anderweitig begutachtet wurde.

Generative KI-Chatbots als unzuverlässige Erzähler

„Halluzinierte“ Antworten waren einer der Gründe, die dem KI-Hype Anfang des Jahres einen ersten Dämpfer verpassten. Galten diese kurzfristig als potenzieller Ersatz für Suchmaschinen, zeigte sich schnell, dass die Ergebnisse schlicht nicht zuverlässig genug waren. Skurrile und irritierende Antworten sorgten bei Bing für Aufsehen, Google verhagelten sie die Präsentation von Bard. Und Geschichten wie die des Anwalts machen immer wieder medial die Runde.