ChatGPT: OpenAI veröffentlicht Tool , um KI-Texte zu erkennen

ChatGPT geniert Texte in einer Qualität, sodass insbesondere im schulischen und akademischen Bereich weitreichende Konsequenzen befürchtet werden. Es besteht die Angst vor Betrugsversuchen. Die ChatGPT-Entwickler von OpenAI stellen nun aber auch ein Tool bereit, das zwischen KI- und menschlichen Texten unterscheiden soll.

Das als Classifier bezeichnete Tool basiert auf einem Modell, das mit einem Datensatz trainiert wurde, der Texte zu Themen enthält, die entweder von einer KI oder einem Menschen geschrieben wurden. Ideal ist die Erkennungsrate noch nicht. In einem „challenge set“ mit englischen Texten identifizierte das Tool 26 Prozent der Texte korrekt als „vermutlich von der KI-geschrieben“, während von Menschen geschriebene Text in 9 Prozent der Fälle fälschlicherweise als KI-Text eingestuft wurden – das ist die Falschpositivrate.

Limitationen bei der automatisierten Erkennung

Daher erklärt auch OpenAI, der Classifier sollte nicht als einziges Instrument verwendet werden, um KI-Texte zu identifizieren. Bekannt sind verschiedene Limitationen, die OpenAI in dem Blog-Beitrag beschreibt. So ist der Classifier etwa besonders unzuverlässig bei Texten mit weniger als 1.000 Zeichen. Zudem ist das Tool bislang auf englische Texte ausgelegt. Bei anderen Sprachen schneidet es deutlich schlechter ab, bei Programmier-Code ist es unzuverlässig. Schwierigkeiten bereiten auch Texte, die stark von den Input-Daten abweichen.

Interessierte können das Tool bei OpenAI als Web-App testen. Für diese App wurde das Identifikationssystem so angepasst, dass die Falschpositivrate niedrig ausfällt. Menschliche Texte sollen möglichst nicht als KI-Texte identifiziert werden.

Der Classifier ist nicht das erste Tool, das zwischen KI- und menschlichen Texten unterscheidet. Über den Jahreswechsel hinweg wurde etwa bereits GPTZero präsentiert. Auch OpenAI veröffentlichte vor Jahren schon ein entsprechendes Tool für das ältere GPT2-LLM.

ChatGPT: Weitreichende Konsequenzen für Textproduktion

OpenAI richtet sich mit dem Tool direkt an Pädagogen. Schon kurz nach der Veröffentlichung von ChatGPT im November warnten Vertreter aus dem akademischen Bereich, dass Prüfungsformen wie Hausarbeiten künftig praktisch nicht mehr durchzuführen sind. Das betrifft etwa den sozialwissenschaftlichen Bereich, allerdings konnte ChatGPT auch schon eine Abschlussprüfung für einen Master of Business Administration (MBA) erfolgreich absolvieren. Wie weitreichend die Folgen für den Bildungssektor tatsächlich sind, ist aber nur schwer abzuschätzen.

Laut OpenAI richtet sich der Classifier aber auch an Journalisten und Forscher, die etwa Desinformationskampagnen identifizieren wollen. Zudem lassen sich so auch KI-Chatbots erkennen, die sich als Menschen ausgeben.

Allerdings dürften automatisiert erstellte Texte auch im Journalismus noch für Aufsehen sorgen. Die ersten Fälle gibt es bereits. So veröffentlichte das US-Techportal CNET eine Vielzahl von Artikeln, bei denen nicht klar ersichtlich war, dass diese automatisch generiert wurden. Angeblich sollte ein Redakteur diese geprüft haben. Allerdings enthielten sie inhaltliche Fehler und teilweise auch Plagiate.