Neue KI-Suchmaschine: Google rechtfertigt AI-Overview-Desaster und will nachbessern

Googles AI-Overview-Start in den USA entwickelte sich zum Desaster, in den sozialen Netzwerken kursierten kuriose, irreführende und falsche Antworten des generativen AI-Features. Der Suchkonzern verspricht nun Besserung – und versucht zu erklären, was schiefgelaufen ist.

In einem Blog-Beitrag räumt Googles Suchmaschinen-Chefin Liz Reid zwar die Probleme ein, erklärt aber auch, dass die Qualität der Ergebnisse generell gut sei. Fehler wären in der Regel bei seltenen oder ungewöhnlichen Suchanfragen aufgetreten. Bei vielen in den sozialen Medien geteilten Beispielen habe es sich auch um Fälschungen gehandelt.

AI Overview kein normaler AI-Chatbot

Laut Reid ist der AI Overview nicht vergleichbar mit AI-Chatbots wie ChatGPT oder Gemini, die Funktionsweise unterscheidet sich. So basieren die generierten Antworten nicht in erster Linie auf den Trainingsdaten. Stattdessen sei das Feature in Googles zentrales Web-Ranking-System integriert, um traditionelle Suchaufgaben wie das Identifizieren relevanter und hochwertiger Inhalte erledigen zu können. Grundlage dafür ist der Such-Index.

Die Genauigkeit sei laut Google entscheidend. Daher würden im AI Overview nur Ergebnisse angezeigt, die durch die Ergebnisliste gestützt werden. „Halluzinieren“ – also das Erfinden von falschen Tatsachen aufgrund einer fehlenden Datengrundlage – wäre daher weniger das Problem.

Was ist also passiert?

Laut Google kamen die Antworten zustande, weil Suchanfragen oder sprachliche Nuancen im Web falsch interpretiert worden sind oder es an adäquaten Informationen mangelte. So habe bis dato etwa praktisch niemand danach gesucht, wie viele Steine man pro Tag essen solle. Es waren also eher ungewöhnliche Suchanfragen, die demnach die Fehler provozierten.

Generell wäre die Genauigkeit der Ergebnisse laut Reid nicht schlechter als bei anderen Such-Featuren wie den Snippets. Denn komplett neu sind Eingangstexte ohnehin nicht. Google präsentierte bislang aber vor allem Zitate aus Artikeln, wenn die Websuche passende Inhalte lieferte. Es war also eine direkte Übernahme, keine generierte Antwort.

Googles Erklärung passt nicht zum öffentlichen Eindruck

Was Google schildert, passt allerdings nur bedingt zum Eindruck, den die fehlerhaften AI-Overview-Antworten erweckten. So merken Branchenbeobachter wie Casey Newton und Kevin Roose im Hard-Fork-Podcast an, dass der AI Overview Probleme hat, Quellen adäquat zu klassifizieren. Die Empfehlung, jeden Tag wenigstens einen kleinen Stein zu essen, stammte offenbar aus dem Artikel eines Satiremagazins. Pizzakäse mit Kleber anzureichern, ist derweil ein Tipp von Reddit.

Hinzu kommen noch Probleme mit Zahlen. Fehler entstehen, wenn Zeiträume berechnet werden sollen. Ebenso machte der AI Overview falsche Angaben bei Fragen nach der Anzahl amerikanischer Präsidenten. Es sind also die klassischen Probleme der auf Large Language Models (LLM) basierenden AI-Chatbots, die sich auch in Googles KI-Suche wiederfinden.

Verbesserungen durch bessere Quellen-Analyse

Bereits am letzten Wochenende hatte Google damit begonnen, fehlerhafte Antworten händisch zu korrigieren. Nun kündigte Liz Reid weitere Upgrades an. So wurde etwa der Erkennungsmechanismus verbessert, um unsinnige Suchanfragen zu erkennen. Bei diesen soll generell keine KI-Antwort generiert werden. Ebenso soll der Anteil nutzergenerierter Inhalte – also etwa Antworten aus Foren wie Reddit – reduziert werden.

Bei bestimmten Suchanfragen, in denen sich der AI Overview als wenig hilfreich erwiesen hat, sollen ebenfalls weniger KI-Inhalte auftauchen. Für kritische Bereiche wie News oder Gesundheit wurden die Richtlinien und Vorgaben nochmals verschärft, um sowohl eine hohe Aktualität als auch Korrektheit der Antworten zu gewährleisten.

Kernprobleme bleiben bestehen

Selbst wenn Google die Qualität der generierten Antworten verbessert – und damit die gröbsten Schnitzer ausmerzt –, bleiben die Kernprobleme bestehen. Vor allem bei Zahlenangaben muss sich zeigen, ob der AI Overview tatsächlich akkuratere Ergebnisse liefert als andere AI-Chatbots. Gesundheitsthemen sind ebenfalls eine Großbaustelle, The Atlantic bezeichnet Antworten in diesem Bereich als „gefährliches Spiel“. Wenn Nutzer zu Schaden kommen, ändert sich auch etwas für Google. So könnte der Konzern in der EU für Fehler in gesundheitlich relevanten Bereichen auch haften.

Hinzu kommt das Urheberrecht. Wenn Google die Inhalte von Quellen übernimmt, stellt sich umso mehr die Copyright-Frage. Auch hier dürfte es bald zu weiteren Klagen kommen.