News Fehler und Halluzinationen: ChatGPTs Suchfunktion erfindet Ergebnisse für DFB-Pokalspiele

[Krik]

Wenn sie nicht zu 100% akkurat ist, wozu brauche ich sie dann?

Mir würde ja schon 99% reichen, weil 100% unrealistisch für diese Art eines intelligenten Systems unerreichbar ist.

Leider kommen die LLMs nicht mal auf 99%. Die ganzen Tests bescheinigen den KIs je nach Anwendungsfeld Korrektheitsraten (ist das das richtige Wort dafür?) irgendwo zwischen 50% und 90%. Das bedeutet, dass der Rest schlicht falsch war. Das ist mir deutlich zu wenig und rechtfertigt den derzeitigen Hype darum nicht.

 

[maloz]

Ich habe die Suchfunktion noch gar nicht benutzt tbh.

Aber ich benutze ChatGPT exzessiv zum Lernen einer Sprache und da ist es eine riesen Hilfe. Auch die neue Sprach-/Dialogfunktion zum Thema Aussprache oder Übungsaufgaben.

 

[CwUVaN]

weil einige Medien wie die New York Times OpenAIs Web-Crawler per Robots.txt-Eintrag aussperren. Die eigentliche korrekte Antwort wäre in solchen Fällen, dass die Quelle nicht auffindbar ist oder ChatGPT keinen Zugang hat.

Wie soll die AI denn wissen, dass das Zitat auf der Seite ist, auf die die KI nicht zugreifen durfte? Wenn sie das wissen würde und ausgibt, dass die AI auf dir Quelle nicht zugreifen darf, dann würde es heißen, dass sie doch auf die Seite zugreift und die Informationen nur nicht direkt im Chat verwendet. Ich glaube nicht, dass das der Sinn der robots.txt-Aussperrung ist.

 

[The-Heinz]

Notiz an mich selber: Effzeh spiele vorab von ChstGPT vorhersagen lassen (und wetten?)

 

[S.Kara]

Wir Menschen reden auch oft Quatsch und erfinden "Tatsachen". Gleiches Recht für alle würde ich sagen.

Spaß beiseite. Die KIs sind noch lange nicht so weit dass wir deren Ergebnissen blind vertrauen können. Das wird wohl auch noch ein paar Jährchen so bleiben.

"Eigentlich" ist das allgemein bekannt.

 

[wechseler]

Noch kämpft die Funktion aber mit der Zuverlässigkeit. Das zeigt eine Analyse aus den USA, aber auch Tests in der Redaktion. So erfindet ChatGPTs Suchfunktion etwa Ergebnisse für die aktuelle DFB-Pokalrunde.

Da fehlt offenbar Hintergrundwissen. Ein LLM "erfindet" alles, was es ausgibt. Manchmal gibt es zufällige Übereinstimmungen mit der Realität. Manchmal halt nicht.

 

[Axonteer]

Früher sagte man mir als das Internet aufkam "nimm nicht alles für bahre Münze was im Netz steht, hinterfrage immer und prüfe mehrere Quellen"... scheint mir auch bei den allwissenden Chatbots ein guter Ratschlag zu sein. Nur bin ich da wohl der Aussenseiter, was die Meinung zur Allerheiligkeit von LLM's angeht Schauen wir in 10 Jahren nochmal

Ergänzung (5. Dezember 2024)

es ist ein tool, keine Lösung.

Seh ich auch so, aber mir wird meistens sehr intensiv mitgeteilt wie in der Minderheit ich mit der Ansicht bin. Besonders wenn rauskommt, dass bei meinem Job der Anwendungsnutzen von LLM's gegen 0 tendiert.

 

[DeusExMachina]

Notiz an mich selber: Effzeh spiele vorab von ChstGPT vorhersagen lassen (und wetten?)

Dann kannst auch einfach Würfeln.
Das ist billiger

----------

Das Spiel ging übrigen 3:0 an RB

 

[iSight2TheBlind]

Die ganzen Tests bescheinigen den KIs je nach Anwendungsfeld Korrektheitsraten (ist das das richtige Wort dafür?) irgendwo zwischen 50% und 90%. Das bedeutet, dass der Rest schlicht falsch war.

Führt dazu, dass alle "Faktentexte" die man aus ChatGPT hat danach eigentlich so sehr gegengeprüft werden müssten, dass es einfacher wäre den Text aus eigenem Wissen selbst zu schreiben.
Erst so ist gesichert, dass man nicht irgendeine dumme kleine Stelle übersieht, wo ChatGPT den Soviets den ersten Menschen auf dem Mond andichtet oder einen anderen eigentlich offensichtlichen Fehler.
Denn Fehler in Texten anderer zu suchen ist imho aufwändiger als einen eigenen Text zu schreiben und sich da nur auf Informationen zu berufen die man (sehr) sicher weiß bzw. die Fakten nachzurecherchieren. Da weiß man ja, wofür man Belege sucht.
Aber ich hatte letztens den Fall, dass ich - für andere - eine Quelle suchen wollte die wie oben schon gesagt sehr korrekt klang, aber eben keine 100%ige Übereinstimmung mit dem was ich fand hatte. Quasi "James White - Handbook of Eine Sache" zu "Jack White - Eine Sache - A Handbook"
Hat da jemand einfach nur das "J. White" unterschiedlich/leicht falsch erraten und den Titel schludrig aufgeschrieben?
Nö, auf Nachfrage stellte sich heraus, dass da in ChatGPT nach einer Literaturliste zu dem Thema gefragt wurde und ChatGPT erfand in einem Fachgebiet in dem es einen Jack White gab einfach noch einen James White mit einem nach einem Grundlagenwerk klingenden Titel, weil das eben einfach plausible Titel für dieses Fachgebiet waren.
Ah, es gibt in Paläontologie eine Autorin namens Schmonzendinkler?
Dann muss in einer Literaturliste zu diesem Thema natürlich auch ein/e Schmonzendinkler stehen, welchen Vornamen die hat ist ChatGPT dabei ziemlich egal.

Sieht in einer oberflächlichen Betrachtung alles richtig aus, aber in der Tiefe liegen die Schrecken!

 

[Maviapril2]

Wie soll die AI denn wissen, dass das Zitat auf der Seite ist, auf die die KI nicht zugreifen durfte?

Das steht ja nicht da. In dem Fall, wenn ein Zitat nicht gefunden werden kann, ist die Erwartung, dass gesagt wird: “Kein Ergebnis gefunden” oder so, statt etwas zu erfinden. Aber das widerspricht dem Prinzip von LLMs

 

[Muntermacher]

Kann es sein, daß duckduckgo bei der Suche mittlerweile auch LLM einsetzt?
Irgendwie bekomme ich da seltsame Ergebnisse angezeigt. Z.B. suche nach Amazon Prime Game liefert bei Google als erstes Ergebnis genau die Amazon Seite dazu, bei Duckduckgo sehe ich nur alle möglichen Blogs dazu, das war früher anders.
Heute morgen ähnliches mit Suchbegriff eines Firmennmena plus Teiladresse, was stets zur Homepage führte oder zu Kontaktseite. Nun aber so den Prospekten und allen Möglichem, nicht aber zu eigentlichen Seite.

 

[Krik]

@Muntermacher
Wenn ich mich richtig erinnere, dann werkelt im Hintergrund von DDG die Bing-Suchmaschine jedoch mit eingeschränktem User Tracking. Es gibt da wohl ein Abkommen mit MS. Das darf wohl die Suchbegriffe auswerten, nicht jedoch den User identifizieren und tracken. Oder so was in der Art.

Btw, wenn ich nach "Amazon Prime Game" (ohne "") auf DDG suche, kommt

1. https://gaming.amazon.com
2. https://www.amazon.com/prime-gaming
3. https://www.ign.com/articles/amazon-announces-prime-gaming-december-2024-lineup
4. https://www.aboutamazon.com/news/en...nd-in-game-content-with-your-prime-membership

Sieht für mich i. O. aus.

 

[Pizza!]

Einfach nur grottenschlecht was die KI da abliefert.
Da wird wieder einfach irgendwas erfunden, sogar für Sachen in der Zukunft. Obwohl die KI wissen müsste, dass es nicht sein kann.
Wenn das System nicht mal das Datum checken kann...
Klar ein paar Dinge können die mittlerweile ganz ok, aber für vieles einfach unbrauchbar, da vollkommen unzuverlässig.

 

[Muntermacher]

Danke Dir fürs prüfen. Warum auch immer bei mir Mist raus kommt.
Bei mir sieht es bei Fennec so aus mit ddg:

 

[Jim-Bim]

@Muntermacher Du hast den zeitlichen Filter mit "Past Month" aktiv, daher die Ergebnisse.

 

[Maviapril2]

@Reglohln

So ich habe hier mal was gefunden, das bei uns im internen Chat rum fliegt.

Dabei bezieht sich wohl vieles auf eine einzige Studie: https://uplevelteam.com/blog/ai-for-developer-productivity?hs_amp=true

Es gibt aber auch ähnliche Stimmen (siehe “some other studies on the topic”): https://visualstudiomagazine.com/Articles/2024/01/25/copilot-research.aspx

GitHub bzw. Microsoft selbst sagen da natürlich etwas anderes, wenn ich Verkäufer eines Produktes bin, würde ich natürlich aber auch nur positive Zahlen nennen (vielsagend ist da für mich der Besuch eines geschätzten Kollegen bei einer Konferenz zu KI-Themen, bei denen die Microsoft-Vortragenden keine Antworten auf Fragen zu Halluzinationen etc. hatten)

Hier ist auch noch eine schöne Aussage von Intel zu ihren AI PCs:
https://www.intel.com/content/www/us/en/newsroom/news/ai-pcs-can-help-users-reclaim-time-chores.html
“Help users reclaim time on chores”, dann im Report selbst steht aber folgendes Zitat: “A more worrying statistic identified that, on average, consumers who own an AI PC spent longer on computer chores than those who had a normal PC or laptop.”

Was sagt uns das alles? Wirklich verlässliche Aussagen, dass solche Tools für den Einsatzzweck Programmieren gut funktionieren gibt es nicht. Codequalität nimmt in vielen Projekten zur Zeit ab, Korrelation ist aber natürlich nicht gleich Kausalität.

Wir verwenden in der Arbeit in unserem Team tatsächlich LLMs für verschiedene Einsatzzwecke, Programmieren aber nicht
Ich habe selbst leider schon oft genug gesehen, dass der Code entweder nicht funktioniert, oder Codezeilen verwendet, die nicht performant sind, oder die andere Probleme mit sich bringen. Die Zeit, um den Prompt zu reformulieren bis man ein gutes Ergebnis bekommt und das Nachprüfen des Codes ersparte mir selbst im Selbstversuch keine Zeit gegenüber selbst herausfinden, welche Konstrukte ich brauche. Doku lesen muss man so oder so, und die Diskussionen auf stackoverflow haben schon oft Anreize gegeben, Dinge anders zu lösen. Und dadurch lernt man was für die Zukunft. Dies fällt bei KI-Tools leider weg… Wenn man Code blind aus ChatGPT und Freunden rauskopiert und verwendet, ohne den Code zu verstehen, spart man natürlich Zeit. Aber da habe ich höhere Ansprüche an mich und das was ich abliefere.

 

[Muntermacher]

@Muntermacher Du hast den zeitlichen Filter mit "Past Month" aktiv, daher die Ergebnisse.

Danke Dir, Asche auf mein Haupt bzw, runter von der Brille.

 

[tree-snake]

Künstliche "Intelligenz"...

LG

Micha

Ein Mensch ist auch nicht gleich von Anfang an "schlau" oder unfehlbar. Ein Kind erfindet auch jede Menge
Entwicklung und Lernen wird sowas immer besser machen.

 

[Krik]

@tree-snake
Dazu müssten die LLMs aber reflektieren und Sachen richtig durchdenken - was sie nicht können. Sie verstehen nicht mal, was sie da von sich geben. Es ist einfach nur eine Ansammlung von Textfetzen, die statistisch gesehen oft nebeneinander stehen. "Intelligent" ist da gar nichts, da kein Verständnis vorliegt.

 

[7H0M45]

Deswegen ist aus meiner Sicht zwingend erforderlich, alle KI-generierten oder mit KI-Hilfe erstellten Inhalte gekennzeichnet werden (müssen). Immer.

Genau das ist der logische Trugschluss, den die anderen machen. Die Kennzeichnung hilft dir nur bei denen, welche versehentlich etwas falsches verbreiten. Die sind aber gar nicht das Problem. Das Problem sind die, welche das absichtlich tun. Die lassen dann die Kennzeichnung einfach weg wodurch die absichtlich gestreute Falschinformation eine Art Gütesiegel bekommt.

Der einzige Weg dem Problem zu begegnen ist die Leichtgläubigkeit der Menschen zu bekämpfen