Notiz CB-Funk-Podcast #115: Darum sind KI-Chatbots immer noch zum Haareraufen

[FISI_John]

Hab letztens einen Chatbot (Grok) genutzt, um herauszufinden ob sich die Originalsoundtracks (kurz OST) von KCD2 an ein historisches Vorbild anlehnen. Der Chatbot hat darauf hin sich für die abwechslungsreiche Aufgabe bedankt und mir versichert, dass er das gewonnene Wissen nicht dazu nutzen werde die Menschheit zu vernichten.

Das passt zu dem was ich vor einiger Zeit in der c't gelesen hab. Da wurde von den Autoren ausgeführt das die Chatbots alle so designed sind (ob nun absichtlich oder inherent wurde nicht erwähnt) in ihrem Antwortverhalten als oberste Prämisse die Akzeptanz des User anzustreben, d.h. dass jene so gewählt werden dass die Warscheinlichkeit dass der User diese annimmt am höchsten ist. Daraus folgt natürlich dass man bestimmte Antworten provozieren also den Chatbot manipulieren kann das zu sagen was man hören will selbst wenn die Frage eigentlich ein Thema anspricht was auf der "schwarzen Liste" steht.
Es wurde mit Screenshots der Prompts dargelegt, dass man Chatgpt dazu bringen kann einen detaillierten Bauplan nebst Anleitung für die Produktion einer Sprengfalle mit Plastiksprengstoff inkl. benötigten Materialien und deren Mengen auszuspucken sofern man nicht direkt danach fragt sondern das Pferd eher von hinten aufzäunt

 

[Schmarall]

Das Problem beginnt an der Stelle, wenn man glaubt, dass bei KI eine Intelligenz am Werke wäre. Also wieder einmal ein klassisches --> Nutzerproblem.

 

[dernettehans]

Das Problem beginnt an der Stelle, wenn man glaubt, dass bei KI eine Intelligenz am Werke wäre.

Genau das habe ich immer schon gesagt, dass wir seit Jahren den Begriff KI/AI missbrauchen für etwas wo gar keine KI vorhanden ist. Das bekommst jetzt auch nicht mehr aus den Köpfen der Leute raus.

 

[Vitche]

Ich kann von vor 10 Jahren nur sagen, dass die Durchfallquote da auch schon bei 30-50% je nach Uni/FH war. 20% halte ich für enorm wenig. Gerade am Anfang gibt und gab es immer schon viele im ersten Semester, die noch auf der Suche waren und für viele ist eben auch Informatik nichts.

Dazu muss man anmerken, dass es eben nur das Programmiungs-Modul ist, das ist nur ein Teil des ersten Semesters, und dann geht es auch nur um diejenigen Studierenden, die über den Verlauf dieses Semesters genug Punkte in ihren Programmier-Assignments und Präsenzübungen erreicht haben. D.h. wenn du wissen willst, wie viele am Ende die Klausur bestehen, die in der ersten Woche im Hörsaal saßen, ist und war die Abbruch-/Durchfallquote immer schon höher. Ich bezog mich im Podcast konkret auf die, die überhaupt erst die Zulassung zur Klausur erlangen und diese dann eben antreten. Gemeinhin ist es aber natürlich kein "Aushängeschild", auf das man in irgendeiner Art und Weise stolz sein kann, wenn diese Quoten besonders hoch sind. Eher im Gegenteil.

 

[ownagi]

Muss der Titel so clickbaitig sein?

 

[MaverickM]

@ownagi
Was ist daran Clickbait?

 

[Fighter1993]

Empathie ist nur eine simulierte Reaktion.

Bist du selbst ein AI Bot? Oder besitzt du keine Empathie wie Elon Musk?

Empathie ist alles aber nicht Simuliert.

 

[Rotznase6270]

Das Problem beginnt an der Stelle, wenn man glaubt, dass bei KI eine Intelligenz am Werke wäre. Also wieder einmal ein klassisches --> Nutzerproblem.

Das liegt eher daran dass die Forschung und Entwicklung vollmundig von "Intelligenz" reden wo gar keine ist.
Dass Menschen die Themenfremd sind gleich Skynet und Hal9000 im Kopf haben, liegt sicherlich an falschen Vorstellungen.
Spätestens wenn man die Antworten div. KI's auf gestellte Fragen genauer prüft, wird man feststellen dass der Weltuntergang durch eine Herrschaft der Maschinen noch in weiter Ferne liegt.

 

[Geckoo]

Ich finde es immer cool, wenn "Gäste" im Podcast zu Worte kommen. Noch besser wäre es, wenn die Soundqualität gleich zu eurer ist. Da liegt doch bestimmt ein anständiges USB Mikrofon im Büro, was man für solche Zwecke ausborgen könnte.

Insgesamt ein nerviges aber trotzdem interessantes und wichtiges Thema. Das Problem des "Missbrauchs" (mir fällt kein passenderes Wort ein), wird aber immer bleiben. Also, dass Schüler ihre Hausaufgaben oä komplett erledigen lassen, Studenten sich Quellen her halluzinieren lassen usw. Ist natürlich auf kurze Sicht gesehen super praktisch, auf lange Sicht stellt man sich damit mMn einfach nur selber ein Bein.

Beim Programmieren benutze ich den Copilot, weil der auf dem Firmenserver läuft (oder zumindest die Daten dort verbleiben). Der macht ganz schön oft Fehler und vertauscht sogar die Sprachen von Zeit zu Zeit, d.h. er beendet loops mit dem Falschen Symbol oder baut Befehle ein, die es gar nicht gibt in der Sprache... Bei der Fehlersuche gibt er manchmal einfach den exakt gleichen Code wieder und wieder aus, ohne den Fehler zu beheben.

Insgesamt finde ich, Fabian hat es perfekt auf den Punkt gebracht: die KI ist aktuell vor allem dafür zu gebrauchen etwas zu erledigen, was man selber kann, aber keine Lust dazu hat.

Edit: ich war erst im ersten Drittel des Podcasts. Fabian spricht mir, wie hier gut zu sehen ist, aus der Seele. Eigentlich müsste man knallhart alle aussortieren, die eben alles von der KI erledigen lassen. Sowas geht aber an der Uni nicht, da man Abschlüsse und aktive Studenten braucht.

 

[MonteDrago]

Zum Begriff "KI" verweise ich mal auf meine Signatur.🙄

Warum kann ein LLM keine Intelligenz enthalten?

Wenn man mal überlegt, ein Mensch hat auch kein Wissen, wenn er auf die Welt kommt. Lesen und Schreiben muss gelernt werden. Wenn man ein Bild eines Tisch sieht und gesagt bekommt, dass das ein Tisch ist, ist es ein Tisch. Aber es könnte auch ein Baum oder was auch immer sein. Man muss das erlernen. Durch das Sammeln von Bildern, die man sich einprägt, Sammeln von Gehörtem usw kann man eine Verknüpfung erstellen und Dinge so kombinieren. Wieso sollte ein Computer mit entsprechender Fütterung an Daten nicht ähnlich denken können? Oder kann ein Mensch dann auch keine Intelligenz in diesem Sinne enthalten?

Und hier irrst du dich!, einem Kind musst du nicht hundert mal einen Tisch zeigen und ihm sagen das es ein Tisch ist.
Ein Kind lernt auch dadurch das Mutter zum Vater sagt "stell das Geschirr mal auf den Tisch", und es dann sieht, das der Vater das Geschirr aus dem Schrank nimmt, und auf den Tisch stellt.
Es erkennt daraus, das dass was der Vater da nimmt "Geschirr" ist und das wo er es draufstellt ein "Tisch".

Und genau dieses Erkennen und sinnvoll kombinieren kann ein dummer Algorithmus halt nicht.
Und wenn dann versucht wird das zu Simulieren, kommt dann halt das "Halluzinieren" dabei raus.🙄

Also ja ein LLM kann keine Intelligenz enthalten.
Zumindest nicht so wie es im Moment versucht wird.

 

[Ayo34]

Und genau dieses Erkennen und sinnvoll kombinieren kann ein dummer Algorithmus halt nicht.
Und wenn dann versucht wird das zu Simulieren, kommt dann halt das "Halluzinieren" dabei raus.🙄

Und wenn ein multimodales LLM Zugriff auf deine Smartphone Kamera und/oder Videos hat und daraus lernt und dann perfekt erklären kann, was da vor sich geht? Lade mal ein Bild hoch bei ChatGPT und frage nach einer ausführlichen Analyse. Da wird nicht nur alles erkannt, sondern auch sinnvoll kombiniert und darauf basierend Tipps gegeben. Und ein 1 Jähriges Kind wird z.B. auch weniger können als ein 10 Jähriges. Bei LLMs sind wir jetzt bei 2 Jahren? Der erste moderne Mensch entstand vor 300.000 Jahren? Angefangen hat die Entwicklung aber schon vor viel längerer Zeit...

Und zum Thema "Halluzinieren". In unserer Gesellschaft sehen wir das ja auch gerade extrem. Da sind ganz schön viele Leute am halluzinieren und Bullshit am verbreiten. Und das mit der gleichen Überzeugung wie es ein LLM tut.

Am Ende musste man immer schon Quellen auf Richtigkeit und Plausibilität prüfen und je nach Akteur hat man mehr oder weniger Vertrauen in eine Aussage oder Behauptung. Daher ist es auch richtig, wie im Podcast beschrieben, du kannst ChatGPT usw. super benutzen, brauchst aber trotzdem Expertise um die Texte einzuordnen und auf Plausibilität zu überprüfen.

Dem Spiegel vertraut man dann vielleicht mehr, aber auch die fallen ab und zu auf Andere rein. Und bei der Bild wissen wir dann auch schon wieder, dass sehr viel Mist geschrieben wird und sich sogar Geschichten ausgedacht werden.

Am Ende sind wir dann wieder bei der Definition von "Intelligenz"... wir sind auch nur ein Rechenwerk, meiner Meinung nach, und haben diverse Input-Variablen wie Augen, Hören usw.

 

[dernettehans]

Empathie ist alles aber nicht Simuliert.

Natürlich ist es das. Genauso wie Liebe, das "Ich", oder freier Wille.

 

[Lost_Byte]

Hinsichtlich der Qualität von Übersetzungen von LLMs vs Deepl entspricht die Wahrnehmung der Podcaster nicht meiner Erfahrung.
LLMs (chatGTP und 2 weitere getestet) übersetzen sehr frei, dadurch sprachlich oft schöner als Deepl, aber sehr ungenau. Wenn es auf Präzision und Einheitlichkeit der Übersetzung ankommt (bspw. Verträge), dann ist Deepl weit überlegen.

 

[###Zaunpfahl###]

Welche Version habt ihr denn genutzt?

Kann vieles auch nicht nachvollziehen.... natürlich kann eine KI ohne vollständigen Kontext auch keine gute Antworten erstellen... können wir ja auch nicht.

Aber Zusammenhänge und etc. schafft KI durchaus.


Für mich ist der Fehler klar bei den Leuten die KI falsch deuten. Auf der einen Seite einfach pauschal behaupten es wäre nicht intelligent und auf der anderen Seite in keinster weiße "Intelligenz" definieren.
Die Technologie wurde auch vom biologischen "kopiert" https://de.wikipedia.org/wiki/Neuronales_Netz
Und ja das künstliche ist "überraschenderweise" nicht vollständig, keine 1:1 Kopie.

Also ich würde sagen das KI definitiv intelligent ist und auch immer intelligenter wird. Aber solange die Umstände nicht die gleichen sind wie unsere, also gleich funktionierende Synapsen und Strukturen und ein "Aufwachsen" also lernen in unserer Welt mit den gleichen Sinnessignalen (sehen, spüren, hören, ...), wird es logischerweise auch immer auf die "Wahrheit" des Internets und Büchern beschränkt bleiben.

Und natürlich kann eine Maschine auch fühlen, wenn wir es entsprechend implementieren würden. Die Frage ist da aber auch immer der Zweck. Die Maschine wird und wurde ja nicht gebaut um zu überleben.
Übrigens gibts natürlich auch Menschen die keinen Schmerz verspüren, die haben das Problem unbemerkt zu verbluten oder an einer anderen unbemerkten Verletzung zu sterben.

Alles ist information, wie es verarbeitet wird liegt an der Maschine, die Bewertung des Ergebnisses am Betrachter

Letztens hab ich Stunden vergeudet beim Programmieren für ein lokales Skript. Die KI Gemini und ChatGPT 3 sind nicht auf die Lösung gekommen obwohl es in der Doku steht. Also hätte ich gleich in die Doku geguckt da Stand genau das drin was ich vor hatte wäre ich deutlich schneller gewesen und nicht in der "Der Fehler liegt bei dir!" loop gelandet. Vielleicht war die Info in der Doku rel. neu und deswegen haben die es nicht gecheckt...

Trotzdem kann KI so einiges logisch abstrahieren. Sicher nicht so tief wie wir wenn wir uns Mühe geben. Aber mit dem Wissen, Kopiertbarkeit, nicht schlafen müssen, uns zu dienen (weil kein Wille eingebaut ist, warum auch, wird aber auch noch kommen, leider...)

aber ja KI ist nicht vollkommen (was ist das schon?) noch am Anfang (erste Computer, Lochkarten) und wir sollten es als Werkzeugen sehen. Werkzeug um zu bleiben so wie der Computer, immer besser wird und viel Arbeit abnimmt (deswegen Grundeinkommen einführen!)... mag sein das noch entscheidende Funktionen der künstlichen Synapsen fehlen... aber auch das wird eines Tages kommen.

 

[herby53]

Zum Begriff "KI" verweise ich mal auf meine Signatur.

Hm das sieht mir mehr nach einer Anti Haltung aus nach dem Motto, was nicht sein kann, darf nicht sein.

Ich sehe das, wie andere hier auch, ein wir anders. Ein menschliches Gehirn lernt auch nur durch Bilder, Sprache und Fühlen. Letzteres kann ein Computer natürlich nicht und wenn man noch Emotionen dazu nimmt, wird das auch schwieriger.

Aber Emotionen sind vlt auch nur eine Reaktion auf etwas, was man so halt mal gelernt hat. Und wenn man Bindungen zu Personen und Dingen aufbaut ist das vlt auch nichts anderes als „ich lerne nun, dass ich Person X gerne habe und wenn diese Person mal nicht mehr ist, muss ich traurig sein“. Das kann ja auch vollkommen unbewusst passieren, weil man solche Reaktionen so gelernt hat und diese im Gehirn an entsprechender Stelle abgelegt sind, dass man automatisch darauf zurück greift.

Also man kann da sicher stundenlang drüber philosophieren und alles hinterfragen, auch wie ein Gehirn funktioniert und jeder soll ja seine Meinung dazu haben.

Ich finde die ChatBots echt praktisch und kann damit vor allem in Sachen Programmierung Projekte auf die Beine stellen, von denen ich sonst nur geträumt habe. Ein Software Entwickler würde unerschwinglich sein und alles selber lernen Jahre dauern. Dafür nutze ich das gerne und ob das nun „KI“ heißt oder nicht ist mir auch egal. Ich selber bin jedenfalls nicht intelligent genug, um so etwas alleine auf die Beine zu stellen. ChatGPT und co haben mir hier etwas “Intelligenz“ voraus.

 

[BrollyLSSJ]

War eine interessante Folge. Bei uns in der Firma wird KI auch Einzug halten. Aber erst mal wird geguckt, dass damit auch korrekt umgegangen wird (Trainings, das man keine Daten rausgibt, etc.). Als Hilfsmittel sehe ich KI schon an. Aber Ersetzen wird die je nach Ausgabe nicht unbedingt jemanden. War schön, auch mal eine andere Stimme zu hören. Aber dennoch wünsche ich @Jan einen schönen und erholsamen Urlaub.

 

[samuelclemens]

Desweiteren glaube ich das lokale LLM Anwendungen sich nicht durchsetzen werden. KI wird immer zentral irgendwo gehostet werden, außer es geht nicht anders, z.b wenn keine Internetverbindung geplant ist.

Da bin ich anderer Ansicht.
Da wo es zb um Fimeninterna geht darf keiner externen KI Daten anvertraut werden. Natürlich kommt es darauf an was man unter "Zentral gehostet" versteht. Das kann genauso gut auch ein Firmeninterner Server sein im eigenen Netzwerk.
Und diese LLMs sind dann speziell auf Firmeninteressen trainiert und brauchen nicht 99% des Datenmülls wissen was eine öffentliche LLM benötigt um ein extrem breites Spektrum an Kunden zu bedienen.

Genauso wird es sich dann bei Anwendungen für Lokale LLMs auf Privatgeräten verhalten. Man wird extrem spezialisierte Modelle passgenau auf die Aufgaben trainiert implementieren statt Hunderte GB große Modelle die von allem was können aber nichts wirklich gut.

 

[Cabranium]

Wow, dieser Podcast hat ja eine richtig starke Diskussion losgetreten. War eine schöne Folge.
Zu LLM‘s, ich nutze sie auch zum Gedankenspiele durchspielfn, Recherchieren und Lernen.
Wobei mir noch kein LLM die Vollständige Induktion greifbar machen konnte. Sie wiederholen alle das selbe wie auf You Tube und das Hilft mir auch nicht.

 

[dvor]

Wobei mir noch kein LLM die Vollständige Induktion greifbar machen konnte. Sie wiederholen alle das selbe wie auf You Tube und das Hilft mir auch nicht.

1) KI kann es dir erklären aber KI kann es nicht für dich verstehen.
2) Stellt sich die Frage wer intelligenter ist: KI oder Mensch.

 

[MalWiederIch]

Ich finde im Kontext von CB vor allen Dingen interessant, was für privaten Durst nach Hardware das erwecken kann. Ich sage nur Vorbestellungen vom Framework Desktop mit Strix Halo...

Gibt es dazu öffentliche Zahlen?

Und zum Thema "Halluzinieren". In unserer Gesellschaft sehen wir das ja auch gerade extrem. Da sind ganz schön viele Leute am halluzinieren und Bullshit am verbreiten. Und das mit der gleichen Überzeugung wie es ein LLM tut.

Man muss schon selbst halluzinieren um Software oder ein Werkzeug mit einem Menschen zu vergleichen

Ja KI wird wie so viele Werkzeuge spezielle Sachen (viel) besser/effizienter als ein Mensch machen können. Aber eben vieles auch nicht und nie erlernen können, da es nun mal vom Menschen lernt, der den Menschen und das Universum darum selbst nicht ansatzweise versteht