Bericht Large Language Models und Chatbots: Die Technologie hinter ChatGPT, Bing-Chat und Google Bard

[RedIvan]

Super interesanter Artikel. Hatte mich trotz des aktuellen Hype um ChatGPT noch nicht mit der Thematik groß auseinandergesetzt. Durch den Artikel habe ich als Laie jetzt zumindest eine Idee und es hat mein Interesse geweckt.

 

[flaphoschi]

Funktioniert unser Gehirn denn anders? Wir sind doch auch nur ein Sammelsurium von Eindrücken, die durch Erfolg und Misserfolg priorisiert wurden.

Einige von uns können neuartige Probleme auf unbekanntem Terrain lösen. Taktische und strategische Entscheidungen etwa.

Wir können sogar spontan Gedanken ohne Anregung von außen manifestieren.

Und wir können sogar gezielt irrational handeln.

 

[UNDERESTIMATED]

die ki bei mna hen Sachen nicht versteht, verstehen will oder schlichtweg ignoriert...

Welcher Mensch tut denn was anderes? Denkst du KI ist ne Außerirdische Intelligenz? ✌️

 

[GuruRHM]

Schön, daß der Autor genau beschrieb, was hochparametrisiertes Programmieren ist. Allein KI ist das nicht. Allerhöchstens AI.

 

[Colindo]

Toller Artikel über ein spannendes Thema. Danke, @Robert!

 

[Ned Flanders]

Toller Artikel, Robert! Ich hab mich sogar schon versucht BioGPT zu installieren, bin aber kläglich gescheitert.

 

[borizb]

@Robert Danke für den Artikel, aber mich interessiert vor allem die Hardware dahinter. Welcher Chip liefert für diese Anwendung die beste Performance pro Watt?

 

[Tulol]

Ich glaube es gibt einfach keine gute Literatur im Science-Fiction bereich der sich den positiven Errungenschaften von zukünftiger (oder gegenwärtiger) Technik widmet. Mir ist das auf jeden Fall häufig zu negativ.

Star Trek? 😁

Es gab ja auch mal die Utopische Idee das niemand mehr (monotonen) Tätigkeiten nach gehen muss weil diese von Maschinen übernommen wurden um welche sich Menschen Kümmern.
Das Irre an letzter Idee ist ja eigentlich das wir diesen Zustand längst erreicht haben. Aber weil wir den Hals nicht voll bekommen produzieren unsere Maschinen Dinge in solchen Massen das wir darin zu ersaufen drohen - Massen die man sich eins nicht mal hätte Vorstellen können.("kein Mensch brauch soviel davon")

Solche "KI" können sehr Nützlich sein.
Können bei maßlosem Einsatz aber sehr viel schädlicher sein - wie alle Menschlichen Errungenschaften.

 

[denglisch]

Durch die Autokorrektur meines Smartphones bin ich aus der Übung und merke auch das meine Rechtsschreibung schlechter wird.

Ja, wenn man das aktiv lesen und bestätigen muss hilft es der Rechtschreibung, wenn es automatisch passiert nicht. Ist also eine Frage wie man die Technik anwendet.
Ich finde z.B. KI die nicht nur Wörter, sondern auch Satzbau und Grammatik korrigiert hilfreich, gerade bei Fremdsprachen.
Wenn das regulärer verfügbar wird, wie z.B. die Rechtschreibkorrektur in Browsern, wäre das sehr nützlich.

Ergänzung (7. März 2023)

Der Trend geht dahin, dass die Bots keine Antworten liefern, sondern stattdessen eher die richtigen Fragen stellen und die Schüler*innen dadurch zum Reflektieren anregen und auf den richtigen Weg leiten. Und das ganz zielgerichtet, in aller Ruhe, nach individuellen Bedürfnissen.

Das ist sicherlich ein interessanter Ansatz. Gerade wenn ein KI-Modell auf Hinterfragung trainiert wird, hat es das Potenzial Fehler in den gemachten Aussagen zu finden. Wenn es das bei anderen kann (von Schülern gemachte Aussagen) kann es das dann vielleicht auch bei den Aussagen die es selbst macht.

Irgendeine Form von formaler Logik wird es trotzdem brauchen, denn gewisse Sachen lassen sich statistisch/durch Wahrscheinlichkeiten schlecht abbilden. Daher wird einiges Wissen nicht so codierbar sein, ohne Aussagen unzuverlässig zu machen. Ein Beispiel wäre die Funktion y=1/x oder Division durch 0 allgemein. Lernt man den Zusammenhang zwischen x und y statistisch, wird man eventuell die Division durch Null nicht erkennen, da x=0 beim zufälligen Abtasten nie aufgetreten ist. Oder falls doch, als statistische Abweichung gewertet wird.

Das andere Problem ist auch das gezielte Suchen nach solchen Sondernfällen, die eben dem allgemeinen Trend entgegenstehen, was Verfahren wie Regression aber auch andere Fittingmodelle ausschließen. Man will ja Overfitting vermeiden, da dies in der Regel verhindert, dass man über die Trainingsdaten hinaus verallgemeinern kann.

Diese Logikmodelle/Constraints kann man händisch codieren, aber sie zu trainieren ist nochmal eine ganz andere Sache.

Interessant wäre dagegen die Idee, KIs mit Transfomer-Modellen für solche formalisierten Konzepte (also z.B. wann es nicht stetige Funktionen geben kann, wie bei 1/x) zu trainieren, indem man Lehrmaterial/Schulbüchern als Basis nimmt. Aber mir ist bei ChatGPT aufgefallen dass er dann mal die eine, mal die andere gelernte Regel verwendet, aber sich nur zufällig entscheidet (nicht logisch) welche er jetzt verwendet, und dies auch selbst innerhalb einer Antwort nicht konsistent tut.

Trotzdem könnte es möglich sein formal logische Regeln als probabilistische Sequenz zu lernen. Hmm müsste man genauer analysieren anhand von Beispielen.

Ergänzung (7. März 2023)

Mit dem Aufruf das lokal laufen zu lassen wurde das ja schon bisschen angesprochen, die Problematik aber es festigt die bisherigen Monopole wenn diese Großkonzerne ein Monopol auf diese K.I. hat und das ist natuerlich nicht irgend ein Seiteneffekt das ist das Ziel das Microsoft und co haben.

In letzten 10-20 Jahren wurde es Standard das alles mögliche an Technologie einfach als Opensource nach gebaut wurde und damit man viele Monopole aufbrechen konnte, ob nun MS Office, oder Windows (Wine) oder Quicken -> Money Plex oder Siri -> Mycroft / Openassistent und viele andere Beispiele. Photoshop -> Gimp. Selbst bei Sprachassistenten sah man das Problem schon in klein um das lokal laufen zu lassen.

Selbst Spiele laufen ja zunehmend in der Cloud bei Grosskonzernen weil viele sich die Hardware nicht mehr leisten können oder wollen.

Wegen all dem denke ich dass eine Citizen-Science-artige Initiative sehr wichtig ist.
Wenn Rechenleistung nicht günstig (für Individuen) verfügbar sind bzw. allgemein Forschungsgeräte nicht günstig mietbar sind als nicht-Student/nich-Doktorand, dann wird viel Innovation nicht mehr passieren.

Das besondere an der IT war immer dass man mit einem Computer, Zeit und Ausdauer sich selbstständig machen konnte (Werbung und Aquise mal außen vor, die auch ein wesentliches Problem sind).

Was sich alles daraus entwickelt hat ist ja in der IT-Geschichte beeindruckend bewiesen worden.

Wir brauche eine ähnliche Zugänglichkeit was KI und allgemein Forschung angeht. Nur dann können wir signifikante Fortschritte erreichen.

Ich würde mir wünschen dass die Regierung in solche allgemein zugänglichen Forschungszentren investiert, wo ambitionierte Nicht-Profis, so wie eben in der IT, lernen, forschen und "basteln" können.

Diese nicht auf Paper fokussierte Forschung und Entwicklung ist sehr wichtig und sollte zugänglicher sein, wenn wir eben diese immer stärkere Monopolbildung verhindern wollen, und insgesamt das Bildungsniveau erhöhen wollen.

Denn man ehrlich, wenn früher Technik noch größtenteils erlernbar war, wie sieht das heute bei einem Großteil der Spitzenforschung aus? Schon alleine weil der Zugang zu Geräten fehlt, bleibt das Wissen im besten Fall sehr theoretisch und vorallem praxisfern.

DAS wäre mal eine langfristige und nachhaltige Investition in die Zukunft: Forschung echt frei machen, durch günstigen Zugang zu Geräten (mit Anleitung) für Normalsterbliche. Im Prinzip sinnvolle Erwachsenenbildung und Forschung die zu echtem Fortschritt führt.

 

[Biedermeyer]

Boah Robert,
wieviele Lehrgaenge hat CB fuer dich gebucht? Das ist ja Wahnsinn. Aber aeusserst interessant, und absolut nachvollziehbar Schritt fuer Schritt beschrieben... bis ich dann irgendwann das Handtuch geworfen habe *g und mich erstmal eine halbe Stunde ausruhen musste.

 

[denglisch]

Zum Beispiel für das Einholen von allgemeinem, statistisch gesichertem Fachwissen.

Hast du dafür Beispiele welche Fragen keine Fehler erzeugen können? ChatGPT scheint ja auch bei Faktenwissen nicht immer zuverlässig zu sein.

 

[Falc410]

Ich würde KI direkt von der Regierung verbieten, alle Entwicklungen sollte man beseitigen, das ist zu gefährlich für die Welt, Dazu kommt noch die Atomabschreckung der Welt, KI ist zu gefährlich. Für mich ist das wie wenn du den Sat.an alles gibst was er will um es gegen dich einzusetzen, ich finde das schon krank, meine Meinung teilen auch viele Politiker.

Hast du dir den Artikel überhaupt durchgelesen und verstanden? Wahrscheinlich nicht wenn du von Satan sprichst. Das machen normalerweise nur Leute die tief in der Flatearth & Co. bubble stecken.

Davon abgesehen wäre es fatal das zu verbieten. Wir haben jetzt schon den Anschluss verloren was Forschung in dem Bereich an geht. Wenn wir Wettbewerbsfähig bleiben wollen, müssen wir wieder aufholen.

 

[blackiwid]

Wenn Rechenleistung nicht günstig (für Individuen) verfügbar sind bzw. allgemein Forschungsgeräte nicht günstig mietbar sind als nicht-Student/nich-Doktorand, dann wird viel Innovation nicht mehr passieren.

Ich denke gar nicht so sehr an Forschung nur das ich so nen Sprachbot oder so zeug benutzten kann ohne das mich die Geheimdienste oder noch schlimmer die Amis / Google und co Totalueberwacht dabei.

Das es Leute gibt die das coden können ist das kleinere Problem, das ist ja nicht hoch komplexe Technik die ist ja eigentlich sehr primitiv man braucht nur die Rechenpower. Ich mein es sind halt auch die gleichen Leute die bei Google und Co arbeiten oder von denen an ner Uni was lernen oder in Büchern von denen die dann das auch als Opensource umsetzen, nur bringst dir nichts mehr wenn du es coden kannst aber A Probleme hast Trainingsdaten zu kriegen und B es nicht mal ausführen kannst.

Ich brauch nicht mehr features ich will nur eine Version von haben die wegen mir auch leicht schlechter ist aber eben Frei, dafür nicht mir 10x am Tag Werbung einblendet.

Wie willst denn nen Adblocker z.B. schreiben für Chatgpt der einfach die Werbung irgendwie als Schleichwerbung oder sonst wie in den Text einbaut Oder eben die Daten sammelt.

Beispiel Siri ist sicher überlegener einem MyCroft, vieles scheitert ja nicht an Technologie sondern an Misstrauen, z.B. benutzen wir alle noch Passwörter diese Pest weil man nicht einfach Google oder Amazon Spyware-login überall benutzen will und sich sowas wie OpenID nicht durchsetzen konnte.

Andere Dinge wären offene Schnittstellen für Sozial Media so das man zumindest eben seine Daten zwischen z.B. Twitter und Mastdon synchronisieren kann. Es kann ja auch sein das man hin und wieder das kommerzielle benutzen will aber für das meiste die freiere Amateurhaftere Variante ausreicht.

Anderes Beispiel Chatgpt wird ja auch oft so als weiterentwicklung der Suchmaschine beredet, bin auch auf DuckDuckGo umgestiegen, und ja am Anfang hat man noch bisschen rum geheult das die Suchergebnisse teils schlechter sind, aber wenn man sie halbwegs gut bedienen kann und die Macken kennt reicht das völlig.

Klar so nen DuckDuckGo weiß auch schon viel über dich und benutze auch nicht überall staendig VPN, aber ChatGPT und co geht dann schon noch bisschen weiter, da googled man nicht irgend ein Problem und weiß dann ungefähr an was die Person arbeitet sondern im Zweifel kriegt man das komplette Produkt und kann viel Wirtschaftsspionage machen etc. Und man sagt DDG ja auch nur auf welche Webseite man will mal meistens, nicht was man auf der Webseite genau sucht, selbst wenn man noch nen Titel von irgendwas sucht, sucht man nicht nach genau dem Satz der einem aus dem Text interessiert.

 

[Laphonso]

Nach dem ganzen Hype um Open AI finde ich diesen VICE Artikel von letzter Woche sehr interessant. Und auch nachdenklich machend.

https://www.vice.com/en/article/5d3...-to-be-corporate-closed-source-and-for-profit

This blog post and OpenAI's recent actions—all happening at the peak of the ChatGPT hype cycle—is a reminder of how much OpenAI's tone and mission have changed from its founding, when it was exclusively a nonprofit. While the firm has always looked toward a future where AGI exists, it was founded on commitments including not seeking profits and even freely sharing code it develops, which today are nowhere to be seen.

“Y'all keep telling us AGI is around the corner but can't even have a single consistent definition of it on your own damn website,”
tweeted Timnit Gebru, a computer scientist who was fired from Google for publishing a groundbreaking paper about the risks of large language models, which includes its dangerous biases and the potential to deceive people with them.

With all of this in mind, we should all carefully consider whether OpenAI deserves the trust it's asking for the public to give.

Das klingt leider alles nach Open “for business” AI und Closed Source “Open AI”….

Mir z.B. war dieser ganze “shift” vor allem ab 2019 bisher nicht so klar; ich hatte noch naiv das alte Zielbild vor Augen.

Wie seht Ihr das? 🤔

 

[Kuestennebel79]

Danke für die spannende Zusammenfassung des Themas. Hätte ich auf CB gar nicht erwartet, aber sehr erfreulich.
Ich persönlich arbeite mich Hobby-mässig gerade auch in AI ein, Language Models allerdings noch nicht, auch wenn die gerade hyped sind durch ChatGPT. Es gibt aber auch noch andere Konzepte die spannend sind.
Mit Stable Baseline 3 bspw. kann man relativ einfach einem neuronalem Netz alte Atari Spiele beibringen. Ziemlich lustig. https://stable-baselines3.readthedocs.io/en/master/guide/examples.html

 

[feidl74]

Welcher Mensch tut denn was anderes? Denkst du KI ist ne Außerirdische Intelligenz? ✌️

Mensch entscheidet nicht alleine nach Mustern und er füttert sich selbst mit Daten, da braucht er keine externen dazu. Ich denke ki ist die neue Form der menschlichen Faulheit, mit der wir uns auch "die dicken Kinder aus landau" "züchten".

Zitat ex ibm cheftechnologe:"Vor kurzem twitterte der ehemalige Cheftechnologe von IBM Deutschland, der famose Günter Dueck, dass er der vermeintlich schlauen Software aufgetragen habe, seine Biografie zu verfassen – "es war eigentlich alles falsch", so Dück, "wie können sich denn Leute von sowas beeindrucken lassen?

Ergänzung (7. März 2023)

Wenn wir Wettbewerbsfähig bleiben wollen, müssen wir wieder aufholen.

Und dazu braucht man ki? Ist das menschliche Gehirn in den letzten 200jahren durch technologischen Fortschritt und Industrialisierung schon so geschrumpft? Für Wettbewerbsfähigkeit spielen viele Dinge eine Rolle und die wenigsten, haben mit ki zu tun ..

 

[Vigilant]

Was soll man sonst tun? Skeptisch sein, erstmal keine KI nutzen und plötzlich kommt der Tag, an dem die Konkurrenz dich dank KI überrumpelt, weil die alles schneller und besser hinbekommt?

Eben. Abwarten ist keine Option. Wie immer, wenn der Innovationsdruck von außen kommt. Gesunde Skepsis bezieht sich dann darauf, einen guten Blick für Risiken und Stolpersteine zu behalten.

 

[TheOneofAll]

Interessanter Artikel. In meinen Augen wird aber nicht klar genug herausgestellt, dass es sich wirklich nur um ein Sprachmodell handelt, das keinerlei Verständnis von dem Inhalt der Aussagen hat sondern rein auf Wort- und Satzbildungswahrscheinlichkeiten basiert. Das ist zwar das logische Resultat der im Text beschriebenen Prozesse, aber vielen Menschen nicht bewusst, die ChatGPT nutzen.

 

[ralelelelel]

Bin tatsächlich mal testweise von Firefox+Safari (iOS) auf Edge umgestiegen. Bis jetzt keine Beanstandungen…

 

[Magellan]

Wer sich für das Thema interessiert, ich finde es im folgenden Artikel ausführlicher und anschaulicher beschrieben - inkl. der Bedeutung von Semantikräumen, tieferer Darstellung des Aufmerksamkeitsmechanismus und der Fähigkeit zur Selbsbewertung.
https://www.golem.de/news/kuenstliche-intelligenz-so-funktioniert-chatgpt-2302-171644.html

dass es sich wirklich nur um ein Sprachmodell handelt, das keinerlei Verständnis von dem Inhalt der Aussagen hat sondern rein auf Wort- und Satzbildungswahrscheinlichkeiten basiert.

Das stimmt so nicht unbedingt. ChatGPT nutzt Semantikräume um Wörter entsprechend ihrer Bedeutungen einzuordnen und den Aufmerksamketsmechanismus um Bedeutungen im Kontext zu erschließen.
Bei Aufgabenstellungen und deren Beantwortung erschließt sich die KI ein Bedeutungskonzept und generiert erst daraus die eigentliche Textausgabe.

Jetzt ist "Verständnis" natürlich ein zu definierender Begriff - für ChatGPT ist Bedeutung eine Einordnung in einem multidimensionalen Raum mit Verknüpfungen zu anderen eingeordneten Begriffen - aber letztlich macht unser Hirn ja ähnliche Dinge. Und Sprachmodelle sind eben beschränkt auf den Text, sie können den Wörtern nicht die anderen Sinneseindrücke und Emotionen zuordnen wie wir.