Realer Nutzen von Large Language Models (ChatGPT, Bing-Chat, Bard, LLaMA und Co.)

[AW4]

Mich würde mal interessieren, ob ihr ein Large Language Models wie ChatGPT, Bing-Chat, Bard, LLaMA o.ä. schon einmal produktiv mit Erfolg eingesetzt habt.

Denn, was mich da betrifft, sind all meine gestarteten Versuche sehr ernüchternd.

Ein wenig Hintergrund:
Ich verbringe ca. 80% meiner Arbeitszeit mit Softwarearchitektur und -entwicklung und bin dabei in einem Umfeld tätig, in dem sich das sehr mühsam gestaltet, da ich so gut wie nie auf bestehende Bibliotheken oder tolle, passende APIs zurückgreifen kann.
Fast jedes Mal läuft es darauf hinaus, dass ich mich hinsetzen, der Materie annehmen und die entsprechenden Logiken und Algorithmen selbst implementieren muss.
Aktuell muss ich z.B. meine Kenntnisse bzgl. kombinatorischer Optimierung und Forecasting erweitern und sah das als wunderbaren Anwendungszweck für ein umfangreiches LLM wie ChatGPT, um evtl. ein paar Abkürzungen nehmen zu können.
Leider waren die von ChatGPT dargebotenen Informationen dazu aber leider lediglich auf Wikipedia-Niveau und Wikipedia ist in diesen Bereichen sehr dürftig, was verwertbare Informationen oder weiterführende, einfach zu beziehende Quellen angeht.
Man kann dann natürlich noch nachhaken und es um tiefergehende Details befragen oder um Beispiele bitten, doch musste ich da feststellen, dass die Genauigkeit hier nicht ausreicht um hilfreich zu sein.
Beispiele und "Schritt-für-Schritt"-Anleitungen waren gespickt mit Fehlern und "Knicks" in der Logik und tiefergehende Details wurden so schwammig beantwortet, dass damit nichts anzufangen war.


Mein Fazit bisher ist also, dass es für komplexe Fragestellungen unbrauchbar ist und einem keine Zeit einsparen kann.
Man kann es zwar für einfache Themen nutzen, aber in meinem Fall sind meine Recherche-Skills so ausgeprägt, dass ich das vergleichbar schnell hinbekomme und mir oben drein dann aber auch gleich noch ein Bild der Qualität der verfügbaren Quellen machen kann und am Ende abschätzen kann, woran ich mit den gewonnenen Informationen in etwa bin.


Wo steht ihr da?
Hat euch ChatGPT tatsächlich schon mal in einem relevanten Maße geholfen und merkbar Zeit eingespart?

 

[hallo7]

Ich hab ChatGPT für einen Spieleabend Hintergrundgeschichten schreiben lassen. Das funktioniert super und spart Zeit.

In der Arbeit dürfen wir es nicht einsetzen, da die Informationen in der Regel geheim sind bzw. es nur dann Sinn machen würde wenn man entsprechende Details nennt und Daten an den Anbieter zurück fließen. Auf Nachfrage von einigen Kollegen hat die Rechtsabteilung keine Freigabe erteilt.

 

[sh.]

Für "Mainstream" Sachen mögen diese Systeme ganz gut unterstützen aber sobald es mal davon abweicht und dann in die tiefe geht wird es schwierig, zumindest noch.

Um mal auf die schnelle ein Powershell-Script zu machen taugt es für mich.

 

[uincom]

Ja, klar. Habe mit ChatGPT schon einfache Briefe und Mails verfassen lassen.

 

[The_waron]

Ich hab auch nun einige Mails und Zusammenfassungen über die AI laufen lassen, dabei ist mir ein beachtlicher Sprung zwischen 3.5 und Version 4 aufgefallen, bei letzteren ist es wirklich kaum noch möglich heraus zu lesen ob dies ein Mensch oder eine AI geschrieben hat, auch die bekannten AI Plagscanner haben hier ihre Schwierigkeiten.

Komplexe Zusammenhänge, insbesondere wenn neue Faktoren verknüpft werden müssen gehen jedoch nicht selten schief, bislang sehe ich solche Systeme als interessante Helferlein.

Vorhin mal aus Neugier eine Hausarbeit aus meinem damaligen Masterstudiengang in GPT 4 eingespeist, was dabei raus kam war Plagscanfrei und wirklich gut ausformuliert, lediglich die Quellenarbeit kriegt das Ding nicht gebacken.

 

[Rickmer]

Einer der Entwickler in der Firma hatte folgendes geschildert:

Hier ein ganz aktuelles Beispiel was ich mit chatGtp gelöst habe.

Ich habe eine Query die mir alle Drucker (SharedPrinter/LogicalQueue) zurückgibt.
Jetzt möchte ich aber die Drucker ($ProduktspezifischePrinterQueue) dadrunter haben und das sotiert nach Servern.
Ziel ist es im Dashboard die Server anzuzeigen und wenn man einen Server anklickt sollen Drucker angezeigt werden die in den letzen Tagen hinzugekommen sind.

Ich hab chatgtp die relevanten Models gegeben und gesagt das ich eine Methode hab die GetAll machen kann.

Darauf kam eine recht brauchbare Antwort. Allerdings waren die Server nicht nach ID gruppiert

Das hab ich ihm dann mittgeteilt.
Und siehe da genau das was ich wollte. Aufwand ca.10 Minuten.

Ich hätte das ohne auch hinbekommen aber nicht so schnell und vermutlich wäre mein Code deutlich mehr geworden.

(Screenshots vom Code entfernt, sorry, so viel Datenschutz muss sein)

 

[apachy]

Marketing bei uns hat mit Hilfe von ChatGPT ordentlich Texte für die Firmenpräsenz erstellt. Ich selbst habe dafür noch einen Nutzen gefunden. Ich muss aber auch sagen, dass ich vieles wofür Entwickler das in Beispielen nutzen auch vorher schon bei mir vereinfacht habe.

Ich nutze exzessiv Multiline-Editing, Regex und Search & Replace, habe meine IDEs vollgestopft mit eigenen Snippets und Templates, generiere mir häufig via SQL Daten, Codeteile oder dynamisch wieder andere SQL-Anweisungen usw.

Ggf. würde ich heute ChatGPT nutzen, wenn ich mich mit einer neuen Programmiersprache beschäftige und Features dort als kleines Beispiel sehen wollen würde usw.

Gibt aber sicher Sachen, für die das sonst brauchbar sein könnte. Würde ich sowas wie Udemy Kurse erstellen, würde ich mir davon die Gliederungen und co. erstellen lassen, ggf. auch ein paar Texte.

Auch wenn ich Bilder für Sachen brauchen würde, fände ich generative AI Tools hilfreich oder wenn ich bloggen würde und damit Geld verdienen würde, würde ich das heutzutage wohl nutzen.

 

[Rickmer]

So gesehen ist ChatGPT ja erst der absolute Anfang, die ersten Gehversuche einer AI, mit der man wirklich chatten kann...

Für ein paar mehr Denkanstöße einfach mal das Microsoft Video zur Vorstellung von Copilot (GPT-4 in Office Apps) anschauen:

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

Da geht einem erst auf, wie viele Jobs das völlig umkrempeln wird.

Als Systemadministrator: Wie lange wird das wohl noch dauern, bis ich eine Problembeschreibung und einen Export der Logfiles in eine Chatbox einkippen kann und als Output ein Skript bekomme, das das Problem behebt?...

 

[AW4]

Für ein paar mehr Denkanstöße einfach mal das Microsoft Video zur Vorstellung von Copilot (GPT-4 in Office Apps) anschauen.

Aber ich schau doch nicht in die Vertriebsunterlagen des Verkäufers um zu bewerten, wie groß der Nutzen eines Produktes für mich ist.
Wenn ich was verkaufen will, zeige ich das natürlich auch nur von der Schokoladenseite bei schönem Wetter.

Mir geht es vielmehr um tatsächliche Fälle, in denen LLNs nützlich waren/sind.
Und so wie ich das hier herauslese, bin ich da u.U. einfach die "falsche Adresse", da es in meiner Welt fast ausschließlich um Logik geht und nicht darum gesprochenes/geschiebenes Wort mit nicht-komplexen Zusammenhängen zu verarbeiten oder zu generieren.

Aber ich werds glaub ich mal bei Gelegenheit für die Dokumentation von unkritischen Code-Teilen testen.
Das könnte u.U. funktionieren.

 

[Rickmer]

Aber ich schau doch nicht in die Vertriebsunterlagen des Verkäufers um zu bewerten, wie groß der Nutzen eines Produktes für mich ist.
Wenn ich was verkaufen will, zeige ich das natürlich auch nur von der Schokoladenseite bei schönem Wetter.

Klar, aber das ist halt viel bildlicher aufbereitet als 'frag Bing was auch immer du willst'...

Und so wie ich das hier herauslese, bin ich da u.U. einfach die "falsche Adresse", da es in meiner Welt fast ausschließlich um Logik geht und nicht darum gesprochenes/geschiebenes Wort mit nicht-komplexen Zusammenhängen zu verarbeiten oder zu generieren.

Als Sysadmin hat das gezeigte für mich auch noch keinen großen Mehrwert...

Aber ich gehe davon aus, dass es innerhalb der nächsten 10 Jahre möglich sein wird, eine Applikation auf 'nem Server zu installieren, die dann eine Fehlerbeschreibung annimmt, alle Logs und Konfigurationen ausliest, und als Output eine Liste an Änderungen ausgibt und wenn man auf 'OK' drückt, selbstständig das Problem löst.

Dann wäre der Job des IT-Admin (zumindest für unterstützte Softwares und Konfigurationen) auch komplett ungekrempelt.

 

[martinwag]

Ich mache auch Softwareentwicklung und setzte ChatGPT produktiv ein. Wirklich komplexe Fragestellungen (Architektur...) fuehren meistens ins Leere. Themen, die im Internet nicht behandelt werden funktionieren natuerlich nicht.
Einfachere Fragestellungen und "Hilfsscripte" funktionieren aber i.d.R. (generate a regex that filters the following: xyz, write a bash script that does xyz, ...) und ist schneller als selber machen. Beispiele nach konkreten Anforderungen schreiben lassen klappt meistens auch und ist schneller und besser als in schlechten Dokus zu suchen (ich schaue auf dich, CMake).
Am hilfreichsten fuer mich war bisher wenn meine Fragestellung nicht in die "3 Worte Grenze" der Suchmaschinen passt oder ein Suchbegriff mehrdeutig mit einem kaufbaren Artikel ist und die Suchmaschine daher keine brauchbaren Ergebnisse liefert. In die gleiche Kategorie faellt wenn du eine Denkblockade hast und du eine viel einfachere Loesung bekommst als gedacht. Also mehr sehen als eine weitere Suchmoeglichkeit als einen Ersatz fuer Google und damit spielen, so bekommst du raus was geht und was nicht :-)

Zwei (nicht rechtliche) Probleme bleiben:

• Nicht nach geheimen Sachen fragen (nicht anders als bei Google...)
• Es kommt immer ein Ergebnis. "absolute Selbstsicherheit bei vollkommener Ahnungslosigkeit".

 

[h00bi]

Ich nutze ChatGPT vorallem für Powershell und Linux Shell Scripte.
Ich bin bei sowas ziemlich schlecht mit der Syntax, kann dem Chatbot aber ziemlich präzise sagen was ich will und kann dem Chatbot auch sagen, wenn die Scripts fehlerhaft sind (was leider oft vorkommt) und was genau geändert werden muss.
Das mache ich auch auf der Arbeit, weil dabei keine "Daten" durch den Chatbot verarbeitet werden.

In der Vergangenheit hatten wir von mehreren Unternehmen sehr bescheidene Qualität bei SEO Texten angeliefert bekommen. Das kann jeder Chatbot besser.
Das wird bei uns vermutlich eines der ersten Gebiete sein wo wir KI aktiv nutzen werden.

Was mit Chatbots auch super funktioniert ist lange, interpretationsfreie Listen schnell übersetzen, z.B. eine Liste

Da geht einem erst auf, wie viele Jobs das völlig umkrempeln wird.

Die Graduation Party der Tochter ist etwas, wo nichts wissenschaftlich präzise oder korrekt sein muss. Die ersten 6 Minuten sind fancy, aber das wars dann auch.
Bei Outlook funktioniert ja nicht mal der "Posteingang mit Relevanz" annehmbar und den gibts schon seit 2(?) Jahren. KI in meiner Geschäftskorrespondenz? Nein danke.

Ich befürchte in 3 Jahren wird die Kernkompetenz meines Jobs darin bestehen zu erkennen, dass jemand mit einer KI Unsinn generiert hat und das wieder grade zu biegen.

 

[ascer]

was mich da betrifft, sind all meine gestarteten Versuche sehr ernüchternd.

Leider waren die von ChatGPT dargebotenen Informationen dazu aber leider lediglich auf Wikipedia-Niveau und Wikipedia ist in diesen Bereichen sehr dürftig, was verwertbare Informationen oder weiterführende, einfach zu beziehende Quellen angeht.

Für "Mainstream" Sachen mögen diese Systeme ganz gut unterstützen aber sobald es mal davon abweicht und dann in die tiefe geht wird es schwierig, zumindest noch.

Meiner Erfahrung nach liegt das maßgeblich daran, mit welchem Technologieverständnis und welcher Erwartungshaltung man an LLMs herantritt.

Inter- und Extrapolation sind z.B. kein Problem. Selbst ohne zu Wissen, was ein König ist (z.B. indem man die Information ausdrücklich aus den Trainingsdaten heraushält) kann so ein System aus "Königin aber männlich" die notwendigen Schlüssen ziehen und entweder abschätzen, was dabei heraus kommt oder relativ genau definieren, sofern die Vokabel in anderem Kontext irgendwo mal auftauchte.

Da kommen auch das "Halluzinieren" her - der Fachterminus für das erfinden von Fakten oder Zusammenhängen. Die Modelle selbst und was man mit ihnen anstellen kann ist am Ende viel mehr als das beliebte Stichwort "multivariate statistics + (attention based) machine learning", aber die dahinterliegende Technologie kann man durchaus darauf reduzieren.
Kein Mensch wäre jemals dazu in der Lage derart komplexe Modelle "von Hand" zu entwerfen, aber die grundlegenden technologischen Barrieren dieser Paradigmen treffen auch auf die komplexeste Variante solcher Modelle zu.

TL;DR: mehr Neuronen und aufwendigere Modellarchitekturen ermöglichen die Automation von sehr vielen Tasks, aber das Modell selbst unterliegt am Ende immer den Barrieren der Technologie.

Echte Kreativität ist z.B. mit (sehr gutem) "statistischen Raten" und Extrapolationen nicht umsetzbar - aber für sehr viele Dinge, etwa "new website design for new Star Wars movie" braucht es auch gar keine echte Kreativität.

Da geht einem erst auf, wie viele Jobs das völlig umkrempeln wird.

Sehe ich genauso.

Als Systemadministrator: Wie lange wird das wohl noch dauern, bis ich eine Problembeschreibung und einen Export der Logfiles in eine Chatbox einkippen kann und als Output ein Skript bekomme, das das Problem behebt?...

Mit GPT4 geht das schon ziemlich gut. Ich habe z.B. kleine Auszüge aus docker logs von meinem HomeServer, Fehlermeldungen von meiner Workstation (Manjaro+i3), diverse unterschiedliche Config-Files (von populär wie Apache bis exotisch wie config von ROS2 Modul für Drohnen) usw. als Input verwendet und nach 1-5 prompts hat GPT4 mir entweder die Korrekturen direkt gegeben, die ich brauchte oder zumindest das Problem soweit angegrenzt, dass ich dann kreativ bei Problemlösung selbst tätig werden konnte...und das definitiv schneller, als ich mich selbst durch Google und Stackoverflow, Unix stackexchange, ... hätte wühlen können.

Grundsätzlich kann man sagen:

• wurde das Prinzip schonmal irgendwo beschrieben?
• gibt es einen Wiki-Artikel über die Grundlagen?
• taucht das Problem z.B. bei Stackoverflow auf?
• existiert eine Dokumentation zu der Library, Hardware, ...?

...dann bekommt man definitiv brauchbare Informationen. Ob brauchbar in dem Fall bedeutet, besser als selbst suchen über Google, hängt von der Domäne und Frage ab.

Insbesondere aber diese Szenarien von "exotischer Fehler => ich muss erstmal 1h in 1000 Seiten Dokumentationen suchen" gehören der Vergangenheit an...und gerade diese nervigen Standardrecherche-Tasks, wo es erstmal nur darum geht, eine bestimmte Information grundsätzlich zu bekommen, ist die KI sehr hilfreich.

Aber ich gehe davon aus, dass es innerhalb der nächsten 10 Jahre möglich sein wird, eine Applikation auf 'nem Server zu installieren, die dann eine Fehlerbeschreibung annimmt, alle Logs und Konfigurationen ausliest, und als Output eine Liste an Änderungen ausgibt und wenn man auf 'OK' drückt, selbstständig das Problem löst.

Dann wäre der Job des IT-Admin (zumindest für unterstützte Softwares und Konfigurationen) auch komplett ungekrempelt.

Jup.

Ich befürchte in 3 Jahren wird die Kernkompetenz meines Jobs darin bestehen zu erkennen, dass jemand mit einer KI Unsinn generiert hat und das wieder grade zu biegen.

Ich habe unter anderem gerade in der Energiebranche ein Projekt, wo wir zehntausende Seiten an technischen Dokumenten, Handbüchern, ... zusammen mit grundsätzlichem Physikwissen mit einem LLM trainieren, weil bisher die Wartung wirklich nach dem Prinzip abläuft, dass Standardfälle mit SPSS Zeug gesammelt wurden und dann laufen da zig Leute rum die diverse Sachen manuell checken und dann gegenprüfen, warum irgendein Standardfall in SPSS ausgelöst wurde usw. usf.

Für das neue System können Livedaten direkt in das LLM eingespeist werden und es gibt Projektionen zum Einen wahrscheinliche Szenarien für tatsächliche Fälle + verweise auf "check mal Seite 2124 hier ..." und darüber hinaus auch Prognosen, gegeben sämtliche Daten, was wie wann noch in Zukunft passieren könnte.

Wahrscheinlich wird so was in einigen Jahren nicht mehr individuell entwickelt, sondern es gibt einfach fertige Pakete die direkt auf allen existierenden Maschinen und Handbüchern trainiert sind - direkt mit Auslieferung jeder Maschine oder so.

Ähnlich wie bei Autos. In meinem alten Job haben wir noch Prototypen für Parken, Fahrsituationen und das dann auch optimiert auf Automodell XYZ usw. entwickelt. In Zukunft gibt es dann einfach KI-Modelle, die jede Eigenheit jedes Autos kennen als Universallösung.


Selbst in solchen Fällen wird das aber nicht alles ersetzen. Am deutlichsten wird das imho bei dem Beispiel Anwalt. Die Dutzenden Rechtsanwaltsfachangestellten, Junior-... usw. die größtenteils für Recherche, Aufsätzen von Schriftsätzen, ... da sind - das ist alles automatisierbar. Die grundlegende Strategie, insbesondere in größeren Rechtsstreits, wird aber immer noch taktieren und Kreativität erfordern.

Oder genauso Ärzte: was alles in Frage kommt (und vor allem die Standardlösungen aus den medizischen Standardwerken vorlesen), dafür wird man keinen Arzt mehr benötigen. Aber die konkrete Differentialdiagnose zu stellen, wenn mal was ernsteres ist, da ist dann wieder Kreativität gefragt, zu interpretieren, was die ganzen Diagnosen, Daten, Vorschläge, ... bedeuten.

 

[AW4]

Ich war nicht untätig und habe in den letzten Tagen und Wochen mit ChatGPT und Bing-Chat herumgespielt.
Ich habe dabei versucht jedwede Skepsis und Belustigung der Unfähigkeit, gegenüber meinen eigenen Fähigkeiten und verglichen mit meinen eigenen Standards, links liegen zu lassen und diese LLMs als reine Tools zur potentiellen Zeitersparnis zu sehen.

Die Erkenntnisse, die mir das geliefert hat, erachte ich, für mich, durchaus als sehr interessant, muss aber feststellen, dass es für den Einsatz meiner Probleme leider noch etwas zu kurz gegriffen ist. (Und ich glaube auch die zugrunde liegende Ursache dafür gefunden zu haben. Dazu aber später mehr.)

Zuerst möchte ich anführen, dass sich ChatGPT deutlich besser zum Erstellen von Source-Code eignet, als Bing-Chat.
Das liegt zum einen daran, dass ChatGPT (auch die kostenfreie Version) kein Limit für die Thread-Länge hat und zum anderen daran, dass Bing-Chat sehr viel volatiler in den Antworten ist (unabhängig der Wahl der "Kreativität" für Antworten), was sich direkt (und zwar negativ) auf die Qualität der Antworten niederschlägt.
Konfrontiert mit denselben Fragen in unabhängigen Sessions liefert Bing-Chat ein deutlich breiteres Spektrum an Variationen in seinen Antworten. Das geht regelmäßig so weit, dass sich in der einen Antwort nur sehr geringe Ähnlichkeiten zu einer anderen finden lassen. Und das ist auch gleichbedeutend damit, dass eine Antwort brauchbares Material enthält und eine andere überhaupt nichts Sinnvolles bietet (weil die Antwort „an der Frage vorbei“ ging).
Das betrifft dann natürlich leider auch Konkretisierungen der Fragestellungen, wenn man feststellen muss, dass die initiale Frage nicht genau genug oder „fehlerhaft“ gestellt wurde.
Ein weiteres Problem mit Bing-Chat ist, dass es einfach aufhört, wenn die Antwort zu lang wird.
Das macht zwar ChatGPT auch, nur lässt sich ChatGPT sehr verlässlich mit „You stopped prematurely. Please continue where you left off!“ dazu bringen, die Antwort zu vervollständigen.
Bei Bing-Chat hatte ich damit keine großen Erfolge. (Meist fängt Bing-Chat dann einfach noch einmal von vorne an, um dann an einer ähnlichen Stelle wieder verfrüht zu stoppen.)

Wie dem auch sei, ich habe versucht mit diesen beiden LLMs Code für verschiedene kleine Algorithmen generieren zu lassen. Dabei handelte es sich immer um String-Parser, da ich nebenher eine simple IDE für eine esoterische Interpretersprache entwickle und dafür einen konkreten Anwendungsfall gesehen habe.
Ich habe dabei immer Code für C/C++, JavaScript/TypeScript, Java, C# und Object-Pascal/Delphi generieren lassen, um zu sehen, ob es da unterschiede gibt. (Besonders bezogen auf Object-Pascal/Delphi, da es da weniger öffentlichen Code gibt.)
Ergebnis: Gibt es nicht. Der Code war von ähnlicher Qualität mit immer denselben Fehlern (bzw. Fehlinterpretationen).

Ich habe dabei klein angefangen. Und kleine, kurze und einfache Algorithmen lassen sich mit den LLMs auch einigermaßen gut generieren.
Mit entsprechend Ahnung lassen sich jedoch kleine, kurze und einfache Algorithmen auch sehr schnell per Hand implementieren.
Einen Vorteil bringt das somit also nicht.
Je komplexer dann der Algorithmus, desto mehr und genauer muss man ihn dann auch beschreiben und genau hier kommt man schnell ans Limit von ChatGPT und Bing-Chat.

Denn zum einen sind LLMs auch nur Maschinen und Maschinen tun nur genau das, was man ihnen sagt. Lässt man Details, die über den rudimentären „Sprachgebrauch“ (in meinem Fall „Programmiersprachengebrauch“) hinaus gehen, weg, werden sie auch entsprechend von ChatGPT und Bing-Chat „weggelassen“.
Wo sich ein menschlicher Programmierer den Kopf kratzen würde, weil offensichtlich etwas fehlt, sehen diese LLMs, natürlich dank fehlender echter Denkleistung, kein Problem darin, auf eine „unvollständige Fragestellung“ eine passend unvollständige Antwort zu liefern.
Diesen Teil finde ich persönlich besonders interessant, denn genau dieselbe Feststellung hatte ich ganz am Anfang meiner Softwareentwicklungskarriere. Hast du‘s nicht Programmiert, wird’s auch nicht ausgeführt! Woher sollte der Computer dieses Wissen denn auch nehmen…

Zum anderen ist die Ausarbeitung eines Algorithmus aber auch der Zeitaufwändigste Part in dem ganzen Prozess, sodass die potentielle Zeitersparnis deutlich geringer ausfällt, als man es sich denken würde.
Die potentielle Zeitersparnis fällt dann auch gleich nochmal geringer aus, da mir ein LLM ja wirklich nur die Arbeit des Abtippens abnehmen kann. Den Rest, Algorithmus ausgearbeitet, reviewen, debuggen, Tests schreiben, testen, etc., muss ich ja wieder selber machen. (Tests schreiben und Dokumentieren könnte ich noch ausprobieren. Daran habe ich mich jedoch aufgrund von Bedenken bzgl. Eigentums- und Datenschutzgründen noch nicht herangewagt.)

Zum weiteren kommen wir hier jetzt auch an die Stelle, an der sich die Katze in den Schwanz beißt.
Je komplexer der Algorithmus, desto mehr Text ist notwendig, ihn zu beschrieben und desto länger wird dann auch am Ende der Code.
Und Textlänge ist mit den LLMs so ein Problem.
Die Länge der Antworten übersteigt bei ChatGPT und Bing-Chat verlässlich nicht die Marke von ca. 2200 Zeichen.
Und auch wenn sich ChatGPT an diesem Punkt meist „reanimieren“ lässt, ist bei der Länge der Fragestellung schon früher so etwas wie „Gedächtnisverlust“ bzw. eher so etwas wie „Unaufmerksamkeit“ zu interpretieren.
D.h. es gibt eine praktische Grenze für die Komplexität der Fragestellung, zu der noch halbwegs Brauchbares als Antwort aus dem LLM herausfällt.
Die Ursache dafür meine ich in einem Paper zu GPT-3 gefunden zu haben.
Dort wird beschrieben, dass GPT-3 einen „Kontext-Puffer“ in der Länge von 2048 Tokens besitzt, wobei ein Token einem Zeichen (also z.B. Buchstabe oder Ziffer) entspricht.
Egal, ob das nur auf die Generierung der Antwort zutrifft oder auch auf die Fragestellung.
Das Ergebnis bleibt das gleiche: Irgendwann wird’s ungenau.
Und meine Ergebnisse und die Erfahrung, die ich mit ChatGPT und Bing-Chat sammeln konnte, deuten auf ein ähnliches Ausmaß des Kontext-Puffers hin.

Und das ist der Todesstoß für eine Entlastung meiner täglichen Problemstellungen.
Lösungen, die in ihrem Umfang weniger als 2000 Zeichen umfassen, sind schnell geschrieben.
Denn ein Großteil dieser 2000 Zeichen entfällt da ja auch schon auf Strukturelemente der Programmiersprache, die von einer modernen IDE blitzschnell per Tastenkombi und Vervollständigung generiert werden.
Die Zeitersparnis ist da effektiv 0 oder sogar negativ.
Denn, um eine passende Antwort von einem LLM zu bekommen, muss ich etwas tun, dass ich als „Solution Crafting“ bezeichnen würde. Also das kontinuierliche Verfeinern der Fragestellung, um eine entsprechende und nützliche Antwort generieren lassen zu können.
Das verschlingt Zeit.
Und im Nachgang muss ich den Code analysieren und von Fehlern und unnützen Code befreien.
Das verschlingt dann noch einmal Zeit.

 

[Atypikus]

Nutzt noch wer solche Programme? Und wofür?
Bin selbst interessiert und habe mir schon interessante Listen und Tipps für den Alltag erstellen lassen.
Reparaturen im Haushalt und bei kleinen elektronischen Geräten konnte ich einfacher damit umgehen, als mich erst durch zich Webseiten zu lesen.
Gruß

 

[konkretor]

Ich seh den nutzen schon in solchen Modellen, gerade der first level support ist oft nicht besser als wenn es ein tschät bot beantworten würde.

Wir versuchen das gerade selbst in dem wir unsere ganze Doku was wir haben inkl. Code mit einem solchen Modell zu trainieren. Ich muss mal nachfragen welches da jetzt genau genommen wird. Es läuft intern.
Wenn jetzt jemand eine Support Anfrage stellt wird er in Zukunft erstmal Antwort vom Bot bekommen. Wenn die Fragen komplexer sind, beantwortet es eh einer aus dem Team. Oft sind es Fragen wo finde ich was, vieles schon in der FAQ hinterlegt ist. Die Leute zu faul zum lesen sind. Das kann der Bot genauso gut wie ein Mensch.

Sonst schaut mal bei https://huggingface.co/ vorbei da gibt es diverse Ideen und es muss nicht immer ChatGPT sein.

Ich selbst nutze ChatGPT für Powershell/Bash Scripte er ist einfach so viel schneller wie ich. Ich war/bin noch nie gut in "Programmieren" gewesen und es erleichtert mir den Alltag. Bei komplexen Anfragen die über die 2200 Zeichen gehen ist halt vorbei. Dann muss man es entweder stückeln oder selbst ran.

Was mir auch schon aufgefallen ist das diverse Scripte ausgegeben wurden irgendwie ignoriert werden angepasst zu werden. Wenn da ein Fehler drin war.
Wir stehen da erst am Anfang was da noch alles passieren wird.

 

[sh.]

Ich selbst nutze ChatGPT für Powershell/Bash Scripte

Da sehe ich auch den Nutzen und benutze es selbst so. Ich sehe ChatGPT als Google 2.0, z.B. benötige ich irgendeine Ausgabe vom Exchange und da macht mir ChatGPT gleich den cmdlet dazu.

Von den ganzen Träumern und YouTubern die ganze "Business" Ideen mit ChatGPT aufbauen und betreiben halte ich nichts und ist totaler Schwachsinn.

Ich sehe Systeme wie ChatGPT als wie gesagt Google 2.0 und/oder als Assistent.

 

[Schlumpfbert]

Ich muss mich auch mal mehr damit beschäftigen, das ist schon echt abgefahren, was alles geht.

 

[Atypikus]

Oft sind es Fragen wo finde ich was, vieles schon in der FAQ hinterlegt ist. Die Leute zu faul zum lesen sind. Das kann der Bot genauso gut wie ein Mensch.

Das klingt gut! Da muss man sich nicht mehr den Mund fusselig "reden". Sowas müsste es auch mal in gewissen Games geben, wenn man Newbys etwas erklären muss/will

Bei komplexen Anfragen die über die 2200 Zeichen gehen ist halt vorbei. Dann muss man es entweder stückeln oder selbst ran.

"Fahre fort" funktioniert da nicht? Manchmal bricht so ein Programm ja nach dem Generieren ab, da die Zeichenanzahl erreicht wurde.
Das "fahre fort" feature habe ich vor kurzem auch erst entdeckt/ausprobiert. Habe nun keine halb fertigen Texte mehr, vielleicht funzt das ja auch für Coding/Scripting.

 

[Rickmer]

Bei komplexen Anfragen die über die 2200 Zeichen gehen ist halt vorbei. Dann muss man es entweder stückeln oder selbst ran.

Das Limit ist bald aufgehoben...
LongNet: Scaling Transformers to 1,000,000,000 Tokens

Richtig gelesen: Es ist die Rede von einer Milliarde Token und darüber hinaus mit praxis-relevanter Performance.

Die Implementation lässt auch nicht lange auf sich warten: https://github.com/kyegomez/LongNet