News Llama 3.1: Meta veröffentlicht Konkurrent für GPT-4o mini als Open Source

[Zhan]

Gibts da fertige solutions?

Ich würde noch nichtmal direkt selber trainieren, sondern erstmal ganz stumpf auf RAG setzen. Es gibt da viele Ansätze schnell was an den Start zu bekommen. Das hier wäre ein Einstieg, wenn man wirklich verstehen will, wie sowas funktioniert und selber basteln mag: https://python.langchain.com/v0.2/docs/tutorials/local_rag/
Selber trainieren kann man dann immer noch.

Gibt aber auch genug Anbieter, die sowas als Service oder Produkt anbieten. Wenn man auf sowas wie Langchain als Unterbau setzt, hat man den Vorteil, dass man im Chat auch gezielt und sehr einfach "harte" Aktionen - wie ein Datenbankquery antriggern kann. Das Resultat wird dann über das Chatfenster ausgegeben - ist aber exakt, weil eben durch eine Datenbankabfrage entstanden. Der Chat ist dann hier quasi einfach ein Userinterface für alle möglichen Aktionen/Funktionen. Die Möglichkeiten sind in der Tat endlos.

 

[Kuristina]

Das sollte auf normaler Hardware laufen, oder? Also nur ein Assistent für Mutter mit ihren Terminen und Rezepten, den sie was fragen kann.

Arbeitsspeicher allein geht auch, VRAM braucht es nicht unbedingt. Ob 16 GB für das 8B Model genug sind, weiß ich nicht, aber 32 auf jeden Fall. Hatte ich vorhin schon mal laufen. Aber am einfachsten für deine Mutter ist es, wenn sie eine kostenlose KI einfach im Browser benutzt. Oder per App auf dem Handy. Da ist der Speicher dann auch egal.

Ich nutze KI ja auch regelmäßig, aber die Ergebnisse sind manchmal echt absolut schräg

Je nachdem, welche KI du nutzt.

 

[Eisenoxid]

@Restart001 CB ist nicht dafür bekannt über SAP zu berichten, da mußte bei Heise & Co schauen


Intel hat auch eine Software gebracht um diverse Modelle zu testen

https://videocardz.com/newz/intel-l...source-generative-ai-tool-powered-by-arc-gpus

Muss ich mal die Tage ausprobieren

Danke für die Info. Heruntergeladen und installiert. Sehr schön strukturiert das Programm. Die Modelle muss man in den Einstellungen noch downloaden. Funktioniert und harmoniert sehr gut.

 

[Haldi]

Wer den Nutzen von KI nicht versteht, nutzt es einfach nicht genug. Ich nutze es von der Urlaubsplanung,

Es gab da mal so nen Video wo einer AI nach urlaubs Tipps befragt hat und diese dann nach Quellen durchsucht und auf korrektheit Geprüft hat. War nicht besonders schön...

Leider war ChatGPT nicht in der Lage das Video für mich zu finden.
https://chatgpt.com/share/0338bc49-647d-4857-bfb5-f02e156f06e0

 

[Hate01]

Soll ja auch auf ROCm AMD Hardware laufen, hoffe auf gute Performance bei RX6000/7000/8000

https://community.amd.com/t5/ai/lla...latforms-from-data-center-edge-to/ba-p/697323

Das geht scheitert aber meist am VRAM.
Für große LLM reichen selbst die 24GB meiner 7900XTX kaum aus.

Und bei Nvidia braucht man gar nicht schauen da ist VRAM noch teuer. Und mehr aus 24GB bekommt man dort auch nicht (im Gaming Segment).

Ergänzung (24. Juli 2024)

Nachtrag: fürs lokale laufen lassen empfehle ich Gemma2 27B. Ist trotz der Parameter erstaunlich kompakt (15GB). Das Kontext Window ist nur leider 8k. Für Sprachen, Texte und Übersetzungen ist es aber sehr gut.

 

[crustenscharbap]

Dazu kommen noch dinge wie lokal Filme dynamisch hoch skalieren.

Mit welchen Programm machst du das?
Ich habe schon die Framerate bei einigen Videos erhöht und bin ziemlich begeistert. Ist allerdings das RIFE 4.0 Language Model.

 

[Neo772™]

@Haldi ich habe bereits mehrere Städtetrips und auch längere Urlaub damit gemacht und jedes mal war es super genial einfach die besten Restaurants, die besten Locations und Sehenswürdigkeiten zu finden.

Aber es ist ja nicht nur das, es gibt auch noch einige interessante Infos zu den einzelnen Sehenswürdigkeiten, die, zumindest im großen und ganzen korrekt sind. Natürlich kann man jetzt nicht nach veganen Optionen für bestimmte Restaurants fragen. Aber im großen und ganzen lief es bisher immer perfekt.

Auch Urlaubsplanung - im Sinne wo kann man mit Kindern hin, wenn man x,y,z machen möchte ist echt super.

• Finanzplanung - was kostet der Urlaub pro Tag
• Tagesplanung (ich übergab den Wetterbericht der nächsten Woche)
• Packliste generieren auf Basis des obigen Wetterberichts
• Anfahrtsplanung - welche Öffis kann ich in der Stadt nehmen

waren bei mir im großen und ganzen immer absolut top

 

[DevPandi]

Und immer noch gibt es keine ökonomisch sinnvolle Nutzung von KI.

Es ist alles eine Frage des Werkzeuges und was man damit macht.

DeepL als Beispiel ist ein sehr gutes Tool für Übersetzungen. Perfekt, Nein, es hilft aber und möglicht auch die Kommunikation über Sprachgrenzen hinweg.

Languagetool.org ist super als Rechtschreibprüfung und da den meisten stumpfen Algorithmen weit überlegen.

Genauso gibt es immer mehr spezialisierter Helfer. JetBrains bringt entsprechende Tools für die Arbeit von Entwicklern.

Und selbst Sachen wie Dall-e und Co sind nützliche Werkzeuge, wenn man sie anzuwenden weiß.

Wichtig ist nur: Die "KI"-Tools können nur so gut sein, wie die Anwender, die sie bedienen. Gibt man Murks ein, kommt Murks raus.

 

[Kadett_Pirx]

...
Dieser Kommentar ist einfach nur noch ekelhafter. Jemand der selbstständig ist und solche Tools nutzt um anstatt 5 Kunden 8 Kunden bedienen zu können, ist einfach nur gierig, Ja klar. Was eine herrlich beschränkte Weltsicht. Aber zeigt ganz gut, warum man steht, wo man steht.

Ich hoffe, du bist/ihr seid gut versichert.

 

[Ayo34]

Es gab da mal so nen Video wo einer AI nach urlaubs Tipps befragt hat und diese dann nach Quellen durchsucht und auf korrektheit Geprüft hat. War nicht besonders schön...

Dann benutze mal Gemini mit der "Google Maps", "Google Flights" und "Google Hotels" Integration. Welten vor ChatGPT in dem Bereich.

-> sucht zusammen mit dir ein Urlaubsziel aus (deine Anforderungen, Wetter, Strand...)
-> bucht dir den Flug
-> bucht dir das Hotel
-> regelt die Tagesplanung incl. Sehenswürdigkeiten, intelligente Rundrouten (Öffnungszeiten, Erreichbarkeit, effizienter Weg)
-> gibt dir jede Menge Tipps zum Urlaubsziel und der Umgebung

Ergänzung (24. Juli 2024)

Wichtig ist nur: Die "KI"-Tools können nur so gut sein, wie die Anwender, die sie bedienen. Gibt man Murks ein, kommt Murks raus.

Das ist der größte Punkt. Man muss sich wie mit allem etwas beschäftigen. Nur weil es "KI" ist, kann es nicht die Gedanken der Anwender lesen. Wenn man "Urlaub" schreibt, dann bekommt man eben auch keine passende Antwort.

 

[Donnidonis]

Ich hoffe, du bist/ihr seid gut versichert.

Na auf die Erklärung bin ich jetzt mal gespannt.

 

[Kadett_Pirx]

@Donnidonis man verlässt sich immer mehr auf eine fragwürdige KI (siehe andere Posts) um immer mehr Kunden "bedienen" zu können, mehr als man es eigentlich könnte und vernachlässigt vermutlich die Qualitätskontrolle (hat ja bis jetzt immer geklappt) - bis die KI mal einen "wunderbaren" nicht offensichtlichen Fehler einbaut (weil da nach wie vor gar keine I drin ist) - und dann wird das Geschrei wohl groß sein

 

[Donnidonis]

@Kadett_Pirx
Du weißt doch gar nicht, wie die KI genutzt wird. Es ist eine Unterstützung, kein kompletter Ersatz der Arbeitskraft. Es ist ein Hilfsmittel. Nicht mehr und nicht weniger. Natürlich wird das, was die KI macht, noch mal überprüft und nicht blind übernommen.

Eine gewisse Medienkompetenz muss halt da sein.

Warum also sollte man diese Hilfsmittel nicht nutzen? Man muss mit umgehen können, dann gibt es auch keine Probleme.

Und Fehler, machen Menschen immer noch mehr als Maschinen. Warum ist es ein so großes Problem, wenn die KI einen Fehler macht, aber wenn der Mensch es macht heißt es: kann doch mal passieren.

 

[Kuristina]

man verlässt sich immer mehr auf eine fragwürdige KI.. und vernachlässigt vermutlich die Qualitätskontrolle

Das ist nun mal die Zukunft, da wirst du nichts dran ändern können. KIs werden besser werden, die Fehler werden weniger und irgendwann machen sie weniger Fehler als Menschen. 🙂

 

[Kadett_Pirx]

Ja ist möglich/wahrscheinlich, aber bis dahin vergeht noch die chaotische Übergangszeit - ich möchte nicht wissen, was KIs uns bis dahin so alles bescheren.

 

[DevPandi]

man verlässt sich immer mehr auf eine fragwürdige KI (siehe andere Posts) um immer mehr Kunden "bedienen" zu können

@Donnidonis wenn ich es richtig verstanden habe, bist du in der Entwicklung tätig? Weil darauf bezieht sich mein Text jetzt.

@Kadett_Pirx wenn ich meine Zeit nehme, die ich aktiv entwickelt habe, dann war in vielen Firmen "Quick&Dirty" an der Tagesordnung, weil Teammanger, Produktmanger und die Chefetage möglichst wenige Kosten wollten. Da wurden oft erste Prototypen abgenickt und an diesen weiter gearbeitet, obwohl es nur "Machbarkeitsstudien" waren.

Genauso schnell suchen sich heute Entwickler auch auf bekannten Entwickler-Seiten Codeschnippsel zusammen um die zu verwenden. In anderen Bereichen setzt man ohnehin auf Fremdbibliotheken und Co, sofern man selbst nicht die Zeit hat.

Mit KI ändert sich da jetzt nicht soviel. Vor allem sind die KI-Modelle durchaus gut, wenn man wieder weiß, wie man das Tool bedienen muss.

 

[K3ks]

Und immer noch gibt es keine ökonomisch sinnvolle Nutzung von KI.

Johann von Schnee, du weißt nichts.
Nur eins von vielen Beispielen: Ein Level 1-2 Support "Sob" kriegt 'nen Anruf von einem Kunden mit einem Problem, um das Problem halbwegs schnell zu lösen muss er ein "CMD" Script schreiben (was auch funzt) wofür der nur mäßig technisch begabte "Sob" rund 20 Minuten braucht, mit Hilfe der "AI" ist das Ganze innerhalb einem Drittel der Zeit erledigt (die der "Sob" ohne "AI" gebraucht hätte) und funktioniert. E: Sod anstatt Sob wäre vlt. besser gewesen, aber naja.
E2: https: //www.youtube.com/watch?v=ee6zt8iLE_U
: D

 

[flappes]

Und immer noch gibt es keine ökonomisch sinnvolle Nutzung von KI.

Vielleicht für dich.

Ich nutze seit fast 2 Jahren KI in der Programmierung und es spart mir immens viel Tipparbeit.

 

[DonConto]

Wie meinst du das @Quackmoor?
Ich und viele meiner Kollegen und Bekannte können ihre Arbeit dank ChatGPT / Copilot sehr viel effizienter und schneller erledigen und somit mehr Geld erwirtschaften, Verträge annehmen etc.
Ökonomisch doch sinnvoll, oder nicht?

Du musst das globaler betrachten:
Die Kosten um ChatGPT/Copilot zu betreiben liegen weit weit über dem, was euer lahmer Haufen kostet. Da wäre es günstiger euch alle zu entlassen und halb so viele fähige Leute einzustellen, die gleich oder besser performen.

 

[Ayo34]

@DonConto Das ist so wirr geschrieben...

Du glaubst der Einsatz von KI ist teurer, als es von einer Arbeitskraft machen zu lassen? Wir reden hier von Centbeträgen im Gegensatz zu Arbeitskosten von 30€+.