News KI-Feature für WhatsApp und Co.: Meta präsentiert Chatbot Meta AI mit neuem Sprachmodell Llama 3

[Simonsworld]

Die Geschwindigkeit der Anbieter ist schon erstaunlich. Ebenso die Investitionen, die in diesen Bereichen gezahlt werden und die entsprechenden Gehälter.
Amerika ist ein gutes Stück voraus auf diesem Gebiet. Einen genauen Überblick, was derzeit auf dem Gebiet in Asien vor sich geht, habe ich nicht. In Europa ist man relativ abgeschlagen, insbesondere was die Investitionen angeht. Es gibt AlephAlpha, welches ein paar hundert Millionen Euro eingesammelt hat. Deutlich zu wenig, um mit den weltweiten Big Playern mithalten zu können.

Dass es derzeit mit der Entwicklung dieser Modelle so schnell vorangeht, beflügelt letztendlich auch Open Source Modelle. Ich denke irgendwann wird es viele Modelle geben, die zufriedenstellende Ergebnisse liefern. Da geht es dann eher um die Ausrichtung auf spezielle Anwendungsfälle, das Feature Set usw.

Llama 2 und 3 können uneingeschränkt kommerziell genutzt werden, solange man weniger als 700 Millionen monatlich aktive Nutzer hat (siehe Lizenz).

Der Gedanke dahinter ist doch sicher, dass selbst eine kommerzielle Nutzung über die Server des Anbieters läuft und ihm damit Trainingsdaten zuschaufelt.
Das ist ja eines der Bottlenecks im Moment. Das Modell zum Trainieren mit ausreichend brauchbaren Daten zu füttern.

 

[Dalek]

Der Gedanke dahinter ist doch sicher, dass selbst eine kommerzielle Nutzung über die Server des Anbieters läuft und ihm damit Trainingsdaten zuschaufelt.

Hier läuft gar nichts über Meta/Facebook, das sind Modelle die man einfach selbst auf seinem Rechner ausführen und benutzen kann.

 

[Lemiiker]

Warum setzen alle auf Bing??? Die Suchqualität ist so unterirdisch schlecht.

 

[Mithos]

Endlich braucht man nicht mehr selbst WhatsApp Chat Nachrichten beantworten, das macht dann die KI...

YouTube

An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.

YouTube-Embeds laden

Ich bin damit einverstanden, dass YouTube-Embeds geladen werden. Dabei können personen­bezogene Daten an YouTube übermittelt werden. Mehr dazu in der Datenschutzerklärung.

YouTube-Embeds laden

Datenschutzerklärung

 

[matze313]

Was bringt es wenn ein Client opensource ist, aber alle Funktionalität aufm Server passiert und die offizielle Funktionalität totale Spionage ist.

Einfach Llama3 herunterladen und ausführen. Es ist tatsächlich so, dass man selbst keine Trainingsdaten oder eine Internetverbindung braucht. Somit kann auch nicht spioniert werden. Also wirklich nicht, weil man den Llama3-KI-Modell ausführenden Rechner/Server einfach vom Internet trennen kann.

Einfach den Datensatz herunterladen bei Huggingface und ausführen. Anleitungen gibts im Netz.

Ok, man braucht je nach Modell kräftige Hardware. Aber ansonsten, einfach offline mit der KI chatten Viel Spaß

 

[Pyroplan]

Cool, genau der A.I. Bot auf den keiner gewartet hat.

Das besondere hier ist doch, das Llama 3 Open Source ist.. und ich glaube da drauf haben VIELE gewartet.
Es ist aktuell das am Besten OpenSource Modell, welches verfügbar ist.
Laut ersten Tests scheint es schön performant und auch qualitativ gut zu sein.

 

[blackiwid]

Ok, man braucht je nach Modell kräftige Hardware. Aber ansonsten, einfach offline mit der KI chatten Viel Spaß

Ja trotzdem wie willst das System selbst updaten, ok vergessen wir mal das die Lizenz nicht opensource voll ist und man kein Geld mit machen kann unbeschränkt zumindest.

Jetzt kannst die Software selbst vielleicht updaten unwahrscheinlich aber denkbar, Trainingsdaten die Ursprünglichen kriegst nicht also was es daraus gemacht hat kannst nimmer updaten, hast weder die Eingangsdaten hast überhaupt den Algo der aus den Trainingsdaten die Enddaten produziert.

Also ist mehr Freeware das Recht zum Ausführen, nicht wirklich dran weiter entwickeln und ja persönlich hab ich die Hardware für nicht aber ja das ist nur ein Technisches / Geldproblem.

Genauso wie bei MS weiß ich das bei Meta immer ein Haken bei ist... zum Spaß geben die nichts wirklich her... So wie eben Android einen dazu drängt denen deine Daten zu geben wird das Tool das auch tun, und natürlich mit mehr convinience, ohh das Tool ist drauf optimiert mit Social Media perfekt zusammen zu arbeiten... oh 90% des Nutzens hängt damit zusammen, ok dann benutz ich deren Social Media und die kriegen meine Daten...

Nur weil ich das Lockangebot noch nicht völlig durchschaue heißt das nicht das alles super ist, zum Spaß machen die das nicht, sie wollen Geld damit verdienen und solange ich deren Geschäftsmodell und warum es dazu opensource sein musste nicht versteh bin ich Paranoid.

Was nicht heißt das es hier und da auch gut für irgendwen sein kann. Für mich ists heute erstmal eh egal da ich nicht die Hardware für hab wenn dann wäre erstmal ne relativ dummes Siri mit voice eingabe interessant da gibts echte opensource lösungen wo man bestimmet befehle einrichten kann... hab mir ja mal nen rPi geholt für sowas wäre momentan eher was für mich...

wie viel mb / gb? TB sind die Daten?

 

[Dalek]

Jetzt kannst die Software selbst vielleicht updaten unwahrscheinlich aber denkbar, Trainingsdaten die Ursprünglichen kriegst nicht also was es daraus gemacht hat kannst nimmer updaten, hast weder die Eingangsdaten hast überhaupt den Algo der aus den Trainingsdaten die Enddaten produziert.

Wenn man nicht etliche Millionen Euros rumliegen hat die man dafür verwenden will dann bringen einem die Trainingsdaten auch nichts. Ein Modell dieser Art zu trainieren ist extrem teuer, das braucht enorme Mengen an Rechenleistung.

Was man aber machen kann ist Feintuning, ein existierendes Modell umtrainieren für neue Aufgaben. Das hat diverse Limitationen und in den meisten Fällen ist das jetzt nicht unbedingt die beste Wahl, aber es geht.

 

[blackiwid]

Was man aber machen kann ist Feintuning, ein existierendes Modell umtrainieren für neue Aufgaben.

Sollte sich herausstellen das Meta ausnahmsweise keine Bösen Ziele hat und alles super ist dann toll, ich hab nicht die Zeit und die Lust ins Detail zu schauen, ich bleibe aber bei Meta sehr skeptisch...

Vielleicht sind sie ja echt so in der Ecke das sie nur noch die Chance haben ohne die Kunden ab zu ziehen mit zu spielen gegen die Konkurrenz, aber ja auch die Meta Quest Brillen haben ihre Probleme, ja sind convinient und billig, aber proprietäres Android auf den Brillen das zumindest im Android Modus Daten senden kann und damit auch wird.

Die anderen sind theoretisch nicht besser aber es gibt zumindest mehr oder wenige komplette Opensource Treiber dafür.

Selbst Valve hat mit Steamvr ne proprietäre lockin technik, so das die Brillen egal mit welchen Treibern sich zu Briefbeschwerern verwandeln... alle bauen ihre Vendorlockins, einfach Hardware Verkaufen wie Autos verkauft werden einfach als für sich genommenes Produkt gibts heute nimmer man will immer an die Daten der Leute.

 

[OMGWTFBBQ]

Wie wäre es, wenn du dich einfach mal über lokale LLMs informierst, @blackiwid ?

On Topic: Llama 3 ist schneller und halluziniert weniger als der Vorgänger, definitiv eine merkliche Verbesserung. Ob das für die eigenen Anwendungszwecke reicht, muss jeder für sich entscheiden.

 

[crustenscharbap]

Ich brauche keinen Chatbot sondern eine App die so gut übersetzen kann wie Chatgpt3

Goggle Translate kann ja nicht mal „Teller“ auf Spanisch übersetzen.

Oder: „Die Garnelen sind Eisberg. Ich werde dich jetzt töten“

Eigentlich sollte es heißen. „Die Garnelen sind tiefgefroren und nicht mehr lebendig.“

ChatGPT konnte das korrekt übersetzen.

 

[LamaMitHut]

@Andy

Warum gibt es eigentlich noch kein Unterforum zum Thema Künstliche Intelligenz?

 

[blackiwid]

Wie wäre es, wenn du dich einfach mal über lokale LLMs informierst, @blackiwid ?

Da ich nicht bereit bin ne fette Nvidia Karte zu kaufen und so nen pc nonstop rennen zu lassen, zumindest heute seh ich keinen Grund mich da vertieft zu informieren.

 

[LamaMitHut]

@blackiwid

Ist beides nicht nötig, aber um sowas zu wissen müsste man sich halt informieren.

 

[blackiwid]

@LamaMitHut
Ich denke der Gap zwischen unserer Wahrnehmung liegt daran das ich von nem allgemeinen Sprachbot rede du vermutlich über einen Textbot für Allgemeinspracherkennung ohne nur Kommandowörter braucht man extrem hohe Rechenpower.

Aber sollte ich falsch liegen bin ich für Informationen statt Spot gerne offen, ich habe teile meiner Posts sogar als Frage geschrieben, man könnte die auch versuchen zu beantworten statt nur diese Schw.-Vergleiche zu machen.

@Andy ich verstehe das Anliegen Komplettzitate zu entfernen, aber das dies auch bei 1 Satz / 2 Zeilen passiert macht für mich wenig Sinn und selbst wenn es geschieht könnte man es doch vielleicht automatisch mit @Username ersetzen, statt einfach komplett zu entfernen. Oder nen Zitat des Users mit <gekürtzem Zitat> als Inhalt.

Der Zweck ist ja das die Person auch ne Benachrichtigung bekommt das man auf sie geantwortet hat.

 

[OMGWTFBBQ]

@blackiwid lade dir einfach LM Studio und probier Llama 3, Mixtral, Gemini und Co selber aus. Unter Linux wird Cuda und OpenCL unterstützt, unter Windows Cuda, OpenCL und ROCm ab Navi2.
Meta Llama 3 Instruct 8B q4_k_m kommt zwar noch nicht an GPT 3.5 ran, ist aber z.B. mit einer 6900XT schneller als die Free-User Variante. In den nächsten Tagen dürften weitere Modelle auf der Llama 3 Basis auftauchen die ggf. schneller sind, "bessere" Antworten geben oder z.B. was Coding angeht schlauer sind.

 

[Simonsworld]

Hier läuft gar nichts über Meta/Facebook, das sind Modelle die man einfach selbst auf seinem Rechner ausführen und benutzen kann.

Das stimmt es ist nicht zwingend erforderlich, dass die Infrastruktur des Modellanbieters genutzt wird.
Sobald man das Modell auf eigener Infrastruktur betreibt, muss man die entsprechende Hardware dafür vorhalten und das Modell konfigurieren. In einem kommerziellen Umfeld müssen das Spezialisten erledigen. Durch diese Faktoren entstehen Kosten.

 

[chillipepper]

Ich fürchte, es passiert folgendes. Je mehr Trainingsdaten, desto weniger kann man diese auf Qualität hin überprüfen. Der Bullshit Faktor in KI ist jetzt schon ziemlich hoch. Wer sich in bestimmten Bereichen gut auskennt, der hat sicherlich schon mal die Erfahrung gemacht, dass die Qualität der Antworten nicht so ist, wie man es von einer KI eigentlich erwarten würde.
Bin mal gespannt .. Aber Meta Dienste nehme ich eh nicht in Anspruch, das werden andere herausfinden müssen (ich beziehe mich hier auf ChatGPT 3.5).

 

[blackiwid]

@blackiwid lade dir einfach LM Studio und probier Llama 3, Mixtral, Gemini und Co selber aus. Unter Linux wird Cuda und OpenCL unterstützt, unter Windows Cuda, OpenCL und ROCm ab Navi2.

Schön das es mit ner Radeon auch geht, hab aber ne Radeon 5600xt, aber ja will meinen Gaming Rechner nicht die ganze Zeit laufen lassen für sowas... mein normaler Rechner ist ein Ryzen 2500g mit entsprechender integrierter gpu.

Ansonsten Vergleich ich primär mit einfacheren Sprachassistenten mit festen Schlüsselwörtern die auch nem rPI laufen.

Zum rum spielen mag mein Gaming PC auch reichen, aber für mehr ists mir grad zu schade, ein paar GB Daten braucht man glaub auch nicht?

Ich sage nicht das das alles kein Potenziell hat und irgendwann brauchbar wird (sich mit meiner Hardware überschneidet), ich trau nur Meta nicht über den Weg, wenn ein sehr zwielichtig ausschauender oder in der Vergangenheit mich schon abgezogener Autohändler mir ein gutes Angebot macht ists doch legitim sehr Misstrauisch zu sein nicht?

 

[Hakubaku]

Gebt ihm die Frisur von Mark.