Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsKI-Feature für WhatsApp und Co.: Meta präsentiert Chatbot Meta AI mit neuem Sprachmodell Llama 3
Meta hat mit Llama 3 eine neue Version des Open-Source-Sprachmodells vorgestellt, die deutlich leistungsfähiger als die Vorgänger sein soll. Davon profitieren wird der Chatbot Meta AI, den der Konzern nun auch als eigenständige App anbietet – vorerst aber noch nicht in Deutschland.
Die sollten eher mal AI in die Autovervollständigung und Groß/Kleinschreibung sowie Speech-to-text in Whatsapp stecken, das dürfte den mesten Usern mehr bringen.
Wirklich krass mit welcher anhaltend hohen Geschwindigkeit hier ein Sprung nach dem anderen passiert.
Und ganz ehrlich - Meta macht das mit Llama richtig gut. Die ersten Berichte (auf Reddit) sind ziemlich positiv und das Model ist auch nicht in Grund und Boden zensiert.
Ich halte das Label Opensource für eine Art von Greenwashing, klingt gut ist aber völlig bedeutungslos da fast niemand realistisch einen eigenen Server betreiben kann sofern die Server-teile auch Opensource sind, wenn nicht wäre es eh schon fast ne Lüge.
Was bringt es wenn ein Client opensource ist, aber alle Funktionalität aufm Server passiert und die offizielle Funktionalität totale Spionage ist.
Offen heißt bei mir das es möglich sein muss solche Systeme daheim laufen zu lassen, ansonsten ist es nicht offen.
Du kannst Llama3 ohne Probleme zuhause auf dem Desktop laufen lassen, hab ich schon ausprobiert. Das Netzwerk an sich (weights) kann man herunterladen, das reicht um es lokal zu verwenden ohne das da irgenwas an einen anderen Server geschickt werden muss.
Was die Dinger nicht sind ist wirklich Open Source wie bei Softwarelizenzen (MIT, BSD, GPL, ...), da gibt es meistens einige Einschränkungen wie man sie verwenden darf. Wobei das vor allen kommerzielle Verwendung betrifft.
GPT4all herunterladen -> dann Llama3 auswählen.
Läuft lokal (ohne Internetverbindung; d.h. nach herunterladen) unter Windows, Linux & Mac.
Unter Linux habe ich gerade Llama 3 Instruct 8B ausprobiert und ich muss sagen, die Antworten sind schon ein gutes Stück besser als früher.
Nennt man das dann nicht Open Access oder so, Naja braucht sicher auch ne 1000 Euro Nvidia Karte um das laufen zu lassen? aber gut das ist ne andere Frage...
Nein, hier sind wirklich Billionen gemeint (im englischen Original sind es "trillions"). Die Anzahl der Token mit denen es trainiert wurde ist viel höher als die Anzahl Parameter im Modell selbst. Die sind wirklich im Milliardenbereich dann mit 8 Milliarden bzw. 70 Milliarden für die verschiedenen Versionen.
Ergänzung ()
blackiwid schrieb:
Aber ohne Trainingsdaten kann das doch sicher nichts oder?
Kann ich nicht sagen, hab aktuell Mistral 7B nicht. Ich mach alle paar Monate mal GPT4all auf und schaue, was es neues gibt und was sich verändert hat.
Im Zweifelsfall kann das ja jeder selbst ausprobieren.
Interessanter wird ja aber wahrscheinlich ohnehin Llama3 70B.
Vielleicht gibt's dann mal demnächst Support vom neuen Chatbot falls mal wieder der Insta Account gehackt wurde.
Momentan gibt's nämlich noch gar keinen Support.
Was die Dinger nicht sind ist wirklich Open Source wie bei Softwarelizenzen (MIT, BSD, GPL, ...), da gibt es meistens einige Einschränkungen wie man sie verwenden darf. Wobei das vor allen kommerzielle Verwendung betrifft.
Llama 2 und 3 können uneingeschränkt kommerziell genutzt werden, solange man weniger als 700 Millionen monatlich aktive Nutzer hat (siehe Lizenz). Mark Zuckerberg hat es damit begründet, dass Cloudanbieter wie AWS oder Azure Llama nicht monetarisieren können sollen, ohne es vorher mit Meta abzuklären. Das ist meiner Meinung nach fair und nachvollziehbar.
Naja der Trick ist also die Lizenz da stand opensource aber ist nicht Opensource... ich frag ja nach weil ich nicht sicher bin, nur das ich weis das Meta nicht aus Liebe zu den Menschen sowas frei gibt für alle... da muss eine Falle eingebaut sein.
Hab mich also geirrt die Falle sind nicht fehlende Trainingsdaten sondern die Lizenz. Würde interessieren ob wenn es weder BSD noch GPL artige Lizenz ist wie die OSI das dann Opensource nennen kann oder nennen die das Opensource obwohl die OSI es nicht tut?
Wie auch immer ein weiterer Trick scheint mir die Integration von den Sozial Media Sachen zu sein, da selbst wenn sie den Source von Meta in Teilen mit liefern würden was sie nicht tun, ein Social Media für 1-5 User uninteressant ist und man deshalb schon die ganze Integration mit Facebook will.
Aber klar vielleicht könnte man teile davon benutzen für irgendwelche Privaten Projekte ohne Facebook, da man es aber nicht kommerziell benutzen kann seh ich nicht wieso Leute das benutzen / verbessern sollten und nicht andere opensource Lösungen.
llama3 70b 1 token/sec
llama3 8b q8 45 token/sec
beides mit lmstudio.ai rocm version. Sprich alle mit nvidia oder amd 6800 oder 7000er können es ja gerne mal selbst checken.
