Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
NewsLlama 3.1: Meta veröffentlicht Konkurrent für GPT-4o mini als Open Source
Mit Llama 3.1 hat Facebooks Mutterkonzern Meta ein neues KI-Modell vorgestellt, das in der leistungsstärksten Ausbaustufe laut den internen Benchmarks mit OpenAIs GPT-4o mithalten kann. Das Besondere: Wie bei Meta üblich ist es als Open-Source-Variante verfügbar.
Wie meinst du das @Quackmoor?
Ich und viele meiner Kollegen und Bekannte können ihre Arbeit dank ChatGPT / Copilot sehr viel effizienter und schneller erledigen und somit mehr Geld erwirtschaften, Verträge annehmen etc.
Ökonomisch doch sinnvoll, oder nicht?
Naja für Entwickler aber auch Office worker die schnell mal irgend ein Anschreiben oder irgendwas erstellen sollen ne Einladung zu ner Betriebsfeier, klar der output wird vielleicht nicht perfekt aber lieber hab ich 90% richtig und 10% falsch und ersetze die 10% als 100% selbst zu schreiben.
Dazu kommen noch dinge wie lokal Filme dynamisch hoch skalieren.
Ergänzung ()
Ja ich trau dem Braten nicht, ich denke sie wissen genau das fast niemand mal schnell die Trainingsdaten ersetzt, daher ist der Code alleine fast wertlos, was allerdings gut ist, ist wenn fehler oder irgendwas entdeckt werden das die dann von anderen gefixt und der Fix ihnen gesendet werden kann, und natürlich gutes Greenwashing.
Würde man die Trainingsdaten auch public domain oder so was stellen sähs anders aus, that said, ich mache für Spiele gerne das Argument, veröffentlicht doch mal den Source zumindest bei Spielen wo Artwork relativ wichtig ist und dann ist man immer noch vom Urheberrecht geschützt solange das Artwork nicht Creative Commonce lisense unterstellt ist.
Aber bei Spielen herrscht offenbar noch kein großer konkurenzdruck daher scheint (fast) niemand das zu machen.
Ja ich trau dem Braten nicht, ich denke sie wissen genau das fast niemand mal schnell die Trainingsdaten ersetzt, daher ist der Code alleine fast wertlos,
Wie meinst du das @Quackmoor?
Ich und viele meiner Kollegen und Bekannte können ihre Arbeit dank ChatGPT / Copilot sehr viel effizienter und schneller erledigen und somit mehr Geld erwirtschaften, Verträge annehmen etc.
Ökonomisch doch sinnvoll, oder nicht?
Kommt drauf an ob du das voll in VRAM betreiben willst und wie groß die context windows sein soll
Je mehr du auslagester desto weniger VRAM / RAM wird benötigt, aber die Performance ist dann halt entsprechend schlecht.
Es kommt natürlich auch auf die Quantisation drauf an - allgemein brauchst du mehr VRAM als die Dateigröße ist.
Hier ein Beispiel, wo die Meta-Llama-3-70B Q4-K-M Variante mit 8K context window auf 48GB VRAM (3x 4060 Ti 16GB) läuft:
YouTube
An dieser Stelle steht ein externer Inhalt von YouTube, der den Forumbeitrag ergänzt. Er kann mit einem Klick geladen und auch wieder ausgeblendet werden.
Dieser Trend hat bereits vor einer Weile begonnen und dürfte sich in den nächsten Jahren extrem beschleunigen. Agents sind der nächste Schritt, dann werden KIs auch produktiv selbstständig Entscheidungen treffen. Wahrscheinlich ab nächstem Jahr.
128k context window ist alleine schon "ne Menge getan". Außerdem widerspricht das ja nicht dem was ich gesagt habe. 4o mini ist ja auch nicht so gut wie 4o. Und in den Benchmarks befindet sich das 405b Modell auf dem selben / etwas über dem Niveau von 4o.
Der Vergleich mit mini macht hier keinen Sinn. Den macht Meta ja auch nicht. Mini ist ein Modell in der Größenklasse 8b.
Kann nur jemand erzählen, der noch nichts ausprobiert hat oder einfach uninformiert ist.
Ein ganz kurzes Beispiel von heute, ich hatte folgenden Text zu einem DeepL Blindtest:
"Die Übersetzungen wurden 1,3-mal häufiger bevorzugt als die von Google Translate, 1,7-mal häufiger als die von ChatGPT-4 und sogar 2,3-mal häufiger als die von Microsoft."
Wie macht man daraus nun eine sinnvolle Grafik, die der Leser auf Anhieb versteht? Erstmal muss man viel rechnen und umwandeln und das ist keine einfache Rechnung, weil alles von einander abhängig ist. Das hat in 1sec Gemini daraus gemacht:
Schön normiert auf 100 Befragte, perfekte Beschriftungen. Man kann also sagen, dass 36 Leute bzw. 36% der Leute DeepL bevorzugt haben und nur 16% Microsoft. Hätte sogar direkt bei Gemini die Tabelle noch nach meinem beliebigen anpassen können.
