News Llama 3.1: Meta veröffentlicht Konkurrent für GPT-4o mini als Open Source

Blaexe schrieb:
128k context window ist alleine schon "ne Menge getan". Außerdem widerspricht das ja nicht dem was ich gesagt habe. 4o mini ist ja auch nicht so gut wie 4o.
Hmm, ich dachte GPT-4o mini sei erheblich größer als es anscheinend tatsächlich ist:

OpenAI would not disclose exactly how large GPT-4o mini is, but said it’s roughly in the same tier as other small AI models, such as Llama 3 8b, Claude Haiku and Gemini 1.5 Flash.
https://techcrunch.com/2024/07/18/o...small-ai-model-powering-chatgpt/?guccounter=1


Das soll mal wer leaken, damit ich das lokal laufen lassen kann^^
Auch wenn meine 4090 nicht ansatzweise die context window erreichen würde


Blaexe schrieb:
Der Vergleich mit mini macht hier keinen Sinn. Den macht Meta ja auch nicht. Mini ist ein Modell in der Größenklasse 8b.
Wenn ich mal ein paar Benchmarks anschaue qualitativ aber auf dem Niveau von Llama 3.1 70B, nicht 8B - und kann sich von Llama 3.0 70B gut absetzen.
 
Rickmer schrieb:
Wenn ich mal ein paar Benchmarks anschaue qualitativ aber auf dem Niveau von Llama 3.1 70B, nicht 8B - und kann sich von Llama 3.0 70B gut absetzen.
Ist ja jetzt für die News erst mal unerheblich - die behauptet nämlich das 405B Modell wäre Konkurrenz zu 4o mini. Dabei wird ersteres sogar im Screenshot der News mit 4o verglichen und schneidet größtenteils besser ab.

Zu 4o mini habe ich noch keine wirklichen Benchmarks gefunden. Llama 3.1 8B schlägt zumindest GTP3.5T in den meisten Benchmarks und 70B dann wiederum deutlich.
 
Quackmoor schrieb:
Und immer noch gibt es keine ökonomisch sinnvolle Nutzung von KI.
ökonomisch sehe ich in KI durchaus einen Nutzen.
Mich stört mehr, dass das von diversen Datenkraken kommt.
 
Muss ich mal ausprobieren.
Das sollte auf normaler Hardware laufen, oder? Also nur ein Assistent für Mutter mit ihren Terminen und Rezepten, den sie was fragen kann. Der soll ja keine Doktorarbeit schreiben
 
SavageSkull schrieb:
Mich stört mehr, dass das von diversen Datenkraken kommt.
Wegen dem Training? Naja, diese "Datenkraken" haben eben klassischerweise auch das nötige Kleingeld zum Training. Da werden Rechenzentren für Abermilliarden benötigt. Außerdem besitzen diese das Know-How in Form von Mitarbeitern oder können diese einkaufen.

Gibt halt realistisch nicht viele Alternativen. Der Vorteil bei Llama ist allerdings dass du das Modell gerne lokal nutzen kannst wenn du die Hardware besitzt. Oder du nutzt einen Anbieter deiner Wahl.
Ergänzung ()

AGB-Leser schrieb:
Das sollte auf normaler Hardware laufen, oder?
Das 8B Modell ja. Alles andere nicht.
 
Was der Unterschied zwischen 70b und 8b ist, muss ich erst noch leibhaftig ausprobieren :D
 
Ich nutze KI ja auch regelmäßig, aber die Ergebnisse sind manchmal echt absolut schräg. Beispiel von reddit. Meta AI sollte mal Mathe-Nachhilfe nehmen :D

llama-3-1-405b-on-9-11-vs-9-9.jpg
 
  • Gefällt mir
Reaktionen: Z0RDiAC, 9t3ndo, Saint81 und 3 andere
Syrato schrieb:
Was genau machst beruflich?
Ich bin im Moment am ehesten Software Entwickler, aber kenne auch genug aus dem Bereich Social Media Marketing z.B., auch welche die selbstständig sind. Ich lasse mir ganzen Code, Testcases, Dokumentation etc. generieren. Ja, man muss den Code verstehen und hier und da etwas anpassen, kann sich aber bei Standard Sachen Unmengen Zeit sparen.

Oder man trainiert sein eigenes Model mit internen Firmendaten (Offline) und nutzt es als Suche. Niemals habe ich schneller die Infos gefunden, die ich brauche.

Es geht nicht in jedem Bereich / jeder Branche, aber wo es geht und nicht genutzt wird, bleibt meines Erachtens sehr viel Potenzial auf der Strecke. Es wird sich abzeichnen wo KI einen Mehrwert bringt und wo nicht. Im Moment wird es noch ausgelotet. Am Ende wird es in einigen Bereichen optional sein, in anderen absolut selbstverständlich dazugehören.
Legalev schrieb:
Mehr Geld = Gier nach noch mehr Geld
Dieser Kommentar ist einfach nur noch ekelhafter. Jemand der selbstständig ist und solche Tools nutzt um anstatt 5 Kunden 8 Kunden bedienen zu können, ist einfach nur gierig, Ja klar. Was eine herrlich beschränkte Weltsicht. Aber zeigt ganz gut, warum man steht, wo man steht.
 
  • Gefällt mir
Reaktionen: KickiSurface, SeppoE, Cool Master und eine weitere Person
Donnidonis schrieb:
Oder man trainiert sein eigenes Model mit internen Firmendaten (Offline) und nutzt es als Suche. Niemals habe ich schneller die Infos gefunden, die ich brauche.
Interessant. Gibts da fertige solutions?
 
  • Gefällt mir
Reaktionen: 7H0M45
@=rand(42)
Das macht bei uns die IT, welches genau die nutzen müsste ich mal nachfragen. Ist aber eine riesen Hilfe, kein lästiges und ewiges durchsuchen von Spezifikationen mehr etc.
 
  • Gefällt mir
Reaktionen: Moerf und =rand(42)
SavageSkull schrieb:
ökonomisch sehe ich in KI durchaus einen Nutzen.
Mich stört mehr, dass das von diversen Datenkraken kommt.
Der Artikel ist doch einn gutes Beispiel, dass das nicht so sein muss.
 
AGB-Leser schrieb:
Das sollte auf normaler Hardware laufen, oder? Also nur ein Assistent für Mutter mit ihren Terminen und Rezepten, den sie was fragen kann. Der soll ja keine Doktorarbeit schreiben
Ja... wenn du mehr als 12GB VRAM hast und mehr als 16GB RAM sollte das 8B Q8 Model darauf laufen.
Die frage ist aber eher WILLST du das wirklich?
The Cloud is just some one else computer..... mit allen vorteilen! Ressourcen aufteilung = Kosten aufteilung, Always Online.
Willst du deinen PC Dauerhaft laufen lassen damit deine mutter 2x in der Woche ein Rezept abfragen kann?
Da wäre es wesentlich effizienter die Methode von Samsung zu verwenden und das Model Lokal auf dem Handy laufen zu lassen. die ganz kleinen varianten sind da schon recht fix, und Handys haben ja auch 8-16gb RAM heutzutage.
Bleibt nur noch die Frage ob die antwort der kleinen Modelle gut genug ist...


Lemiiker schrieb:
aber die Ergebnisse sind manchmal echt absolut schräg.
Joa.... was bringt mit eine KI die nur 80% der Zeit korrekte antworten gibt? Sowas kann man in einigen Situationen ja brauchen, aber wenn ich frage "Wie viele Bestellungen von Artikel X wurden getätigt" und der gibt mir eine falsche Antwort zurück... na danke.


=rand(42) schrieb:
Interessant. Gibts da fertige solutions?
Jaein.
Es gibt tausende Startups (haha KI Firmen mit 50 Jahren Erfahrung bitte!) die KI Solutions für Unternehmen anbieten, aber die basteln halt alle ihr eigenes süppchen mit dem was sie gerade können und aktuell ist.
Wie viel das Taugt kann man unmöglich im vornherein feststellen.
 
Wer den Nutzen von KI nicht versteht, nutzt es einfach nicht genug. Ich nutze es von der Urlaubsplanung, über Gesundheitsfragen, beruflich, in Hobbyprojekten etc. Sonnet 3.5 ist einfach echt klasse!
 
  • Gefällt mir
Reaktionen: Moerf und 7H0M45
Donnidonis schrieb:
Ich bin im Moment am ehesten Software Entwickler, [...]
Ja, man muss den Code verstehen und hier und da etwas anpassen, kann sich aber bei Standard Sachen Unmengen Zeit sparen.
wir haben mal vor einigen monaten mit github copilot experimentiert...die ergebnisse waren eher durchwachsen.
auch andere gehversuche waren eher mittelmäßig.

ja, da kommt "einiges raus" und wenn es nach reinem output geht erscheint das evtl. produktiver, nur ist da auch einigens an nonsense rausgekommen dass erstmal ein mensch nachvollziehen musste um festzustellen, dass der code zwar etwas tut was dem anschein nach sinn macht, am ende aber eben auch nicht das tut was man genau braucht.

jedenfalls ist die erkentnis gewesen dass die modelle alle noch wesentlich besser werden müssen, bevor man sie wirklich produktiv einsetzen kann**.
desweiteren ist es so: je "standardmäßiger" eine anforderung an code ist, also klar formulierbare mathematische berechungen, komplexere vergleiche und regelbasierte auswertungen, desto besser ist das was die ai an code vorschlägt/generiert.
aber je spezieller etwas ist..z.b. das korrekte initialisieren eines bestimmten soc für eine bestimmte konfiguration bzw. aufgabe oder spezifischer code für applikationen die speziell auf einen kunden zugeschnitten sind, desto weniger brauchbar ist das ergebnis.
auch hängt es massiv davon ab in welcher form und tiefe ggf. spezifikationen sind, auf denen die implementierung basieren soll, um sie einer ai zu servieren, bevor daraus irgendwas verwendbares als implementierung herauskommt.

nun kann man sagen dass dann der entwickler seine anfragen nicht genau genug beschrieben hat oder die "code suggestions" nicht gut genug geprüft hat, die anforderung nicht in ausreichend kleine salamischeiben zerteilt hat, die spezifikationen klarer und "maschienengeeigneter" sein müssten - nur ist da auch der casus knacksus: wenn ich dem was die ki so ausspuckt nicht vertrauen kann oder alle nochmals von einem menschen nachprüfen muss, schmälert dass den vorteil massiv.
was bringt mir ein 90% korrekter code, wenn ich die restlichen 10% mühsam manuell herausfischen und fixen muss und auch schwierigkeiten habe den 90% auch zu vertrauen.

denn eines ist auch klar: wenn ich für vermeintlich korrekten code per ki unittests generieren lasse - werden die bestenfalls bestätigen dass der code das tut was die tests abtesten - es sei den ich füge noch jede menge weitere tests manuell ein, in der hoffnung die unzulänglichkeiten so herauzukitzeln...aber spaß macht das nicht.

**dennoch bin ich sicher dass mit der zeit (und schneller als man denkt!) die modelle hier so viel besser werden, dass sich die klassische arbeit eines entwicklers massiv verändern wird...
 
  • Gefällt mir
Reaktionen: Haldi
Lemiiker schrieb:
Ich nutze KI ja auch regelmäßig, aber die Ergebnisse sind manchmal echt absolut schräg. Beispiel von reddit. Meta AI sollte mal Mathe-Nachhilfe nehmen :D
Diese Modelle können alle nicht rechnen. Werden sie aufgrund ihrer Technik auch nie können. Da hilft auch alle Mathenachhilfe nicht.

Was sie aber prinzipiell könnten, wäre zB. Python Code schreiben, der dann die Berechnung ausführt. Heißt sie rechnen nicht selbst, sie bauen sich einen Taschenrechner
 
Zurück
Oben