Test AI-Benchmarks: Snapdragon X Elite vs. AMD Ryzen 8000 vs. Intel Core Ultra

[Twachti]

vielleicht wäre es auch noch eine Möglichkeit mit Ollama, Llama 3 oder andere LLMs zu testen, wie die sich so schlagen, oder Stable Diffusion. Wie da daer Stand der Beschleunigung ist, kann ich leider nicht sagen, aber so ein Open Source Vergleich wäre schon super.

Bilder und Texte lokal zu generieren, auch ohne MS Copilot ist schon interessant.

 

[WoFNuLL]

Öhm ok ... ich fühl mich grad schmutzig hintergangen ... ich hab grad X Minuten meiner Lebenszeit in einem Artikel verschwendet der mir vom Titel her suggeriert hat: Wir vergleichen die KI Leistung des aktuellen CPU Lineups mit NPUs

Weder im Titel noch im Aufmacher steht: Jo spart euch den Artikel, am Ende stellen wir fest: gibt noch nix festzustellen weil nix Kompatibles zum vergleichbarem Testen momentan Existiert oder Funktioniert.

Butters bei die Fische ... auch wenn an so einem Test viel Aufwand steckt, hätte ich das zumindest kurz und prägnant in die Notizen gehauen anstatt einen Artikel zu schreiben der am Ende des Tages absolut nix zu dem Beiträgt, wonach er eigentlich benannt wurde ...

Ist aber halt nur meine Meinung.

 

[sikarr]

Hm, ok, ich hatte das anders gedeutet. Dass so eine dusselige NPU 72 Prozent der Leistung einer RTX 4070 mit Tensor-Kernen schafft und dabei viel weniger Verbraucht, finde ich ist doch ein Fingerzeig, wo das Thema NPU hingehen wird.

Hab keinen Anwendungsfall für eine NPU, zumindest sehe ich keinen bei Diensten die ich entweder nicht nutze oder gleich direkt abschalte.

 

[Jan]

Evtl. eine neue Spalte 1 mit "Benchmark" -> "UL Procyon AI Computer Vision" einfügen?

Erledigt!

 

[Piak]

Wenn etwas so schwer zu testen ist, zweifel ich am Sinn.

Könnt ihr bitte mal die Übersicht zeigen, welche Rechenoperationen jeweils von NPU , Gpu und CPU umgesetzt werden. Mir scheint die Gpu übernimmt viel von der npu...

 

[mibbio]

2011 wurde nvme als protokoll eingeführt und rapid storage ist immer noch nicht wirklich angekommen.

Resizable Bar wird ja auch erst seit ein paar Jahren von Consumerhardware genutzt, obwohl das seit PCIe 2.0 von 2007 Teil des Standards ist.

Kommt also immer wieder mal vor, dass etwas erst 10+ Jahre nach der Einführung auch im Consumersegment tatsächlich genutzt wird.

 

[Freiheraus]

Dass die AMD iGPU beim Geekbench ML so viel schneller ist (bis über das Doppelte) als die iGPUs der beiden Konkurrenten überrascht schon etwas. Gibt die Rohleistung bzw. technischen Spezis das überhaupt her im direkten Vergleich oder muss AMD da treibertechnisch etwas viel besser machen?

 

[paganini]

„DIe NPU hilft nur, wenn sie auch verwendet wird“

Soso 🤪

Danke für den Vergleich!

 

[flo_ded]

@Jan. Könnt ihr den Stromverbrauch vom Gesamtsystem noch angeben wie die Effizienz ist, um auf die Benchmarkwerte zu kommen. Ich vermute da wird Qualcomm deutlichst vor Nvidia liegen.

 

[Thomrock]

Das beste AI-Feature ist das sich das sich die NPU in meinem Uefi auch abschalten lässt.

 

[JoeDoe2018]

Entscheidend ist doch nicht ob die Benchmark Tools schon mit der APU umgehen können, sondern die Microsoft Produkte, und da Microsoft eine enge Partnerschaft mit Qualcom eingegangen ist, wird diese Software natürlich erst auf diesen Geräten gestetet, denn schließlich verkauft Microsoft die Notebooks mit den Qualcom CPUs. Ob dieser Funtionen am Ende eine Email aus einer anderen Sprache ins Deutsch übersetzen kann oder ob Teams eine Live Übersetzung als Untertitel gut implementiert bekommt wird sich zeigen und ob diese Geschwidigkeit der CPUs auch für diese Funktionalität ausreichend ist oder ein ganzen Rechenzentrum benötigt wird.

 

[deekey777]

Vorschläge sind hier immer gerne gesehen! Wer hat noch was? :-)

Irgendwann soll DaVinci in die freie Wildbahn entlassen werden und die (Qualcomm-)NPU für bestimmte Effekte nutzen, dann auch noch CapCut.

Aber eben irgendwann.

 

[mscn]

Auf mich macht das alles einen guten Eindruck. Klar, sind die Anwendungsfälle aktuell überschaubar.

Übersetzungen in die Zielsprache Englisch funktioniert tatsächlich ganz gut, siehe oben im Bild. Ausgabesprache ist Mandarin.

Oder aber:

Wo der Max von NBC auf Deutsch spricht (und oben ins Englische übersetzt wird).
Was man auch sieht: die NPU tut tatsächlich etwas (wechselt zwischen 0% und 13% während der Übersetzung).

 

[WoFNuLL]

ich muss das gleich nochmal für mein eigenes Verständnis schreiben:
Angepriesen wird ein Benchmark Vergleich der NPUs aller drei Plattformen.

Geliefert wird nicht ein Benchmarkvergleich der NPUs
Windows ML unterstützt noch keine NPUs und nix was nicht x86 ist

IntelOpenVINO kann nur Intel NPU benchen, aber nicht Produkte anderer Hersteller

Qualcom SNPE kann nur die NPU vom Snapdragon benchen, aber keine anderen.

Das einzige was hier im Vergleich steht in meinen Augen ist die AI Leistung der jeweiligen drei Grafiklösungen in den x86 Geräten ...

Hab ich was verpasst? Wo ist der Sinn dieser Tabelle, die absolut nichts aussagt ausser: Tjoar KI mit NPU is schon geil, wenn es Software gebe die es ansteuern / testen / benchen könnte ...

In Anbetracht der Artikel Überschrift ( die Btw. immernoch geändert gehört wie der Aufmacher! ), interessiert es mich als Leser nicht die Bohne wieviel KI Rechenleistung die CPU Kerne oder gar die iGPU VS eines anderen Geräts hat , was dann auch gleich mal mit ( total Vergleichbar ) einer dedizierten GPU bestückt ist und ein drittes total irrelevantes Ergebnis einstreut und die eigendliche Frage die man sich Eingangs des Artikels Stellt: "Wessen NPU hat jetzt den meisten Bums und lohnt sich anzuschaffen?" Absolut in keinster Weise beantwortet wird.

Und wehe einer Argumentiert mir hier mit Sommerloch.

 

[atze303]

@Jan
Da NPU Themen und Benchmark häufiger vorkommen kann man Google Coral auch mit aufnehme?
Ich möchte mich demnächst mit lokaler AI beschäftigen. Neuen Laptop Kauf ich mir nicht. Aber denke das Coral und andere Alternativen helfen, 150€ für ein USB dongle gibt man doch mal aus. Laptop ist erst 1,5 Jahre alt. Und USB kann man auch an den PC anschließend.

Wenn in entfernter Zukunft mal mehr Benchmarks , bitte auch eine ne externe NPU verwenden.

 

[deekey777]

Hm, ok, ich hatte das anders gedeutet. Dass so eine dusselige NPU 72 Prozent der Leistung einer RTX 4070 mit Tensor-Kernen schafft und dabei viel weniger Verbraucht, finde ich ist doch ein Fingerzeig, wo das Thema NPU hingehen wird.

Ihr habt doch den besten Zeitpunkt, weil ihr 3 Testgeräte habt:

Schaut euch Windows Studio Effects an (Qualität und Verbrauch). Gerade Nvidia bietet sehr guten Filter für Hintergrundunschärfe an. Da könnte man doch was daraus machen?

 

[mscn]

Da könnte man doch was daraus machen?

Eine Lachnummer vielleicht, denn klar ist, dass bereits meine kleine RTX 4050 Laptop im Idle beinahe mehr verbraucht, als mein Slim 7x. Und ich kann dir sagen: NVIDIA Broadcast habe ich täglich genutzt, um in Besprechungen meinen Hintergrund zu entfernen.

Studio-Effects hat das (noch?) nicht, dafür aber Portrait-/Background-Blur und verschiedene Filter, sowie ein Auto-Frame, welches dein Gesicht in den Mittelpunkt stellt und dir quasi "folgt".

Die Qualität ist hervorragend und wäre mir keine 30W+ auf der NVIDIA GPU wert.

Edit, zum Thema LLMs gibt es etwas von Qualcomm:

Snapdragon X Elite is capable of running Generative AI LLM models over 13B parameters on-device with blazing-fast speeds.

 

[DJ_Burn]

AI Kram ist im privaten Bereich überflüssig. Kann man mit den npu mining betreiben? 😅😅😅

 

[Haldi]

Ich wette in ein paar Monaten sieht die Situation anders aus und wir können ganz toll mittelmäßige Texte und Bilder generieren in diversen Anwendungen. Und all die anderen tollen Features, die durch KI so möglich werden.

Topp die Wette Gilt!
Definition von "ein paar Monaten bitte.... Ich sage über 4-6 Monate bevor da irgendwelche "proof of concept" drauf laufen die auch wirklich genutzt werden können.

Aber denke das Coral und andere Alternativen helfen, 150€ für ein USB dongle gibt man doch mal aus. L

Die sind nicht mehr USB.
Die laufen heutzutage alle über den M2 Slot.
https://hailo.ai/de/products/ai-accelerators/hailo-8-m-2-ai-acceleration-module/#hailo8-m2-merkmale

Aber eben. Leider ist Coral zu so gut wie nix zu gebrauchen ausser Computer Vision mit Frigatte. Alles andere benötigt hackermäasige programming skills.
Und sofern das nicht alles zwingend Echtzeit laufen muss ist das mit viel Geduld auch locker auf der CPU machbar.
Bis die 150€ durch Stromkosten wieder eingeholt sind kannste auf der CPU sehr viel berechnen.

Ich hätte auch gern so nen Modul für weniger als 100€ und mit 8-16gb RAM oder mehr um Home assistant mit AI zu versorgen ohne alle Daten an ChatGPT senden zu müssen...
Funktioniert schon wenn man die 4090er ausm HauptPC missbraucht. Aber die hat immer noch wesentlich länger als GPT-4o zum Antworten. Und niemand wartet gerne.

 

[deekey777]

WSE ist ein Sammerbegr

Eine Lachnummer vielleicht, denn klar ist, dass bereits meine kleine RTX 4050 Laptop im Idle beinahe mehr verbraucht, als mein Slim 7x. Und ich kann dir sagen: NVIDIA Broadcast habe ich täglich genutzt, um in Besprechungen meinen Hintergrund zu entfernen.

Studio-Effects hat das (noch?) nicht, dafür aber Portrait-/Background-Blur und verschiedene Filter, sowie ein Auto-Frame, welches dein Gesicht in den Mittelpunkt stellt und dir quasi "folgt".

WSE ist ein Sammelbegriff. Die meisten hier im Forum wissen vielleicht gar nicht, dass es überhaupt eine Kamera-App für Windows gibt, geschweige denn, dass es Echtzeiteffekte gibt, die in allen Anwendungen funktionieren.

Mein SPX kann von den fünf nur den Blickkontakt, aber es kann. Und eigentlich dürften einige Leute hier mit dem aktuellen Laptop-Ryzen einige WSE ausführen können.