Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchfĂŒhren oder einen alternativen Browser verwenden.
BerichtAI-Benchmarks mit Procyon: AMD Ryzen 9 und Intel Core Ultra 7 mit NPU im AI-Test
Kommt, lĂ€uft schon recht gut đ . Zuviel darf man noch nicht sagen.
@Volker : Sind die Prozessoren nicht auch mit NPU werten angeben? Intel schwirte glaube irgendwo bei ~18 rum
Insgesamt bedarf der Artikel glaube etwas mehr AusfĂŒhrlichkeit.
Das Thema ist auf jedenfall spannend, aber ich glaube nicht das irgendwer ernsthaft 2⏠mehr fĂŒr 20% mehr NPU Performance ausgibt âŠ
Der Snapdragon Elite X liegt wohl bei der NPU Performance Richtung 45+ đ
NatĂŒrlich gibt es auch jetzt schon LLM Modelle und Modelle zur Bildgenerierung, die lokal ausgefĂŒhrt werden können, aber die sind eben nicht annĂ€hernd so leistungsfĂ€hig, weil ihnen das Training mit den groĂen Datenmengen der GroĂunternehmen fehlt.
Die sind erstaunlich leistungsfÀhig.
Zwar noch nicht ChatGpt 4 - aber ChatGPT 3.5 Level kannst du rein lokal z.B. mit mixtral 8x7b erreichen. Und das ist schon sehr gut. LĂ€uft super auch auf Consumer-PC - entsprechender GPU vorrausgesetzt. Brauchst ~20-30 GB Speicher. FĂŒr Platte kein Thema - aber Arbeitspeicher ist das Problem... Insbesondere fĂŒr einen Laptop.
Und dann sind die NPUs auch noch recht schwach; ne - da denke ich nicht, dass man darauf vernĂŒnftiges LLM zum Laufen bringt. Noch nicht - ich denke, da könnte die nĂ€chsten Jahre einiges an Entwicklung abgehen...
Fazit:
Eine 4090 hat fett genĂŒgend AI Leistung fĂŒr die nĂ€chsten 4-7 Jahren. Und auch wenn es bis dann stĂ€rkere NPUs gibt werden sie höchstens in 10-25% der PCs verbaut sein und daher immer noch Software mĂ€ssig irrelevant ausser fĂŒr spezifische Anwendungen.
ghecko schrieb:
NPUs haben realen Nutzen, auch jetzt schon. Die von AMD und Nvidia wird von Topaz sogar unterstĂŒtzt, bei Intel weiĂ ich es noch nicht.
Gut.
Und jetzt nimm nicht deren fake Beispiele sondern eine alte DVD/VHS in 750x420 Pixel und Vergleich das Resultat mit dem Standard upscaler von VLC.
ich war Masslos enttÀuscht.
Was sind eigentlich reale, sinnvolle AnwendungsfĂ€lle fĂŒr Otto-Normal mit diesen AI Funktionen der neuen CPUs? Bekommt man da etwas, was ChatGPT nicht bietet?
Danke fĂŒr die MĂŒhe, ich persönlich brauche praktische Alltagsanwendungsszenarien um zu entscheiden ob ich das im PC brauche. Wenn es das Rendern, Transcodieren, Packen, Entpacken von mir aus Surfen oder den Energiebedarf markant senkt von mir aus auch dafĂŒr sorgt das Games besser laufen. Aber nur das es eingebaut ist das triggert mich noch nicht. Und momentan kochen da noch zuviele ihr eigenes SĂŒppchen, wie auch dieser Test hier leider zeigt.
FĂŒr alle die ai auf lokalem Desktop ausprobieren möchten, kann ich euch pinokio empfehlen. Damit habt ihr einen quasi one Click installier mit sehr vielen unterschiedlichen ai Programmen
Werde jetzt doch etwas sinnvolles beitragen. CB ignoriert Geekbench ML, aber im Artikel wird bereits angesprochen, dass die Leistung unter DirectML niedriger ausfÀllt als OpenVino (auf der GPU). Jetzt paar Geekbench ML Werte:
Der SQ1 (8cx Gen. 1) ist ja grundsÀtzlich ein Snapdragon 855 mit doppelt so starker GPU und höherem Takt.
Mein Surface Duo erreicht mit TensorFlow Lite NNAPI (also auf der NPU) 535 Punkte, mit TensorFlow Lite GPU 435. In Geekbench ML auf dem Surface Pro X und damit unter Windows 11 kommt die CPU mit ONNX CPU auf 421 Punkte und mit ONNX DirectML 623 Punkte (ok, das sind die anderthalbfachen Punkte wie das Surface Duo mit der GPU erreicht).
Die NPU des SQ1 soll 9 TOPS erreichen, wÀhrend die NPU des 855 7 TOPS erreicht (zumindest laut Wikipedia). Pure Spekulation: In Geekbench ML unter Windows könnte die NPU die GPU-Werte erreichen.
Unter WSA konnte ich den Test nicht zum Laufen bekommen, irgendwann war es aber zu spÀt, weil WSA eingestellt wurde. Darum keine Surface Pro X bzw. SQ1 Werte unter Android (Geekbench 6.2 habe ich unter WSA zum Laufen gebracht).
ErgÀnzung ()
XRJPK schrieb:
Kommt, lĂ€uft schon recht gut đ . Zuviel darf man noch nicht sagen.
Mein nÀchster Laptop hat eine entsprechende NPU die im SoC mit GPU und CPU sitzt so viel ist sicher. Warum weià ich noch nicht aber meinen aktuellen Laptop habe ich seit Q1 2017 und ich möchte den nÀchsten auch sehr lange nutzen.
Demnach ist der Vergleich zu einer dGPU zwar erstmal schön aber spielt fĂŒr mich keine Rolle weil ich keine dGPU haben werde.
Viele AI Anwendungen werden auch nicht die TOPS brauchen die richtige GPUs bieten. WĂ€re einfach aus Integrationssicht mit Kanonen auf Spatzen.
Und exakt hier greifen dann die NPUs zukĂŒnftig an. Hochintegriert und mit wenig Energie sowie ohne Einfluss auf chassis und KĂŒhlung
Wirklich jedes Programm welches ich zu Hause fĂŒr KI benutze schreit nach einer Nvidia Grafikkarte im Optimalfall. Daher macht dieser Benchmark fĂŒr mich null sinn.
Die Formel ist einfach: Je schneller die Nvidia GPU, desto besser/schneller komme ich zu einen Ergebnis.
Mein nÀchster Laptop hat eine entsprechende NPU die im SoC mit GPU und CPU sitzt so viel ist sicher. Warum weià ich noch nicht aber meinen aktuellen Laptop habe ich seit Q1 2017 und ich möchte den nÀchsten auch sehr lange nutzen.
Das klingt nach Vernunft. Vernunft hat hier nichts zu suchen, hast du dich verlaufen?
Die Spatzen schieĂen von allen DĂ€chern, dass mit W11 2024H2 vielleicht schon im Mai zu rechnen ist, genauer gesagt, wird es an Hersteller ausgeliefert, die GerĂ€te mit Snapdagon Elite X bringen wollen, also an alle zwei (sind mehr als zwei).
Nur wird Microsoft weiterhin ein Problem haben: Warum soll ich etwas am PC erledigen, was genauso auf dem Smartphone funktioniert. Hinzu kommt, dass viele nicht wissen, dass Windows (11) coole Sachen kann, weil sie eben diese am Smartphone erledigen (wie Hintergundblur der Windows-Fotoanzeige, das funktioniert auch mit Google One Abo auf meinem Surface Duo auch).
Ziemlich frech.
Die Redakteure hier bei CB haben schon viele Trends kommen und gehen gesehen.
Die sind teilweise 3 oder 4 Dekaden Computerspezialisten.
hĂŒstel du meinst diese "Spezialisten" hier, die keinen einzigen guten SLI/Crossfire Benchmark zusammengebracht haben? Ohne Vsync (und Triple Buffering, bei einigen Spielen hilfreich) testen, und sich dann ĂŒber Mikroruckler beschweren. In Settings testen, die nicht spielbar sind. BildqualitĂ€t bei AMD kritisieren (zu recht!), aber die Treiberschummelei von Nvidia kommentarlos akzeptieren (fehlende/nicht gerenderte Objekte in diversen Spielen bei der Fermi Generation). Vehement Hinweise auf Benchmark Fehler ignorieren. Den VRAM Bug der Nvidia 8000er und 9000er Generation hartnĂ€ckigst ignoriert, und und und...
Deine Spezialisten sind nur Hardwaretester, die ihr Hobby zum Beruf gemacht haben.
Ich sehe keine Vernunft darin, ein Produkt nach einem Teilaspekt zu kaufen, den man selbst nicht nutzt und daher auch keinerlei Vorstellung besitzt, welche der verfĂŒgbaren Varianten fĂŒr die erste eigene Anwendung relevant ist.
Ich wĂŒrde fĂŒr 100 - 150 FlipFlops auf jeden Fall sowas wie eine PCIe Zusatzkarte kaufen - wenn sie denn deutlich weniger Strom verbrauchen wĂŒrde als ne aktuelle GPU. (wie ich schon schrieb - idealerweise passiv 10-15 Watt oder so)
Aber so wie es aussieht haben wir bald Systeme die bei "Teillast" schon irgendwo 200 Watt + verbrauchen werden im Desktop PC... das geht mal gar nicht wie ich finde. Ich will bspw nicht fĂŒr Office Kram 130 Watt + verballern lol. Wenn dann passive Karte oder auf der CPU, aber dort nicht nur so homöopathische "K.I.-Dosierungen".
Mir ist klar, das ist gerade der Anfang und es wird zukĂŒnftig vermutlich deutlich effizenter werden. Naja aktuell ist es gerade ohne GPU Einsatz halt nur ne Spielerei.
Mir erschliesst sich bis heute nicht der Sinn dafĂŒr, meine xtx hat glaub 192 AI cores aber die wurden bisher glaub noch nicht ein mal genutzt. Da muss mehr kommen kommen als nur "bildgenerierung", das ist bisher das einzige argument was ich immer gehört habe,
Notes
âą Support for OpenVino 2023.3
âą Cross platform support: Meteor Lake, Discrete Keem Bay.
âą Performance improvements on Efficientdet Model
âą Limited initial support for DirectML (preview) on NPU.
âą The name displayed for the NPU device in Microsoft WindowsÂź Device Manager and
Task Manager is aligned with the NPU brand name: IntelÂź AI Boost.
âą Optimized memory footprint for Bert model
Ein weiteres Treiberupdate von Intel. Leider wurde der Test hier sehr hingeschludert und es gibt kein weiteres Interesse von Computerbase daran, keine infos ĂŒber die Treiberversion usw. Computerbase wird mit einerm 31.x Treiber getestet haben. WĂ€re mal interessant, ob und wie viel sich was Ă€ndert.
