News Machine-Learning-Benchmark: Geekbench AI 1.0 ist fertig und läuft auf vielen Plattformen

[lynxx83]

Mein treues Alltags Telefonier, WhatsApp, SMS, sowie natürlich ComputerBase Lese & Schreibwerkzeug,
Ein (t)olles Moto G100 .

Wer bietet meh.. eh, weniger?

 

[smashbrot]

Ryzen 5800X3D (-15 Curve Optimizer)
4.218 Single Precision
919 Half Precision
3.836 Quantized Score

Wow. Bei mir sieht das Ergebnis mit dem 5800X3D ganz anders aus. Womöglich liegt's am RAM? Meiner ist mit 2933 MHz recht lahm.

Hier mit ONNX: https://browser.geekbench.com/ai/v1/15595

Und mit OpenVINO: https://browser.geekbench.com/ai/v1/15614

Der Vollständigkeit halber hab ich auch mal meine RX6800 drübergejagt: https://browser.geekbench.com/ai/v1/15640

 

[gruuli]

Womöglich liegt's am RAM?

Ich hab den Corsair LPX CL16 2x16 mit 3200 MHz,
weiß nicht ob das den Unterschied rechtfertigt. Gruß

 

[Spike S.]

Anhang anzeigen 1512628
Mein treues Alltags Telefonier, WhatsApp, SMS, sowie natürlich ComputerBase Lese & Schreibwerkzeug,
Ein (t)olles Moto G100 .

Wer bietet meh.. eh, weniger?

Hier, ich!

Pixel 7 Pro mit GrapheneOS
CPU Backend


GPU Backend


NNAPI
Wiederholt Abstürze

Bin ein bisschen verwundert, vor allem im Vergleich zum Motorola......

 

[-Ps-Y-cO-]

Apple scheint irgendwie auf half precision zu stehen.

 

[WetMar]

Schließe mich dann mal an:
Z690 UD DDR4
Windows 11 Pro (64-bit)
Intel Core i7-12700K
Framework - ONNX
Framework - OpenVINO

NVIDIA GeForce RTX 4070 Ti SUPER

Xiaomi Mi 9T
Android 14 ( lineage-21 )
NNAPI
GPU
CPU

 

[chiclet_fanboi]

Meine NPU im Snapdragon 8cx gen 3 mit Windows on ARM funktioniert leider nicht richtig, es scheint irgendwie trotzdem auf den CPU Kernen zu laufen laut Taskmanager. HP und Q laufen dann auch nur auf einem Kern, deswegen gibts nur niedrige Scores: https://browser.geekbench.com/ai/v1/16242

 

[lynxx83]

Hier, ich!

Pixel 7 Pro mit GrapheneOS
CPU Backend
Anhang anzeigen 1512697

GPU Backend
Anhang anzeigen 1512698

NNAPI
Wiederholt Abstürze

Bin ein bisschen verwundert, vor allem im Vergleich zum Motorola......

..vielleicht hat der Benchmark in version 1.0 halt einfach noch Bugs,

oder er ist sehr floating-point lastig,

da soll der SD 870 (wie eben auch im Moto G100) ja 20% mehr Performance bieten als der Tensor G2 im Pixel 7 Pro, laut der Seite hier zB:
https://nanoreview.net/en/soc-compare/qualcomm-snapdragon-870-vs-google-tensor-g2
..das käme dann bei CPU - single precision ja tatsächlich schon fast hin? Der Rest evtl dadurch, dass (afaik) speziell einige Pixels gerne schnell überhitzen (und dann wohl drosseln), oder waren das andere Geräte wo ich mal was drüber gelesen hatte.. kA.


vielleicht findet auch wer das hier interessant, ein Qualcomm whitepaper vom letzten Jahr über "Floating Point arithmetic / INT quantization for AI inference " betreffend :

https://www.qualcomm.com/news/onq/2023/04/floating-point-arithmetic-for-ai-inference-hit-or-miss

da bin ich zufällig drüber gestolpert als ich dann nach "AI" und "floating point" gegoogled hatte
(mir ist das meiste davon zu trocken bzw auf den ersten Blick zu mühsam/zu hoch als Abend/Nacht Lektüre )

 

[cocosape]

Geekbench AI von meinem Samsung S24 Ultra .
Android 14 ,
Qualcomm Snapdragon 8 Gen.3
Schätze ,dass dieses Ergebnis nur schwer zu schlagen sein wird, im Handybereich ?!
Lass mich aber eines Besseren belehren .
1. CPU Bench
2.GPU Bench

 

[lynxx83]

..hat hier irgendwer ne Intel Arc (A770 16GB) verbaut? würde mich über Ergebnisse freuen,

bzw täte gerne wissen was dort genau alles bei GPU Tests als AI Backend zur verfügung steht

(vielleicht hab ich es auch überlesen/ schon vergessen und es wurde eh bereits erwähnt iwo)

Spoiler

meine Arc hab ich schon verkauft, solange sie noch was wert ist / wer kaufen will,

denn ich will irgendwann mal dann Battlemage zur jetzigen RX 7800 XT dazu holen,
dafür hab ich jetzt quasi schon die "Anzahlung" aus dem Weiterverkauf...

hab quasi Arc verkauft,

nicht weil ich Intel nicht will,
sondern weil ich next Intel will

ab und zu vermisse ich sie sehr, meine treue brave Arc.
zumindest beim Benchen und neuen Treibern, das war immer Spannend/Lustig.
beim Spielen weniger, obwohl sie sich immer sehr bemüht hat, die arme..
arbeitete eigentlich ganz sauber, gar nicht so viele crashes/fehler wie viele glauben,
aber halt tatsächlich für mich einfach bereits zu langsam manchmal.

..doch in so einigen "Workloads" abseits "Spielen" ,
lag sie oft deutlich vor vergleichbaren AMD GPUs...

€: hier das Ergebnis für meine RX 7800 XT von ASUS (Silent Bios Mode, Adrenalin 24.5.1) :



€€: thx @koech für's posten von Arc Ergebnissen weiter oben, gab ja doch schon welche, heute erst gesehen beim 2. Lese-Durchgang.. welche dGPU oder iGPU ist das denn genau? (Da steht nämlich bloß Arc, aber nicht welches Modell)

 

[octra]

Das Framework macht viel aus. Hier ein Beispiel an Hand eines Intel 12600K (OC) unter Linux.

TensorFlow Lite

https://browser.geekbench.com/ai/v1/13558

ONNX

https://browser.geekbench.com/ai/v1/13649

OpenVINO

https://browser.geekbench.com/ai/v1/18338

Edit: Schade, dass man unter Linux die (nVidia) GPU nicht testen kann. Zumindest wird mir als backend nur die CPU angezeigt. Hat jemand es zum Laufen bekommen?

 

[tso]

Wer bietet meh.. eh, weniger?

Weniger? Kein Problem!
https://browser.geekbench.com/ai/v1/15204

GPU und NNAPI konnte ich nicht austesten, in beiden Fällen hängt sich der Benchmark auf, deswegen Ergebnis nur mit CPU-Backend. Angesichts des Alters des Snapdragon 632 habe ich auch nicht viel erwartet aber bei den ganzen Null-Punkte-Scores scheint mir doch irgendwie der Wurm drin zu sein.

 

[kado]

Hier, ich!

Pixel 7 Pro mit GrapheneOS
....

Bin ein bisschen verwundert, vor allem im Vergleich zum Motorola......

Gerade im CPU-Bereich scheint da aber etwas bei dir nicht zu stimmen. Hier meine Pixel 7 pro Ergebnisse mit Stock-Android.

 

[gonzos-revenge]

Ok, konnt´s nicht lassen. Ergebnisse Pixel 8

 

[Spike S.]

@kado
Danke für den Vergleich 👍
Läuft bei dir NNAPI durch?

Ich kann mir vorstellen, das die bei GOS großzügig waren, mit Entfernen von nicht benötigten Funktionen. Der AI Kram ist ja komplett proprietär und mir ist nicht bekannt, dass die bei GOS an etwas ähnlichem arbeiten 🤔

 

[kado]

@Spike S. Eben getestet und läuft durch.

 

[Bruhtang]

Apple scheint irgendwie auf half precision zu stehen.

Apple hat schon länger das meiste eine NPU, welche diese Aufgaben übernimmt.

 

[ionejay]

5800X3D

6900XT

iPhone 15 Pro

Unterscheiden sich ja teilwese echt die Ergebnisse hier ...

 

[deekey777]

Was mich etwas verwundert, ist, dass QNN so schlecht läuft, da scheint es Probleme zu geben. Dabei ist anzumerken, dass QNN auch auf dem Surface Pro X mit dem SQ1 (also Snapdragon 8cx) verfügbar ist, aber auch sehr lahm.

Mein Surface Duo (S855) ist schneller als mein Surface Pro X (hochgetakteter S855). Da gibt es noch was zu tun, kann sein, dass es an Windows 11 24H2 Insider liegt, was ich nicht glaube, denn in Benchmark Geekbench ML ist das SPX schneller.

 

[Situationskomik]

..hat hier irgendwer ne Intel Arc (A770 16GB) verbaut? würde mich über Ergebnisse freuen,

bzw täte gerne wissen was dort genau alles bei GPU Tests als AI Backend zur verfügung steht

(vielleicht hab ich es auch überlesen/ schon vergessen und es wurde eh bereits erwähnt iwo)

Ich habe gerade meine intel Arc770 - 16GB getestet: Mit einem 5700X3D/32GB

OpenVino: 12878 - 19149 - 19573
https://browser.geekbench.com/ai/v1/22009

Onnx/DirectML 11612 - 9626 - 8894
https://browser.geekbench.com/ai/v1/21939

Für den 5700X3d sind die Ergebnisse die erwartbaren, weshalb ich sie ja nicht posten muss, nämlich grob die 10% unter 5800X3D - aber nur, wenn ich das Energieprofil auf Höchstleistung stelle - bei meiner Normaleinstellung Energiesparen sind die Ergebnisse viel niedriger...


Und ein Windows Arm-Notebook:

ONNX-QNN: 428 - 176 - 190
https://browser.geekbench.com/ai/v1/21983

ONNX-CPU: 411 - 419 - 1130
https://browser.geekbench.com/ai/v1/23149


Und ein Surface Duo2:
Tensorflow - qnn: 317 - 313 - 724
https://browser.geekbench.com/ai/v1/21977

- CPU: 342 - 338 - 656
https://browser.geekbench.com/ai/v1/23186