Zukünftige CB-Testmethoden: Alltags- und Pro-Anwendungen in CPU-Tests

[BCBO1991]

Also ich fände mkvmerge ganz gut. Damit konvertiere ich alle meine aufgenommenen Filme von TransponderStream (.ts) nach Matroska (.mkv).

 

[thrawnx]

wtf, mkvmerge ist nur zum muxen/splitten usw. Wie willst du damit irgendwas konvertieren? Bin recht sicher dass du da nur mkv header erzeugst. Mkvmerge ist auch eher HDD Speed limitiert, also CPU.

 

[Yuuri]

@ Scheitel: Aber was willst du beim Öffnen benchen? Hab jetzt grad keine riesige Excel-Tabelle zur Verfügung, afaik werden die "Zwischenergebnisse" aber mitgespeichert und das Spreadsheet nicht komplett neu evaluiert. Von daher würde ein reines Öffnen gar nichts bringen, außer dass man weiß, wie schnell die HDD die Daten für Excel zur Verfügung stellt.

@ thrawnx: mkvmerge ist komplett HDD limitiert, ja. Da wird einfach nur ein Header und Streams erzeugt und 1:1 der Content von A nach B verschoben. Der Inhalt ändert sich da nirgendwo.

 

[c137]

Also ich hätte gern:

• 7zip 64bit
• MatLab mit der Funktion bench(n)
• Adobe Lightroom
• Kompilieren: z.B. Visual Studio 20xy mit Intel Fortran Compiler, dem mitgelieferten C++ Compiler, Intel C++, AMD C++

 

[helionaut]

Anwendungsbenchmarks gibt es wie Sand am Meer. Und wegen den paar Prozent Unterschied kauft kaum jemand eine neue CPU.
Ich hätte lieber mehr Detailwissen zu Architekturänderungen, solche Informationen findet man im deutschsprachigen Raum kaum.

 

[Scheitel]

@Yuuri
Die CPU muss den ganzen Kram ja schon lesen und in den Ram packen. Das macht einen Unterschied.
Ich hab gerade keine 1zu1 Vergleichsmöglichkeit, aber ein i7 mit 4Ghz und ner HDD mit ~122MB/s lesend gegen einen Celeron mit 2,4Ghz und einer SSD mit ~152MB/s lesend macht bei ner 120MB Exceldatei nen riesen Unterschied.



Also rund 17s beim i7.

Leider will der Apptimer auf dem zweiten Rechner nicht richtig und schließt mir das Excel schon beim Öffnen, so hab ich 3x per Hand gemessen.
39s, 41s & 42s. Der letzte Durchlauf ist mit ner Onlinestopuhr, damit mans sehen kann:



Der Flaschenhals dürfte ja aufgrund der SSD wohl nicht beim Celeronrechner liegen

 

[Katillah]

Blender wäre mal eine Ansage. Ein kleines Projekt nehmen und mit der CPU rendern. Eventuell noch in 2 verschiedenen CPU-Einstellungen.

 

[Jan]

Wie bereits mehrfache erwähnt: Vorschläge für ein "kleines Projekt"?

 

[deineMudda]

hi ich hätte auch einen Vorschlag:

1. mit einem Spiel ein replay aufnehmen und dann mit erhöhter Geschwindigkeit abspielen lassen. Somit erhält man realitätsnahe Ergebnisse ohne die CPU zu unterfordern. Beispiel: Command and conquer Generals zero hour mit dem tool "gentool" installieren und dann Geschwindigkeit des replays auf z.b. 100 Fach stellen.

2. open CL Benchmarks mit open source Programmen wie z.b. gimp oder opencv
Falls cpu mit gpu
3. Benchmarks mit Nebenläufigkeit
4. Benchmarks mit Bild Kategorisierung also z.b. Personen erkennen...

Gruß an alle

 

[Q-wulf]

Für mich interessant wäre bei CPU-tests Benchmarks auf Virtuellen Maschinen unter Vmware, KVM oder OpenVz. Erlebe da manchmal extreme unterschiede bei vermeintlich klarer Sachlage auf Basis normaler Standard CPU-Benchmarks.

 

[MR2007]

Was ich aus wissenschaftlicher Sicht interessant und sinnvoll fände, wären Vergleiche in einfachen numerischen Verfahren.

Besonders geeignet dafür wäre eine Matrizenmultiplikation.

Das könnte man mit so einigen Möglichkeiten realisieren, die Frage ist hier allerdings ob man prozessoroptimierte Libraries wie Intel MKL und AMD MCL (wobei ich eigentlich kein Freund von Markenabhängigkeit bin) oder eine unabhängige Methode wie OpenCL, die sich relativ einfach auf einem Kern oder auf allen Kernen ausführen lässt.

Als Parcour könnte man hier steigernde Größen der Matrizen nehmen: 100x100 (ca. 32 Kb), 500x500 (ca. 2 Mb), ... bis vllt 10000x10000 (ca. 800 MB), am besten mit double precision.

Die Matrizen müssten natürlich auf allen CPUs gleich sein, das lässt sich mit Pseudozufallswerten realisieren, die vom gleichen Seed ausgehen - so spart man die Speicherung auf der Platte. Quellcode und Seeds kann man veröffentlichen damit jeder selbst testen/überprüfen kann.

Also Steigerung wären auch noch Diagonlisierungen interessant, oder man füllt die Matrizen nicht mit Pseudozufallsszahlen, sondern mit Ergebnissen von z.B. Integralrechnungen... aber ich glaube das führt hier eindeutig zu weit


Das hat mehrere Vorteile: Einerseits kann man die FLOPs direkt bestimmen. Andererseits wird mit zunehmender Matrizengröße der Einfluss des Caches immer wichtiger bis irgendwann der Arbeitsspeicher der Flaschenhals ist. Und man wäre natürlich unabhängig von Closed Source Applikationen, von denen niemand weiß, wo genau sie was benutzen, optimieren und ausnutzen.

Die Nachteile liegen wohl auf der Hand: Die Zielgruppe dürfte relativ klein sein, die Umsetzung wär zwar einfach, erfordert aber eine Einarbeitung, sofern keine Vorkentnisse vorhanden sind.

 

[JohnDoe1982]

Extrem oc mit Luft und ner guten 240er aio-Kühlung wären auch mal interessant.
Jenseits der offiziellen spezifischen Herstellervorgaben.

Was kann die CPU verkraften bevor sie drosselt oder direkt abschaltet.
Bezogen auf vcore und temp.
In Realitätsnahentest wie Games und Software die nicht darauf aus sind nur die temp hoch zu Feuern.
Welche Vorteile hat der höhere Takt und wo liegt die gewonnene Leistung gegenüber anderen besseren oder
Weniger leistungsstarken CPU.

Unabhängig vom Suffix halt das maximal mögliche ohne Rücksicht auf Verluste(Material)
Nartürlich am Ende des Testes

 

[Casecooler91]

Ein Test,wie viel die CPU maximal aushält bevor sie irreparabel beschädigt ist mit Spannung/Temperatur wäre auch interessant.

Ausserdem hätte ich mal gerne einen Test wie viel geht mit möglichst wenig Spannung...zb 4 ghz bei möglichst geringer Vcore.

Zum benchen Cinebench und PC wizard

Startzeiten von Spielen bzw Ladezeiten falls das überhaupt messbar ist,weil es da ja eher auf die Festplatte ankommt.

 

[Nightfly09]

ein kurzer oc und undervoltig test wäre zwar schön, aber da es in dem bereich teilweise deutliche unterschiede zwischen den cpu's gibt, würde ich das nicht zu ausführlich machen.

ein kleiner fingerzeig was mit der cpu so möglich ist hilft, aber jede menge genaue werte zu spannungen, temperaturen und oc settings bringen wohl kaum was, wenn man diese nicht auf die eigene cpu übertragen kann.

ich denke mehr sinn würde es da machen wenn für neue cpu's immer ein thread im forum angelegt und im test verlinkt wird wo jeder seine ergebnisse veröffentlichen kann, so hätte man nach relativ kurzer zeit vermutlich schon eine vielzahl an möglichen einstellungen und ergebnissen.

 

[Volker]

Kurz OC und UV machen wir ja immer bei den reinen CPU-Tests. Aber das werden wir im Normalfall auch nicht ausbauen, lediglich wenn es wirklich mal speziell wird, wie damals bei Devils Canyon: https://www.computerbase.de/2014-06/intel-core-i7-4790k-test-overclocking-kuehler-devils-canyon/

Ansonsten ist es richtig, anhand von einem Sample lassen sich keine Rückschlüsse auf alle Modelle ziehen. Deshalb sind vor OC-Events die Teilnehmer erstmals nen Tag damit beschäftigt, unter 50 Samples die auszusuchen, die am besten gehen. Realitätscheck = Null

Bei OC werden wir neben max Brechstange mit hohem VCore auch den Wert angeben, der mit Default-Spannung erreicht wird. Das hat denke ich den größten Realitätsbezug. Darüberhinaus werden wir nicht gehen, denn das Material wird immer weiter verwendet und soll im Test nicht mutwillig gegrillt werden.

 

[h00bi]

Beispiele? Bei GPUs gibt es mit Tom's Hardware eine Seite, die das macht. Bei CPUs ist mir keine Publikation bekannt, die die Ströme, die über das Mainboard und nicht über den separaten 12-Volt-Anschluss kommen, sauber ermitteln kann. HT4U hat die Messungen aus diesem Grund vor Jahren eingestellt.

http://ht4u.net/reviews/2015/amds_furie_radeon_r9_fury_x_im_test/index18.php
HT4U macht das bei Grafikkarten noch immer.

Bei CPUs stimmt es, HT4U hat das wirklich eingestellt.

Mein eigentliches Anliegen war aber der "Consumption over Time" Test:

Ebenso wäre ein Testlauf toll, bei dem ein gewisser Workload abgearbeitet wird und die Gesamtleistungsaufnahme für diesen Workload ermittelt wird. Hintergrund ist der dass eine schnelle CPU zwar eine höhere maximale Leistungsaufnahme hat, aber auch früher wieder im Idle ist.

 

[Shaav]

Hm, aber ist das wirklich relevant? Der Stromverbrauch interssiert doch nur wenn die CPU die ganze Zeit gefordert wird oder um den Kügler richtig zu dimensionieren. Wenn die CPU sowieso einen Großteil der Zeit idelt spielt der Stromverbrauch hinsichtlich der Stromkosten ja quasi keine Rolle mehr.

 

[c137]

Wenn denn der IDLE-Verbrauch nicht übel hoch ist

 

[Stefan Payne]

Hier und da ist es ist wie erwartet: Während die einen Cinebench gern sehen weil gut vergleichbar, soll es bei anderen rausfliegen weil Mist - versteh ich vollkommen. Schwierig, behalten wir aber mal im Auge. PCMark ist auch so eine Sache, aber das wird wohl eben mit so 2, 3 Sachen die jeder gern sieht drin sein.

Cinebench sollte rausfliegen, weil es nicht ganz neutral ist und bestimmte Architekturen bevorzugt werden.

Das muss man vorher testen und schauen, ob es bei bestimmten Programmen überdurchschnittliche Abweichungen zwischen diversen 'Referenzprozessoren' gibt.
Da sollte man dann verschiedene Modelle aus verschiedenen Generationen von verschiedenen Herstellern testen...
Hier reicht dann eine CPU pro CPU Architektur/Generation als Referenzmodell.

Dabei sollte es eine möglichst verbreitete CPU sein.
Als Beispiel würde ich einfach mal folgendes rein schmeißen:
Core 2 Duo, E6600, E8400 (oder 8500)
Phenom X4, 955BE
FX8350
Intel Core i7-920 bis 950
Intel Core i5-750
Intel Core i5-2400 oder i7-2500
Intel Core i5-3570 oder i7-3770
Intel Core i5-4670 oder i7-4770
AMD A10-7700K oder 7850K (oder whatever)

Da die Befürchtung kam: Es wird nicht krampfhaft nach Anwendungen mit hoher Parallelisierbarkeit gesucht, die dann keiner nutzt. Gern auch ein "schlechtes" Beispiel, wo alles weiter Single Core ist. Denn schwarz/weiß ist die Welt ja nicht!

Ja, aber Single Thread Leistung interessiert nur noch am Rande, sollte also auch nicht allzu sehr in das Ergebnis einfließen, da der Zug in Richtung Multithread geht.

Hier sollte bei modernen Anwendungen ev. auch mal die Parallelisierung getestet werden....
Der FX8350 ist da ein gutes Instrument, dass auch relativ preiswert zu beschaffen ist, um die Parallelisierung testen zu können.
Da kann man auch im BIOS die Module abschalten....


Festhalten sollte man, dass es wichtig ist:
a) Neutrale Tests zu haben, die alle Architekturen gleich gut/schlecht behandeln.
b) gute Vergleichsprozessoren
c) das ganze sollte eher in Richtung Multithreadded gehen, da die Zeit der Single Thread Anwendungen abgelaufen ist - sowas sieht man nur noch bei sehr schlechten Games (kann, darf ich hier auf X-Rebirth hinweisen? )

Ergänzung (25. Februar 2016)

Beispiele? Bei GPUs gibt es mit Tom's Hardware eine Seite, die das macht. Bei CPUs ist mir keine Publikation bekannt, die die Ströme, die über das Mainboard und nicht über den separaten 12-Volt-Anschluss kommen, sauber ermitteln kann. HT4U hat die Messungen aus diesem Grund vor Jahren eingestellt.

eben, denn hier gibt es nur eine Möglichkeit, das ganze zuverlässig abschätzen zu können:
Man lötet die Spulen aus und befestigt hier einige Messinstrumente, die die Ströme, die hier fließen, zuverlässig ermitteln können.
Das ist allerdings ein sehr hoher Aufwand, für den man am besten auch eher Low End Boards mit wenig Spulen nimmt.

Zumal es bei modernen Boards mit 'normalen Hausmitteln' auch ein verdammter Krampf ist, im CPU VRM Bereich zu löten, Aufgrund des Zustandes, dass dieser Bereich auch sehr stark zur Abfuhr von Wärme konstruiert ist. Sprich:
Ist völlig unpraktikabel, da es nicht unwahrscheinlich ist, mehrere Boards bei diesem Versuch zu zerstören.
Zumal die Frage ist, ob die CPUs auf diesen modifizierten Boards zuverlässig funktionieren.

Bei GPUs haben wir uns nach Abwägung der Kosten für das notwendige Equipment (X0.000 Euro) gegen die Messung entschieden. Denn mit einem Zangenamperemeter, wie es einige Redaktionen nutzen, sind in Zeiten der schnellen Turbo-Mechnismen keine verlässlichen Messungen drin. Diese Messwerte wahren einen professionellen Schein - mehr nicht.

Bei Zangenamperemetern sehe ich auch das Problem, dass die Messungen nicht unbedingt 100%ig reproduzierbar sind, aufgrund der Induktion, die man baut...

Letztendlich muss man sich hierfür spezielle Adapterkabel bzw Platinen basteln, die die Messpunkte enthalten...

Dafür braucht man einen Ingeneur, der sich mit diesem Zustand beschäftigt und auch in der Lage ist, entsprechendes Equipment zu basteln.

Was man aber machen sollte, wäre folgendes:
Man hängt einfach eine Festplatte in das System und misst an der den Ripple, der von der Grafikkarte verursacht wird...

 

[habichtfreak]

Cinebench sollte rausfliegen, weil es nicht ganz neutral ist und bestimmte Architekturen bevorzugt werden.

hast du dafür beispiele, oder gar beweise? cinebench kann sehr gut parallelisieren und mMn auf jeder cpu gleich gut. selbst wenn cpu-xy aufgrund ihrer architektur besser WÄRE, dann ist sie auch in cinema4d besser. stell dir vor, es gibt leute die arbeiten mit dem programm und denen ist die architektur egal. die interessiert nur, wenns schneller geht, ist`s gut.

egal ob cad-anwendungen oder videos konvertieren (handbrake, ripbot und co), diese aufgaben lassen sich hervorragend parallelisieren. Und, sie sind praxisrelevant (nicht jeder spielt den ganzen tag). außerdem skalieren nach meiner erfahrung alle cpus gleich bei den beiden genannten aufgaben. wenn cinebench nicht neutral wäre, ist es handbrake etc. auch nicht.

hier mal ne liste von R15:

Spoiler

nenn mir mal ein beispiel einer cpu die nur im cinebench langsamer ist als eine andere.