News Supercomputer: Universität Ulm nimmt Justus 2 mit Intel Xeon Gold in Betrieb

[Skysnake]

Nochmals, das war das Beste Angebot, sonst wäre es nicht gekauft worden. Wenn dem nicht so wäre würde ein Konkurrent klagen.

Sorry, aber sich auf zu spielen und zu meinen wie blöd die doch wären ist ziemlich infantil...

Die Leute von Ulm wissen schon sehr genau was sie wollen/brauchen. Ich glaub ihr wisst gar nicht wie Umfangreich solche Ausschreibungen sind. Das sind nicht nur 10 Seiten sondern 100+ mit mehreren Angebotsrunden etc.

Sonst Ding stellt man nicht mal eben hin. Das ist viel viel mehr als die Einzelkomponenten zusammen zu stecken. Überlegt euch nur mal die Node Dichte. Das sollten bis zu 80 nodes pro Rack sein. Das ist mal ne Hausnummer. Und vom Softwarestack will ich mal gar nicht anfangen. Wer schon mal auf so net Kiste selbst gearbeitet hat weiß wovon ich rede.

 

[[wege]mini]

Nochmals, das war das Beste Angebot, sonst wäre es nicht gekauft worden.

So, Butter bei die Fische.

Wenn eine Universität in Deutschland ihre Hardware bei Unternehmen einkauft, obwohl sie eine Abteilung für Ausbildung von Wissenschaftlern hat, die diese Hardware später entwickeln sollen, dann bekomme ich das kotzen.

Natürlich erwarte ich nicht, dass Universitäten ihre eigenen Chips entwickeln und fertigen.

Die fertigen Produkte in großen Stückzahlen in fertige Rechner zu basteln und am Ende auch noch zu warten, sollte doch aber für eine Universität möglich sein.

Wenn der Studiengang am Ende Hardwarepflege heißt, interessiert das keine Sau, wenn die einen einen Bachelor bekommen und die anderen billige Hardware.

Niemand braucht auf diesem Niveau Typen wie Dell, HP oder SAP (sry Dietmar) für die Hardware.

Software, ja gerne.

mfg

 

[Bigeagle]

Keine Ahnung was die ganzen negativen Kommentare hier sollen O.o
Die Kiste ist offensichtlich für recht spezifische Anwendungen zusammengestellt, sonst würde es nicht so viele verschiedene Knotentypen geben. Außerdem frisst I/O auch ziemlich viel Energie, Supercomputer rein nach FLOPS und Verbrauch bewerten ist hilfreich für eine Näherung aber an sich erstmal nutzlos für eine Uni an der nicht nur Mandelbrote berechnet werden sollen. Ich weiß nicht wie I/O intensiv die simulation von nuklearwaffen ist, aber auf jeden fall kann man da auf diesen einen anwendungsfall optimieren.

Nochmals, das war das Beste Angebot

Also naja ... normalerweise optimiert man die anforderungen in dem Bereich so dass genau das angebot gewinnt dass man haben will. Das ganze ausschreibungsverfahren ist da eher ein feigenblatt, denn als uni will man ganz sicher nicht den typischen verlauf einer ausschreibung wie bei behörden.
Billigster anbieter bekommt das geld -> anbieter geht pleite bevor oder kurz nachdem die leistung vollständig erbracht wurde -> ausschreibungsobjekt funktioniert nicht richtig -> ausschreibung für reparatur -> repeat
alternativ geht der anbieter nicht pleite um zu verschwinden, sondern man schlägt sich mit unmengen supporttickets herum die zwar stück für stück bearbeitet werden ohne aber dass tatsächlich mal alles läuft. schließlich wird gerne nur gefordert dass auf fehler innerhalb einer gewissen zeit reagiert werden muss, nicht bis wann die fehler behoben sein müssen.
Strafen für mangelnde verfügbarkeit sind entweder nicht vorgesehen, oder werden umschifft da die nodes selten ganz ausfallen sondern eher teile nicht laufen, die performance nicht stimmt, irgendwas crasht, oder zu heiß wird, womit die hardware formal verfügbar ist, nur nicht auch wie gewünscht nutzbar.

etwas überspitzt, aber ich fürchte das trifft in vielen bereichen den kern der sache. natürlich spricht man als uni nicht über sowas, das schädigt den eigenen ruf und versäuert die beziehung zum dienstleister. außerdem kommt am ende irgendein politiker oder höherer verwaltungsbeamter auf die idee dass die uni schuld daran ist dass das bewilligte geld - sofern überhaupt nennenswert öffentlich gefördert wurde - nicht sinnvoll eingesetzt wurde.
bei behörden ist das eher noch schlimmer, bloß keine negativen informationen nach außen dringen lassen. formal funktioniert alles, wer etwas anderes behauptet verstößt gegen seinen arbeitsvertrag oder eine gesetzliche regelung (ich finde gerade den passenden § nicht der z.b. festlegt dass arbeitnehmer nicht schlecht über den arbeitgeber reden dürfen. vielleicht hat den jemand anderes zur hand?)
daher ist in richtung öffentlichkeit - und oft auch gegenüber anderen abteilungen - meistens alles wunderbar und toll.
nicht zuletzt bewiesen durch die zähnefletschenden, ähm ... lächelnden männer im anzug die solche anschaffungen vor den kameralinsen einweihen.
interessant am rande: da greift die frauenquote interessanterweise nicht.

 

[Skysnake]

1. Ist es eben nicht nur damit getan irgendwelche Hardware zu kaufen und die in irgendwelche Wracks zu werfen
2. Wäre das Endergebnis sehr wahrscheinlich schlechter gewesen als das hier und teurer. So ne Uni bekommt schon allein ganz andere Preise von den Lieferanten.
3. Denk mal drüber nach, das sich hier mehrere Firmen mit unterschiedlichen Systemen angetreten sind, die nichts anderes machen als Systeme zu verkaufen, und da meinst du die hätten das so einfach selbst besser gemacht?

Und zudem, woher kommen die Leute an der Uni mit der langjährigen Berufserfahrung und damit entsprechender Expertise um so was zu machen? Mal ganz davon abgesehen das Uni eher kein Geld für Personal bekommt.

Daher, einfach mal selbst so ein System hinstellen, dann weiß man, dass das nicht so einfach ist. Ansonsten würde es ja auch jeder machen, was nicht der Fall ist.

@Bigeagle Ja, da hast du schon Großteils recht. Das wird durchaus angestrebt und wenn man z.b. gewisse GB/core Werte fordert ist aktuell meist klar ob z.b. Intel gewollt ist. Es passiert aber dennoch immer wieder das Intel oder Amd hammer Preise machen und am Ende doch was anderes kommt als von Kunden gewollt.

Aber prinzipiell liegst du schon nicht so falsch.

Wobei das teilweise dann auch gewollt/hingenommen wird weil man dann mehr Hardware fürs Geld bekommt. Es gibt nämlich durchaus auch Institutionen die 99,9% Verfügbarkeit fordern und die Verfügbarkeit auch an das Erreichen von einer gewissen Performance koppeln und z.b. auch höhere gehen und 24/7/365 Support mit 2h Reaktionszeit haben. Die bekommen dann aber halt auch kleinere Systeme fürs gleiche Geld.

 

[hallo7]

Niemand braucht auf diesem Niveau Typen wie Dell, HP oder SAP (sry Dietmar) für die Hardware.

Da ich selber gerade mitbekomme wie an der Uni ein System beschafft werden muss - das läuft nicht so wie du denkst.

Erstens gibt es gesetzliche Vorgaben die eine Ausschreibung verlangen ab einer gewissen Investitionssumme (hier locker überschritten). An dieser Ausschreibung dürfen laut Gesetz nur zertifizierte Unternehmen teilnehmen. Damit bist du an Unternehmen gebunden, da kann die Uni nichts dagegen machen, vor allem wenn öffentliche Förderungen verwendet werden.

Natürlich können Institute ihre ungebundenen Forschungsgelder in eigene Hardware stecken, die billiger ist, aber auch da gibt es ein Problem. Ist diese nach 3 Jahren kaputt, hat man einen Totalverlust. Die Anbieter hier geben in der Regel 5 Jahre Garantie und wenn dann eine Karte abraucht wird die ohne Probleme getauscht. Da diese Hardware sehr strapaziert wird, ist das wichtiger als in der Anschaffung 20% Kosten zu sparen. Dazu kommt das die P/L Hardware (z.B. Threadripper bzw. so gut wie alle Consumer Produkte) oftmals keine ordentliche Serverausführung mit ausgereifter Kühllösung bietet. Verbaut man die in einem Server Rack und geht was kaputt sagt der Hersteller, dass die Karte dafür nicht gedacht war und man hat wieder Totalverlust.

So einfach ist das alles also nicht.

 

[ro///M3o]

Interessant wäre, ob sie wegen Sicherheitslücken nun Hyperthreading aktiv lassen oder laut Empfehlung doch abgeschaltet betreiben werden und was die Auswirkungen / Maßnahmen sind wenn doch aktiv?

 

[Piktogramm]

Solche Fragen kannst du an die Betreiber stellen. Per Mail oder persönlich. Tage der öffenen Tür beim örtlichen Rechenzentrum und/oder wenn in deiner Nähe größere Treffen von Linuxusergroups sind, ist die "Gefahr" groß, dass da Personal herumspringt.

 

[pilzsammler2002]

@pilzsammler2002: Er fragt nach schon laufenden SC mit Zen2 und Du verweist auf Archer2 der im Mai in Betrieb gehen soll?

Finde den Fehler.

Deshalb ja einer dazu der schon läuft.
Ausserdem ist MAI jetzt nicht so lange hin wie El Capitan

 

[Ned Flanders]

Dann nenn doch mal die ganzen Zen2 Supercomputer die andere Länder schon am Laufen haben....

Der hier in Frankreich läuft auch schon länger.

https://www.top500.org/system/179700

Aber nochmal, je nach Einsatzbereich kann AVX512 schon nochmal Vorteile haben.

 

[TigerLeon]

und dabei steht Ampere vor der Türe... an deren Stelle hätte ich gewartet

 

[Hayda Ministral]

Der hier in Frankreich läuft auch schon länger.

https://www.top500.org/system/179700

Dazu habe ich hier ein paar Informationen gefunden. -> es ist die dritte Partition eines bereits existierenden HPC.

Ergänzung (9. März 2020)

Interessant wäre, ob sie wegen Sicherheitslücken nun Hyperthreading aktiv lassen oder laut Empfehlung doch abgeschaltet betreiben werden

HT wird abgeschaltet während Crysis drauf läuft oder wenn darauf gesurft wird. Also nie.

 

[swesner]

Bei Ausschreibungen wie dieser werden keine Prozessoren vorgegeben, sondern es werden repräsentative Benchmarks auf Basis der Nutzung definiert. Dann gibt es konkrete Messungen für die verschiedenen Fälle und es werden die Zeiten pro job und die Anzahl pro job pro Tag in einem gewichteten Verhältnis mit Punkten bedacht. Ziel ist dabei nicht nur rauszufinden ob der AMD oder Intel Prozessor die Nase vorn hat sondern auch wieviele cores sinnvoll sind und welche Taktfrequenz.
Eine Beschaffung dieser Größenordnung dauert grob 1 Jahr mit diversen Verhandlungsrunden (und es geht 1-2 Jahre Technologiesichtung voraus)

Da kann es also sein dass bei einer 64 core CPU mit 4 Speicherkanälen die Speicherbandbreite bzw. der Verhältnis Byte/s / FLOPS also letztlich Byte/Flop der limitierende Faktor für die Anwendungsleistung ist. Eine höhere Taktfrequenz erhöht die FLOPS aber nicht die Speicherbandbreite --> Wird also nicht besser. Anders ausgedrückt wenn die Anwendungsleistung stark davon abhängt Daten aus dem Speicher in die CPU zu bringen kann eine CPU mit 24core und 3 Kanälen bei diesem Flaschenhals bessere Anwendungsleistung liefern. Man darf hier nicht einfach die FLOPS einer CPU zählen. Also Anwendungsleistung ("sustained performance") ist dabei immer was ganz anderes als "peak Performance". Für andere Anwendungen ist die Speicherbandbreite nicht limitierend sondern die FLOPS und dann ist eine 64 core CPU mit maximaler Taktfrequenz vielleicht das richtige...

Neben der Technik kommen dann auch immer noch ökonomische Rahmenbedingungen dazu. Je nach den Preisen von CPUs gibt es dann auch unterschiedliche Verhältnisse von Anwendungs-Leistung/€ oder Anwendung-Leistung/Watt. Die Ausschreibungsunterlagen sind glaube ich nicht mehr öffentlich aber es gibt ja immer mal wieder Ausschreibungen wo man sich das ansehen kann...

Dann kommen noch andere Faktoren dazu wie z.B. das Zugriffsmuster von Anwendungen auf externe Speichermedien. Wenn Anwendungen da beispielsweise viel Random Read und sonst viel Serial Write als Pattern haben dann sind eben lokale als RAID-0 geschaltete NVMe Flash Speicher ein echter Beschleuniger für die Anwendungsleistung. Anders gesagt wenn das nicht gut ist dann wartet die CPU einfach auf Daten und langweilt sich. Von ersten Konfigurationen bis zur finalen Konfiguration hat man da durchaus einen Faktor 3 an Leistungssteigerung nur durch diesen Teil des Systems.

Und nein die 2 FPGA Server waren sicher nicht entscheidend für eine Systemauswahl. Auch weil es zwar keine Alternative von AMD gibt aber es gibt ja auch noch andere Firmen in dem Umfeld wie z.B. Xilinx.

 

[MujamiVice]

Der Startknopf hat RGB ;-)