Bericht Intel: Einblicke in das Data Center Santa Clara

[Hafensänger]

Damit sollte man Tetris oder Minecraft flüssig spielen können

 

[Vindoriel]

Damit sollte man Tetris oder Minecraft flüssig spielen können

Na, mache mal ein Würfel mit TNT-Blöcken mit einer Kantenlänge von 150 und zünde diesen... Für normale PCs ist das ein Graus.

 

[imbattable]

Die genauen Zahlen kenne ich nicht, die Rabatte sind da natürlich auch gigantisch. Aber so ganz grob: vor gut 10 Jahren haben 50 Mentor Mixed Signal (VHDL&Verilog) Simulator Lizenzen ca. 100.000€ pro Jahr gekostet.
Das muss man auch mal umrechnen! 50 Lizenzen machen nur Sinn, wenn man auch 50 Server hat. Das heißt die SW Lizenz kostet 2000€ pro Jahr. Der Server läuft aber i.d.R. 2 bis 3 Jahre, d.h. der darf gerne 6000€ kosten und dann hat dessen Anschaffung in etwa genauso viel gekostet wie die Lizenzen für die Software, die er in diesen 3 Jahren abgearbeitet hat.
Hat man 1000 Server, dann braucht man auch 1000 Lizenzen -> linear interpoliert von den 50 für 100.000€ macht das dann 2 Mio. Euro! (wie gesagt, linear darf man da nix rechnen, die Rabatte sind enorm).

100k für 50 Lizenzen ist im Vergleich zu den full custom tools von cadence noch richtig günstig Und du brauchst manchmal durchaus mehr als 1 Lizenz pro Server, je nach Tool werden teilweise mehrere Lizenzen ausgecheckt und das ganze geht auch meistens noch pro Core. Die "großen" haben alle sehr spezielle Deals mit den CAE Anbietern, Listenpreise zahlt da bestimmt niemand (und bei den Anpassungen die da teilweise gemacht werden müssen ist das auch vollkommen verständlich).

 

[Pat]

Interessanter Artikel und sehr sehr coole Bilder, vielen Dank dafür @CB! 1A!

 

[Mickey Mouse]

100k für 50 Lizenzen ist im Vergleich zu den full custom tools von cadence noch richtig günstig Und du brauchst manchmal durchaus mehr als 1 Lizenz pro Server, je nach Tool werden teilweise mehrere Lizenzen ausgecheckt und das ganze geht auch meistens noch pro Core. Die "großen" haben alle sehr spezielle Deals mit den CAE Anbietern, Listenpreise zahlt da bestimmt niemand (und bei den Anpassungen die da teilweise gemacht werden müssen ist das auch vollkommen verständlich).

ich sprach vom Mentor Modellsim Mixed Signal, nicht cadence full custom tools
Und wie gesagt, Cadence hat Mentor inzwischen aufgekauft.
Tools die Lizenzen pro core auschecken sind mir jetzt direkt nicht bekannt? Normalerweise regeln die das darüber, dass sie einfach nicht alle cores ausnutzen. Was auch wieder Sinn macht, weil man sonst mit dem RAM nicht klar kommen würde.

Vor einiger Zeit (2...3 Jahren) waren bei Intel 24 Core Maschinen mit 128GB RAM als normale Rechenknechte aktuell, die eine 500GB SSD nur für Swap bekommen haben! Man kann die 24 Cores mit "so wenig" RAM gar nicht auslasten.

die Preise sind höchst individuell!
es gab Zeiten, da haben wir Anweisungen bekommen, dass wir selbst Support Anfragen nicht direkt ohne "Genehmigung" an die Hersteller geben durften. Anhand dieser Anfragen hätten die Software Hersteller wieder ableiten können wie "wichtig" die Software für Intel ist. Das sollten die aber während laufender Preis Verhandlungen auf keinen Fall wissen

btw.: die Kisten laufen alle auf SuSE Linux, weil Redhat irgendwann zu hohe Service Gebühren haben wollte, da wurde kurzerhand zu Novell gewechselt.

 

[Kowa]

Geht es dabei um die Verschaltung von vielen kleinen Einheiten zu einem großen Rechner?

In unserem RZ werden große Server verwendet, um viele kleine zu virtualisieren. Ich halte das für einen Irrweg. Diese Server sind extrem teuer und die SingleThreadPerformance aus dem letzten Jahrzehnt. Bei Wartungsarbeiten fallen alle Projekte gleichzeitig aus. Der Koordinierungsaufwand ist enorm.

Das Konzept von Facebook in Norwegen gefällt mir sehr gut. Dort werden auch kleine Einheiten verwendet, die von jeder kleinen Firma zusammengeschraubt werden können. Jedes Rack enthält seinen Storage und seine passende USV.

Der Standort am Polarkreis braucht kaum Klimatisierung, nur wie die Frischluft muß angefeuchtet werden. In dem ehemaligen Stahlstandort ist qualifiziertes Personal vorhanden und der Strom ist billig und kommt aus Wasserkraft.

 

[strex]

bl460c? Echt jetzt? Intel verbaut intern HP-Blades anstatt ihrer eigenes hergestellten Intel-Systeme? Naja, vielleicht kanns HP halt einfach besser .

Coole Fotostrecke, danke!

Intels Serversystem, wo es eh kaum noch welche gibt, sind eher Demo Hardware statt wirkliche Produkte. Nicht umsonst verkaufen die so gut wie keine eigenen Server, sondern stellen die zur Demo aus oder für Benches und diese Produkt werden so gut wie nicht beworben oder verkauft. Das Produktportfolio um das C7000 Chassis ist so groß und mächtig, dass hier Intels Demo Blades, wie fast alle anderen Blade Hersteller winzig aussehen.

Das wundert also kaum einer, nur wenn das C7000 mit AMD bestückt wäre würde es einem wundern, wofür es aber eh kaum Blades gibt..

Nope, Festplatten zb. mögen so kalte Temperaturen überhaupt nicht. Es geht nicht nur um CPUs und GPUs in Servern.

Das ist nicht korrekt, was Hardware wie HDDs nicht mögen sind große Temperaturschwankungen. Wenn die Temperatur der HDD bei 20 oder 40° liegt macht der das überhaupt nichts. Nicht umsonst wird bei der Kaltgangeinhausung Luft mit <18° eingeblasen.

Je nach Kühlkonzept gibt es unterschiedliche minimal Temperaturen, auf Grund von Kondenswasserbildung und hauptsächlich der Effizienz. Man braucht zum Beispiel eine bestimmte Temperaturdifferenz zwischen Warm und Kalt, entsprechend kühl muss die Temperatur der eingeblasenen Luft im Kaltgang sein.

Geht es dabei um die Verschaltung von vielen kleinen Einheiten zu einem großen Rechner?

Korrekt.

In unserem RZ werden große Server verwendet, um viele kleine zu virtualisieren. Ich halte das für einen Irrweg.

Wenn du das als Irrweg hältst hast du wohl das Konzept nicht verstanden. Wenn bei Wartungsarbeiten an der Virtualisierungsumgebung etwas Ausfällt, dann macht einer seinen Job nicht gut.

 

[Mickey Mouse]

hinter den verschiedenen Rechenzentren stehen auch verschiedene Konzepte, je nach "Anwendung"!

Intel braucht eben einfach nur ganz, ganz viele "kleine" Rechner, die von Netbatch (einem Load Sharing Tool, quasi ein inhouse "Nachbau" von LSF) "gefüttert" werden. Wobei "klein" eben nicht mit privaten Maßstäben gemessen werden darf.
Versuche haben gezeigt, dass man durch Virtualisierung ca. 5% Durchsatz verliert. Wenn man das auf die enorme Anzahl der Server hochrechnet, dann wären diese 5% ein hoher finanzieller Verlust, also macht man das nicht!

Es gibt sogar Erweiterungen zu Netbatch, so dass Server automatisch neu installiert werden wenn anhand der Jobs in der Warteschlange erkannt wird, dass Server mit dem benötigten OS knapp werden und es zufiel Server mit dem "falschen" OS gibt. Selbst das ist noch effektiver als Virtualisierung.
Aber daran kann man auch sehen, dass der "Ausfall" eines Rechners überhaupt kein Problem ist. Der bekommt einfach keine Jobs mehr zugeteilt, die gehen auf andere Server. Ist er "wieder da" bekommt er auch wieder Jobs.

Natürlich werden Infrastructure Maschinen virtualisiert. Da gibt es auch fertige "Standardlösungen". Für kleinere Sachen besteht die aus drei HP DL580 mit zusätzlichen Netzwerkports und internem RAID. Dabei muss dann immer jeweils ein NIS Server auf jedem der drei ESXi Hosts lokal laufen, damit man auch ohne NAS/iSCSI auf die Füße kommt. Während die "eigentlichen" VMs eben auf dem NAS liegen sollten, damit einer der beiden anderen ESXi übernehmen kann wenn einer "schwächelt". Beim Start eines solchen Systems hat man allerdings ein Huhn/Ei Problem: ohne NIS kein vollständig funktionierendes NAS, ohne NAS keine VMs, ohne VMs kein NIS, ohne NIS kein NAS...
Aber selbst so eine "kleine" Lösung mit drei DL580 hat im Vollausbau schon reichlich Kapazitäten um die (Unix) Infrastruktur für ein paar Hundert Mitarbeiter zur Verfügung zu stellen. Das sind dann drei ESXi Server gegen tausende "Rechenknechte".

 

[strex]

Versuche haben gezeigt, dass man durch Virtualisierung ca. 5% Durchsatz verliert. Wenn man das auf die enorme Anzahl der Server hochrechnet, dann wären diese 5% ein hoher finanzieller Verlust, also macht man das nicht!

Die 5% spare ich aber locker wieder ein, wenn ich bei der Konsolidierung 10 bis 35% oder mehr an Server wieder einsparen kann. Denn das erreiche ich dadurch, dass ich nicht für jede Applikation ein eigenes System brauche.

Wo man es nicht macht, ist im HPC Bereich, denn da laufen eh nur Applikationen wenn notwendig sind und halten keine Infrastruktur vor.

 

[Mickey Mouse]

genau DAS meinte ich mit meinem einleitenden Satz:

hinter den verschiedenen Rechenzentren stehen auch verschiedene Konzepte, je nach "Anwendung"!

bei Intel gibt es für die Server Farmen halt keinen Vorteil durch die Virtualisierung, bei anderen Anwendungsszenarien sieht das ganz anders aus!

die 5% Verlust (im besten Fall) stammen aus einer Studie die Intel Israel mal für verschiedene Virtualisierungen aber immer für den eigenen Rechenzentrumsbetrieb durchgeführt hat.

 

[Anmeldeblödsinn]

Intels Serversystem, wo es eh kaum noch welche gibt, sind eher Demo Hardware statt wirkliche Produkte. Nicht umsonst verkaufen die so gut wie keine eigenen Server, sondern stellen die zur Demo aus oder für Benches und diese Produkt werden so gut wie nicht beworben oder verkauft. Das Produktportfolio um das C7000 Chassis ist so groß und mächtig, dass hier Intels Demo Blades, wie fast alle anderen Blade Hersteller winzig aussehen.

Das wundert also kaum einer, nur wenn das C7000 mit AMD bestückt wäre würde es einem wundern, wofür es aber eh kaum Blades gibt..
...

Bei Blades an sich kenn ich mich nicht direkt aus, wir hatten einige Modular Server, die echt geil waren, leider eingestellt und haben bei allen Kunden P4000 oder teils etwas ältere 5520/5620er im Einsatz, durch die Bank und das weil HP hier gleich mal gut doppelt so teuer war/ist. Leider ists mit der Lieferbarkeit auch nicht mehr so toll und so wird es vielleicht wirklich HP werden.

Ich finds nur recht, naja, schräg wenn Intel selbst seine eigenen Systeme nicht selbst einsetzt. Schade.

 

[Mickey Mouse]

Intel macht da ein "outsourcing" wie alle anderen Firmen auch!

Natürlich werden nur Server mit Intel CPUs angeschafft!
Aber man muss das so sehen: eine Hand wäscht die andere
HP, IBM oder Dell (man macht sich niemals von einem Hersteller abhängig!) bekommen gute Konditionen für die CPUs und dafür bekommt Intel auch die Server von denen recht günstig! UND eben das rundum glücklich Paket!
Für "normale" Server gibt es da 24/5 next business day Service Verträge, für "kritische" Systeme wie die Lizenz-Server sind das "24/7 4hr Verträge", d.h. nach einer Fehlermeldung steht innerhalb von 4 Stunden ein z.B. HP Service Mitarbeiter mit den Ersatzteilen auf der Matte! Und wenn nicht, dann gibt das richtig Ärger...
In den großen Sites (das Rechenzentrum in Santa Clara ist gar nichtmal "so groß" im Vergleich zu dem was in Portland/OR oder Chandler/AZ so rum steht) haben die Techniker von den Support Firmen (wie HP, NetApp usw.) sogar "Büros" (cubicles).
Und wie gesagt, Intel selber macht sich nichtmal die Mühe das BIOS/Setup der Server zu konfigurieren, die kommen bereits "fertig eingestellt" an! Alles andere kostet zu viel Geld, HP macht das "quasi umsonst" mit.

Ich habe erlebt, dass Firmen die vorher eng mit Intel zusammengearbeitet haben (z.B. Pallas) und tatsächlich Intel Server im Einsatz hatten, die Dinger teilweise verschrottet oder in den "Lab-Bereich" (Non-Production-Area) verschoben haben, weil die einfach nicht in die Infrastruktur gepasst haben!

Ein "Intel Server" überprüft z.B. bei jedem Boot (ok, meist sind das mehrere Monate bis zu Jahren ) ob ein Firmware Update verfügbar ist (von der internen IT freigegeben) und aktualisiert das automatisch. Alleine dafür muss die Anzahl der verschiedenen Systeme so klein wie möglich gehalten werden.

Die "Privat Leute" (und "Bastler") haben völlig falsche Vorstellungen davon wo das Geld bleibt/eingespart und wo es verdient wird!

 

[Anmeldeblödsinn]

...
Ein "Intel Server" überprüft z.B. bei jedem Boot (ok, meist sind das mehrere Monate bis zu Jahren ) ob ein Firmware Update verfügbar ist (von der internen IT freigegeben) und aktualisiert das automatisch. Alleine dafür muss die Anzahl der verschiedenen Systeme so klein wie möglich gehalten werden...

Hätt ich noch nie gesehen das das geht. Updates gibts generell nur über die EFI-Shell oder Live-CD...