Austausch unter IT-Professionals - Erfahrungen, Tipps, Fachsimpelei

[Mac_Leod]

Also egal ob HPE oder NetApp, die Hersteller rufen so dermaßen hohe Summen für nen kleinen All Flash Storage auf, dass ich nicht verstehen, warum so wenig Dell Storage in den Firmen steht. (nein ich arbeite nicht für Dell, und hab auch keine Fanboy Brille auf, vergleiche nur die zahlen.)
Aktuell bin an der Ablösung einer alten Unity, durch einen Powerstore.
Daher auch die Frage, wir die Technik funktioniert, wenn ein Controller aussteigt, weiter oben.
In den Angebotsrunden wurden von den nicht Dell Herstellern, für die fast gleiche Leistung sooo viel mehr Geld verlangt, das einem schwindelig wird.

Hat irgendwer von euch noch eine Doku rumliegen oder ähnliches, wo explizit auf die Funktionsweise von U2 Disks in Verbindung mit 2 Controllern eingegangen wird?
Ich find hier nichts dazu
Und in den Doku die vorliegt, steht nicht mehr als das hier:

The midplane seperates the front-facing drives from the rear-facing nodes.
It distributes power and signals to all components in encolsers. The nodes and drives plug directly into the midplane.

Also hängen alles drives und nodes an einer "midplane auf PCIe basis" ?
Eine technische Zeichnung oder ähnliches such ich, aber mehr als die Marketingangabe uptime over +99,99 bekomm ich als Antwort -.-

 

[holdes]

Wie gesagt, bei SAS ist das genauso. Die Backplanes in welche du die Laufwerke schiebst sind dort öfter sogar mit Expandern im Betrieb. Je nachdem wie die Backplane verschaltet wird kannst du an diese dann entsprechend mehrere Kabel/Controller anschließen und die gehen dann entweder an den Expander oder eben direkt den zweiten Anschluss der HDD/SSD. Welches Protokoll spielt dabei keine Rolle. Das kann man sich schön ansehen wenn man irgendwo ein halbwegs gutes Bild von der Backplane findet an der man die Anschlüsse sieht .

Wenn ich heute Abend mal Zeit habe, schau ich mal ob ich nen WhitePaper zu einem der Teile finde.

 

[Mac_Leod]

das wäre lieb, danke

@Hannibal Smith

wieso Tschüss Juniper, oder meinst du nur den Firmennamen?
HPE kann so einiges von Juniper lernen.

 

[Ranayna]

HPE kann so einiges von Juniper lernen.

Im artikel bei Heise wird ja sogar erwaehnt, das der aktuelle Chef von Juniper dann bei HPE die Netzwerksparte leiten soll.
Koennt also tatsaechlich so passieren
Solang die die Finger von Aruba lassen und das nicht vernachlaessigen solls mit im Moment egal sein.

 

[Hannibal Smith]

Hoffen wir, dass es so passiert wobei früher oder später das Portfolio zusammengelegt werden wird, alles andere macht keinen Sinn.
Dass der Juniper CEO das leiten soll, lässt aber hoffen, dass es für Juniper so weiter geht.
Bin bis auf die teilweise abenteuerliche Wahl, welcher Release es denn sein darf echt ziemlich zufrieden

 

[Mac_Leod]

Wenn du den Client Access Stack mit WLAN zusammen aus einer Hand haben möchtest, ist Juniper echt richtig gut.

 

[Skysnake]

Also hängen alles drives und nodes an einer "midplane auf PCIe basis" ?

In Prinzip ja.

Also egal ob HPE oder NetApp, die Hersteller rufen so dermaßen hohe Summen für nen kleinen All Flash Storage auf, dass ich nicht verstehen, warum so wenig Dell Storage in den Firmen steht.

Das ist jetzt vielleicht deine Sicht, aber die muss überhaupt nicht allgemeingültig sein. Schau dir einfach mal die Beträge an, die für top500 Systeme bezahlt werden. Da sieht man sofort, das die Listenpreise nichts mit den echten Kosten zu tun haben. Ganz zu schweigen davon das Hersteller teils auch Geld auf den Tisch legen um bei einem Kunden in die Firma rein zu kommen. Auf lange Sicht kann das sehr lukrativ sein....

Wie groß ist den deine Firma und die Budgets?

 

[charmin]

Da sieht man sofort, das die Listenpreise nichts mit den echten Kosten zu tun haben

Genau das. Habe schon Angebote mit >80% Rabatt gesehen.

 

[holdes]

das wäre lieb, danke

So hier wäre der Aufbau im "klassischen" Sinne bei einem Controller an der Midplane/Backplane:
https://www.opencompute.org/files/OCP-Trimode-Presentation-Final.pdf


Bei dem Patent hier sieht man wie es aussieht wenn auf der Midplane dann zusätzlich ein PCIe Switch/Interposer drauf ist:
https://patentimages.storage.googleapis.com/77/2a/b2/3747315a986fb9/US20210240373A1.pdf


Die Laufwerke sind dann eigentlich immer Dual Port fähige NVMe Laufwerke:
https://www.flashmemorysummit.com/E...oceedings/2018/20180809_TEST-301A-1_Nadig.pdf

Ehrlicherweise muss ich aber sagen, in der Praxis egal welchen Herstellers habe ich das noch nicht gesehen (bei Standalone NVMe Controllern). Das gilt aber für "normale" Server. Die Kisten, die als reine Storage Systeme laufen haben da ihre ganz eigenen Platinen, die kann man da schlecht vergleichen.

Spezialisierte Storages wie Pure oder eben andere werden so etwas aber definitiv nutzen. Ich probiere das auch immer mal wieder aus, wenn ich bei uns in der Nähe von einem der Racks bin zieh mal an den Storages einen Controller raus um den Failover zu testen, klappte bisher immer . Die VMs frieren maximal 0,5-1 Sekunden ein und laufen ganz normal weiter. Die müssen naturgemäß beide physisch intern an den SSD Konnektoren verbunden sein. Das liegt aber auch unter anderem daran, dass die keine dedizierten Controller nutzen sondern direkt per Konnektor auf dem Mainboard an den CPU PCIe Lanes angebunden sind oder im höchsten der Gefühle einen HBA nutzen.

Das lässt sich technisch nur durch einen PCIe Switch/Interposer realisieren der entsprechend feststellt wenn einer der Links tot ist. Die Laufwerke werden dann vermutlich immer Dual Port Laufwerke sein.

Wenn die alte Pure rausfliegt kann ich dir aber auch gern mal ein paar Nahaufnahmen schicken, eventuell sieht man dann welcher Chip die Kommunikation zwischen beiden Controllern und den PCIe Lanes übernimmt bzw. ob die Laufwerke per Dual Port an jeweils einen der beiden Controller angeschlossen sind. Technisch wäre beides im Rahmen des Möglichen.

 

[Skysnake]

Genau das. Habe schon Angebote mit >80% Rabatt gesehen.

Ich habe da schon deutlich mehr gesehen

Die 99% aber auch nur bei Software...

Das lässt sich technisch nur durch einen PCIe Switch/Interposer realisieren der entsprechend feststellt wenn einer der Links tot ist. Die Laufwerke werden dann vermutlich immer Dual Port Laufwerke sein

Ne gibt noch ne Möglichkeit.

Es gibt PLX Switch Chips die Failover zwischen zwei Systemen können. Dann kannst du das sogar mit Single Port Devices realisieren.

Aber ja, ist alles Spezialhardware am Ende.

 

[holdes]

Genau, die hatte ich mit PCIe Switches gemeint . Die Teile sind desöfteren sogar auf Consumer Mainboards wenn die CPU nicht genug Lanes hatten. Ich erinnere mich da an die ganzen SLI/Crossfire Mainboards von damals .

 

[Skysnake]

Ne das sind schon andere Dinger.

Normal unterstützen die PLX switche nur einen PCIe rootport. Das die zwei Systeme bedienen können muss noch ne Menge in Software aber auch HW gemacht werden.

 

[holdes]

Das das nicht die gleichen Modelle sind sollte ja klar sein, dann würde so ein Brett auch ein paar Euro mehr kosten .

Microchip hat generell viele schöne Chips im Angebot mit massiv vielen Möglichkeiten von klein bis groß. Meine PCIe 5 Retimer Karten mit CXL haben beide auch deren Chips drauf und selbst die kann man mit haufenweise Einstellungen programmieren.

Aber generell gilt leider: viel IO macht auch viel Geld. Da kostet deren Silizium alleine schon in Gen5 mehr als 150 Dollar im Einkauf.

Was konkret HP, DELL, Fujitsu, Lenovo, Supermicro und die anderen auf ihre EEPROMS flashen wird wohl ein gut gehütetes Stück Code sein und sowieso nur mit den jeweiligen Layouts funktionieren.

Grundsätzlich lässt sich aber eines festhalten: egal bei welcher Technik wir die letzten Jahre und aktuell sind und waren. Wenn man das richtige kauft, ist Redundanz bisher immer möglich gewesen.

Selbst wenn das einzelne System nicht redundant wäre könnte man es letztendlich auch eine Ebene dahinter abstrahiert umsetzen, dann allerdings mit größerer Latenz bis zum Failover.

 

[Skysnake]

Mal so ne ganz allgemeine Frage in die Runde. Macht ihr eigentlich Vergaben/Bieterverfahren oder geht ihr eher zu den Anbietern direkt und sagt ich will das haben und fertig?

Mich würde echt mal interessieren wie das so außerhalb meiner Bubble gehandhabt wird. Bei mir läuft immer alles über Ausschreibungen wo das Ergebnis noch offen ist. Die Anbieter müssen also ihre Lösung vorstellen.

Gleichzeitig geben sich die großen Hersteller wie Intel, AMD und NVIDIA die Klinke in die Hand. Man kann daher die Lösungen durchaus bewerten die einem das angeboten werden. Aber wie "normal" ist das eigentlich aus eurer Sicht?

 

[DEADBEEF]

Wir müssen, soweit ich weiss, ab 50k Auftragsvolumen deutschlandweit und ab 300k europaweit ausschreiben. Bei den Summen kann sich was geändert haben aber generell sind wir auch ausschreibungspflichtig.

Und wir betreiben meherere kritische Infrastrukturen, bei unseren Anforderungen steigen die meisten eh aus. IBM, Netapp und Dell sind eigentlich Stammlieferant

 

[konkretor]

Das sich Intel, AMD und Nvidia quasi ständig um dich kreisen ist eher die Ausnahme da musst du schon einen gewissen Umsatz/Größe/Wichtigkeit haben damit dies passiert. Wegen 5 Servern kommen die nicht vorbei.

Ich hab selbst auch noch keine 500 Server auf einmal gekauft. Bei dir im HPC Bereich kaufst du ja quasi alle paar Jahre 500/X Server. Da lohnt es sich mehr als bei dem KMU Kunde mit seinen 20 Blechen.
Das ist schon etwas besonderes und so ein direkter Kontakt zum Hersteller ist für manches Thema doch besser als sich durch den Vertrieb oder Support kämpfen zu müssen.

 

[holdes]

Mal so ne ganz allgemeine Frage in die Runde. Macht ihr eigentlich Vergaben/Bieterverfahren oder geht ihr eher zu den Anbietern direkt und sagt ich will das haben und fertig?

Mich würde echt mal interessieren wie das so außerhalb meiner Bubble gehandhabt wird. Bei mir läuft immer alles über Ausschreibungen wo das Ergebnis noch offen ist. Die Anbieter müssen also ihre Lösung vorstellen.

Das hängt sicherlich davon ab in welchem Teil Deutschlands man unter welcher Verwaltung und Firmenstruktur arbeitet. Allerdings gilt das Vergaberecht wohl bei so ziemlich allen Firmen bis auf wenige Ausnahmen. Bei uns ist das eigentlich ganz einfach:

Bis zu Betrag XXXX€ reicht es wenn ich 3 Angebote einhole (3 müssen es mindestens sein zwecks Vergleichbarkeit, sonst machen die Steuerprüfer stunk). Da gehe ich natürlich primär zu meinem Hauptpartner mit dem man schon viele Jahre zusammen Projekte bewerkstelligt und frage dann noch andere um zu schauen ob die dessen Preis toppen können, dann nehm ich natürlich diese.

Von Betrag XXXXX€ bis XXXXX€ muss dann eine Ausschreibung stattfinden und wenn auch dessen Maximalbetrag geknackt wird muss es dann sogar eine Europäische Ausschreibung werden. Dann muss man natürlich extrem präzise das Leistungsverzeichnis formulieren wenn man bestimmte Hardware möchte, sonst hat man Pech und ist natürlich gezwungen das günstigste zu nehmen und im Zweifel den falschen Hersteller. Viele Firmen machen dann aber auch murks und versuchen extra günstig zu sein und werfen dann alle wahren Kosten als Nachtrag durch. Das ist ein absolutes Elend.

Gleichzeitig geben sich die großen Hersteller wie Intel, AMD und NVIDIA die Klinke in die Hand. Man kann daher die Lösungen durchaus bewerten die einem das angeboten werden. Aber wie "normal" ist das eigentlich aus eurer Sicht?

Naja, in Deutschland im Grunde ne riesen Sauerrei aber in Amerika und China völlig normal. Wie weit das dann noch an unserem geltenden Recht kratzt ist dann natürlich eine gute Frage. Man bekommt es ja an den Angebotspreisen und den UVP mit, die Rabatte sind so unreal, dass jemand der nicht aus der IT kommt sich permanent fragt was da eigentlich abgeht.

 

[charmin]

Mal so ne ganz allgemeine Frage in die Runde. Macht ihr eigentlich Vergaben/Bieterverfahren oder geht ihr eher zu den Anbietern direkt und sagt ich will das haben und fertig?

Bei größeren Themen gehen wir ggf. auf mehrere Anbieter zu, aber viele Themen platzieren wir direkt bei langjährigen Partnern Da uns insbesondere auch die Betreuung und flexible Ansprechbarkeit der Partner wichtig ist (insbesondere wichtiger als der letzte Euro Rabatt). Standardkram wie Clienthardware wird aber durchaus auch mal von anderen Anbietern geholt.

 

[Mac_Leod]

@holdes
1000 Dank. genau sowas hab ich gesucht.
Der dual Port U2 Test, war dann der "Knoten om Kopf Löser"
Gute Bettlektüre

@Skysnake
Ja natürlich, meine Meinung ist da 0 represantiv, in 10 Jahren 3x einen Storage erneuern sagt da nichts aus, das stimmt.
Budgets gibt es nicht wirklich.
Die Unity packte mit ihren 2 CPU`s unseren Workload nicht mehr, die CPUs sind an der Kotzgrenze, so das throttled Bits an die SAN switches kommuniziert wurden.
Das Modell geht EoS, daher muss etwas Stärkeres her, was innerhalb von 7 Jahren nicht erweitert werden muss.
Bei 8 TB/Jahr Wachstum bin ich bei 130 TB (bei aktuell 60TB zu migrierenden Daten + genug Puffer) rausgekommen. Alle Angaben vor Datareduce.
Bei den oben genannten Herstellern, wurden dann über ein Systemhaus mit dieser Spezifikation Angebote eingeholt.
Am Ende gab es dann 3 Angebote mit der ähnlichen Konfiguration.
10 x 15.38TB NVMe Platten mit der Möglichkeit noch Platten nachzuschieben (was die ganze Nummer extrem unattraktiv machen würde, aber wer weuß was die Softwareentwickler sich wieder ausdenken....)
Netapp ist mehr als doppelt so teuer auch mit "echten Preisen" da bleibt aus meiner Sicht nur Dell.

 

[holdes]

Ja aber wie gesagt, man kann die Redundanz auch dahinter herstellen in dem per PCIe Switch mehrere Controller an der Plane hängen, dafür müsste das Laufwerk nicht zwangsläufig im Dual Port Modus laufen .

Oder ganz abstrahiert: man hat einfach 2 Storages hängen die sich einfach Replizieren. Auf welcher Ebene man das unbedingt haben muss ist am Ende eher eine Kostenfrage und wie gut man es skalieren kann/soll/muss. 2 dedizierte NVMe Controller in einem Blech sind AFAIK gar nicht so häufig im Einsatz (nicht zu verwechseln mit Controllern in Form von kleinen 1HE Serverblades die meistens in den Storages hängen).