Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
1TB für 8500? Sind die Team Group Riegel in Ordnung?
Wo und wann hast du die Dinger gekauft? Sind das 16GB oder 32GB?
Ergänzung ()
Ich habe jetzt folgende 2011-3 Konfiguration. Das nicht redundante Netzteil ist mit 750 sicher überdimensioniert, kann man dies reduzieren? Ist wie gesagt eine Option, die ich noch im Auge halte.
Des weiteren habe ich jetzt folgenden Plan. Ich würde mir noch ein Opteronsystem hinzustellen und diese beiden dann direkt vergleichen können.
Sind in etwa 5000 Euro, wenn man es bestellen würde. Habt ihr dazu anmerkungen oder kann man dies so mitnehmen.
Die Kiste würde ich bei mir bauen, zwei wochen testen und dann mit nach Leipzig nehmen und dort in ein Rechenzentrum stellen, wenn ich nach südostasien fliege.
Ergänzung ()
Die Wasserkühlung muss ich mich noch belesen, bzw. mit dem Provider sprechen.
Ihr habt beide recht. Das eine hat 2x8pin und das redundante nur einen. Kennt ihr für das redundante eine gute alternative?
Ergänzung ()
Hier auch noch mal ein Opteron System. Für ca 5000 Euro 256GB 16GBx16 riegel. Sind etwas langsam 1066 aber dafür unschlagbar preiswert (7,5 auf den GB) und von Samsung kann man Qualitätskontrolle erwarten oder?
Gehe ich recht in der Annahme, dass AMD die Opterons für vier Prozessoren zulässt?
Was mir sorgen macht, sind die großen Termalwerte. 140W * 4 = 560W kann man die überhaupt mit nem Gehäuse und den Lüftern ausleiten? wieviel Stromkosten macht so einer am Tag? Können die sich schlafen legen?
48 echte Kerne wäre was feines. Und ich wer mir auf jeden Fall ein Opteron System dazu stellen. Ist wirklich eine gute Idee. Dann kann ich direkt vergleichen. Die Preispolitik von Intel finde ich sowieso sehr gewagt.
notwendige Gehäusebelüftung:
maximale TDP / 4 * Gehäusekorrekturfaktor = benötigter Luftdurchsatz in m³/h
bei dem Gehäuse und Aufbau kannst Du den Gehäusekorrekturfaktor mal mit 1,1 bis 1,2 annehmen
die Lüfter haben immer die Angabe, wieviel Luft sie transportiefen - das skaliert auch mit der Lüfterdrehzahl, so dass Du ausrechnen kannst, wie schnell die Lüfter drehen müssen
ein- und aussaugende Lüfter addieren sich nicht, da erhöht nur den Luftdruck (reduziert quasi den Gehäusekorrekturfaktor)
Ergänzung ()
400W ist beim Netzteil selbst für das Intel-System gewagt, bei den Opterons natürlich völlig außen vor
erst mal das System festzurren, dann das Netzteil
Danke für die Info. Gibt es am System bis jetzt etwas auszusetzen? Ich bin mittlerweile sogar auf dem Standpunkt, dass das Netzteil nicht redundant sein braucht. Wenn ich zwei DevServer habe und sich einer zerlegt, ist mir das egal. Zur not bezahlich ich auch die 100 Euro, die die Reparatur kostet.
Auch habe ich langsamen speicher für 7,5 pro GB genommen, da wie gesagt die SSDs für die Suchknoten nicht in Frage kommen.
Ergänzung ()
Auch hab ich jetzt noch eine zusätzliche Lösung gefunden, sodass ich eine Art SSD Cache nutzen werde, wo nur ein Knoten die Kopie hat, da die Ausfallwahrscheinlichkeit doch sehr gering ist und die Daten halt wiedergewonnen werden können, was nur halt um ein vielfaches aufwendiger ist, als sie von SSD zu lesen und übers interne Netz zu schicken. Ich nehme einfach eine Verteilung über mehrere Knoten vor, sodass der Ausfahl nur einen Teil des Datenbestandes trifft, den ein einzelner Server erzeugt und vorhält. Somit müssen ein solcher Speicherknoten ausfallen und gleichzeitig ein Knoten der die Informationen vorhält und man verliert nur die Menge an Daten wie 1/Anzahl der Speicherknoten. Das ist sehr vertretbar. Fällt ein Speicherknoten aus, so bekommt der andere Knoten dies mit und nutzt einen beliebig anderen Speicherknoten um seine Daten abzulegen. Ursprünglich wollte ich die Daten dreifach replizieren. Was für ein Murks.
Danke. Ist SWTX (http://en.wikipedia.org/wiki/SWTX). Ich hab nur ATX gelesen und gesagt passt schon, war aber das ATX von der Stromversorgung. OK dann schau ich mal nach einem anderen gehäuse. SWTX findet man nur von supermicro. Sonst hat keiner ein 4xCPU mainboard?
Ergänzung ()
Ok jetzt hab ich meine Hände mal an einen 2x Opteron AMD legen können und mit einem 2x Intel v2 verglichen. Vergleich war die Zeichenanalyse der englischen Wikipedia. Das war jedenfalls desaströs, um es einmal zu sagen. Dafür, dass die Analyse linear mit den Kernen skaliert, war der Intel viel schneller fertig. Die per Core Leistung war bei ähnlichem Takt bis zu drei mal höher (bei bestimmten Analyseschritten). Dafür heizen die Opterons noch ganz schön die Umgebung mit dem ganzen schönen Strom.
Auch hab ich mal den Effekt von DDR3 und DDR4 gemessen. Da sind 20 bis 30% mehr Bandbreite in der Sekunde drin möglich. Also nicht wenig. Da die Hauptalgorithmen alle gut in den L2(L3) Cache passen, dürfte der Speicher aber nicht sonderlich interessant sein. Ich denke höchstens 5% bis 10% Leistungsunterschied.
Also denke ich momentan habe ich mein System gefunden. Das Mainboard ist etwas teurer aber von Intel. Ich war immer dagegen am Mainboard zu sparen.
Um die Ausfallsicherheit zu erhöhen wäre es da nicht sinnvoll doppelte CPU Lüfter zu verwenden? Gibt es ein Redundantes Netzteil?
Mehr GHz bringen mir keinen Informationsgewinn und sollte ich ausversehen was kaputtmachen, wäre die Träne auch nicht ganz so gross.
Wie gesagt das ganze mal zwei, ich werde aber erstmal nur einen Satz (16x16GB) Speicher beziehen und beide Systeme damit bestücken. Wenn der Ausschuss nicht da ist und die zwei Wochen gut laufen, kaufe ich nochmal einen Satz und geb die dann im Rechenzentrum ab.
Ergänzung ()
Hat auch etwas gedauert, bis ich mich eingelesen habe. Und ja ein System bekommt Waku und Neon verpasst, aber erstmal will ich eines ohne dieser Spielerrein laufen lassen.
Es werden nur die 4x 512 SSD verbaut. Raid gibt es nicht. Das erledigt die Software bzw. unser System soll dies erkennen und den Knoten in einen bestimmten Wartungsmodus versetzen bzw. deaktivieren.
Wie gesagt es ist der Entwicklungsserver, das ist nicht so kritisch, wenn einer von den zweien mal nicht mehr möchte. Die späteren richtigen Server sehen nochmal leicht anders aus. Es könnte auch sein, dass andere SSDs eingesetzt werden. Ich habe dann ja 8 SSDs in den Lastszenarien, wenn die alle gut mithalten, setze ich diese natürlich weiterhin ein.
Sind die Gehäuselüfter nur für das Ausfüllen der optionalen Lüfter des Gehäuses oder sollte ich alle Lüfter austauschen? Lohnt sich eine extra Lüftersteuerung?
----
Mir fällt gerade auf, wenn ich die 4xSSDs parallel betreibe, wie verhält sich das eigentlich mit der Datenrate. Es werden ja pro Platte ein Kanal belegt. Der SATA III Sandard läuft mit 4,8GHz und da 8b/10b übertragen werden, ist der Standard ja bei 480MB/sec der Kanal erschöpft. Das Intel bietet mir 10xSATA III Anschlüsse. Wenn ich auf alle jetzt 480MB/sec übertragen würde, wieviel gesamt Bandbreite wird dem System hierbei zur Verfügung gestellt? Ich glaube nicht, dass man dort 5GB/Sec erreicht. Werden die Platten über Kanäle ausgelesen? Wird der PCI bus verwendet? Ich habe leider kaum brauchbares lesen können.
Zum einen es ist der Dev Server (Entwicklerserver).
Zum anderen, wenn eine SSD zerlegt wird, reagiert der Knoten ganz einfach, kugel in den Kopf (hard reset), neustart, recovery (wenn fehlschlägt dann SSDs löschen und nochmal Hardreset) fertig. Keine 30 sekunden benötigt das (wohl ehr 10 sekunden). Das ist alles. Da muss keiner mehr was swappen.
Ein Server kostet in der Konfiguration 4000 bis 5000 Euro, Standmiete 1000 euro pro jahr (Rackspace dürfte ähnlich sein), bei 5000 euro sind dass pro Woche um die 60 Euro Abschreibung. Dafür schickst du niemanden zum Reparieren oder bezahlst Bereitschaftsdienste. Redundante Netzteil könnten vielleicht sinn machen, redundante Lüfter vielleicht auch. An sonsten wen interessiert es. 100TB SSD für 38400 Euro? 10TB Ram für 80000? Ok der ist etwas langsamer die CPUs sind langsamer, aber dafür kann ich mir das doppelte hinstellen.
Ich kenne große Firmen die machen das mit 1000 Servern gleichzeitig, die kommen mit Kontainern aus China schon fertig konfiguriert und zusammengebaut. Einmal im Monat dürfen Mitarbeiter auf die kaputten Server bieten und nehmen die mit nach hause, was nicht ersteigert wird geht an eine lokale Firma, die diese Ausschlachtet und weiterverkauft. Da wird nix mehr repariert, neu rein, alte veräußern, fertig.
Und mal sehen wie sich die zwei Entwicklungsserver machen. Deshalb ja auch der Test. Eine Stichprobe halt. Eine Stichprobe von 32 Ramriegeln, zwei Mainboards, vier CPUs und zwei Netzteilen. Wenn in drei Monaten nichts damit los ist, tja dann sehen die nächsten Server ähnlich aus. Vielleicht zwingt dich die Politik des Datenzentrums zu anderen Netzteilen, aber das wars dann schon.
Mal sehen wie weit ich komme. Und ja ich werd das testen, ich werde den Stecker von der SSD ziehen. Und ja der Server wird auch vom Cluster beobachtet werden. Sollte der sich x mal inn wenigen Minuten neustarten, wird er deaktiviert und schaltet sich ganz ab. Ende vom Lied. Und wenn von 10 Knoten zwei Knoten kaputt gehen, wenn juckt das? Minimum sind fünf Knoten wobei drei SSD haben müssen. Im Standardmodus haben fünf Knoten SSD und die anderen nur RAM.
Ergänzung ()
Schon mal jemanden aufgefallen, dass ich keine Extra Netzwerkkarten einbaue? Nix mit Redundant. Wenn Netzwerk kaputt, Kugel in den Kopf, neu starten. Wenn kein anderer Knoten im Cluster dann warten. Finden sich minimum fünf Knoten (drei mit SSD), dann hoch fahren bis Datenbank komplett ist (fehlt ein Shard, dann warten). Sind alle notwendigen Knoten da, wird noch gewartet bis Google.com erreichbar ist (Internetfunktionstest). Das ist der ganze Startupcode.
Sind es später viele Server, die sich auf mehrere Schränke verteilen, dann sind die in Reihe. Entweder der letzte hat internet oder nicht. Hat er keins, kugel in den kopf. Daher kommt es zum Split, hat nur ein Teil des Clusters internet, der andere nicht. Der ohne Internet schiesst sich sofort in den Kopf (am besten per Lichtgeschwindigkeit) und startet neu bis er auf einen Cluster trifft, der Internet hat. Durch dieses einfache Schema muss keiner mehr irgendwas am Server rumhantieren. Entweder es funktioniert oder es funktioniert nicht.
Kurze Frage, vllt weißt du das ja: Ist eine Wakü überhaupt erlaubt in einem Rack in nem Rechenzentrum?
Wenn da irgendwas undicht ist oder kaputt geht, sabscht das ja aus den Rackgehäusen raus und mit Pech ins nächste rein
Nehmen die sowas billigend in Kauf oder wie ist das bei der Haftung?
Intel baut immer noch Mainboards? Ich dachte die wollten aufhören. Die haben einen desaströsen Ruf. CPUs können die, Platinen nicht. Nimm lieber eine Alernative.
Wakus sind im Rack nicht erlaubt. Ich habe eine Gamingklitsche für die ersten zwei Server. Die stehen unten im Regal mit anderen Servern. Das wasser ding hat glaub ich auch nur einen Liter oder einen halben. Dazu gibts nen piepser der läuft auf Akku und macht Lärm, wenn er mit wasser in Berührung kommt. Im richtigen Rack werden sie dir einen Husten. Da darf man noch nicht mal nicht zertifizierte Netzteile anschleppen.
Hatte das Supermicro auch genommen, weil es ok war und vorallem von 45 Händlern lieferbar. Kann also gar nicht so schlecht sein (eigentlich will ich einfach nur gut lieferbare auswahl ohne bei 10 gleichzeitig zu bestellen).
Das ist meine Liste. Hab auch gesehen, dass alle Dual CPU Mainboards die relevant sind, mit zwei Netzwerkanschlüssen kommen. Der Server wird sich trotzdem in den Kopf schiessen, wenn ich einen physischen Netzwerkfehler feststelle. Mir Wurst
Das Gehäuse ist imho nicht halbwegs geeignet für dieses Board. Kannst nur die mittleren und die linken Schrauben verwenden.
Brauchst du nicht eh ein 19" Rack Gehäuse? o0