Core i5 - eierlegende Wollmilchsau - NAS / Router / VDR / ...

[crossblade]

Es ist schon wieder so weit, die nächste VM Steht.

Die Firewall aufzusetzen war einfacher als ursprünglich geplant. Mit m0n0wall war das relativ schnell bewerkstelligt. Gut ursprünglich war OpenBSD für die Firewall vorgesehen, aber ich denke mit einer spezialisierten Firewalldistribution kann man nicht viel falsch machen. Die SSD Kapazität war mit 8GB deswegen auch viel zu groß ausgelegt. Ich schau ob ich die auf 1GB Verkleinere. Auch sind die momentan zugewiesenen 512MB RAM vermutlich noch „zuviel“. Mal sehen wie sie mit 256 und 128MB läuft.

Als nächstes kommt ein Proxy Server der wird auch in einer VM unter Linux laufen.
Bisher dachte ich dabei an den Squid unter Arch – welchen neheme ich da den 3.1 oder den 2.8 ?

@mlampe
Beim Motherboard muss man schon auf die Anschlüsse. Wenn man einen PCI port braucht ist z.B. das MSI H57 nichts. Auch sind IMHO die Realtek LAN-PHY nicht so toll.
Von Intel gibt es 2 Consumer und ein Busines Mainboard mit jeweils original Intel LAN
Das Media DH55TC ist relativ preiswert, hat 6 interne SATA Anschlüsse das DH57DD hingegen nur 5. Dafür ist es legacy free und hat das etwas bessere Bios.
Das busines Board DQ57TM hat den fast identischen Q57er Chipsatz einen Professionellen LAN Controller (mit TCP Offload) aber auch ein TPM Modul

Grüße
Crossblade

 

[mlampe]

Juhu,

Auch auf die gefahr hin, dass das hier niemanden interessiert...

@Crossblade:
Ich lösche diese Zeilen auch gerne wieder raus; ich will ja nicht DEINEN
Thread zumüllen

Ich hab heute meine Prüfung erfolgreich hinter mich gebracht.
Ich kann mich jetzt voll und ganz diesem / meinem eigenen Projekt widmen.

Mit ein bißchen Glück kommt morgen mein Lian Li Q08 incl dem Netzteil. Dann hab ich was zu tun.

Das MSI reizt zwar wegen den Anschlüssen, aber die RTL NIC läßt mich echt davon abstand nehmen.
Das Intel MB DQ57TM hatte ich auch schon vorher in Augenschein genommen, aber verworfen da ich ja "damals"
noch ein ITX wollte/brauchte. Aber jetzt ist das was anderes..
Mich würde dabei auch "Intel® AMT" interessieren. Ich habe damit bisher noch nichts gemacht, aber finde die Funktionen sehr interessant. Durch die 2 x PCIe Steckplätze (die auch dein MB hat) kann ich SATA-Anschlüsse und , je nachdem, einen weiteren PCIe Intel LAN-Controller hinzufügen.
TPM OK, aber das kann mir mit dem was ich vor habe relativ egal sein.

TCP Offload sagt mir nichts. Was hab ich davon, wenn ich es hab? (Super Satz, )

Jetzt gleich geht's ins Kino (Iron Man 2)...

Grüße
mlampe

EDIT: Ich hab meine Bestellung von Caseking gerade bekommen. Nun kanns los gehen

 

[crossblade]

Zuallererst einmal das Wichtigste
@mlampe
Herzlichen Glückwunsch zur bestandenen Prüfung!
Dann kann das Projekt ja losgehen...

PCIe sind schon einigermaßen nützlich. Ich benutze ja auch einen davon, aber wenn man z.B. TV Karten einbauen will ist man doch noch immer auf PCI angewiesen.
Btw. Weiss jemand ob man in den 16x PCIe-Port auch andere Erweiterungskarten außer Grafikkarten hängen kann? Der hängt ja direkt an der CPU/GPU.

Zum TCP Offload:
Als TCP Offload bezeichnet man die Fähigkeit der Netzwerkkarte Berechnungen für das TCP Protokoll zu übernehmen. Das können heutzutage viele Netzwerkkarten mehr oder weniger gut. Zusätzliche Intel Karten können das meiner Erfahrung nach besonders gut – oder eben der onboard NIC des Q57
Für mehr Details siehe auch: http://en.wikipedia.org/wiki/TCP_offload

So und nun noch ein paar Ergebnisse der ZVOLs:
Ich hab 3 ZVOLs mit Ext2, Ext4 und XFS mit jeweils nominell 16GB angelegt. (Eines ohne Journal, eines mit und eines mit einem anderen internen Aufbau)
zfs create -V 16G daten/test/zvols/ext2
und per iSCSI freigegeben mit:
zfs set shareiscsi=on daten/test/zvols/ext2
Und das gleiche analog für die anderen Dateisysteme.
Kompression und deduplikation wurde für alle ZVOLs übergreifend gesetzt
Als erste Testdatei kam zunächst das Image Arch Linux zum Einsatz.

Ergebnisse
Dedup Ratio: 2.47x
Eigentlich ist das ganz OK da die Dateisysteme ja jeweils eigene Verwaltungsstrukturen aufweisen – aber die eigentlichen Daten sind ja gleich.

Doch dann kam die Ernüchterung. Nachdem ich das Image ausgepackt habe sank die Dedup Rate auf 1.72x. OK die Verwaltungsinformationen nehmen zu – aber doch nicht in diesem Maße...
Die Begründung ist natürlich recht Simpel (wenn man erst einmal darauf kommt) Die Dateisysteme in den ZVOLs arbeiten mit 4kB Blöcken die ZVOLs selbst jedoch (ZFS typisch) mit variablen Blockgrößen von bis zu 128kB.

Naja das Problem war schnell behoben
Man könnte einfach auch nachträglich die Blockgröße ändern (tunen),
zfs set volblocksize=4K daten/test/zvols/ext2
aber das gilt dann nur für die neu geschriebenen Sektoren. Daher der saubere Weg: alte Daten gelöscht, Test Pool neu angelegt und die ZVOLs neu erstellt – diesmal mit einer Festen Blockgröße von 4 kB.
zfs create -V 16G -o volblocksize=4K daten/test/zvols/ext2

Und siehe da:
Dedup Ratio: 2.96x mit nur der Großen Datei und immerhin noch 2.91 mit den entpackten kleinen Dateien.
Da sieht man mal wieder wie wichtig es (nicht nur für die Perfomance) ist die richtige Blockgröße zu wählen.

Grüße
Crossblade

 

[mlampe]

@crossblade

Vielen Dank für die Glückwünsche!

In der Beschreibung zu deinem MB auf Seite 17 (PDF) steht's drin.

Digital Visual Interface (DVI-I)
Depending on the type of add-in card installed in the PCI Express x16 connector, the
DVI port will behave as described in Table 4.

Daraus geht hervor, dass in dem PCIe x16 Slot auch Nicht-Grafikkarten mit PCIe x1 aufwärts beteiben kann.
Zotak unterstützt das bei seinen Boards z.B. nicht.
Dort wird (trotz gleichem Chipsatz) nur eine PCIe x16 Graka unterstützt.
Ob MSI & Konsorten das auch so handhaben weiß ich nicht.

Das mit TCP Offload liest sich gut.

Zusätzlich reizt mich ja das Intel AMT.
Ich hab gelesen, dass zum Nutzen von Intel AMT das Betriebssystem auf dem Q57-MB völlig egal ist.
Hier zwei interessante Video's, die das gut demonstrieren...
http://www.youtube.com/watch?v=D9BBXBZ5Ifs (Teil 1)
http://www.youtube.com/watch?v=joeEBJeUfbk (Teil 2)


Stand jetzt ist das DQ57TM mein Favorit.

Das Q08 ist ein echt schnuckeliges Gehäuse.

Gruß
mlampe

 

[crossblade]

So Die VM mit Arch und Squid 3.1 als Proxy für das LAN ist auch in Betrieb. Den SQUID zu konfigurieren ist gar nicht so einfach (mit den ganzen ACLs und Cache Directorys)– aber zumindest läuft es jetzt. Nur irgendwo ist da noch der Wurm drin. Zumindest fühlt sich das ganze irgendwie Träge an. Der Durchsatz stimmt, also ist beim downloaden weder besser noch schlechter geworden. Irgenwie fühlt sich das Surfen aber dennoch Träger an als ohne Proxy. Das würde natürlich dem Sinn widersprechen.
Ich werde mal ein paar Benchmarks machen und mit der Konfiguration spielen – das sollte doch in den Griff zu bekommen sein.

Und nun noch zur Abrundung eine weitere Energiemessung:
Aktueller Verbrauch ohne VMs 32,0W
Mit Aktivierter zweiter LAN und Firewall 32,4W
Mit ZFS NAS (idle) 32,6W
Aktivierter Proxy Server 32,6W

Wie man sieht Verbraucht die zweite LAN Schnitstelle – obwohl nur mit 100Mbit – etwas Strom.
Der Proxy hingegen stellt vermutlich keine nennenswerte Mehrbelastung dar...

Das mit dem PCIe x16 Slot sind gute Nachrichten – zumindest wenn es mal ans Aufrüsten geht.
Auf jeden Fall sollte man den nen ordentlichen Raid Controller darin rein bekommen. Meiner erfahrung nach verursachen die billigen RAID Controller mehr Ärger als sie nützen
OK zugegeben ZFS übernimmt die RAID Funktionen deutlich besser. Eigentlich stellt ein RAID Controler ja nur im JBOD Modus die Platten bereit – aber ein ordentlicher Highpoint / Promise / Intel Controller ist trotzdem wohl keine Fehlinvestition.
Naja noch reichen die 4 Daten Festplatten aus...

Danke für die Video Links
Das mit dem Intel AMT hört sich sehr interessant an. OK braucht man eher selten, und dann kann man ja Theoretisch ja auch noch schnell Monitor und Tastatur anschließen – aber nett ist das schon Insbesondere, das man Images über das Netzwerk booten (ohne Netboot) kann ist bestimmt praktisch.
Firewall auf dem NIC halte ich für nicht so sinnvoll, da die OS interne Firewall (oder in ner VM) vermutlich Flexibler ist – aber ich lasse mich gerne eines besseren belehren.

Grüße
Crossblade

 

[mlampe]

Wenn das mit dem AMT so funktioniert, dann könnte ich das Installations-Image über das Netz booten und brauche kein DVD-ROM

wir werden sehen...

 

[AvS]

Hallo zusammen

Ich sehe nicht wieso ein TPM schlecht sein soll. OK manchmal wird er zwar leider für DRM eingesetzt. Unter Linux ist das sogar nützlich. Man kann die Integrität des Systems überprüfen. Außerdem ist der Zufallszahlengenerator nützlich um den Entropie-Pool aufzufüllen, was insbesondere bei headless Systemen einiges bringt. Und AMT ist purer Luxus, wenn man nicht gerade eine SSH konsole oder so instaliert.

Mit einem Proxy ist natürlich der Ping größer, aber das sollte bei einer lokalen Installation nicht ins Gewicht fallen. Vermutlich ist der Cache noch nicht ausreichend gefüllt. Es gilt dabei aber auch zu beachten, dass viele Webseiten bei der Standartinstallation nicht gecached werden. Die meisten Server schicken standartmäßig den Cache-Control: no-cache header aus.
Ich würde empfehlen die maximale Objekt Größe auf ein paar hundert MB hoch zu setzen, und Grafiken per default zwangsweise länger zwischen zu Speichern. Auch bringt es einiges Dynamische Seiten ca. einige Minute zu cachen und manche Seiten (z.B. Youtube) länger zwischenzuspeichern. Das bricht zwar mit dem Standard bringt aber für die meisen Seiten einen risigen Geschwindigkeitszuwachs.
Am Besten schaust du dir mal http://wiki.squid-cache.org/ConfigExamples/DynamicContent/YouTube an.

Squid kann auch durch die Art Verbindungen zu managen dazu führen, dass HTTP langsammer erscheint, da er normalerweise weniger parallele Verbindungen öffnet. Falls du einen Modernen Browser verwendet fehlt ebenfalls pipelining

 

[crossblade]

@mlampe
Ein DVD Laufwerk bringt in einem Server nicht viel. Zumindest nicht wenn man nicht massenweise Daten brennen will. Das Installations-Image kann man auch gut per bootbarem USB Stick in den Rechner bringen. Zumindest Ubuntu und Arch funktionieren einwandfrei.

@AvS
Danke für den Tip mit dem Proxy. Nach anpassen des maximalen Cache und ignorieren des no-cache headers haben einiges gebracht. Mehr parallele Verbindungen (32) hab ich auch gemacht. Nur wie man das pipelining aktiviert hab ich nicht gefunden.

Als nächstes kommt der VDR an die Reihe. Die VM ist schon aufgesetzt und das durchreichen der TV Karte scheint auch zu funktionieren. Ich werde jetzt mal versuchen VDR ohne GUI zu installieren und das Resultat zu streamen. Mal sehen ob das auch so gut funktioniert.

Grüße
Crossblade

 

[mlampe]

Das mit dem DVD-ROM sehe ich genauso. Das würde blos Strom verbrauchen und das Gewicht erhöhen, sonst nix. Dafür habe ich mir ja das Intel AMT gegönnt. Damit werde ich auch versuche, die Installation vorzunehmen.

Habe mir Arch schon heruntergeladen. Wenn ich das nehme hat das den Vorteil, dass ich unter Ubuntu den 33er Kern nicht nachinstallieren muss (für die Komplette Core i3 Unterstützung) und wir hätten das gleiche Host-System (wäre event. hilfreich bei auftretenden Phänomenen )

Grüße
mlampe

 

[crossblade]

Das Linux soll ja eigentlich nur als Host dienen, ist also nicht so kritisch. Als Distribution würde ich dir daher die empfehlen, die dir am meisten zusagt. Arch linux hat halt ein roling release – ist also immer ziemlich aktuell. Andererseits ist es halt etwas frickelig, in der Konfiguration.
Etwas kritischer ist da die KVM konfiguration (aber machbar wie man sieht).
Im Prinzip einfach ne VM aufsetzen mittels -drive Option (es geht sogar auch –hda)
die Festplatten durchreichen. Anschließend feintunen (-smp=2 –m 4096 usw.) und natürlich die unsägliche Netzwerk Konfiguration nicht zu vergessen.
Für die Netzwerkkonfiguration kann ich http://en.gentoo-wiki.com/wiki/Kvm empfehlen.

Aber wenn du noch nie mit KVM eine virtuelle Machiene aufgesetzt hast solltest du eh erst mal mit Linux unter Linux rumspielen, um die Feinheiten kennen zu lernen .
Ansonsten kann ich bei Fragen auch direkt versuchen auszuhelfen – wenn ich noch weiss wie genau ich das gelöst habe Ich hab mich oft einfach mittels diverser Tutorials und WiKis durchgeschlagen und so lange probiert, bis es lief wie ich wollte. Ungefähr weiss ich zwar was ich immer gemacht habe – aber Frag mich bitte nicht was, wie und in welcher Konfigurationsdatei Ich etwas geändert habe .


Grüße
Crossblade

 

[mlampe]

Ich habe mich gestern mal mit Ubuntu 10.04 64Bit LTS auseinander gesetzt, speziell die Kernel-Version, KVM und auch VirtualBox (von Sun) Installation.
Ich habe in der Vergangenheit schon viel mit Ubuntu gemacht. Vor Ubuntu habe ich das org. Debain eingesetzt.

Ich werde Deinen Rat bezüglich der Linux-Disti annehmen und daher Ubuntu 10.04 64Bit LTS benutzen.

Ich habe gestern erfolgreich den Kernel 2.6.34, KVM und VirtualBox installiert. Weiter machen konnte ich nicht, da das Ubuntu selbst virtualisiert war

Den Kernel musste ich auch nicht selbst kompilieren.
Den habe ich als fertiges deb-Paket hier gefunden.
http://kernel.ubuntu.com/~kernel-ppa/mainline/v2.6.34-lucid/

Es funktioniert bis jetzt einwandfrei.

Vielen Dank! Ich werde bestimmt noch Fragen haben und mich dann bei Dir melden.

 

[crossblade]

So endlich ist es geschafft. Das meiste funktioniert ungefähr soweit schon wie ich es mir vorstelle – an den Details arbeite ich noch etwas.
Der PVR ist auch einigermaßen aktiv. Das durchreichen der DVB Karte vom Host Sytem zum Gast klappt soweit ganz gut. Ich hab zwar 2 Anläufe gebraucht die Distribution mit VDR zu konfigurieren. Dabei war ein zuerst seltsamer Fehler noch drin, immer wieder ging der VDR sporadisch nicht. Leider musste ich feststellen, dass das Versetzen der TV-Karte in den Sleep Modus in der VM nicht richtig funktioniert. Naja ich kann mich ja später immer noch damit beschäftigen.

Ich muss sagen der VDR ist einigermaßen praktisch – wenn es mal läuft.
Time Shifting und Streaming sind zumindest über das Netzwerk möglich. Einfach den VLC gestartet und es geht. Der Programmwechsel funktioniert aber noch nicht so wie ich es mir vorstelle.

Ich spiele gerade noch mit MythTV etwas herum – aber es scheint mir noch komplizierter und Ressourcenhungriger als der VDR zu sein.
Kann sonst noch jemand ein PVR Paket für die Headless-installation empfehlen?

Alles was noch fehlt ist etwas Feinschliff an PVR und Proxy. Der Rest läuft schon ziemlich gut. Ich werde mal schauen was ich noch demnächst hin bekomme. Den Produktivbetrieb schiebe ich aber noch etwas auf, oder werde zumindest noch etwas zweigleisig fahren. Ich hoffe aber das der VDR schon zur WM im Einsatz ist

@mlampe
Klar werde ich helfen, wenn ich weiter weiss.
Grüße
Crossblade

 

[rakim]

Das hier könnte euch interessieren:
http://github.com/behlendorf/zfs
http://wiki.github.com/behlendorf/zfs/faq
http://bbs.archlinux.org/viewtopic.php?id=98551