10 GbE Videoschnittserver - Selbstbauberatung

[FabianX2]

Hallo zusaammen,

mein 10 GbE Netzwerk zuhause läuft problemlos. Jetzt ist die Arbeit an der Reihe. Ich habe eine kleine Filmschule/Filmproduktionsbetrieb. Ziel ist es dass in der Regel mindestens 4 im extrem 5 - 7 Workstations simultan Material vom Server schneiden können. Wir sind klein und finanziell stark eingeschränkt. Ich bin gerade dabei mir einen groben Schlachtplan zu machen und würde mich über Unterstützung freuen.

Wir schneiden haupsächlich 6k Raw Files mit Premiere. Bisher muss sich jeder die Files vom NAS auf die SSDs der jeweiligen Workstation ziehen und arbeitet dann dort. Das kostet Zeit und ist inneffizient gerade wenn mehrere Mitarbeiter die gleichen Files nuztzen. Grundsätzlich hat sich erwiesen dass der Schnitt flüssig läuft sobald grob 300mb/s peak zur Verfügung stehen. Die Idee wäre ein Sata SSD selbstbau NAS über 10GbE anzubinden und alle direkt vom Server schneiden zu lassen. Wir haben einige MX500 2TB Platten übrig.

Raum 1 (5 Workstations + 1 Mobile workstation letztere braucht nicht zwingend 10GbE)

Netzwerkkarten: 5x ASUS XG-C100C: 439,50€ (je 87,90€) -> Nutze ich auch zuhause. Tut was es soll
Switch: 2x TP-Link TL-SX1008: 570€ (je 285€)

Server:
SSD: ?x Sata 2Tb MX500
HDD: 2x 18TB
Mobo: AM4 Mainboard welches?
Raid Controller: ?
CPU: 5700g o.ä.: 189€ (so brauche ich weder GPU noch IPMI o.ä. und kann ein consumer Brett nehmen, ECC geht auch)
RAM: 64-128gb ECC RAM: 200 - 500€
Netzwerkkarte: 2x ASUS XG-C100C: 175,80€
Netzteil: ?
Gehäuse: ?

Phase 2: Raum 2 (3 Workstations)

Switch: TP-LINK TL-SX105: 285€
Netzwerkkarte: 3x ASUS XG-C100C: 263,70€


Vorgehen:
Wir haben einen Haufen 2TB MX500 Stata SSDs die aktuell in den Workstations stecken. Die können alle in den Server. Ich gehe grob von 5 bis 10 brauchbaren SSDs aus. Die genaue Zahl wird im lauf der Woche ermittelt. Ggf. werden weitere zugekauft. Daraus ensteht ein Pool aus 10 bis 20TB SSDs (ZFS/ZFS1) Speicher. Das sollte für die Projekte reichen die akut geschnitten werden. Das Archiv bilden 2x 18TB HDDS also 36TB Jbond. Das Backup läuft auf unser altes 920er Synologie da sind auch 2x18TB verbaut (Jbond). 2. Backup geht in die Cloud (google drive unlimited) und das aller wichtigste liegt local getrennt mit verkraftbaren Verlusten auf einer 18Tb externen.

OS:
Da ich zuhause mit TrueNas (FreeBsd) gut zurecht komme habe ich auch für den Einsatz in der Arbeit an TureNas oder Core also Linux anstelle von FreeBSD gedacht.

Dateisystem und Verbund:
ZFS funktioniert bei mir zuhause auch super wäre daher meine erste Wahl. Ggf. je als ZFS1 damit ein wenig Ausfallsicherheit gewährleistet ist. Backup ist wie oben beschrieben anderweitig gelößt.

Offne Fragen:

1. Anbindung der Speichermedien/Mainboard, Controller:
Zuhause nutze ich ein ASRock Rack und dazu einen Intel Speicher Controller das klappt super. An sich ist in der Arbeit das Rack Mainboard gar nicht nötig. Da eine APU verbaut wird und der Server in Eingabegeräte und Monitor nähe steht spricht in meinen Augen nichts gegen eine Consumer Lösung. Nur welches Brett genau?

Da es kaum ein Mobo mit sovielen internen Sata Ports gibt wird es wohl einen einen Speicher Controller für die SSDs brauchen. Die Frage ist welcher? Faktoren sind Preis, Performance und kompatibilität zu True Nas (soweit es dabei bleibt). Die HDDs nutzten dann die Mobo Ports.


2. Ich hab keine Erfahrung mit Simultanen Zugriffen von im Schnitt 4+ Videoschnittworkstations. Sind ca. 300mb/s pro Arbeitsplatz überhaupt realistisch? Wie viele Sata SSDs sind dazuz nötig? Welchen Controller braucht man dafür? Reicht RAM und CPU?

Gleiches gilt für die Switches. Ich habe Zuhause gute 1000mb/s allerdings direkt vom Server zur Worksation ohne Switch. Daher war meine Rechnung: 2x 10GbE Switch + 2x 10GbE Nic im Server = 2000 mb/s max Druchsatz. 2000mb/s : 7 Rechner = 286mb/s dass sollte gerade so noch reichen. Im Normalfall sind auch eher 3-4 Rechner parallel am schneiden das wären dann 2000mb/s : 3/4 = 667mb/s / 500mb/s und das reicht dann locker.

Wichtig ist auch dass es sich ja nur im peak 300mb/s pro Rechner anliegen müssen. Es ist also der absolute worst case dass alle rechner gleichzeitig in so einer peak phase im Schnittprozess sind.

So das waar jetzt viel Text danke schon mal im Vorraus für den Input.

 

[Fujiyama]

Bist du den sicher das du dir nen Server für die Arbeit wirklich zusammenschustern willst? Was passiert wenn die Möhre mal ein paar Tage steht und nicht zum laufen gebracht werden kann?
(Zumindest würde ich bei manchen Komponenten kein Konsumerhardware wählen, bei der Auswahl drehen sich meine Fußnägel hoch)

 

[PHuV]

Aufgrund meiner Erfahrung mit Selbstbau-NAS siehe https://www.computerbase.de/forum/threads/selbstbau-neues-nas-welcher-raid-controller.1984553/ kann ich nur zu einem separaten Raid-Controller raten. Die Performance ist über Intel-Chipsatz und Raid einfach unterirdisch. Da Du eh schon SSDs verwendest, brauchst Du an sich keine Cache-Lösung mehr, Du solltest aber unbedingt darauf achten, daß Du die Option raid through verwendest, und Du den Controller per Batterie und mit Cachemodul versehen solltet, so daß beim Ausfall Deine Dateien nicht kaputt gehen.

Ansonsten stimme ich @Fujiyama zu, mit Consumerhardware würde ich das nicht lösen. Und ebenso sollte ein gutes Backupkonzept dahinter stecken.

Wenn das ein kommerzieller Betrieb ist, kannst Du Doch jederzeit alle Hardware entsprechend steuerlich absetzen.

 

[gaym0r]

Aufgrund meiner Erfahrung mit Selbstbau-NAS siehe https://www.computerbase.de/forum/threads/selbstbau-neues-nas-welcher-raid-controller.1984553/ kann ich nur zu einem separaten Raid-Controller raten. Die Performance ist über Intel-Chipsatz und Raid einfach unterirdisch.

Er will doch "Software-Raid" (ZFS) und kein Hardware-Raid machen.

Wenn das ein kommerzieller Betrieb ist, kannst Du Doch jederzeit alle Hardware entsprechend steuerlich absetzen.

Was es nicht kostenlos macht.

Gleiches gilt für die Switches. Ich habe Zuhause gute 1000mb/s allerdings direkt vom Server zur Worksation ohne Switch. Daher war meine Rechnung: 2x 10GbE Switch + 2x 10GbE Nic im Server = 2000 mb/s max Druchsatz. 2000mb/s : 7 Rechner = 286mb/s dass sollte gerade so noch reichen. Im Normalfall sind auch eher 3-4 Rechner parallel am schneiden das wären dann 2000mb/s : 3/4 = 667mb/s / 500mb/s und das reicht dann locker.

Netzwerk wird hier nicht das Bottleneck werden.

Mit einem RaidZ1 bestehend aus 10 MX500 SSDs wirst du ca. 9-fachen Read-Speed erreichen, das sind 4500 MB/s. Bedenke, dass hier aber die Ausfallwahrscheinlichkeit steigt, da nur eine SSD ausfallen darf, damit es weiter läuft.

 

[nciht]

2x TP-Link TL-SX1008

Bedenke, dass wenn du die mit 10GBit/s verbindest, zwischen den Switches auch nicht mehr als 10Gbit/s traffic sein kann. Wenn der Server also nur an einem Switch hängt, und 3 Clients am anderen haben die eben zusammen nur 10GBit/s und wenn der Server nur mit 10GBit/s angeschlossen ist, sich eh alle Clients die 10GBit/s zum Server teilen...

 

[DFFVB]

Mit den Asus Karten (Marvell, ehemals Aquantia) wirst Du unter FreeBSD vermutlich nicht so viel Freude haben, wenngleich es mittlerweile wohl sogar Treiber gibt...

 

[FabianX2]

Bedenke, dass wenn du die mit 10GBit/s verbindest, zwischen den Switches auch nicht mehr als 10Gbit/s traffic sein kann. Wenn der Server also nur an einem Switch hängt, und 3 Clients am anderen haben die eben zusammen nur 10GBit/s und wenn der Server nur mit 10GBit/s angeschlossen ist, sich eh alle Clients die 10GBit/s zum Server teilen...

Die Idee war zwei 10GbE Nics im Server zu verbauen und damit dann je ein Switch zu verbinden. So hat jedes Switch volle 10GbE vom Server. Insgesamt verteilen sich so 8 Rechner auf 20GbE.

2x10GbE vom Server,
4x5 Port 10GbE Switch (Patch Panel und Server sind nicht im gleichen Raum) 2x in Raum Eins mit 5 Rechnern da steht auch der Server, 1x in Raum 2 mit 3 Rechnern, 1x im Raum mit dem Patch Panel um die Räume zu verbinden.

Ergänzung (28. November 2022)

Bist du den sicher das du dir nen Server für die Arbeit wirklich zusammenschustern willst? Was passiert wenn die Möhre mal ein paar Tage steht und nicht zum laufen gebracht werden kann?
(Zumindest würde ich bei manchen Komponenten kein Konsumerhardware wählen, bei der Auswahl drehen sich meine Fußnägel hoch)

Ansonsten stimme ich @Fujiyama zu, mit Consumerhardware würde ich das nicht lösen. Und ebenso sollte ein gutes Backupkonzept dahinter stecken.

Wenn das ein kommerzieller Betrieb ist, kannst Du Doch jederzeit alle Hardware entsprechend steuerlich absetzen.

Ich bin voll bei euch. Hier andelt es sich aber um quasi philantropische gemeinnützige Arbeit. Es geht um Bildung von und Arbeit mit eher minderpriviligierten Schülern. Ein wenig kommerzielles ist ab und an dabei aber nur um den Laden über Wasser zu halten. Nicht falsch verstehen es läuft alles super und wir sind sehr happy damit wie sich alles entwickelt. Unterstützer sind aber nur bedingt davon zu überzeugen das Geld für professionelle Hardware locker zu machen. Im Gegenteil ist es alles andere als üblich so umfangreich wie wir unterstützt zu werden und dafür sind wir sehr dankbar. Hier kann und möchte ich den Bogen einfach nicht überspannen.

 

[0x7c9aa894]

Ich würde bei 10GbE eher auf Glasfaser setzen. Also Melanox Connect X-3 oder besser.
Ansonsten wenn Du es selbst als Lernprojekt verstehst ist alles gut.
Aber wundere dich nicht wenn du in 1-2 Jahren einen großen Upgrade machst.

 

[FabianX2]

Er will doch "Software-Raid" (ZFS) und kein Hardware-Raid machen.

Genau.

Netzwerk wird hier nicht das Bottleneck werden.

Denke ich auch. Wobei eben "nur" 300mb/s in peakt Situationen zur Verfügung stehen müssen. Die alternative zu den mehrfach 10 Nics und 10 GbE switches wäre auf 20GbE oder mehr zu gehen aber das macht die Sache noch teurerer leider.

Mit einem RaidZ1 bestehend aus 10 MX500 SSDs wirst du ca. 9-fachen Read-Speed erreichen, das sind 4500 MB/s. Bedenke, dass hier aber die Ausfallwahrscheinlichkeit steigt, da nur eine SSD ausfallen darf, damit es weiter läuft.

Das ist ok. Im Worst Case fallen mehrere SSDs aus die werden dann per express bestellt und die Daten wieder übertragen. Damit ist ein maximal Ausfall von 3 Tagen da. Wenn Platten auf halde liegen sogar nur ein paar Stunden.

Ergänzung (28. November 2022)

Mit den Asus Karten (Marvell, ehemals Aquantia) wirst Du unter FreeBSD vermutlich nicht so viel Freude haben, wenngleich es mittlerweile wohl sogar Treiber gibt...

In meinem Server zuhause setzte ich im Server auf Intel Nics das werde ich dann wohl auch in der Arbeit machen. Für die einzelnen Worksations sollte die Asus Karte dann ja passen. Bei mir zuhause läuft das auf jeden Fall problemlos.

Ergänzung (28. November 2022)

Und ebenso sollte ein gutes Backupkonzept dahinter stecken.

Backup 1 läuft auf eine 920 Synologie. Backup 2 Läuft dann von der Synologie in die Cloud. Backup 3 ist eine externe 18Tb Platte mit den aller wichtigsten Daten die räumlich getrennt ist.

 

[IBISXI]

Wir haben einige MX500 2TB Platten übrig.

Gibt es da auch eine genaue Zahl dazu?

Ansonsten würde ich eher ein Premium M2 Laufwerk verwenden.
(Das kriegt 10GbE auch ohne Raid ausgelastet bei lesen und schreiben)

Einige Mainboard unterstützen auch M2 SSD Raid, falls Spiegelung benötigt wird.

Zumindest würde ich bei manchen Komponenten kein Konsumerhardware wählen

Warum nicht?

Ein Server der ein schnelles SMB Share zur Verfügung stellt ist jetzt nicht gerade der Missionscomputer der NASA.

Wenn die Möhre steht kannst du im MM eine neue Kaufen.

Mit den Asus Karten (Marvell, ehemals Aquantia) wirst Du unter FreeBSD vermutlich nicht so viel Freude haben, wenngleich es mittlerweile wohl sogar Treiber gibt...

Doch, das klappt ganz gut mittlerweile.

 

[gaym0r]

Ich würde bei 10GbE eher auf Glasfaser setzen. Also Melanox Connect X-3 oder besser.

Kannst du das auch begründen? Was mir einfällt wäre der Stromverbrauch, das kann man bei so wenigen Clients aber vernachlässigen.

 

[FabianX2]

Ich würde bei 10GbE eher auf Glasfaser setzen. Also Melanox Connect X-3 oder besser.
Ansonsten wenn Du es selbst als Lernprojekt verstehst ist alles gut.
Aber wundere dich nicht wenn du in 1-2 Jahren einen großen Upgrade machst.

Das erhöht den Aufwand leider deutlich. Zwischen den Rechnern und im Haus liegt keine Glasfaser. Dazu habe ich noch nie damit gearbeitet. Sehe das eher kritisch auch wenn es natürlich die bessere und sauberere Lösung ist.

Ergänzung (28. November 2022)

Stromverbrauch

Ist nicht die Welt und generell im Vergleich der anderen Kosten nachrangig. Wir geben uns natürlich trotzdem Mühe möglichst nachhaltig zu agieren.

Ergänzung (28. November 2022)

Gibt es da auch eine genaue Zahl dazu?

Ansonsten würde ich eher ein Premium M2 Laufwerk verwenden.
(Das kriegt 10GbE auch ohne Raid ausgelastet bei lesen und schreiben)

Es werden gorb 8 bis 12 sein.

 

[razzy]

Die Idee war zwei 10GbE Nics im Server zu verbauen und damit dann je ein Switch zu verbinden. So hat jedes Switch volle 10GbE vom Server. Insgesamt verteilen sich so 8 Rechner auf 20GbE.

Also das wird nicht funktionieren.

Wenn dann kannst du Ports an einem Switch zum Server "bündeln".
Man kann natürlich auch einen "MultiChassiEtherchannel" bauen, bzw. vPC, VLT oder wie die ganzen Abkürzungen hier sind. Da braucht man aber andere Switche als sowas und da Reden wir von >1000€ pro Switch.

Und einen Loop möchtest du auch nicht haben. Also bitte den Server nur an einen Switch anschließen.

 

[FabianX2]

Ansonsten würde ich eher ein Premium M2 Laufwerk verwenden.
(Das kriegt 10GbE auch ohne Raid ausgelastet bei lesen und schreiben)

Da geht es mehr darum Kosten zu sparen. Die Sata SSDs sind schon da und werden nicht mehr gebraucht wenn vom Server geschnitten wird.

Ergänzung (28. November 2022)

Also das wird nicht funktionieren.

Wenn dann kannst du Ports an einem Switch zum Server "bündeln".
Man kann natürlich auch einen "MultiChassiEtherchannel" bauen, bzw. vPC, VLT oder wie die ganzen Abkürzungen hier sind. Da braucht man aber andere Switche als sowas und da Reden wir von >1000€ pro Switch.

Und einen Loop möchtest du auch nicht haben. Also bitte den Server nur an einen Switch anschließen.

Gibt es dann eine andere kosteneffiziente Lösung für mein Szenario?

 

[razzy]

Könntest den Server an einem Switch per Teaming (LACP oder so) bündeln, hättest im CHannel dann 20Gbit/s.
Dann hätte man noch 3 Ports frei bei dem von die ausgewählten Switch.
Hier würde man dann noch einen aderen Switch mit 2x10Gbit anbinden per Channel... und so weiter.
aber ob es das ausmacht?
Kann ich dir nicht sagen

 

[IBISXI]

Da geht es mehr darum Kosten zu sparen. Die Sata SSDs sind schon da und werden nicht mehr gebraucht wenn vom Server geschnitten wird.

Du kannst schon 8 SSDs an ein Mainboard oder an einen HBA hängen.

Grundsätzlich hat sich erwiesen dass der Schnitt flüssig läuft sobald grob 300mb/s peak zur Verfügung stehen.

Mb/s oder MB/s?
Lokal oder über Netzwerk?

 

[gaym0r]

Und einen Loop möchtest du auch nicht haben. Also bitte den Server nur an einen Switch anschließen.

Warum sollte das einen Loop geben? Der Server wird zwischen den NICs nicht switchen.

Das Ganze könnte funktionieren, wenn man jede NIC einzeln betreibt (also ganz ohne Teaming) und jeder NIC eine eigene IP-Adresse gibt und entsprechende Hostnamen.
Bsp: SRV1a und SRV1b. Die Hälfte der user greift auf SRV1a zu, die anderen auf SRV1b. In beiden Fällen landen die Pakete beim gleichen Server. Technisch möglich, ob TrueNAS das supportet, weiß ich aber nicht.

 

[nciht]

Könntest den Server an einem Switch per Teaming (LACP oder so) bündeln

Wenn ich das richtig sehe ist der TL-SX1008 unmanaged und kann daher kein LAG/LACP.

@FabianX2 Du brauchst für Link Aggregation glaube ich einen anderen Switch

 

[FabianX2]

Warum sollte das einen Loop geben? Der Server wird zwischen den NICs nicht switchen.

Das Ganze könnte funktionieren, wenn man jede NIC einzeln betreibt (also ganz ohne Teaming) und jeder NIC eine eigene IP-Adresse gibt und entsprechende Hostnamen.
Bsp: SRV1a und SRV1b. Die Hälfte der user greift auf SRV1a zu, die anderen auf SRV1b. In beiden Fällen landen die Pakete beim gleichen Server. Technisch möglich, ob TrueNAS das supportet, weiß ich aber nicht.

Ich bin echter laie auf dem Gebiet. Bei mir zuhause habe ich ja auch ein 10GbE Netz und ein 1GbE Netz mit 2 Nics im Server. Das klappt auf jeden Fall mit Ture NAS. Sogar ohne irgendwas zu konfiguieren. Also abgesehen von den zwei verschiednen IP Räumen.

 

[gaym0r]

Wenn ich das richtig sehe ist der TL-SX1008 unmanaged und kann daher kein LAG/LACP.

Man braucht nicht zwingend einen Switch, der LACP unterstützt, wenn man ein Endgerät mit zwei Ports anschließen will. Das kann auch nur auf Seiten des Endgeräts stattfinden, sofern es das unterstützt.
FreeNAS/TrueNAS unterstützt das. (vlg. http://45drives.blogspot.com/2015/07/how-to-achieve-20gb-and-30gb-bandwidth.html)

(Im Linux Kernel ist so ein Feature drin. Windows Server unterstützt es auch (sogar zu verschiedenen Switchen, Stichwort "Switch independent Teaming"))