Zentraler Server mit FileServer Linux ?

[OpenMedia]

Guten Tag zusammen,

folgendes Szenario ich habe 3 Server :

Server1 = Sehr gute Uptime sehr wenig Festplatten-Speicher mittelmäßige Netzwerkleistung (50Mbit -150 Mbit schwankend )

Server2 = Mittelmäßige Uptime viel Festplatten-Speicher gutes Netzwerk ( 100 Mbit Konstant im Upload)

Server3 = Sehr gute Uptime viel Festplatten-Speicher sehr gutes Netzwerk ( 1Gbit Konstant)


Nun mein vorhaben ich möchte gerne Server 2 und 3 als FileServer nutzen Sprich 100 GB Daten auf Server 2 und 100GB Daten auf Server 3.
Server 1 dient als ProxyServer mit HAProxy.

Jedoch gibt es bei der ganzen Sache ein Problem HAProxy kann nur mit Daten was anfangen die 1zu1 auf beiden FileServer identisch sind sprich die Daten die auf File01 sind müssen auch auf File02 sein.

Meine Frage also wie kann ich durch den Proxy auf alle Daten sowohl vom File01 und File02 draufzugreifen ? Z.b. Kunde1 downloadet die Datei xy die befindet sich auf file01 kunde2 downloadet die Datei xy die auf file02 liegt .

Alle kunden sollen aber die IP server.test.de haben sprich eine Zentrale URL die auf alle Daten zugreifen kann.

 

[Grimba]

Das ist nicht das "Problem" von HAProxy, sondern das Feature: Als Load-Balancer übernähme dann Server1 die Aufgabe, die eintreffenden Anfragen möglichst günstig auf die beiden Fileserver zu verteilen. Wenn Last verteilt werden soll, müssen natürlicherweise die Daten auf Server2 und 3 identisch sein, denn die Kunden sollen ja nur den Proxy sehen und nicht dahinter.

Andernfalls könnte ja der Fall eintreten, dass wenn Server2 und 3 unterschiedliche Dateien haben, dass HAProxy die Anfrage eines Kunden auf Server3 legt, weil es sich gerade aufgrund der anfallenden Last anbietet, aber dort die Datei gar nicht vorhanden ist, sondern nur auf Server2. Das wiederum sieht aber der Kunde nicht, da er da keinen Einfluss drauf hat, folglich entsteht beim Kunden eine Fehlermeldung und darauf der Eindruck, dass da ein toter Link sei, den offenbar keiner bemerkt hat.

Dieser Vollzugriff, von dem du sprichst, hat dann nichts mehr mit load balancing zu tun. Die Daten liegen dann einfach auf verschiedenen Servern. Da müsstest du nur etwas haben, was eine Lookup Table über deine Daten führt, und dann entsprechend verlinkt.

 

[OpenMedia]

Vielen Dank . Das habe ich mir leider schon gedacht :/
Hättest du ein Tipp für mich bzgl. Software die soetwas kann ? Am besten wie HAProxy mehrere Backup-Server aber halt auch mehrere FileServer z.b.

File01
File02
--------
Daten Identisch falls File01 ausfällt springt er auf File02 das kann ja HAProxy

File03
File04
--------
Andere Daten aber auf diese beiden Server Identisch falls 03 ausfällt springt er auf 04

EIn Mix auf HAProxy und irgendwas anderem nur was genau das fehlt mir :/

 

[Grimba]

Leider nein, mein Admin-Wissen ist auf Hausgebrauch begrenzt, bin Entwickler

Aber, so wie du das beschreibst, könnte man vielleicht 2 HAProxy einsetzen, welche dann gar nicht der Kunde direkt, sondern dein Downloadsystem (wie auch immer geartet) nutzt. Also File01 und 02 an einen HAProxy und File03 und 04 an einen anderen. Dann haben die ihren eigenen Lastverteiler, und die Instanz davor verteilt die Kunden je nach gewünschter Datei auf die richtigen Proxies.

Aber mit einem konkreten Tool kann ich jetzt nicht dienen