Multi ISP Aggregation/Load-Balancing 200Mbps

[metalpinguin]

Hey du wirst nachaussen hin 2 IPs haben eine http session kann jedoch nur an eine IP zurück schicken ausser bei ganz bestimmten sonder configs

Also pro Üblichen "datenstream" bzw pro tcp/ip verbindung maximal 100 mbits

Du wirst bei aktivem load balacing auch Probleme mit http Sessions z.B. facebook oder so kriegen. Wegen Wechselnden IPs für den rück kanal wenn du pech hast bzw die user fliegen immer raus


Wenn mehr fragen hast kannst dich gerne melden

 

[xxsoulxx]

Hi metalpinguin, habe jetz eine weitere Mail von Tp-Link bekommen :

Wie bereits geschrieben kann je Verbindung in Ihrem Fall eine Maximalgeschwindigkeit von 100Mbps erreicht werden. Da, wie Sie ja selbst schreiben, ein Downloadmanager mehrere Verbindungen aufbaut sind so theoretisch 2x 100Mbps möglich.


Bei weiteren Fragen helfen wir Ihnen gern.

EDIT : Wie du gesagt hast sollte es gehen, aber es sollte doch normal so sein, dass er ja die 2. Leitung und somit die 2. IP nur nutzt wen die 1. voll ausgelastet ist oder nicht ?

EDIT2 : Habe jetzt noch ne 3. Mail an Tp-link geschrieben und hab gefragt ob durchs Load-Balancing Probleme wegen http Sessions gibt, werde die Antwort dann posten.

 

[Electrix]

Hi.
Es gibt ja verschiedene Methoden der Lastverteilung bei mehreren WAN Anbindungen:

1. MAC bzw Client IP Basert: Jeder Client geht über eine vom Router ausgewählte WAN Anbindung ins Internet. Und zwar dauerhaft solange er online ist. Die Bandbreite des zweiten Anschlusses steht diesem Client nicht zur Verfügung.

2. Verbindungsorientiert: Jeder einzelne IP Verbindung ein Anschluss zuggewiesen.
Bei mehreren Verbindungen (z.B. Multi-Downloads) kann man auch mehr Bandbreite nutzen, als ein einzelner Anschluss hätte.

Das ist das, was die handelsüblichen Multi WAN Router so machen.

Um die Leitungen wirklich transparent zu bündeln, und die Gesamtbandbreite auch auf einer Verbindung nutzen zu können, braucht man einen Router und eine Gegenstelle, die das unterstützt.
Das kann man z.B. per VPN realisieren.
Man muss in einem Rechenzentrum einen VPN Gateway einrichten. Lokal werden die Verbindungen dann gebündelt und alle Clients gehen über das VPN online.

Um das zu erreichen, gibt es 2 Möglichkeiten:
Man setzt pro Internetanbindung einen VPN Tunnel auf, und betreibt echtes, dynamisches Routing.
(z.B. OLSR). Die Pakete werden dann dynamisch über beide Tunnels geschickt. Je nach Auslastung, Priorität und Verfügbarkeit. Wie im Internet auch.

Bei 2 gleichen WAN Anbindungen kann man die VPN Verbindungen auch bonden, und somit parallel schalten. (Unter Linux ein BOND einrichten)
Das mit dem Bonding geht aber nur bei gleichen WAN Anbindungen gut. Also etwa gleicher Durchsatz und gleiche Latenz. (Ging bei meinem Setup nicht gescheit)

Ich persönlich habe im Wohnheim 3x UMTS und 1x Hotspot Internet mittels 4 VPN Verbindungen und OLSR Routing verbunden. Über dieses geroutete, virtuelle Netz mache ich dann nochmals eine VPN Verbindung, die dann für die Clients den "virtuellen Breitbandanschluss" darstellt.
Trotz schlechter Anbindungen (Sowohl UMTS als auch Hotspot funktioniert mehr schlecht als Recht) habe ich so eine ausfallsichere, recht schnelle Verbindung mit annehmbarer Latenz.

UMTS läuft dort vor Ort maximal mit 1-2,5 Mbit/s effektiver Datenrate, bei 80-140 ms Ping

Und das Wohnheim Hotspot Netz bringt etwa 2-4 Mbit/s, bei 30 ms Ping mit ca 60% Verfügbarkeit.
bei 30 % der Zeit (vor Allem abendliche Primetime) läuft es mit ca 100 kbit/s bis 1 Mbit/s mit 100-500 ms Ping. Und in 10% der Zeit ist es komplett down.

Mit meinem "Virtuellen DSL" habe ich Verfügbarkeit fast 100%, ca 6-10 Mbit/s Durchsatz, und 30-110 ms Ping.

 

[xxsoulxx]

Danke Electrix für deine ausführliche Erklärung, is ne coole Idee mit 3x UMTS, ich bin jetzt grad nur leicht verwirrt wie ich das ganze mit VPN umsetzen soll. Aber eig. brauche ich das ja nicht da ich ja wie gesagt nur torrent und Multi Http (JD) nutzen möchte 10 MB langen mir dicke für single http connections, ist es sehr kompliziert die 2 Anschlüsse über VPN zu bonden ? Was für ein Betriebssystem benutzt du am Endgerät ? Hast du zufällig ein Tutorial ?

 

[Electrix]

Hey.
Also den Kram einzurichten, ist nicht so einfach.
Bastel schon seit ettlichen Wochen dran rum.
Das ganze läuft bei mir auf einem PC mit Ubuntu Server, dazu kommt noch ein gemieteter Server im RZ als Gegenstation (Ebenfalls mit Ubuntu Server).

Ich habe 4 virtuelle Maschinen, jede virtuelle Maschine stellt mit OpenVPN eine eigene VPN Verbindung zum Server her. Jedes externe Interface ist einer VM zugewiesen.
Das ist notwendig, da ich auf dem Server im RZ nur eine IPv4 Adresse habe. Ich hätte zwar noch unterschiedliche Ports nehmen können, aber er hat in diesem Setup nicht wirklich parallel Daten gesendet, sondern nur Failover gemacht. Also wurden 4 VMs eingerichtet. Der Server sieht in diesem Fall 4 unabhängige Clients, die alle unabhängig und parallel daten senden und empfangen können.
(Der Server im RZ ist einfach ein 0815 OpenVPN Gateway Standard Setup, ohne VMs usw, OLSR muss da natürlich auch noch installiert sein)

Von den 4 VMs gehts dann auf die VM mit dem OLSR und IPTABLES.

Dann gehts auf eine weitere VM, auf der dann die letzte VPN Verbindung läuft (die quasi die virtuelle Internetleitung darstellt). Die ist auf UDP Basis. Das ist Verbindungslos, so kann ich jedes Paket individuell routen, und die Bandbreite wirklich ausnutzen. Fehlersicherung habe ich ja schon auf den niedrigeren Ebenen.
Von da gehts dann auf die Firewall, NAT und einen Squid Caching Proxy, und dann über eine weitere physikalische Netzwerkkarte zum Client.

Der Clientseitige Server ist ein Intel Core 2 Quad mit 8 GB Ram.
Und der ist mit diesem Setup schon richtig gut ausgelastet. 2 Mal 100 Mbit/s dürfte schwer werden.
Da müsste man wohl handelsübliche VPN Router dazu nehmen, die die grundlegenen virtuellen Verbindungen herstellen. und auf dem Server nur noch OLSR + das UDP VPN + NAT/Firewall + Proxy laufen lassen. (Ohne VMs alles auf der echten Maschine).

Oder man müsste versuchen, alles ohne VMs mit mehreren parallelen OpenVPN Installationen zu machen, und den OLSR direkt auf die TUN/TAP Devices setzen.

Bei 2 gleichartigen Verbindungen würde ich es aber mit Bonding machen.

Nen fertiges Howto hab ich leider keins. Hab mir alles im Netz zusammengesucht.
Bin auch ncoh schwer dran am basteln.

Als einfache "Ready out of the box" Lösung gibt es noch Tinc VPN.
Das kann Mesh VPN, auch über mehrere Internetanbindungen.
Aber mit der Lösung "VPN Basisverbindungen + OLSR + UDP Open VPN Tunnel" kann es nicht mithalten.
Trotz hohem Anspruch an den Rechner ist das selber zusammen gefrickelte performanter, als alle UMTS Sticks an den Client PC zu hängen und da dann TINCVPN laufen zu lassen.

 

[xxsoulxx]

@Electrix anke für die Info !! Hätte ich jetzt nicht gedacht dass mit VPN schneller/besser läuft als wenn du sie direkt am Client hast. Du sagst an meiner Stelle mit Bonding machen also mit nem Linux-Server `?

 

[M-X]

@xxsoulxx dir ist hoffentlich klar das du für das Setup von Electrix einen Server im Rechenzentrum mit mindestens 200Mbit/s, also 1Gbit/s mieten musst!

 

[xxsoulxx]

jo is mir klar

EDIT : E-Mail bezüglich Sessions bekommen :


Sehr geehrter Herr ...,

ich empfehle Ihnen diesbezüglich einen Blick in das Handbuch des Geräts. Speziell für Sie interessant sind die Punkte 3.3.2 bis 3.3.4 beginnend ab Seite 57.

Um Ihre Frage aber zu beantworten muss ich Ihnen mitteilen, dass eine Session eine Verbindung ist und somit das Problem nicht auftritt. Für weitere Konfigurationsmöglichkeiten verweise ich nochmal auf das Handbuch und die oben genannten Kapitel.

EDIT : Ich muss es ja nicht mit VPN lösen wie gesagt brauch ja nur Multi Connection Bandbreite

 

[Andreas75]

xxsoulxx, das sollte mit dl-manager oder torrent kein Problem sein was du vorhast. setzt wie hier schon gesagt erst ab 1+n verbindungen an.

 

[xxsoulxx]

Ich werde jetzt den Router Von Tp-Link kaufen TL-ER5120 und mal in den Einstellungen herumspielen mal sehen ob ich es gleich hinbekomme .

 

[Electrix]

Also so nen Server mit Gigabit Anbindung kostet schon ne Ecke Geld.

Wenn man 2 mal 100 Mbit/s Kabel Deutschland mit VPN bonden will, muss der Server ca 450 Mbit/s Durchsatz schaffen.
Maximale Downlink Geschwindigkeit + maximale Upload Geschwindigkeit der beteiligen Anschlüsse, und das dann mal 2. Und dann noch etwas Overhead. Das VPN Gateway muss die Daten ja empfangen, und nochmal weitersenden, deswegen verdoppelt sich das alles.
Das dürfte nicht nur von der Leitung her hohe Anforderungen stellen.
Wenn ich sehe, wie meine Kiste bei 20 Mbit/s Durchsatz schon rödelt (also 10 Mbit/s über die VPN Verbindung). Das VPN frisst schon ganz ordentlich CPU Power.

Ich glaube, bei 2x100 Mbit/s Bonding mit VPN bräuchte man ne Hardware Crypto Karte, oder wirklich 2 dicke Server um das zu schaffen. Ich glaube, wenn ich sowas machen wollte, würde ich wirklich spezielle VPN Hardware nutzen, und die Tunnel unabhängig vom Server und Client aufbauen. Und auf Server/Client dann nur noch Bonding/Routing installieren.


Achja:
Mit einem Hetzner VQ12 vServer hatte ich ca 3-4 Mbit/s VPN Durchsatz geschafft, dann war der schon am Limit.
Momentan habe ich den X3 von Hetzner, mit dem schaffe ich ca 10 MBit/s +/-. Der ist damit schon gut beschäftigt, viel mehr packen meine UMTS Sticks eh normalerweise eh nicht hin, also passt das.

 

[xxsoulxx]

UPDATE : So Router ist da und auch soweit integriert, jetz muss nur noch der KD Techniker kommen .

PS: Das Teil ist der HAMMER habe nur mit 1ner Leitung und dem neuen Router konstant 12MB/s anstatt vorher Linksys E2000 mit DD-WRT sehr schwankend 8-10Mb/s. *Toll* )