Routing: zwei Subnetze & Gateways

[Tranceport]

Hallo zusammen,
ich habe zwei Häuser über einen EdgerouterX verbunden (über SFP). Netz1&2 haben jeweils ihr eigenes Gateway inkl. DHCP (192.168.178.1 und 192.168.0.1), eine Fritzbox 6490cable und einen dga4132

Die statische Route in Routern 1&2 ist angelegt (über Edgerouters 178.2 und 0.3). Ping & tracert zeigen auch, dass die Pakete den richtigen Weg finden.

Zugriff auf Geräte im jeweils anderen Subnetz scheint aber eigenen Regeln zu folgen, von meinem Windowsrechner (0.80) konnte ich erst auf Router 178.1 zugreifen, als ich die statische Route auch in Windows hinzugefügt hatte:

route ADD 192.168.178.0/24 MASK 255.255.255.0 192.168.0.3

Vom Verständnis wäre ich davon ausgegangen, dass ein Endgerät im Netz die statische Route über das Standardgateway nimmt (wie bei Ping & tracert).

Dazu hätte ich zwei Fragen, für deren Antwort mir scheinbar nicht der richtige Googlesuchstring einfallen will ;-)

1. wie können alle Geräte im Subnetz über die statische Route im Standardgateway geroutet werden (für Fernseher und Android/Applesmartphones sehe ich keine Möglichkeit, deren Routen zu ergänzen). Oder blockt Client-Firewall, solange ich das fremde Subnetz nicht zu den Routen im Client selbst hinzugefügt habe?
2. Kann ich ohne einen separaten Proxy den jeweils anderen Router für den Internetzugang nutzen? Am besten für einzelne Docker-Container.

Vielen Dank und viele Grüße,
Chris

Ergänzung Netzlayout:

 

[up.whatever]

Kannst du das Netzwerk mal aufmalen? Die Konstruktion hört sich sehr seltsam an.
Was du nach meinem Verständnis eigentlich haben möchtest, ist jeweils ein ordentlich konfigurierbarer Router auf beiden Seiten mit jeweils einem lokalen Netz und einem WAN Interface. Dann spannst du zwischen den beiden Routern ein kleines (/31 oder /30) Transfernetz und trägst auf beiden Routern statische Routen über dieses Transfernetz zum jeweils anderen lokalen Netz ein.

 

[Ebrithil]

Eigentlich sollte das schon so funktionieren wie du das hast.

Heimnetz A:
ERX hat Adresse in A (ERX-A), Fritzbox A braucht statische Route für Netz B über ERX-A

Heimnetz B:
ERX hat Adresse in B (ERX-B), Fritzbox B braucht statische Route für Netz A über ERX-B

das müsste eigentlich gehen.
Die Fritzboxen sind dann jeweils das default Gateway in ihrem Netz.


Wenn ich gerade keinen groben Denkfehler habe, sollte das eigentlich gehen.

 

[Tranceport]

Kannst du das Netzwerk mal aufmalen? Die Konstruktion hört sich sehr seltsam an.
Was du nach meinem Verständnis eigentlich haben möchtest, ist jeweils ein ordentlich konfigurierbarer Router auf beiden Seiten mit jeweils einem lokalen Netz und einem WAN Interface. Dann spannst du zwischen den beiden Routern ein kleines (/31 oder /30) Transfernetz und trägst auf beiden Routern statische Routen über dieses Transfernetz zum jeweils anderen lokalen Netz ein.

Habe eine Skizze ergänzt. Es funktioniert ja auch, zumindest für Ping&Tracert genügen die statischen Routen in beiden Routern. Auf die Weboberflächen komme ich über ein Smartphone zb. aber nicht, und am WindowsPC erst, nachdem ich die statischen Routen über oben genannten Befehl hinzugefügt in Windows habe.

Eigentlich sollte das schon so funktionieren wie du das hast.

Heimnetz A:
ERX hat Adresse in A (ERX-A), Fritzbox A braucht statische Route für Netz B über ERX-A

Heimnetz B:
ERX hat Adresse in B (ERX-B), Fritzbox B braucht statische Route für Netz A über ERX-B

das müsste eigentlich gehen.
Die Fritzboxen sind dann jeweils das default Gateway in ihrem Netz.


Wenn ich gerade keinen groben Denkfehler habe, sollte das eigentlich gehen.

Genau so habe ich es aufgebaut, aber es funktioniert eben nur halb. Liegt es evtl. an Netzwerklayern, dass Ping/trace klappt, Zugriffe auf das Webinterface nicht? Bin da leider noch sehr unbedarft.

 

[Ebrithil]

Wenn Pings und traceroute funktionieren, würde ich das routing an sich eigentlich als Fehlerquelle ausschließen. Hängen da in der Fritzbox eventuell irgendwelche Firewalls zwischen, die umgangen werden, wenn du direkt über den ERX gehst?

 

[Tranceport]

den Ansatz hatte ich auch, aber das kann höchstens die ClientFirewall sein. Sitze gerade am Windowsrechner (0.80) und konnte auf das Webgui der Fritzbox im anderen Netz (178.1) zugreifen, sobald ich die statische Route auch nochmal in Windows angelegt hatte. Nur die Firewall ausschalten, aber ohne eigene statische Route hat leider nicht funktioniert.

Selbiges im Unraid-Server (0.10): sobald ich dort ein Routing in ein drittes Netz (hängt ebenfalls am Edgerouter, habe ich der Übersichtlichkeit halber weggelassen. Gateway ist identisch) hinzufüge (1.0), kann er auf einen Sambashare im Drittnetz (1.10) zugreifen.
War es nicht so, dass Ping/trace auf einem anderen Layer stattfindet als TCP/UDP-Pakete?

 

[Pitt_G.]

@Tranceport ein redirekt ins eigene LAN ist auf den Internet Routern nicht so gut.

Besser wäre es eine Art Layer 3 Switch auf dem Ubiquiti Gateway einzurichten und dort Policy Based Routing zu verwenden, wenn es 4 Routing Interfaces hat

 

[Tranceport]

Routing Interfaces hat es 4*Lan und einmal SFP (da hängt das 0.1er Netz dran). Ich fürchte, da komme ich aber nicht so ganz mit, die beiden WAN-Router an jeweils ein Interface und die restlichen Netze an jeweils ein anderes?
Als Verbindung zwischen den Netzen habe ich nur einen Lichtwellenleiter zur Verfügung (da galvanisch getrennt, zwischen den Häusern/Netzen)

 

[up.whatever]

Bei deiner jetzigen Konstruktion hast du zu einem gewissen Grad asymmetrisches Routing. Beginnen wir mal auf der FritzBox Seite:
Pakete von 192.168.178.30 zu 192.168.0.40 (willkürliches Beispiel) gehen zu erst zur FritzBox (default GW), dann zum ER-X (statische Route auf FB) und von dort direkt zu 192.168.0.40 (da 192.168.0.3 im gleichen Subnet liegt).
Die Antwort geht dann aber erst zum Technicolor (def GW), von dort zum ER-X und dann wieder an der FritzBox vorbei direkt zu 192.168.178.30.
Das ist Gift für jegliches Connection Tracking.

Mit manuell angelegten Routen auf allen Endgeräten umgehst du das Problem, aber das macht halt keinen Spaß. Für sauberes Routing ohne solche Krücken verweise ich auf mein vorheriges Posting: Auf beiden Seiten einen ER-X, zwischenrein ein Transfernetz, Fritzbox + Technicolor zum reinen Internetzugang degradieren.

Edit:

                              +-----------------+
                              | Internet        |
             +----------------+-----------------+------------------+
             |                                                     |
             |                         +                           |
             |                         |                           |
  +----------+-------------+           |            +--------------+------------+
  |                        |           |            |                           |
  |  Fritzbox              |           |            | Technicolor               |
  |  192.168.178.1/24      |           |            | 192.168.0.1/24            |
  +----------+-------------+           |            +--------------+------------+
             |                         |                           |
             |                         |                           |
             |                         |                           |
             |                         |                           |
             |                         |                           |
             |                         |                           |
  +----------+-------------+           +            +--------------+------------+
  |                        |                        |                           |
  |                        |      Transfernetz      |                           |
  |       ER-X 1           +------------------------+   ER-X 2                  |
  |                        |      z.B. 10.0.0.0/30  |                           |
  +----------+-------------+                        +---------------+-----------+
             |                          +                           |
             |                          |                           |
             |                          |                           |
             |                          |                           |
             |                          |                           |
             |                          |                           |
+------------+---------------+          |           +---------------+------------+
|                            |          |           |                            |
|    LAN 1                   |          |           |  LAN 2                     |
|                            |          |           |                            |
|    z.B. 192.168.10.0/24    |          |           |  z.B. 192.168.20.0/24      |
|                            |          |           |                            |
+----------------------------+          |           +----------------------------+
                                        |
                                        |
                                        |
                                        |
                                        |
                                        +

 

[Tranceport]

ok, jetzt komme ich so langsam mit, vielen Dank für das Beispiel =)
Mein Technicolor hätte auch einen SFP Port (bei dem ich aber erst prüfen müsste, ob man den für etwas anderes als WAN konfigurieren kann). Dann würde zumindest auf meiner Seite der ganze Verkehr vom&ins andere Subnetz auch über das DefGW laufen, Haken dran?
Auf der anderen Seite müsste die Fritzbox dann als reines Modem am ER-X betrieben werden, dh. ER-X als Router, und ich bräuchte noch einen AP für Wlan&Switch als Ersatz für die Fritzbox?

Edit: der SFP Port im Technicolor hätte eh schon eine passende IP für das Transfernetz:

 

[up.whatever]

Ja, das würde wohl funktionieren.
Das Hauptproblem ist, dass die ganzen Consumergeräte meistens nur auf das Routing zwischen zwei Interfaces (LAN und WAN) ausgelegt sind. Ohne diese Beschränkung könntest du einfach die FritzBox und das Technicolor direkt koppeln.
Wenn du die FritzBox zum Internetzugang degradierst musst du am ER-X dorthin entweder SourceNAT für ausgehende Verbindungen aktivieren, oder bei der Box beide lokal verwendeten Netze als statische Routen zum ER-X eintragen.

 

[Tranceport]

Vielen Dank für die Erhellung =) Ich probiere deinen Vorschlag jetzt erst an meinen Netzten 0.0 und 1.0 (da hängt nur eine Diskstation direkt am EdgeRouter) mit einem Transfernetz.
Das wäre ja dann das Szenario, an dem das Routing auch exakt über die statische Route läuft, ohne Asymetrie. Wenn das klappt, mache ich mir Gedanken, wie ich beim Nachbar Switch&Wlan der Fritzbox ersetze....

Bleibt nur die Frage, ob/wie man aus einem Netz wählen kann, über welches Gateway man ins Internet geht? ist das ohne ProxyServer möglich?

 

[up.whatever]

Ich kenne die ER-X nicht im Detail, so etwas wird meistens mittels Policy-based Routing realisiert: Du markierst beim Router vom LAN eingehende Pakete anhand bestimmter Kriterien (z.B. Match auf eine bestimmte source IP) und sendest entsprechend markierte Pakete dann nicht durchs default Routing, sondern routest sie durchs Transfernetz zur anderen Seite. Von dort geht es dann auf normalem Weg (def GW des Routers) weiter in Richtung Internet.

 

[Raijin]

Trotz allem wundert es mich, dass Windows eine eigene Route ins Nachbarnetz benötigt. Auch asymmetrisches Routing ist dafür keine Erklärung und vor allem funktioniert das so in unzähligen Netzwerken auf diesem Planeten problemlos.

Würde man im ERX beispielsweise in der Firewall explizit auf connection states prüfen, kann ich mir zwar schon vorstellen, dass das connection tracking ins Stolpern kommen kann, wobei ich gar nicht genau weiß ob sich zB conntrack überhaupt um die MAC-Adressen schert, von denen die Pakete einer Verbindung eintrudeln bzw. zu welcher sie andersherum rausgehen. Wenn im ERX hingegen keine Firewall aktiv ist, kann auch nix durcheinanderkommen, weil einfach anhand Layer3 hin- bzw. hergeroutet wird.

So unschön asymmetrisches Routing auch sein mag, nach meinem Dafürhalten müsste es dennoch funktionieren.


Ansonsten kann ggfs ein ebenso unschöner Workaround "helfen", SNAT. Wenn der ERX alles was von A nach B geht mit seiner B-IP maskiert und andersherum, denkt das Zielgerät in B, dass es aus dem lokalen Netzwerk angesprochen wird, nämlich vom lokalen ERX. Dementsprechend wird das Zielgerät auch die Antwort an den ERX schicken, also direkt und ohne Umweg über das Standardgateway. In diesem Fall läuft das connection tracking im ERX allerdings 100% sauber und er erkennt, dass er die Antwort Richtung A nicht maskieren muss und so kommt die Antwort beim Quellgerät A auch mit der korrekten B-IP des Ziels an, die man ja zuvor auch angesprochen hatte.

NAT bringt allerdings eigene Probleme mit sich und ist in solchen Fällen daher nur eine Notlösung, wenn man sich nicht anders zu helfen weiß bzw. eine Umstrukturierung wie von @up.whatever nicht so einfach umzusetzen ist. Zum einen steigt durch NAT die Komplexität und es gibt eine weitere potentielle Fehlerquelle. Viel schlimmer ist aber, dass man am Zielgerät B nicht mehr zwischen lokalen Verbindungen und Verbindungen aus dem Nachbarnetz unterscheiden kann, weil alles von einem lokalen Absender kommt (entweder ein x-beliebiges B-Gerät oder eben maskiert von der B-IP des ERX. Etwaige Zugriffsbeschränkungen müssen daher zentral im ERX geregelt werden, was zwar sowieso gemacht werden sollte, aber das Zielgerät hat eben keinerlei Mitspracherecht mehr.

 

[Tranceport]

NAT&Firewall im Edgerouter sollten definitiv aus sein. Und selbst wenn versteckt eine Firewall aktiv wäre, was würde die sich um meine Windowsrouten scheren? Wäre natürlich toll, wenn ich es ohne neue Hardware lösen könnte ;-)
Mit NAT würde ich dann bsp. den Port 443 für meinen ReverseProxy von meinem Edgerouter weiterleiten, wie ich es auch im Internetgate mache?
Den zweiten Inetanschluss zu nutzen wird dann aber komplett flachfallen, fürchte ich?

 

[Ebrithil]

Den zweiten Inetanschluss zu nutzen wird dann aber komplett flachfallen, fürchte ich?

Dafür müsstest du dein ganzes Netzwerk umstrukturieren. Dann würdest du beide Fritzboxen an den Edgerouter hängen und dort WAN Load Balancing machen. Dann hängst du deine zwei Lan Netzwerke (oder du bridgest die zu einem zusammen) an den Edgerouter

 

[PhilAd]

Naütrlich müsste das Ganze so funktionieren, aber die Fehlersuche ist bei so einem Aufbau natürlich etwas komplexer ... Wenn Routen, die das Default-GW ignorieren funktionieren, würde ich sagen, dass der jeweilige Hinweg das Problem ist und die statische Route für Clients anscheinend nicht greift. Was sieht man auf beiden ERx, wenn man mal ICMP Pakete mitsnifft und ein Client einen Ping absetzt?

 

[Raijin]

Theoretisch könnte man - einen fähigen DHCP-Server vorausgesetzt - auch statische Routen via DHCP verteilen. Verantwortlich ist dafür die DHCP Option 121. Eine Fritzbox kann das selbstredend nicht, weil auch Fritzboxxen nur für 08/15 Szenarien gebaut werden. Man müsste den DHCP daher für jedes Interface auf den ERX auslagern und in den jeweiligen Fritzboxxen abschalten.

Gemacht habe ich das aber zugegebenermaßen noch nie, wäre aber mal einen Versuch wert. Ich muss das heute abend mal mit meinem ERX zu Hause ausprobieren. Die Frage ist allerdings auch ob Windows darauf überhaupt reagieren würde. Ich melde mich später mit dem Ergebnis.

 

[Tranceport]

@PhilAd : Es gibt nur einen ERx, und Pings kommen ja ins Ziel. Müsste mir erst ansehen, wie ich das mit dem ERx überhaupt anstelle ;-)
@Raijin : das wäre sehr interessant, vielen Dank =) Die Frage ist dann natürlich noch, ob 08/15 Geräte die Routen überhaupt auch annehmen?
Habe mal eben einen Blick in den aktiven DHCP Server im ERx geworfen, sonderlich viele Optionen gibt es da ja nicht zu. Muss es über CLI konfiguriert werden?

Edit:

 

[Raijin]

Ja, die DHCP options muss man dann über die CLI konfigurieren. In der GUI sind nur die allgemeinen Einstellungen wie man sie kennt sowie ein Feld für Option 43, wo man den Unifi-Controller eintragen kann. Im config tree scheint es deinem Screenshot zufolge auch möglich zu sein, denn genau das ist Option 121. Ich arbeite aber nie mit dem config tree.

DHCP options, die ein Gerät nicht kennt oder nicht verwenden will, werden einfach ignoriert. Einer kurzen google Recherche nach sollte Windows ab 7 auch die Option 121 verstehen. Wie gesagt, ich probiere das heute abend mal aus, dann allerdings mit Windows 10, aber ich denke dass das da auch funktionieren sollte, wenn es unter 7 angeblich schon funktioniert.

Bei Smartphones und Tablets kann ich das aber nicht mit Sicherheit sagen und ob ich Zeit habe, das auch da auszuprobieren, weiß ich nicht. Eventuell müsste ich entsprechende Tests mit meinen mobilen Geräten auf Ende der Woche oder das Wochenende verschieben. makuckn...