OPNsense als Router auf Proxmox

[CoMo]

Habe ich das nicht gemacht? Auf der OPNSense:

vtnet1: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        description: VMNET (opt1)
        options=800a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,LINKSTATE>
        ether bc:24:11:3d:fa:7a
        inet 192.168.0.1 netmask 0xffffff00 broadcast 192.168.0.255
        inet6 2a01:XX:XX:e800:1::1 prefixlen 64

Die Adresse kann ich ebenfalls von zuhause erreichen.

Nochmal: Das hat alles bereits so funktioniert, wie es sollte. Das Problem ist nur, dass die Bridge vmbr1 bei jedem Reboot ihre Adressen würfelt.

 

[Bob.Dig]

Du hast vielleicht auf der OPNsense ein /64er draus gemacht, aber das muss auf beiden Seiten gemacht werden, also und vor allem auf dem Host. Und dann kannst Du den Rest über diesen /64 routen.

 

[riversource]

Warum nicht? So hat es doch funktioniert.

Weil vmbr2 damit ein Teilnetz von vmbr1 wird. Du kannst in der OPNSense WAN und LAN nicht mehr sauber trennen. Das wird zwangsläufig zu Problemen führen, vor allem für die Firewall und die Sicherheit des Systems. Das Routing mag noch klappen, aber das Konstrukt wird angreifbar. Wenn du Ports oder Adressen freigibst, erlaubst du damit implizit mehrere Ziele: Brandgefährlich!

Ich möchte, dass die OPNSense selbstständig das /56 aufteilen kann.

Kann sie doch (bis auf das eine /64 für vmbr1). Das ist ja unabhängig von vmbr1, und das große Subnetz muss dafür auf vmbr2 (aber nicht /56, sondern /56 - /64!).

 

[CoMo]

Hm. Ich verstehe nicht ganz, was vmbr2 mit vmbr1 zu tun hat. Da ist das Netz doch gar nicht drauf?

Auf vmbr1, also physischer Schnittstelle des Hosts, habe ich nur das ursprünglich mitgelieferte /64.

Das zusätzlich bestellte /56 ist lediglich auf vmbr2 konfiguriert. Das ist doch ein ganz anderes Netz.

 

[Bob.Dig]

Auf vmbr1, also physischer Schnittstelle des Hosts, habe ich nur das ursprünglich mitgelieferte /64.

Das zusätzlich bestellte /56 ist lediglich auf vmbr2 konfiguriert. Das ist doch ein ganz anderes Netz.

Du bist um einen Zähler verrutscht, es müsste 0 &1 heißen.

Also noch mal: Auf 0 ist dein ursprünglicher /64er.

Auf 1 kommt ein /64er aus dem /56er. Den Rest routest Du über diesen /64er an die Sense, alles auf dem Host. Das WAN der Sense bekommt händisch eine Adresse aus dem /64er.

 

[CoMo]

Ja genau. vmbr0 und vmbr1 ist richtig.

Ich habe zwei Netze:

2a01:XX:XX:4255::/64
2a01:XX:XX:e800::/56

Das erste ist auf vmbr0 konfiguriert, das zweite auf vmbr1.

Warum ist das zweite jetzt ein Teilnetz des ersten? Die haben doch gar nichts miteinander zu tun?

 

[riversource]

Es sind alles Bridges, also transparent auf Schicht 2. Die Daten fließen über alle beteiligten Hosts bzw. Container. Und es gilt: Bridge 0 ist die Host WAN Bridge, Bridge 1 ist OPNSense WAN, und Bridge 2 ist OPNSense LAN. Alle drei Interfaces müssen aufgrund der Konstellation sauber getrennte Subnetze haben. Wenn du es nicht nachvollziehen kannst, mach es einfach. Im Sinne der Sicherheit des Servers: MACH ES. vmbr1 und 2 sind dabei besonders kritisch und dürfen nicht überlappen, aber genau das machst du gerade.

 

[Bob.Dig]

Mit dem /57er lag ich falsch... Sry!
Also wie @riversource zuvor meinte /56- /64.

Wobei, wie sieht dann die Route auf dem Host aus @riversource ? Könnte man ggf. trotzdem den /56 routen? Ein direkt anliegendes Subnet sollte eh immer bevorzugt werden.

 

[riversource]

Ja, ne Route auf das gesamte /56 kann man auf dem Host einrichten.

Ob das resultierende Netz ein /57 oder kleiner ist, liegt an dem /64, dass man für vmbr1 raustrennt. Da empfehle ich den Einsatz eines Subnetzkalkulators. Das kann komplex sein.

 

[Bob.Dig]

OT: Konnte nun mit einem Tipp von riversource, unter Nutzung von NDP proxying, den einen /64er bei 1blu weiter aufsplitten und an eine pfSense-VM leiten. Und da die Ziele eh alles Linux-Server sind, funktioniert das auch. Das Ganze dauerhaft einzurichten, gestaltet sich für mich aber schwieriger als gedacht.

 

[IchiTheChiller]

Hallöchen,

ich betreibe ebenfalls Proxmox, auf dem OPNsense als VM läuft. Das Ganze läuft auf einem KVM Root-Server mit nur einer IP-Adresse. Ich mache gerade eine Umschulung zum Fachinformatiker für Systemintegration, und dieses Projekt ist ein kleines Spaßprojekt für mich. Ein Freund hat mich darauf gebracht, und mit seiner Hilfe habe ich einfach mal angefangen, das kleine Projekt umzusetzen. Auf dem Server sollen dann VMs laufen, und eventuell möchte ich ihn auch als Testumgebung für ein Monitoring-Projekt nutzen.

Über meine WireGuard-VPN-Verbindung kann ich Proxmox unter https://10.20.0.2:8006 und die OPNsense-VM unter https://10.10.0.1:8080 erreichen. Die OPNsense-VM ist außerdem noch über das WAN erreichbar, was ich später unterbinden möchte, sodass nur noch der Zugriff über die VPN-Verbindung möglich ist.

Bis jetzt bin ich an dem Punkt, dass ich über die WireGuard-Verbindung auf Proxmox und OPNsense zugreifen kann. Beide haben eine Verbindung zum Internet. Allerdings habe ich das Problem, dass die von mir erstellten VMs keinen Internetzugang haben. Ich vermute, dass entweder die Firewall etwas blockiert oder es ein Problem beim Routing gibt.

Hier sind die Interface- und Routing-Konfigurationen von Proxmox. Die HA-Bridge ist vorerst nicht relevant. Vielleicht habt ihr eine Idee, was das Problem sein könnte. Den Netzwerkplan habe ich ebenfalls erstellt, um eine Übersicht zu haben. Ich weiß jedoch nicht ob er so korrekt ist in der Form.

auto lo
iface lo inet loopback

auto ens18
iface ens18 inet manual

auto vmbr0
iface vmbr0 inet static
        bridge-ports ens18
        bridge-stp off
        bridge-fd 0
#       address x.x.x.x/24
#       gateway x.x.x.x

#WAN

auto vmbr1
iface vmbr1 inet static
        address 10.10.0.2/24
        post-up ip route add default via 10.10.0.1
        bridge-ports none
        bridge-stp off
        bridge-fd 0

#LAN External

auto vmbr100
iface vmbr100 inet static
        address 10.100.0.0/24
        bridge-ports none
        bridge-stp off
        bridge-fd 0

#Firewall HA Bridge

auto vmbr2
iface vmbr2 inet static
        address 10.20.0.2/24
        bridge-ports none
        bridge-stp off
        bridge-fd 0

#LAN Internal

root@pve:~# ip route show
default via 10.10.0.1 dev vmbr1
10.10.0.0/24 dev vmbr1 proto kernel scope link src 10.10.0.2
10.20.0.0/24 dev vmbr2 proto kernel scope link src 10.20.0.2
10.100.0.0/24 dev vmbr100 proto kernel scope link src 10.100.0.0