OPNsense als Router auf Proxmox

[Bob.Dig]

Geht das so und macht das Sinn?

Grundsätzlich brauchst Du für jedes (Sub-)Netz ein /64. Also eines für OPNsense WAN und dann für jedes LAN. Es ist auch sicherer, für jeden Server/Service ein eigenes Subnet, also Interface, auf der OPNsense zu kreieren, als alle auf einem laufen zu lassen, gerade was IPv6 betrifft, aber es ist auch mehr Arbeit. Das Ganze dann immer als VLANs würde ich vorschlagen.

Zu erst wirst Du aber eine Route für den /56 auf dem Host anlegen müssen, hab ich auch noch nicht gemacht.

 

[riversource]

Ich dachte zunächst an 3 Netze: Eines für den Host

Brauchst du ja eigentlich nicht, denn dafür gibt es ja schon das originale /64, welches mit dem Server ausgeliefert wurde.

eines für die vmbr1/vtnet0 (Proxmox <> OPNSense) und eines für die VMs, also vmbr2/vtnet1 (OPNSense).

Genau die zwei Netze brauchst du. WAN und LAN für die OPNSense.

Oder soll ich gleich jeder VM ein komplettes /64 zuweisen?

Wenn du später mal VMs hast, die was damit anfangen können. Sonst erhöht es nur die Komplexität der Firewall.

Ansonsten siehe #17. Am Grundprinzip ändert sich nichts, nur dass du das /64 nicht splitten musst in /80. Also alles, was dort irgendwie mit /80 beschrieben ist, änderst du in /64 und ersetzt die Adressen durch die Adressen aus deinem /56er Subnetz, also z.B. aus dem ersten und zweiten /64 des Bereichs.

 

[CoMo]

Ich bin jetzt mit Hilfe etwas weitergekommen, allerdings ist nach einem Reboot alles kaputt, da die Bridges immer wieder neue Link-Local Adressen bekommen. Somit ist es nicht möglich, das Gateway persistent zu konfigurieren.

Auch die MAC-Adressen ändern sich ständig. Und die LLA scheinen auch nichts mit den MAC-Adressen zu tun zu haben. Völliges Chaos also bei der Netzwerk-Konfiguration. Eine Idee, wie man das behebt? Im Proxmox Forum kommt dazu leider keine Antwort.

 

[riversource]

Ich bin jetzt mit Hilfe etwas weitergekommen, allerdings ist nach einem Reboot alles kaputt, da die Bridges immer wieder neue Link-Local Adressen bekommen. Somit ist es nicht möglich, das Gateway persistent zu konfigurieren.

Wann brauchst du denn die link-lokale Adresse als Gateway? Und wenn du da wirklich eine brauchst, dann richte doch eine zusätzliche ein, die statisch ist. Vielleicht ist deine Einstellung auch einfach auf "zufällige Adresse"? Du kannst ja stattdessen mal EUI-64 probieren.

Auch die MAC-Adressen ändern sich ständig.

Die MAC Adresse des VPS ändert sich beim Reboot? Das kann ich mir bei Hetzner kaum vorstellen. Vielleicht ist das auch eine Einstellung? Ich hab schon seit längerem keinen VPS mehr bei Hetzner.

Und die LLA scheinen auch nichts mit den MAC-Adressen zu tun zu haben.

Wie gesagt, das ist Einstellungssache, je nachdem, welches Framework für die Adressverwaltung du benutzt.

 

[CoMo]

Woher weiß ich, welches Framework ich nutze?

Ich dachte immer, MAC-Adressen sind statisch und die LLA errechnet sich aus der MAC. Hier ist aber alles scheinbar völlig zufällig und nach jedem Reboot anders.

4: vmbr1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 82:71:8a:73:9d:51 brd ff:ff:ff:ff:ff:ff
    inet6 fe80::8ca4:24ff:fe97:d171/64 scope link

Ergänzung (5. Juni 2024)

Die MAC Adresse des VPS ändert sich beim Reboot? Das kann ich mir bei Hetzner kaum vorstellen. Vielleicht ist das auch eine Einstellung? Ich hab schon seit längerem keinen VPS mehr bei Hetzner.

Ich hab noch nie ein VPS bei Hetzner gehabt. Das hier ist ein dedizierter Server.

 

[riversource]

Woher weiß ich, welches Framework ich nutze?

Wenn du es nicht weißt, wer dann? Was bietet Proxmox denn da so?

Ich dachte immer, MAC-Adressen sind statisch und die LLA errechnet sich aus der MAC.

Ersteres stimmt (bei physischen Netzwerkinterfaces), letzteres kann man einstellen.

Ah, die MAC der Bridge ändert sich. Das kann natürlich sein. Das ist dann aber ebenfalls eine Einstellung, vielleicht in den Bridge tools, oder im Proxmox.

Das hier ist ein dedizierter Server.

Dann ist die MAC auf dem physikalischen Interface garantiert statisch.

 

[CoMo]

Hm, brctl showmacs vmbr1 sagt:

port no mac addr                is local?       ageing timer
  1     82:71:8a:73:9d:51       yes                0.00
  1     82:71:8a:73:9d:51       yes                0.00
  1     bc:24:11:c0:75:80       no                 0.10

Eigentlich ist mir das mit der MAC-Adresse völlig egal, die LLA soll sich aber nicht ändern.

~# sysctl  net.ipv6.conf.all.use_tempaddr
net.ipv6.conf.all.use_tempaddr = 0

Ist das nicht dieses EUI-64? Aber wie wird 82:71:8a:73:9d:51 zu fe80::8ca4:24ff:fe97:d171?

 

[Bob.Dig]

Also bei mir bleibt es stabil. Vermutlich hast Du dich nur in der Bridge geirrt, es geht ja nur um vmbr0.

3: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether c4:37:72:3f:aa:b0 brd ff:ff:ff:ff:ff:ff
    inet *.*.*.*/32 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::c637:72ff:fe3f:aab0/64 scope link
       valid_lft forever preferred_lft forever

 

[CoMo]

vmbr0 ist das physische Interface. Da gibt es kein Problem.

vmbr1 ist die Brücke zw. Proxmox und OPNSense, wo auch das /56 konfiguriert ist. Und da habe ich nach jedem Reboot eine andere MAC-Adresse und eine andere Link-Local-Adresse. Mehrfach probiert jetzt. Reboot -> alles gewürfelt.

 

[Bob.Dig]

vmbr0 ist das physische Interface. Da gibt es kein Problem.

Ich selbst hab es wie gesagt noch nicht gemacht, aber ich meine, Du musst auf dem Host eine Route bei vmbr0 machen, die den /56 komplett auf vmbr1 routet.
Oder Du schneidest da bereits was raus fürs OPNsense-WAN, da fehlt mir die Erfahrung.

Schau mal hier, wenn es um IPv6 geht. Irgendwelche Link-Local-Adressen brauchst Du dafür nicht.

 

[CoMo]

Habe ich doch alles schon erfolgreich erledigt. Das /56 liegt auf vmbr1, daran hängt auch die OPNSense. vmbr3 verbindet die VMs mit der OPNSense, die macht RA, VMs konfigurieren sich eine IP-Adresse per SLAAC. Alles einwandfrei.

Und nach einem Reboot ist alles kaputt, weil die Routen ungültig sind und das Gateway nicht mehr da. Weil es die konfigurierte Link-Local Adresse nicht mehr gibt.

 

[Bob.Dig]

Und nach einem Reboot ist alles kaputt, weil die Routen ungültig sind und das Gateway nicht mehr da. Weil es die konfigurierte Link-Local Adresse nicht mehr gibt.

Ne, bei der OPNsense musst Du so was überhaupt nicht machen. Da nutzt Du selbst nicht unbedingt Link-Local Adressen...

 

[CoMo]

Aber genau so hat es bis vor dem Reboot funktioniert.

 

[riversource]

Ist das nicht dieses EUI-64?

Nein, das sind zusätzliche temporäre Adressen bei SLAAC, um die Anonymität zu fördern. Das hat weder was mit LLAs noch was mit EUI-64 zu tun.

Das /56 liegt auf vmbr1,

das würde ich nicht machen. Nimm ein /64 für vmbr1.

Das Problem ist die Konfiguration der Bridges. Dort müssen statische MACs eingestellt werden. Für die Interface-IDs muss dann EUI-64 eingerichtet werden.

 

[CoMo]

das würde ich nicht machen. Nimm ein /64 für vmbr1.

Warum nicht? So hat es doch funktioniert. Ich möchte, dass die OPNSense selbstständig das /56 aufteilen kann. Der Host soll mit dem /56 überhaupt nichts zu tun haben. Das hat schon so funktioniert, wie ich mir das vorgestellt habe. Bis zum Reboot.

Das Problem ist die Konfiguration der Bridges. Dort müssen statische MACs eingestellt werden. Für die Interface-IDs muss dann EUI-64 eingerichtet werden.

Ich habe leider bisher nicht herausgefunden, wie ich das mache. In Proxmox kann man das nicht konfigurieren.

Ergänzung (5. Juni 2024)

~# sysctl net.ipv6.conf.vmbr1.addr_gen_mode
net.ipv6.conf.vmbr1.addr_gen_mode = 0

~# sysctl net.ipv6.conf.default.addr_gen_mode
net.ipv6.conf.default.addr_gen_mode = 0

Das?

 

[Bob.Dig]

Warum nicht? So hat es doch funktioniert. Ich möchte, dass die OPNSense selbstständig das /56 aufteilen kann.

Das WAN der OPNsense sollte aber schon einen /64er bekommen. Und darauf könnte man dann vermutlich auch routen.

 

[CoMo]

Das WAN der OPNsense sollte aber schon einen /64er bekommen.

Wozu?

 

[Bob.Dig]

Z.B. zum besagten Routen. Statt deiner Link-Local-Adressen nimmst Du jetzt was aus dem ersten Prefix.

Davon ab macht es Sinn, immer den kürzesten Weg zu gehen. Und man hat ja auf ner Sense auch gerne direkt Sachen drauf, wie VPN-Server, Reverse-Proxy etc. Also auf eine öffentliche WAN-Adresse verzichtet man eher ungern, auch wenn es mit IPv6 möglich ist.

 

[CoMo]

Aber ich habe doch eine öffentliche WAN-Adresse?

iface vmbr1 inet6 static
        address 2a01:XX:XX:e800::1/56

Und die kann ich von zuhause erreichen:

PING 2a01:XX:XX:e800::1(2a01:4f8:10a:e800::1) 56 data bytes
64 bytes from 2a01:XX:XX:e800::1: icmp_seq=1 ttl=57 time=17.5 ms
64 bytes from 2a01:XX:XX:e800::1: icmp_seq=2 ttl=57 time=17.6 ms

Warum noch zusätzlich ein /64?

 

[Bob.Dig]

Warum noch zusätzlich ein /64?

Du hast den ganzen /56er auf dem WAN, das wäre Verschwendung, daher einen /64er rausschneiden für das WAN, der Rest kann dann für LANs genutzt werden.
Achtung, wir reden hier vom WAN und LAN der OPNsense.