VLANs funktionieren nach Reboot nicht mehr

[ioe]

Hallo Board

Bei meinem Aktuellen Projekt bin ich gerade auf ein Problem gestoßen: Ich habe bei Proxmox ein VLAN (20) eingerichtet das auch so funktioniert. Wenn ich den dann Server reboote gehts nicht mehr, obwohl die Netzwerkkonfiguration die 'ip a' ausgibt volkommen identisch ist.

Also die initiale config ist:

auto vmbr0
iface vmbr0 inet static
bridge-ports enp1s0f0np0
bridge-stp off
bridge-fd 0
address 192.168.1.12/24
gateway 192.168.1.1

und die VLAN config:

auto vmbr0
iface vmbr0 inet manual
bridge-ports enp1s0f0np0
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 2-100

auto vmbr0.20
iface vmbr0.20 inet static
address 192.168.1.12/24
gateway 192.168.1.1

Laut Proxmox Doku sollte das so stimmen. Aber nach dem reboot kann ich das interface nicht mehr pingen.

Netzwerk Adapter:

3: enp1s0f0np0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master vmbr0 state UP group default qlen 1000
link/ether brd ff:ff:ff:ff:ff:ff
5: vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether brd ff:ff:ff:ff:ff:ff
inet6 fe80::e42:a1ff:fe98:ff6c/64 scope link
valid_lft forever preferred_lft forever
6: vmbr0.20@vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
link/ether brd ff:ff:ff:ff:ff:ff
inet 192.168.1.12/24 scope global vmbr0.20
valid_lft forever preferred_lft forever
inet6 fe80::e42:a1ff:fe98:ff6c/64 scope link
valid_lft forever preferred_lft forever

Könnt ihr mir weiterhelfen?

Danke.

 

[KillerCow]

Hast du das via PVE WebUI eingerichtet oder manuell? Falls letzeres, einfach nochmal via WebUI schauen, wie die config da aussieht und ggf. von dort nochmal einrichten.

Was genau machst du denn, damit es dann wieder funktioniert, bis zum reboot?

 

[oicfar]

Nur so 'ne Frage. Brauchst du dann noch ein Managed Switch, wenn du mit VLANs arbeitest? VLANs stehen noch bei mir auf der ToDo Liste.

 

[Bahkauv]

Hm, ich sehe da adhoc auch keinen Fehler. Da fehlt imho nur ein

auto lo
iface lo inet loopback
iface enp1s0f0np0 inet manual

ganz oben.

Aber was anderes: Was möchtest du denn machen? Ich habe die Management IP im Default/Native VLAN liegen (also ungetaggt unter vmbr0) und weise den VMs bzw deren Network Device über die GUI das entsprechende VLAN zu. Wenn du nicht den Bedarf hast die Management IP in ein getaggtes VLAN zu legen, wäre das evtl. ein Workaround für dich.

 

[ioe]

@KillerCow Sowohl als auch. Beides mal mit dem selbern Ergebnis.

Meistens erstelle ich die Config mit der Gui.
Dabei legt proxmox ein interface.new File an mit den neuen configs drin.
Dann ändere ich dort noch manuell die VLAN range von 2-4092 auf 2-100 und übernehme die Config in der Gui. (die Range muss ich ändern da meine Nic nur 512 VLANs nativ unterstützt)

Damit das wieder funktioniert, muss ich die Standard Einstellung wiederherstellen (also ohne VLAN) und rebooten.

@oicfar Ja. Wenn du VLANs willst dann brauchst einen Managed Switch

 

[Bahkauv]

Nur so 'ne Frage. Brauchst du dann noch ein Managed Switch, wenn du mit VLANs arbeitest? VLANs stehen noch bei mir auf der ToDo Liste.

Wenn die VMs auch mit Geräten, die am Switch angeschlossen sind, kommunizieren sollen, dann schon.

 

[ioe]

@Bahkauv Ja das ist auch vorhanden, hab nur die nicht involvierten interfaces wegen der Übersichtlichkeit weggelassen

Der Plan ist dass ich 3 VLANs habe, 20 = Privat, 30 = Gäste und 40 = IoT. Ich hätte gerne dass in Proxmox das UI, TrueNas und Debian nur aufm 20er VLAN erreichbar sind und OPNSens hat auf alle VLANs Zugriff.
Das funktioniert prinzipiell auch alles.. bis ich den Server reboote

 

[Bahkauv]

iface enp1s0f0np0 inet manual ist aber ein relevantes Interface :-)

Du könntest halt mal probieren VLAN20 auf dem Switch als untagged zu konfigurieren und alles was untagged ist, ist dann eben Privat. Eine andere Idee habe ich gerade nicht. Ist halt nicht 100% das, was du willst, erfüllt aber genauso seinen Zweck (Trennung der Netzbereiche).

 

[ioe]

@Bahkauv Stimmt. Die ganze config ist:

auto lo
iface lo inet loopback

iface enp1s0f0np0 inet manual

iface enp5s0 inet manual

iface enx00e04c7286c0 inet manual

iface enp1s0f1np1 inet manual

auto vmbr0
iface vmbr0 inet static
        bridge-ports enp1s0f0np0
        bridge-stp off
        bridge-fd 0
        address 192.168.1.12/24
        gateway 192.168.1.1

source /etc/network/interfaces.d/*

Das ist auch momentan so. Aber ich hätte gerne ein eigenes WLAN für Gäste und die IoT Devices und das geht eben nur mit VLANs. Die haben dann auch andere Firewall Regeln.

Es kann ja nicht sein, dass so etwas triviales wie VLAN bei einem Debian basierten System nicht mehr funktioniert nach einem Reboot.

 

[KillerCow]

Dann ändere ich dort noch manuell die VLAN range von 2-4092 auf 2-100

Das sind doch aber nur die VLans, die auf der Bridge generell erlaubt sind. Wieviele und welche du davon benutzt ist doch egal. Dürfte hier aber nicht weiter von Belang sein.

da meine Nic nur 512 VLANs nativ unterstützt

Was ist das für eine NIC und nutzt du da irgendwelche Hardware-Features? Richtest du die VLans auf dem NIC ein bzw. tauchen pro VLan eigene Devices auf? Im Zweifel den VLan-Hardwaresupport der NIC mal deaktivieren. Vielleicht ist das schon die Lösung. Denn entweder es kümmert sich die Hardware um VLans (dann hast du pro VLan ein eigenes Device im OS) oder es kümmert sich der Netzwerkstack des OS um die VLans. beides zusammen ist vermutlich ungünstig.

Ergänzung (22. Dezember 2023)

Es kann ja nicht sein, dass so etwas triviales wie VLAN bei einem Debian basierten System nicht mehr funktioniert nach einem Reboot.

Läuft bei mir auf derzeit fünf PVE Clustern sauber. Ist also kein generelles Problem. Vermutlich hat das was mit deiner Hardware bzw. dem Treiber zu tun.

Vielleicht auch mal via tcpdump auf den Verkehr lauschen und schauen, ob die VLan-Tags korrekt gesetzt werden (sowohl während es funktioniert, als auch nach dem Reboot).

 

[ioe]

@KillerCow Der Meinung bin ich auch. Die VLAN-Range sollte egal sein

Ich verwende eine Mellanox CX4121A ConnectX-4 (Gesamte HW hier: https://www.computerbase.de/forum/threads/kompakter-home-server.2160365/#post-28886343). Die soll eigentlich ganz gut auf Proxmox laufen.

Ich lege nur ein vmbr0.20 Device an, wo die Proxmox UI drauf läuft. Die restlichen VMs kann man direkt Taggen. Das funktioniert auch alles wunderbar.. Bis ich eben den Server neu starte.

Gute Idee.. Dann deaktiviere ich mal den VLAN HW Support.
Edit: Irgend eine Idee wie man das bewerkstelligt?

 

[Bahkauv]

@Bahkauv Stimmt. Die ganze config ist:
Das ist auch momentan so. Aber ich hätte gerne ein eigenes WLAN für Gäste und die IoT Devices und das geht eben nur mit VLANs. Die haben dann auch andere Firewall Regeln.

Kannst du ja. Mein Workaround schließt das ja nicht aus. Ich habe das hier so. Privates VLAN 10 = untagged, VLAN 20 = WIFI-GUEST, VLAN 40 = DMZ. Verroutet über OPNSense auf dem Proxmox.

Ein Untagged hast du eh. Meist ist das VLAN1.

Edit: Du könntest auch mal probehalber die onboard NIC vom Mainboard testen. Die Mellanox scheinen nicht ganz so unproblematisch zu sein wie man vielleicht annehmen würde.

 

[ioe]

Oh man... Hab jetzt die Mellanox gegen eine alte NIC getauscht und jetzt funktionierts 🫠
@Bahkauv Ah. also akzeptierst du Untagged und Tagged Traffic auf dem Port. Ja das wäre in der tat noch eine Lösung.

Danke für die Hilfe!

 

[KillerCow]

Oh man... Hab jetzt die Mellanox gegen eine alte NIC getauscht und jetzt funktionierts

Hardwarefeatures sind schon was tolles Aber mach dich einfach schlau, wie du das abgeschaltet bekommst bzw. wie du das sauber konfiguriert bekommst. Abschalten wird via Treiberparameter im modprobe laufen. Vermutlich gibt es auch ein CLI-Tool für die Verwaltung vom Hersteller.