Proxmox / Netzwerkkonfiguration / Geschwindigkeitsprobleme

[PEASANT KING]

Guten Morgen,

ich betreibe mehrere Proxmox in der Version 8.2.4 nun ist mir beim Testen aufgefallen dass eine Desktopapplikation, die sich über das Internet auf einen Server in einer VM unter Server 2019 Standard verbindet, dass die Geschwindigkeit immer so um die 12Mbit/s beträgt manchmal auch mehr.

Der Proxmox Server ist bei Hetzner mit 1GBit angebunden. Intern zwischen den VMs erhalte ich auch bis zu 600Mbit/s, gemessen mittels iperf3. Nach außen hin erhalte ich diese Geschwindigkeit nicht.
Ich habe schon sämtliche Konfigurationsoptimierungen durch etc, aber bis jetzt hat nichts geholfen.

Komisch ist, mache ich einen Speedtest aus der Server VM erhalte ich knapp 900Mbit/s duplex.

Meine Konfiguration sieht wie folgt aus:

Internet -> Proxmox -> <- vmbr0 ->opnsense VM <- vmbr1 -> VLAN101 -> Reverse Proxy
-> VLAN102 -> Diagnostics VM
-> VLAN110 -> Windows Server VM

Ich befürchte es ist etwas zwischen vmbr0 und vmbr1 wobei vmbr0 eine Linux Bridge ist und die vmbr1 ist eine OVS Bridge.

Im Proxmox Host sind iptables Regeln festgelegt zum weiterleiten aller Anfragen an die opnsene außer SSH und die UI von Proxmox.
Die Konfiguration des Proxmox sieht wie folgt aus:

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp5s0
iface enp5s0 inet static
        address xxx.xx.xx.xxx/26
        gateway xxx.xx.xx.xx
        post-up sysctl -w net.ipv4.ip_forward=1
        post-up iptables -t nat -A PREROUTING -i enp5s0 -p tcp -m multiport ! --dport 22,8006 -j DNAT --to 10.10.10.1
        post-up iptables -t nat -A PREROUTING -i enp5s0 -p udp -j DNAT --to 10.10.10.1

iface enp5s0 inet6 static
        address xaxx:xfx:xxxx:xxdx::x/64
        gateway fexx::1

auto vmbr0
iface vmbr0 inet static
        address 10.10.10.0/31
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up iptables -t nat -A POSTROUTING -s '10.10.10.1/31' -o enp5s0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.10.1/31' -o enp5s0 -j MASQUERADE
#OPNsense WAN - Proxmox LAN

auto vmbr1
allow-ovs vmbr1
iface vmbr1 inet manual
        ovs_type OVSBridge
#VM Network

Ich bin echt langsam am verzweifeln. Übrigens Uploads per FTP vom Server auf irgendeine Adresse in Internet funktioniert auch mit vollem Speed, was mich sehr wundert, denn eigentlich sollte auch das langsamer sein.

 

[blackraven]

Ich würde empfehlen die Firewall auf einem separaten physischen Adapter WAN-seitig laufen zu lassen und diesen direkt durchzureichen. Wenn intern kein Platz, dann halt per USB.

 

[scooter010]

Je nach dem, welchen Server du benutzt, kann das Routing mit NAT ganz gut ressourcen fressen. Schon mal geschaut, wie die CPU Auslastung auf dem VM Host ist bei Proxmos?

Ich gehe davon aus, dass Hetzner VM -> Proxmox -> Hyper-V -> Windows VM?
Da kann mit dem ganzen Nat schon was an Performance verloren gehen

 

[PEASANT KING]

Ne die Windows VM läuft auf dem Proxmox Hypervisor. Ich verstehe nicht, warum ich noch einen Hypervisor davor schalten sollte.

Es kann doch aber nicht sein, dass das NAT 9/10 der Geschwindigkeit wegnimmt. Es handelt sich um einen
20 x 13th Gen Intel(R) Core(TM) i5-13500.

Ich denke da ist doch genug Luft über oder? Die CPU langweilt sich zu Tode...

 

[sLgFiRE]

Hello, auf was steht denn der CPU Governor, damit hatte ich anfangs probleme

cat /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor

Hab de OPNsense auf dem i3 8300 am laufen mit der zusätzlichen Linux VM; da hab ich vollen Throughput.

Also CPU sollte locker reichen

 

[PEASANT KING]

Ist auf Performance für alle Cores.

 

[riversource]

Welche Geschwindigkeiten ins Internet erreichst du aus der Diagnose-VM und aus der OpenSense VM? Oder aus der Proxy VM?

 

[PEASANT KING]

Mit iperf3 bzw. iperf etc. um die 100Mbit/s, nutze ich FTP Upload oder Download oder Speedtest, habe ich nahe zu 1Gbit/s full duplex. Was mich sehr stutzig macht, also warum iperf nur 100Mbit/s erreicht, aber das spiegelt auch genau das wieder, was ich dann per Desktop Applikation beim übertragen von Daten erreiche.

 

[riversource]

Was mich sehr stutzig macht, also warum iperf nur 100Mbit/s erreicht, aber das spiegelt auch genau das wieder, was ich dann per Desktop Applikation beim übertragen von Daten erreiche.

Das waren oben noch 12 MBit/s. Oder meintest du MByte/s?

Wie sehen die iperf3 Parameter aus? Wie viele Streams, welche Buffer-Größen, welche Paketgrößen? Hast du den iperf3 Aufruf irgendwie optimiert? Da kann man schnell mal eine Größenordnung an Geschwindigkeit herausholen.

Das wäre dann auch ein Hinweis für dein Setup: MTU, MSS etc.

 

[PEASANT KING]

Ja sry vertan, um die 100Mbit/s = 12,5MB/s genau. Ich mache später mal paar Screenies. Habe jetzt erst mal nen Termin. Ich hatte es mal mit 8 oder 10 gleichzeitigen Streams versucht, aber das Ergbnis ist immer gleich geblieben.

Ich reiche hier noch nach.

Bin noch nicht zu einem iperf3 Test gekommen, was mich aber wundert und aufgefallen ist, ist dass wenn ich die IP von vmbr0 anpinge ich in der opnsense als Source meine externe IP sehe, was ja Blödsinn ist, da es sich hier um die IP der WAN Schnittstelle der opnsense handeln müsste.

Vielleicht interpretiere ich das Ganze auch falsch.

Hier das Ergebnis von iperf3: