Hardware für pfSense oder OPNsense

[DerGast]

Poste mal die Konfiguration der Netzwerkkarte, ich kenne mich da mit den Proxmox nicht aus, kenne aber dafür VSphere, XenServer und Hyper-V, wo die Auswahl der Netzwerkkarte/Treiber durchaus eine Rolle spielte.
Welche Plugins hast Du aktiviert bzw konfiguriert? So ein Verhalten hatte ich kürzlich mal bei der XG, als die TCP Flood Konfiguration etwas heftig war
Hardware offloading deaktivieren kann etwas bringen.
Um den Download an der WAN Schnittstelle zu testen, kannst Du auch wget oder fetch nutzen und etwas runterladen, dann läge der Traffic nur zwischen Internet und WAN Schnittstelle, vielleicht lässt sich das Verhalten damit analysieren- Die Ubuntu Server sind da immer fix...

 

[Domi83]

Moin, welche Netzwerkeinstellungen möchtest du denn explizit sehen, die vom Proxmox selbst, die von der VM oder die Einstellungen im OPNsense?

Gestern hab ich aber noch eine andere Webseite (meine eigene Nextcloud) mit mehreren GB an Daten vom Server gezogen und von A nach B geschoben. Das ganze hab ich via WinSCP und einer sFTP Verbindung laufen lassen und da war nichts.

Ich werde nachher noch mal einen normalen FTP Download von einer der Webseiten mit vielen Dateien anstoßen und schauen ob es wieder Probleme gibt. Wenn nicht, könnte es auch am Anbieter (Deutsche Glasfaser) gelegen haben, dass es dort Probleme gab und diese eventuell behoben sind, oder eben nicht.

 

[DerGast]

Die der Netzwerkkarte im Proxmox. Aber es wäre ja eher intressant ob es allgemeine Probleme gab.
Ansonsten habe ich vorhin auch mal probiert was bei OPNsense geht:
fetch https://releases.ubuntu.com/22.04.2/ubuntu-22.04.2-desktop-amd64.iso | iftop

Dann siehst Du über iftop gleichzeitig die Verbindungsgeschwindigkeit.
Berichte gerne was es ergab, würde mich echt intressieren.

 

[TheHille]

Hi, ich bin durch Zufall auf den Beitrag gestoßen.
Ich virtualisiere aktuell alles monolithisch auf einem i9 10900 und würde gerne etwas stromsparenderes ausprobieren.

An diejenigen, die diese Rechner (projectli, aliexpress) mit dem Intel N5100 haben:

Wie ist die WAN-Performance bei aktivem PPPoE-Client? Das war bei mir mit dem APU2D4 ein Dealbreaker.
Würdet ihr OpnSense bare-metal installieren, oder via Hypervisor?
Hat jemand von euch OpenSense auf den kleinen Rechnern im HA (bare-metal) laufen?

Danke schon mal im Voraus für die Antworten!

 

[DerGast]

Zum testen mag ich ja VMs und nutze sie beruflich, aber gerade was die Abhängigkeit zum Internet angeht, bin ich ein Bare-Metal Freund
Läuft halt schnittig, Updates sind auch kein Problem da nur die Software aktualisiert wird und nicht der HV.. und so weiter.
Bei mir lief die OPNsense auf einer alten Sophos UTM Hardware (gucke mal auf Seite 1, da ist ein Screenshot) und rannte echt gut.
Was hast Du für ne Leitung und wo war der Flaschenhals beim APU?

 

[TheHille]

Der Flaschenhals war bei 500Mbit down in Verbindung mit PPPoE-Client auf dem APU. Da gingen dann "nur" noch 250Mbit über die Leitung. An IDS, IPSec etc. war dann auch nicht mehr zu denken.

 

[F31v3l]

Über den GX-412TC findet man nicht wirklich Benchmarks zum Vergleich. Der GX-412TC gehört zur Puma-Generation mit 6W und 1,4 GHz. Eine vergleichbare Puma-CPU ist der E2-6110 (4 Kerne, 1,5 GHz, 15W).
Im Geekbench 5 hat der N5105 4x so viele Punkte: https://www.cpu-monkey.com/de/compare_cpu-amd_e2_6110-vs-intel_celeron_n5105

 

[DFFVB]

@DerGast Du sagst die Hardware langweilt sich bei der Sophos XG Home - ich gehe davon aus, dass Du kein DPI / IPS nutzt? Damit geht die Last ja schlagartig nach oben.

 

[Domi83]

Die der Netzwerkkarte im Proxmox.

Daran soll es nicht scheitern

auto lo
iface lo inet loopback

iface enp2s0 inet manual
#eth0

iface enp3s0 inet manual
#eth1

iface enp4s0 inet manual
#eth2-pt

iface enp5s0 inet manual
#eth3-pt

auto vmbr0
iface vmbr0 inet static
        address 192.168.x.x/24
        gateway 192.168.x.x
        bridge-ports enp2s0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 2-4094
#LAN1 (eth0)

Generelle Probleme gab es aber so an sich keine. Wenn ich WinSCP und sFTP Verbindungen aufbaue, läuft alles problemlos durch. Eventuell war es auch Zufall, es lag am FTP Protokoll oder irgend ein anderes Phänomen hat Probleme verursacht.

Aber sonst läuft es aktuell sehr ruhig durch... Ich bin auch der Meinung dass der eine "Freeze" von der Pi-Hole VM nach über 20 Tagen kam und der andere Freeze der OPNsense ein paar Tage später. Und da aktuell eine Laufzeit von knapp 5 Tagen vorhanden ist, muss ich noch etwas warten

Ansonsten scheint das System zu schlafen (siehe Bild im Anhang) und die 400 Mbit meines Anschlusses bei der Deutschen Glasfaser kommen komplett durch. Allerdings muss die OPNsense kein PPPoE machen, da das Gerät ja hinter dem ONT der Deutschen Glasfaser hängt.

 

[DerGast]

@DerGast Du sagst die Hardware langweilt sich bei der Sophos XG Home - ich gehe davon aus, dass Du kein DPI / IPS nutzt? Damit geht die Last ja schlagartig nach oben.

Nee, die langweilt sich bei der OPNsense. Die XG ist hingegen eine Katastrophe - in jeglicher Hinsicht. Ich weiß nicht welcher Praktikant bei der Entwicklung beteiligt war, wobei die das vermutlich besser gemacht hätten. Dummerweise arbeite ich noch mit der
Die UTM lief aber bis zuletzt auf dem N450, auch inkl. IPS. Ich denke es hat schon viel ausgemacht dass dort ne SSD verbaut war. Btw ist DoS ebenfalls ein Schuss nach hinten. Selbst die Sophos Menschen sagen dass man da ne andere Lösung nutzen sollte... auch bei SMTP. Und auch bei Endpoint. Und überhaupt am besten bei allem...

Ansonsten scheint das System zu schlafen (siehe Bild im Anhang) und die 400 Mbit meines Anschlusses bei der Deutschen Glasfaser kommen komplett durch. Allerdings muss die OPNsense kein PPPoE machen, da das Gerät ja hinter dem ONT der Deutschen Glasfaser hängt.

Dann warte mal ab. Dass beide VMs abranzen ist ja schon arg seltsam.. hm.

 

[Domi83]

Ist auch nicht gleichzeitig passiert... erst die eine VM, ein / zwei Tage später die andere.

Ansonsten gibt es keine Datenprobleme... nur am vergangenen Wochenende, wo ich direkt via FTP Down- und Uploads gemacht hatte. Erst mit FlashFXP und dann mal mit WinSCP probiert

Gruß, Domi

p.s. Ich war die Tage leicht verwundert, dass seit 2017 bei FlashFXP nichts mehr passiert. Schade eigentlich, mochte das Programm sehr gern.

Nachtrag1: Ach ja, ich hab das alles via Proxmox virtualisiert weil ich Proxmox mag und das Teil ja an sich genügend Feuer unter dem Hintern hat um zwei kleine VMs zu betreiben.

Nachtrag2: Ich hab ja zwei Systeme mit Proxmox... einmal das kleine Teil für OPNsense + Pi-Hole und einen Selbstbau Server mit Core i5, ausreichend RAM etc. aber die Büchse ist mein Fileserver sowie auch System für ioBroker, vzLogger und Grafana.

 

[DFFVB]

@DerGast Aber dann ist die OPNsense nicht scharf gezogen? Also so DInge wie Zenarmor / Snort / Suricata etc ziehen doch auch ordentlich Leistung? DoS? Ist das ne andere Abkürzung für Deep Packet Inspection?

 

[DerGast]

Entschuldige, irgendwie kam ich nicht dazu...
Ja, Suricata, ClamAV, Monit und so Basics waren drauf. Ich weiß nicht wie sie es schaffen, aber wie viel sie rausholen können, ist schon ganz nett

 

[Recalion]

Letzte Woche ist mir die Pi-Hole VM weg gebrochen (eingefroren) und zwei Tagen dann ein ähnliches Szenario mit der OPNsense.

[...]

Wunderte mich, denn eigentlich laufen die Systeme seit Jahren stabil.

[...]

Gibt es dazu Erfahrungen die Ihr schon mal gemacht habt?!

Mein Proxmox-Server mit WD Blue ist nach einem halben Jahr defekt gewesen, weil die Festplatte totgeschrieben war (Wear Level). Seit über 1 Jahr habe ich jetzt eine Enterprise SSD und die Log-Dateien begrenzt. Wear Level ist auf 1%.

 

[Domi83]

Ich hab mein OPNsense wieder direkt auf das System geschrieben (bare-metal) und seit dem läuft das Teil einfach nur stabil.

Es kann also durchaus sein, dass dieser Mini-PC jetzt nicht die geilste Lösung für Proxmox mit OPNsense VM + Pi Hole ist.

Das schöne war allerdings mit Proxmox als Unterboden, dass man die OPNsense "mal eben" neu machen kann ohne das Teil aus dem Schrank zu holen um dann einen Monitor anzuschließen.

Aber aktuell läuft es und das nächste Mini PC Teil (in dieser Form) darf ruhig 5x LAN (oder mehr) mit 2,5 Gbit/s haben UND dazu nen Consolen Port (z.B. iLO, iDRAC, IPMI etc.)

 

[Sani]

Könntest Du mal teilen, wie Deine Topologie aussieht und wie Du das konfiguriert hast?

Ich stelle mir das so vor:
FritzBox -> OpenSense -> Internets Netz (mit Pi Hole etc.).

Wo liegt Dein DNS? Wahrscheinlich auf dem Pi-Hole?

Wo würde man Deine Access Points anbinden? Fritzbox? Dann müsste alles durch Opensense. Oder hinter der Firewall?

Wie kann man an der Fritzbox configurieren, dass aller Traffic durch die Open Sense geroutet wird?

 

[Domi83]

Moin, seit November 2023 sieht es grob wie folgt bei mir aus (siehe Anhang).

Ich habe das versucht optisch ein wenig zu trennen, damit man ungefähr weiß was wo zu gehört.

Meine FritzBox (7490) dient nur noch als Telefonanlage mit DECT Endgeräten, ab und an verirrt sich sogar mal ein Fax, aber auch das wird von der FritzBox abgefangen.

Meine UDM Pro wurde halt durch die OPNsense abgelöst und somit macht sie nur noch "Controller" für die Ubiquiti Geräte und Video Überwachung (Protect).

Auf dem Server ist Proxmox als Basis, wo unter anderem auch der PiHole drauf läuft.

Über den DHCP in der OPNsense verteile ich IPs (Dynamisch und Statisch via MAC gebunden). Da ich mehrere VLAN habe, verteile ich natürlich auch mehrere IPs etc.

Mehr fällt mir spontan nicht ein... wo genau hängt es, oder was genau hast du für Fragen?

Hier gibt es kein richtig und falsch, viele Wege führen nach Rom. Ich hatte die UDM Pro auch schon über einen separaten Port hinter der OPNsense. Dabei hatte die OPNsense dann PPPoE Einwahl gemacht, aber aufgrund eines Tests, stehen eth0 und eth1 auf DHCP. Die Verbindungen bauen der Zyxel sowie der DrayTek auf.

Führt zwar zu doppeltem NAT, was aber kein Thema ist, da ich keine Ports auf machen muss für VPN.

Irgendwann bekomme ich es vielleicht wieder Quer im Kopf, baue wieder um und dann kommt es doch anders.

Hab unter anderem auch schon einen neuen MiniPC gefunden mit diversen RJ45 sowie SFP Ports... das könnte mein nächstes Gerät werden, dann kann die UDM wieder hinter die OPNsense und ich hätte weitere Ports in Reserve.

Was noch zu erwähnen ist, die OPNsense ist das Gateway bei mir. Egal für welches Netz.

Das war es dann schon.

 

[F31v3l]

Ich stelle mir das so vor:
FritzBox -> OpenSense -> Internets Netz (mit Pi Hole etc.).

Wo liegt Dein DNS? Wahrscheinlich auf dem Pi-Hole?

Wo würde man Deine Access Points anbinden? Fritzbox? Dann müsste alles durch Opensense. Oder hinter der Firewall?

Wenn du auf eine OPNsense umsteigen willst, würde ich das (im Endausbau) komplett machen und alles hinter die Sense packen. Falls möglich die Fritzbox komplett raus oder im Bridge-Modus betreiben.
Zur Sicherheit kannst du in der Einrichtungs- und Experimentierphase die Sense hinter der Fritzbox als Router betreiben. Da wird dann aber der Zugriff von außen schwer (Doppel-NAT).


PiHole gibt es zig Möglichkeiten. Hier mal ein Thread aus dem OPNsense-Forum:
https://forum.opnsense.org/index.php?topic=21775.0

Habe es bei mir so gelöst:
Die Clients haben das PiHole als DNS-Server. Als Upstream ist die OPNsense mit Unbound eingetragen. Unbound leitet die Anfragen an DNSCrypt weiter.

Du kannst aber auch das PiHole weglassen und den Unbound in der Sense die Arbeit machen lassen. Dort stehen auch bekannte Blocklisten zur Verfügung und du kannst Overrides machen.

 

[Sani]

Ich versuche meine Gedanken noch mal klar zu machen:
Ich möchte allgemein meine Home-IT etwas sicherer machen.
Hierfür habe ich mir erstmal einen Intel Nuc geholt mit Proxmox drauf.
1. Schritt: AdGuard Home installiert mit entsprechenden Filterlisten
2. Schritt: in der Fritzbox eingerichtet, dass alle DNS Abfragen nur noch über AdGuard Home laufen dürfen
3. Schritt: Port 53 für DNS Anfragen auf der Fritzbox für alle anderen Systeme gesperrt.

Nun wäre die Idee noch eine OpenSense ins Spiel zu bringen. Einfachster Weg: auf auch dem Proxmox.
Doch was wäre da nicht so optimal:
a) Firewall und die anderen Rechner wären physisch die gleiche Maschine. Ist doof, oder?
b) Mein Mesh-Netzwerk wird von der Fritzbox gemanaged und wäre somit VOR der Firewall...ist ja irgendwie doof. Ein Umbau, dass die Access Points hinter der Firewall liegen wäre wohl mit nicht so geringen Kosten verbunden. Entweder noch eine Fritzbox holen und hinter die Firewall hängen oder z. B. auf Ubiquiti umsteigen.

 

[scooter010]

@Sani Wie wäre es, wenn du für das was du möchtest einen eigene Thread erstellst?

Port 53 bringt spätestens seit dns over https nicht mehr viel. Da müsstest du dann schon eher einen Webproxy schalten, der alle https anfragen nach außen auf bricht und den Intenretzugang ohne proxy sperrst. Und natürlich noch eine eigene CA erstellen und dessen Zertifikat auf allen clients ausrollen. Damit der Proxy den Traffic auch aufbrechen kann und dns-anfragen umleitet.

Du kannst problemlos opnsense (oder eine andere router-software) auf dem proxmox virtualisiert laufen lassen. Du solltest nur sicherstellen, dass wenn der Proxmox oder der Router zicken, dass du trotzdem noch an die Administrationsoberflächen kommst.

Grundsätzlich ist das fritzbox mesh nicht dafür ausgelegt, was du möchtest.
Ich verwende Ubiquiti APs. Dort gehen mehrere VLAN hin und werden auf unterschiedliche SSIDs gemappt. Je nach SSID bzw. VLAN dürfen die client in unterschiedliche Netze.