Hohe Prozessorauslastung bei ZFS Encryption

[Bohnenhans]

Ahso die Patches sind im Kernel nicht im ZFS - was für einen Lese- und Schrebdurchsatz hast Du denn bei ZFS Crypt mit einer Non AVX CPU?

 

[polyphase]

Schau hier:
https://www.computerbase.de/forum/t...tung-bei-zfs-encryption.2112710/post-27568597

Das war aber noch die RC1 vom neuen TrueNAS Scale 22.12

Gestern wurde die Final veröffentlich, wie da die Performance aussieht weiß ich noch nicht.
Aktuell habe ich keine Zeit zu testen.
https://www.truenas.com/docs/scale/scale22.12/

 

[Bohnenhans]

Vielen Dank immerhin ein guter Sprung in die richtige Richtung - würde aber für 2,5 GBit bei mir noch nicht reichen. Mit Luks Crypt (AES 256) + ZFS open drauf komme ich auf ~ 260 Mbyte / sec.

 

[polyphase]

Beachte, das bei dem Test der Atom Prozessor auch gleichzeitig Random Daten erzeugen musste!
Diese wurden dann auch das verschlüsselte Dataset geschrieben, das ist nicht ganz 1:1 Performance 😉

 

[Bohnenhans]

Hmm hat das einen Grund wieso Du das nicht mit if=/dev/zero machst? Sollte doch bei crypt dann trotzdem in unterschiedliche Bytes verschlüsselt werden, jedenfalls das, was auf den Datenträger geschrieben wird.

 

[polyphase]

Weil ZFS so schlau ist und erkennt das es leere Daten sind und garnichts schreibt.
Ergo ist damit kein Test möglich 😎

 

[Bohnenhans]

Oh stimmt hab mich gerade auf meine Server connected um das zu testen dachte das wäre nur wenn Kompression an wäre.

 

[polyphase]

Soweit ich weiß ist das immer so, korrigiere mich gerne wenn ich falsch liege 🤔

 

[Bohnenhans]

Ja ist so ich hab ja iostat mitlaufen bei /dev/zero auf uncompressed zfs da war zu meinem Erstaunen tote Hose

 

[polyphase]

@Bohnenhans
Ich habe jetzt mal auf die Final geupdated.
Ich komme über SMB auf ca 84Mbyte/s.

Dabei ist die Auslastung von "smbd" sehr hoch mit 62-78%.
Egal ob mit oder ohne Verschlüsselung.

Neuer Bug? 🤔

Edit:
FTP ist noch seltsamer.
Zuerst 97MByte/s und dann zum Schluss nur noch 71MByte/s

 

[foofoobar]

Was schafft iperf3 zwischen den beiden Kisten?
Und ein ssh foo@bar tar -c --one-file-system -f - / | cat > /dev/null

 

[Bohnenhans]

@Bohnenhans
Ich habe jetzt mal auf die Final geupdated.
Ich komme über SMB auf ca 84Mbyte/s.

Dabei ist die Auslastung von "smbd" sehr hoch mit 62-78%.
Egal ob mit oder ohne Verschlüsselung.

Neuer Bug? 🤔

Edit:
FTP ist noch seltsamer.
Zuerst 97MByte/s und dann zum Schluss nur noch 71MByte/s

Danke für das Update. Hmmm evtl irgendwas mit (ZFS) Caching?

 

[polyphase]

Was schafft iperf3 zwischen den beiden Kisten?
Und ein ssh foo@bar tar -c --one-file-system -f - / | cat > /dev/null

Iperf war:

[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  1.10 GBytes   944 Mbits/sec    0             sender
[  5]   0.00-10.04  sec  1.10 GBytes   938 Mbits/sec                  receiver

 

[foofoobar]

Dann kommt FTP und SMB ziemlich nah an die physikalisch Möglichkeiten deiner Leitung.

-> Alles ist gut.

 

[Bohnenhans]

Hmm naja ich kopiere AUF samba mit einem J4105 und Luks Crypt AES-256 + ZFS mit ~270.000 KByte/s bei 50% CPU Auslastung

Lesend geht mit ~ 40% Auslastung auch bei ~ 270.000 per samba.

2,5 GBit Netz


Samba "nur" 84 im Gigabit Netz fände ich schon etwas langsam und denke deutet auf ein Bottleneck hin.

 

[foofoobar]

Hmm naja ich kopiere AUF samba mit einem J4105 und Luks Crypt AES-256 + ZFS mit ~270.000 KByte/s bei 50% CPU Auslastung

Lesend geht mit ~ 40% Auslastung auch bei ~ 270.000 per samba.

2,5 GBit Netz

iperf3 saturiert eine Leitung mit 2,5 Gbit/s auf der linken Arschbacke, und schafft bei bei dir nur 1 Gbit/s.
Das deutet sehr stark auf eine Verbindung mit "nur" 1 Gbit/s hin.

Auf dem kurzen Schnipsel von dem iperf sieht man auch nur einmal von zwei Schnipseln 0 Retransmits.
Gehen die Retransmits irgendwann hoch? Hast du Fehler auf den Interfaces, zeigt "netstat -s" retransmits oder ähnlich an?

Samba "nur" 84 im Gigabit Netz fände ich schon etwas langsam und denke deutet auf ein Bottleneck hin.

CIFS hatte schon immer einen gewissen Overhead, angeblich ist das mit einer neueren CIFS Version besser geworden. Ich bin da allerdings schon lange raus.

Hier werden Techniken beschrieben wie man CIFS (und anderes) analysiert: https://www.snia.org/sites/default/...ions/monday/RonnieSahlberg_UsingWireshark.pdf

Mach das Beschriebene mal für deine Verbindungen und poste die Ergebnisse hier.

 

[Bohnenhans]

Was meinst Du genau? Glaube Du hast da 2 Beiträge vermixt oder?

Ich habe ja ein ähnliches System (passiv gekühltes "low end" 10 Watt TDP - J Celeron) nur halt wegen der schlechten ZFS Crypt Performance von ohne AVX mt AES NI inzwischen mit Luks Crypt+ZFS und da bei gleichem AES Bit mit voller Speed ohne grosse CPU Last.

Also sozusagen ein Vergleichssystem für den Fall für Crypt(AES 256)+ZFS+Samba

Mein Crypt+ZFS maxed die 2,5 GBit komplett aus per Samba/FTP mit ~ 270 MByte/Sec ohne Einbrüche auch nicht bei 300 GByte Grosskopien

Zumindest noch ist glaube ich das Non AVX Problem bei ZFS nicht wirklich ganz gelöst wenn auch besser geworden oder der Non AVX Kernel Fix hat woanders negative Auswirkungen?

 

[polyphase]

@foofoobar
Ich glaube du verwechselst was!

Bohnenhans und ich haben jeweils ein System mit Atom Prozessor.
Seins ist über 2,5Gbit verbunden und meins über 1Gbit.

Der Iperf Test war von mir, d.h. die 1Gbit Verbindung wurde vollständig ausgelastet.
SMB sowie FTP schaffen es nicht die Leitung auszulasten, hier liegt wohl noch ein Problem vor.

@Bohnenhans
Wie machst du das genau mit dem Luks?
Du hast jede Platte mit Luks verschlüsselt und darauf deinen ZFS Pool erstellt?

Wie machst du das mit den Snapshots, wenn du die Offsite sichern möchtest?
ZFS Send kann bei deinem Setup nur unverschlüsselt übertragen werden, sehe ich das richtig?

Edit:
Ich habe jetzt mal das System auf Ubuntu eingerichtet mit Luks als Verschlüsselung und ZFS on Top.
SMB ist genauso langsam und auch schreiben von Zufallsdaten per urandom ist nicht viel schneller als unter TrueNAS Scale: 185Mbyte/s vs. 180Mbyte/s


Update: Jetzt nochmal die Werte mit Mirror:
Bei kopieren vom pool auf eine interne SSD bekomme ich folgenden Speed:

6,113,187,840 100%  345.54MB/s    0:00:16 (xfr#1, to-chk=0/1)

Das Schreiben auf ZFS kommt zu folgendem Ergebis:

6,113,187,840 100%  146.83MB/s    0:00:39 (xfr#1, to-chk=0/1)

 

[foofoobar]

@foofoobar
Ich glaube du verwechselst was!

Bohnenhans und ich haben jeweils ein System mit Atom Prozessor.
Seins ist über 2,5Gbit verbunden und meins über 1Gbit.

Ahh, da war noch nicht ausreichend Kaffee in mir drin.

Der Iperf Test war von mir, d.h. die 1Gbit Verbindung wurde vollständig ausgelastet.
SMB sowie FTP schaffen es nicht die Leitung auszulasten, hier liegt wohl noch ein Problem vor.

Mach die Test mal mit und ohne crypt und mit und ohne ZFS.
Mach mal die Analysen aus dem Paper was ich oben verlinkt habe.
Und aktiviere mal sar bzw. sysstat auf den Systemen.
Hast du die Ausgaben von netstat -s geprüft?

Dann gibt es eine Richtung in die es lohnt weiter zu ermitteln.

 

[polyphase]

Schau Mal oben drüber, ich habe schon Tests nativ auf dem System gemacht, also ohne SMB und FTP.

Edit:
Unter Windows kann ich auf die oben genannte Konfiguration per SMB mit 110-113Mbyte/s lesen/schreiben.

Ich habe jetzt nochmals die Tests mit einer nativen ZFS Verschlüsselung gemacht:

Von ZFS auf SSD (ext4):

6,113,187,840 100%   34.39MB/s    0:02:49 (xfr#1, to-chk=0/1)

Von SSD (ext4) auf ZFS:

6,113,187,840 100%  125.34MB/s    0:00:46 (xfr#1, to-chk=0/1)

Also wesentlich langsamer (Ubuntu Server 22.04.1)