ZIP Performance schlecht VMware

[qlubtempo]

Guten Morgen Zusammen,

ich habe sehr schlechte Performace wenn es ums packen und entpacken auf einer virtuellen Maschine geht.

Basis:
Fujitsu Server RX2530M5
Intel Xeon Gold 5217
96GB RAM
4x 960GB SSD im RAID10 (PRAID CP400i Controller)
VMware 7.0

Virtuelle Maschine:
Server 2019
4 CPUs zugewiesen
16GB RAM zugeweisen

Entpacken von z.b einer Installations ZIP die 2GB groß ist, dauert auf meinen PC nur wenige sekunden bis max. 1 Minute.
Auf dem Server dauert das über 5 Minuten. Egal ob Entpacken und verpacken. Getestet mit 7-Zip

Virenschutz wurde schon temporär deaktiviert.
Jemand eine Idee woran es liegt?

 

[ella_one]

Ich würde während der Wartezeit eine Tasse Kaffee oder ähnliches trinken und, schwups, ist alles erledigt.

 

[flo36]

Hast du andere VMs darauf laufen, läuft eventuell die Indexerstellung für die Windows Suche, deduplizierung aktiviert, Raid noch nicht fertig eingerichtet usw?

 

[qlubtempo]

@ella_one
würde schon gehen, aber finde es merkwürde, dass es so langsam ist.

@flo36
Ja, 3 weitere VMs. Der VMware Host ist aber kaum wirklich ausgelastet.
RAID ist fertig eignerichtet. Die Kiste läuft bereits seit 2 Monaten.

 

[cscmptrbs]

Wohin wird das denn ausgepackt? Auf ein echtes Laufwerk oder in einen Container?

 

[kartoffelpü]

Was ist denn laut Resource Monitor in der VM der Flaschenhals? CPU oder Disk?

 

[Grugeschu]

Hapert es an IO Leistung oder CPU?

 

[NameHere]

Die beiden Haken drin?

 

[flo36]

Ok und wenn der Server schon seit 2 Monaten läuft, gab es das Problem schon immer, hat sich eventuell jemand zuvor schon beschwert wegen mangelnder Performance. Wurden die SSDs eventuell maximal belastet und Tot geschrieben, geht das Entpacken anfangs schnell und danach langsam, sodass man meinen könnte, dass irgend ein Zwischenspeicher oder Cache des Raidcontrollers voll geschrieben ist.

Wenn die VMs die SSDs mit vielen IOs, aber wenig Datentransfers quälen, kann es trotzdem vorkommen, dass bei zu kleinem Zwischenspeicher die Performance massiv einbricht.

Am Standpc kommt es sogar vor, dass bei ausreichend RAM, die Zips oder auch normale Datentransfers in den RAM entpackt und dann erst im hintergrund auf die Platte geschoben werden. Dieses phänomen kann gut beobachten wenn man mehr als 12GB Ram hat. Da nimmt sich das OS für Datentransfers ein paar GB und nur über den Taskmanager oder Ressourcenmonitor sieht man wie die Daten geschrieben werden und der Ram wieder leerer wird.

@NameHere: Das ist doch Virtualbox, der TE verwendet VMWare, weiß aber leider nicht ob es dort eine equivalente Einstellung gibt. Bin zu 95% unter Hyper-V unterwegs.

 

[NameHere]

@flo36 habs überlesen! Vielleicht gibt es da ähnliche Einstellungen.

 

[Ranayna]

Du hast ja mehrere VMs. Haben die alle das Problem?
Wie ist die CPU und Datentraegerauslastung der VM beim Entpacken? Schau dir auch mal die Queuelength der Disk im Performancemonitor an.
Du sprichst von Virenschutz. Welcher denn? Oft genug hoert man hier ja, das ein deaktivieren alleine nicht ausreicht.
Sind die VHDs Thin- oder Thickprovisioned?
Vielleicht muss der Host im Hintergrund noch die Disk erweitern. Das kann dann durchaus deutlich Performance kosten, zumindest war es so als ich meine Erfahrungen vor einigen Jahren sammeln durfte.

 

[qlubtempo]

Ich führe nochmal ein paar ausführliche Tests durch und liefere hier dann detailierte ergebnisse ab

 

[???]

Sieh dir auch mal esxtop an der Shell des Hosts an. Damit kannst du ganz gut erkennen, wo es klemmt.

 

[foo_1337]

Wie lange dauert denn das unzippen auf dem Host selbst?

 

[???]

@foo_1337 Das ist beim ESXi keine Option. Ich kann nur dringend davon abraten, solche Späße zu machen.

 

[foo_1337]

Lol, wieso nicht? Du scp'st einfach das zip auf den esxi nach /vmfs/volumes/blargh. ssh auf den host, cd /vmfs/volumes/blargh && unzip bla.zip

 

[???]

Das VMFS-Dateisystem wird sich freuen, wenn da tausende Minidateien ankommen. Es gibt recht knappe Limits, die durch Archive mit vielen Dateien leicht gesprengt werden können und damit legst du dir dann den ganzen Host lahm.

Auf einer Testmaschine - okay, aber auf einem produktiven System würde ich das definitiv nicht machen.

Davon abgesehen ist das auch nicht besonders aussagekräftig, denn die Randbedingungen sind völlig falsch.

 

[foo_1337]

Das ist seit vmfs6 relativ egal. Bevor der TE jetzt ewig Probleme im Guest sucht, sollte er erstmal schauen, ob die Performance des Hosts überhaupt passt. Im Zweifel kann er das auch schon rausfinden, in dem er das komplette zip file einfach auf den DS kopiert. Oder ein bestehendes vmdk vom einen in das andere Verzeichnis. Damit misst er zwar nicht die IOPS aber wenn mit dem vorhandenen RAID10 Setup schon was im Argen liegt, sieht man es hier schon ganz gut. Schade, dass es nach wie vor keine single host vsan Variante gibt.. Dann könnte man auf diesen Raid Controller Mist komplett verzichten.

 

[???]

Genau dafür gibt es doch esxtop, womit wir wieder am Anfang sind. 🙄

 

[foo_1337]

Du meinst um zu sehen ob es vom Guest (KAVG) oder vom HBA (DAVG) kommt? Ja, da sehe ich die Latenz. Erfahrungsgemäß reicht das aber oftmals nicht aus um das genau zu wissen. Daher wäre zumindest ein Positivtest Hostseitig interessant. Aber egal, was weiß ich schon