Vmotion Error in HA Cluster

[dom0309]

Hallo zusammen,

folgendes Szenario:

2 Esxi 6.0 Server im HA Cluster

Für ein Ramupgrade wurden die VM's alle von Server 2 auf Server 1 eingeschlatet migriert. Server 2 hat sein Ramupgrade erhalten.
Nun soll Server 1 sein Ramupgrade erhalten und dafür müssten die VM's eingeschaltet auf Server 2. Hierbei schlägt der Prozess irgendwann mit einem Timeout fehl.

Das Storage ist zentral. Es soll also nur die Computerressource und nicht der Datastor geändert werden.

Getestet wurde folgendes:

Verschieben von 1 auf 2 im ausgeschalteten Zustand funktioniert super schnell
Verschieben von 1 auf 2 im eingeschalteten Zustand schlägt fehl
Verschieben von 2 auf 1 im eingeschalteten Zustand funktioniert super schnell

Ping auf die jeweils andere VMotion NICs funktioniert. Allerdings ca 4-5% packet loss. (Sowohl vom Ping von 1 auf 2 wie auch andersrum) Dürfte ja aber dann nicht ausschlaggebend sein wenn die Migration von 2 auf 1 funktioniert.

Die physischen Adapter stehen jeweils auf 10Gbit voll, VMotion ist aktiviert, MTU standard 1500.

Fehlermeldung im VSphere Client:

Die Migration wurde abgebrochen, da die Änderungsrate des Arbeitsspeichers für die virtuelle Maschine die verfügbare Netzwerkbandbreite übersteigt. Versuchen Sie, die Migration erneut durchzuführen, wenn die virtuelle Maschine weniger stark ausgelastet ist oder wenn eine höhere Netzwerkbandbreite zur Verfügung steht.
vMotion-Migration [-1062700838:1465544295655320] konnte den Stream-Keepalive nicht lesen: Connection closed by remote host, possibly due to timeout
Fehlgeschlagen beim Warten auf Daten. Fehler 195887167. Connection closed by remote host, possibly due to timeout.

Datenübertragungsrate auf Host 1
VmotionNic1 ~ 1600 KB/s
VmotionNic2 ~ 90 KB/s

Auslastung aus Host 2
VmotionNic1 ~ 1800 KB/s
VmotionNic2 ~ 70 KB/s




Hat jemand eine Idee?

 

[Knorz]

Hast du mal zum testen die vmotions NICS direkt verbunden, hast ja nur 2 Server?

 

[dom0309]

Nein. Das VM Network liegt mit auf den NICs

 

[Knorz]

Hm, sonst keine freien NICS zum testen? 1GBit/Onboard würde ja reichen. Die Einrichtung bzw. Änderung geht ja schnell. Muss ja kein geroutetes Netz sein.

 

[Masamune2]

Allerdings ca 4-5% packet loss.

Das ist nicht normal uns sollte auch nicht sein. Offensichtlich habt ihr hier ein Netzwerkproblem.

Das VM Network liegt mit auf den NICs

Das ist auch nicht ideal da du mit einem vMotion die 10G Schnittstelle schon komplett dicht machen kannst. Wenn man nicht genug Netzwerkkarten zur Verfügung hat sollte hier auf jeden Fall Traffic Shaping an sein damit vMotion sich nicht alles nehmen kann.

Die Migration wurde abgebrochen, da die Änderungsrate des Arbeitsspeichers für die virtuelle Maschine die verfügbare Netzwerkbandbreite übersteigt.

Was passiert denn gerade in dieser VM? Die Meldung ist ja relativ eindeutig.

 

[dom0309]

Die Konfiguration wurde durch einen Dienstleister durchgeführt.

Da der Speicherort der Dateien ja gleich bleibt und lediglich die Computer Ressource geändert werden soll, sollte es doch keine volle Auslastung der 10GB Interfaces geben?

In der/den VM's passiert teilweise garnichts. Gestartet und Windows im Idle.

 

[Masamune2]

Doch beim vMotion wird der Arbeitsspeicher der VM von einem Host auf den anderen kopiert. Da hier logischerweise von RAM zu RAM kopiert wird geht das sehr schnell und kann spielend 10G Schnittstellen komplett auslasten.

Das Problem sehe ich hier aber eher im packetloss, denn das senkt die effektive Bandbreite so weit das es zu der oben genannten Meldung kommt. Tausch mal die Kabel des Servers und wenn es geht auch den Switchport um dem Fehler auf den Grund zu gehen.

 

[dom0309]

Werde ich im Laufe des Tages mal probieren.

Wie ist es denn zu erklären, dass trotzdem das VMotion von Host 2 auf 1 einwandfrei funktioniert wenn das Netzwerk nicht okay ist?

 

[Masamune2]

Mal gehts, mal nicht. Je nachdem wie viele Pakete gerade auf der Strecke bleiben und was in der VM gerade abläuft reicht die Bandbreite aus oder eben nicht.

 

[dom0309]

Mal gehts, mal nicht. Je nachdem wie viele Pakete gerade auf der Strecke bleiben und was in der VM gerade abläuft reicht die Bandbreite aus oder eben nicht.

Ich habe jetzt mal einfach die SwitchPorts auf dem 10Gig Switch geändert. Kein Packet loss mehr. VMotion funktioniert wieder. Maximale Auslastung der 10Gig Nics war etwa die halbe Bandbreite.

Vielen Dank euch beiden