Proxmox - Disks werden nicht mehr angezeigt

vzwo

Cadet 4th Year
Registriert
Nov. 2007
Beiträge
98
Hallo Forum,

ich habe in meinem Proxmox Server eine Platte getauscht. Nach folgender Vorghensweise:

  • Laufwerk von VM und CT Disks befreit
  • Laufwerk aus Thinpool entfernt
  • Neue Platte eingebaur
  • mit GPT initialisiert

Aktuell kann ich unter dem pve Knoten keine Disks mehr anzeigen. Es kommt die Meldung Verbindungsfehler und nach einiger Zeit ein Timeout. Alle Container die automatisch starten laufen jedoch.

Das Kommando time pvesm status zeigt mir die Laufwerke an...

Was kann ich tun?
 
LVM? ZFS?
Raid in irgend einer form?
Platte in irgend einer form mit partitionen versehen?
Ergänzung ()

vzwo schrieb:
Das Kommando time pvesm status zeigt mir die Laufwerke an...
warum misst du wie lange das dauert?
 
LVM-Thin
Keine Partitionen

Wollte nur den Status ermitteln und ob die Reaktion lange braucht.
 
ok, sah aus nach "aus dem internet kopiert und mal schauen"

wipefs -a /dev/sdDIEDISK pvcreate /dev/sdDIEDISK vgcreate nameDerVG /dev/sdDIEDISK lvcreate -L XXXXG -n pve-lv-name-it-as-you-please nameDerVG
XXXX durch die gewuenschte zahl GB fuers LV ersetzen

mkfs.ext4 /dev/nameDerVG/pve-lv-name-it-as-you-please\\dann mounten, dann schauen obs im PVE interface sichtbar ist

bitte das device und die namen wie es dir beliebt anpassen, sorry, gerade auf dem sprung
 
hast du die neue platte auch wieder der volume-group hinzugefügt? nur mit gpt-initialisieren reicht nicht, du musst dem lvm ja auch klarmachen, dass es die neue platte nutzen kann.
 
Das war mein Plan. Aber nach dem initialisieren ging ja nix mehr
 
Was passiert denn, wenn du sie der volume group hinzu fügen willst?

Zeig mal die existierenden volume groups (sudo vgs)
 
Code:
vgs
  VG             #PV #LV #SN Attr   VSize   VFree
  pve              1  13   0 wz--n- 237.97g  15.99g
  thinpool_128gb   1   5   0 wz--n- 118.54g 120.00m

Hinzufügen geht nicht. Wenn ich ein Volume erstellen will, kommt die Meldung, dass alle Disks benutzt sind.
 
zeig doch mal den output von lsblk, pvs, vgs, lvs und die /etc/pve/storage.cfg. und dann sag am besten ob du einen zusätzlichen thinpool mit der neuen anlegen willst oder einen bestehenden damit erweitern.
 
pv auf der disk ist angelegt?
dann zeig doch mal die genaue ausgabe von vgextend:) erst der name der VG, dann das PV

Edit: vielleicht noch lsblk dazu
 
Zuletzt bearbeitet:
pvs
Code:
PV             VG             Fmt  Attr PSize   PFree 
  /dev/nvme0n1p3 pve            lvm2 a--  237.97g  15.99g
  /dev/sdc       thinpool_128gb lvm2 a--  118.54g 120.00m

vgs
Code:
  VG             #PV #LV #SN Attr   VSize   VFree 
  pve              1  13   0 wz--n- 237.97g  15.99g
  thinpool_128gb   1   5   0 wz--n- 118.54g 120.00m

lvs
Code:
  LV                                             VG             Attr       LSize    Pool           Origin        Data%  Meta%  Move Log Cpy%Sync Convert
  data                                           pve            twi-aotz-- <151.63g                              10.74  1.41                           
  root                                           pve            -wi-ao----   59.25g                                                                     
  snap_vm-333-disk-0_alpine_wordpress_basesystem pve            Vri---tz-k    8.00g data           vm-333-disk-0                                       
  snap_vm-333-disk-0_alpine_wordpress_inst       pve            Vri---tz-k    8.00g data           vm-333-disk-0                                       
  snap_vm-779-disk-0_fresh_setup                 pve            Vri---tz-k    8.00g data           vm-779-disk-0                                       
  swap                                           pve            -wi-ao----    8.00g                                                                     
  vm-100-disk-0                                  pve            Vwi-a-tz--    8.00g data                         13.54                                 
  vm-101-disk-0                                  pve            Vwi-aotz--    8.00g data                         40.35                                 
  vm-104-disk-0                                  pve            Vwi-a-tz--    8.00g data                         31.63                                 
  vm-200-disk-0                                  pve            Vwi-aotz--    8.00g data                         42.52                                 
  vm-333-disk-0                                  pve            Vwi-aotz--    8.00g data                         24.58                                 
  vm-555-disk-0                                  pve            Vwi-aotz--    8.00g data                         13.58                                 
  vm-779-disk-0                                  pve            Vwi-a-tz--    8.00g data                         34.50                                 
  thinpool_128gb                                 thinpool_128gb twi-aotz--  116.05g                              27.91  2.14                           
  vm-998-disk-0                                  thinpool_128gb Vwi-a-tz--   50.00g thinpool_128gb               24.01                                 
  vm-999-disk-0                                  thinpool_128gb Vwi-a-tz--   80.00g thinpool_128gb               25.48                                 
  vm-999-disk-1                                  thinpool_128gb Vwi-a-tz--    4.00m thinpool_128gb               14.06                                 
  vm-999-disk-2                                  thinpool_128gb Vwi-a-tz--    4.00m thinpool_128gb               1.56


storage.cfg
Code:
dir: local
        path /var/lib/vz
        content backup,vztmpl,iso

lvmthin: local-lvm
        thinpool data
        vgname pve
        content images,rootdir

dir: uranus
        path /mnt/pve/uranus
        content images,iso,vztmpl,backup,rootdir,snippets
        is_mountpoint 1
        nodes pve

lvmthin: thinpool_128gb
        thinpool thinpool_128gb
        vgname thinpool_128gb
        content images,rootdir
        nodes pve

dir: neptun
        path /mnt/pve/neptun
        content rootdir,backup,images,iso,vztmpl,snippets
        is_mountpoint 1
        nodes pve
Ergänzung ()

firefox_rHBC3IkG0Z.png
Ergänzung ()

lsblk

Code:
NAME                                    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
loop0                                     7:0    0   1.8T  0 loop
sda                                       8:0    0 447.1G  0 disk
sdb                                       8:16   0 596.2G  0 disk
└─sdb1                                    8:17   0 596.2G  0 part /mnt/pve/uranus
sdc                                       8:32   0 118.5G  0 disk
├─thinpool_128gb-thinpool_128gb_tmeta   253:9    0   1.2G  0 lvm 
│ └─thinpool_128gb-thinpool_128gb-tpool 253:15   0 116.1G  0 lvm 
│   ├─thinpool_128gb-thinpool_128gb     253:16   0 116.1G  1 lvm 
│   ├─thinpool_128gb-vm--998--disk--0   253:17   0    50G  0 lvm 
│   ├─thinpool_128gb-vm--999--disk--0   253:18   0    80G  0 lvm 
│   ├─thinpool_128gb-vm--999--disk--1   253:19   0     4M  0 lvm 
│   └─thinpool_128gb-vm--999--disk--2   253:20   0     4M  0 lvm 
└─thinpool_128gb-thinpool_128gb_tdata   253:10   0 116.1G  0 lvm 
  └─thinpool_128gb-thinpool_128gb-tpool 253:15   0 116.1G  0 lvm 
    ├─thinpool_128gb-thinpool_128gb     253:16   0 116.1G  1 lvm 
    ├─thinpool_128gb-vm--998--disk--0   253:17   0    50G  0 lvm 
    ├─thinpool_128gb-vm--999--disk--0   253:18   0    80G  0 lvm 
    ├─thinpool_128gb-vm--999--disk--1   253:19   0     4M  0 lvm 
    └─thinpool_128gb-vm--999--disk--2   253:20   0     4M  0 lvm 
sdd                                       8:48   0 111.8G  0 disk
sde                                       8:64   0   1.8T  0 disk
└─sde1                                    8:65   0   1.8T  0 part /mnt/pve/neptun
nvme0n1                                 259:0    0 238.5G  0 disk
├─nvme0n1p1                             259:1    0  1007K  0 part
├─nvme0n1p2                             259:2    0   512M  0 part /boot/efi
└─nvme0n1p3                             259:3    0   238G  0 part
  ├─pve-swap                            253:0    0     8G  0 lvm  [SWAP]
  ├─pve-root                            253:1    0  59.3G  0 lvm  /
  ├─pve-data_tmeta                      253:2    0   1.6G  0 lvm 
  │ └─pve-data-tpool                    253:4    0 151.6G  0 lvm 
  │   ├─pve-data                        253:5    0 151.6G  1 lvm 
  │   ├─pve-vm--101--disk--0            253:6    0     8G  0 lvm 
  │   ├─pve-vm--100--disk--0            253:7    0     8G  0 lvm 
  │   ├─pve-vm--333--disk--0            253:8    0     8G  0 lvm 
  │   ├─pve-vm--779--disk--0            253:11   0     8G  0 lvm 
  │   ├─pve-vm--555--disk--0            253:12   0     8G  0 lvm 
  │   ├─pve-vm--104--disk--0            253:13   0     8G  0 lvm 
  │   └─pve-vm--200--disk--0            253:14   0     8G  0 lvm 
  └─pve-data_tdata                      253:3    0 151.6G  0 lvm 
    └─pve-data-tpool                    253:4    0 151.6G  0 lvm 
      ├─pve-data                        253:5    0 151.6G  1 lvm 
      ├─pve-vm--101--disk--0            253:6    0     8G  0 lvm 
      ├─pve-vm--100--disk--0            253:7    0     8G  0 lvm 
      ├─pve-vm--333--disk--0            253:8    0     8G  0 lvm 
      ├─pve-vm--779--disk--0            253:11   0     8G  0 lvm 
      ├─pve-vm--555--disk--0            253:12   0     8G  0 lvm 
      ├─pve-vm--104--disk--0            253:13   0     8G  0 lvm 
      └─pve-vm--200--disk--0            253:14   0     8G  0 lvm
 
Zuletzt bearbeitet:
auf /dev/nvme0n1p3 ist das os und ein paar vms und /dev/sdc ist irgendwas kleines mit ein paar vms in einem separaten thinpool. und was ist die neue platte? soll die einem thinpool hinzugefügt werden?

wegen der gui: manchmal hilft einfach ein
Code:
systemctl restart pvedaemon
systemctl restart pveproxy
systemctl restart pvestatd

wenn was nicht angezeigt wird. ansonsten mal in den logs schauen.
 
Also, die Details gehen jetzt mittlerweile etwas über mein Wissen hinaus.
Aber in der Kiste steckt

  • eine 256GB SSD auf der Proxmox installiert ist
  • die gegen eine 120 GB SSD neu eingebaute 480 GB SSD
  • extern an USB hängen
- eine 128 GB SSD (thinpool_128GB)
- eine 2 TB HDD neptun, als Verzeichnis in einem Container gemountet
- ein 640 GB HDD als uranus in einem Container gemountet

Die neue 480 GB SSD scheint die sda zu sein
Ergänzung ()

0x8100 schrieb:
auf /dev/nvme0n1p3 ist das os und ein paar vms und /dev/sdc ist irgendwas kleines mit ein paar vms in einem separaten thinpool. und was ist die neue platte? soll die einem thinpool hinzugefügt werden?
Die neue sollte ein separater Thinpool werden.
Ergänzung ()

0x8100 schrieb:
auf /dev/nvme0n1p3 ist das os und ein paar vms und /dev/sdc ist irgendwas kleines mit ein paar vms in einem separaten thinpool. und was ist die neue platte? soll die einem thinpool hinzugefügt werden?

wegen der gui: manchmal hilft einfach ein
Code:
systemctl restart pvedaemon
systemctl restart pveproxy
systemctl restart pvestatd

wenn was nicht angezeigt wird. ansonsten mal in den logs schauen.
Die Dienste hatte ich schonmal neu gestartet. Jetzt nochmal gemacht, keine Änderung. Immer noch Timeout, wenn ich die Disks in der GUI anzeigen will.
 
warum die gui nicht will, wissen wir zwar noch nicht, aber wegen dem neuen thinpool würde ich jetzt folgendes machen:
  • pvcreate /dev/sda
  • vgcreate pve2 /dev/sda
  • lvcreate -l 100%FREE -n data pve2
  • lvconvert --type thin-pool pve2/data
storage.cfg
Code:
lvmthin: local-lvm-sda
        thinpool data
        vgname pve2
        content rootdir,images

und ein
  • pvesm set local-lvm-sda --disable 0

das erstellt einen neuen thinpool mit maximaler grösse auf /dev/sda in einer eigenen vg. man könnte /dev/sda auch in die vorhandene vg "pve" aufnehmen, ab k.a. wie gut das ist, wenn man sata und nvme in einer vg mixt und einige blöcke mal auf einer schnellen und mal auf einer langsameren ssd sind.

ich bin die nächsten 24h nicht da und würde @madmax2010 bitten, nochmal drüberzusehen :)
 
Danke euch schonmal! Wird im Laufe des Tages getestet!
 
Update: Ich sehe die Disks wieder in der GUI.

Was habe ich gemacht:
Ich hatte die interne SSD, die ich gegen eine größere ausgetauscht habe in einem ext. USB3 Gehäuse angeschlossen um sie für Backups etc. zu nutzen. Die habe ich jetzt eben abgesteckt.

Jetzt geht der Zugriff wieder!:jumpin:

Jetzt muss ich nur noch rausfinden, warum die das Problem verursacht...

Aber auf jeden Fall herzlichen Dank allen, die hier gestern unterstützt haben!!!

Edit: :mad:
Jetzt ist der Thinpool_128GB weg, der gestern noch da war!? Ich dreh durch...

Edit 2:
Es liegt wohl an einem defekten USB Verbindungskabel meiner ext. Gehäuse. Muss mir mal ein anderes besorgen und den Test machen. Die SSDs scheinen ok zu sein.
 
Zuletzt bearbeitet:
Zurück
Oben