Proxmox LVM Speicher voll

hansstramm

Lt. Commander
Registriert
Jan. 2014
Beiträge
1.658
Moin freunde,
ich betreibe Proxmox auf meinem NUC.
Da läuft einmal meine Nextcloud und einmal mein Pi hole, beides Container.
Ich bin von einer 256GB SSD auf eine 1TB SSD umgezogen.
Dabei habe ich mit Clonzilla einfach die Platten geklont.

Läuft auch alles.
Allerdings ist mir aufgefallen, dass "LVM" fast voll ist.
Bildschirmfoto vom 2024-02-08 17-50-26.png


Weiß jemand, was dieser speicher macht bzw. wie ich da wieder freien Speicher bekomme?

Mfg
 
Zuletzt bearbeitet:
Du musst vermutlich erstmal die Partition vergrößern und dann das LVM Volume auf die Partitionsgröße vergrößern
 
  • Gefällt mir
Reaktionen: madmax2010 und hansstramm
Danke für die schnelle Antwort 👍 .
Welche Partition denn genau?
Den NC Container habe ich schon vergrößert:

Bildschirmfoto vom 2024-02-08 23-51-04.png
 
Code:
root@proxmox:~# pvs
  PV         VG  Fmt  Attr PSize   PFree 
  /dev/sda3  pve lvm2 a--  223.07g <16.00g
root@proxmox:~# lvs
  LV            VG  Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  data          pve twi-aotz-- <131.11g             69.17  3.49                           
  root          pve -wi-ao----   65.93g                                                   
  swap          pve -wi-ao----   <7.36g                                                   
  vm-100-disk-0 pve Vwi-aotz--  600.00g data        11.30                                 
  vm-101-disk-1 pve Vwi-aotz--   28.00g data        81.74                                 
root@proxmox:~# vgs
  VG  #PV #LV #SN Attr   VSize   VFree 
  pve   1   5   0 wz--n- 223.07g <16.00g
root@proxmox:~# df -h
Filesystem            Size  Used Avail Use% Mounted on
udev                  3.7G     0  3.7G   0% /dev
tmpfs                 752M  1.1M  751M   1% /run
/dev/mapper/pve-root   65G   51G   11G  84% /
tmpfs                 3.7G   46M  3.7G   2% /dev/shm
tmpfs                 5.0M     0  5.0M   0% /run/lock
/dev/sda2             511M  336K  511M   1% /boot/efi
/dev/fuse             128M   16K  128M   1% /etc/pve
tmpfs                 752M     0  752M   0% /run/user/0
root@proxmox:~#
 
soo
/dev/sda3 pve lvm2 a-- 223.07g <16.00g
liegt jetzt auf einer 1TB ssd, korrekt?

Dann:
sudo pvresize /dev/sda3

danach passend die LVs und mit lvexend und die Dateisysteme mit resizs2fs resizen
 
  • Gefällt mir
Reaktionen: CoMo und hansstramm
Jop, läuft alles von der 1TB SSD.

Wo muss ich den Befehl denn eingeben?
Unter Proxmox --> Shell bekomme ich folgende Ausgabe:
Code:
root@proxmox:~# pvresize /dev/sda3~
  Cannot use /dev/sda3~: device not found
  0 physical volume(s) resized or updated / 0 physical volume(s) not resized


Edit:
Ahh, hatte nen Fehler bei der Eingabe gemacht.
Sieht jetzt so aus:
Code:
root@proxmox:~# pvresize /dev/sda3
  Physical volume "/dev/sda3" changed
  1 physical volume(s) resized or updated / 0 physical volume(s) not resized
root@proxmox:~#
 
Zuletzt bearbeitet:
sda3 und nicht sda3~ - Dann sollte das auch gehen.
 
  • Gefällt mir
Reaktionen: madmax2010 und hansstramm
Habs bemerkt, danke 🙂

Das hat funktioniert, vielen Dank 😍
Bildschirmfoto vom 2024-02-09 00-47-13.png

Ergänzung ()

madmax2010 schrieb:
Danach passend die LVs und mit lvexend und die Dateisysteme mit resizs2fs resizen
Wie mache ich das genau?🙂
 
Leider bin ich wieder auf ein Problem gestoßen.
Ich kann keine Backups mehr machen, da Storage nichts auswählbar ist:

Bildschirmfoto vom 2024-02-21 22-38-44.png



Kann mir jemand sagen, wie ich das Problem beheben kann?=).
Hab schon bisschen danach gesucht, blicke da allerdings nicht durch.
 
Wie mache ich das?=)
 
RTFM ist immer ein guter Anfang: https://pve.proxmox.com/wiki/Main_Page

Ansonsten $Suchmaschine befragen, Tutorials lesen oder als Video anschauen wenn du die ganze Werbung und Blahblahgeschwafel und Wiederholungen der meisten Vortragenden ertragen kannst.

Du willst einen Proxmox betreiben bzw. Serverdienste und das allerwichtigste dafür ist: Eigenleistung und der Wille sich in unbekannte und neue Sachen einzulesen. Mit deiner aktuellen Herangehensweise wirst du da nicht weit kommen wenn du dir jeden Atemzug erklären lässt.

Für jeden auf Cluster oder Proxmox-Node Ebene eingerichteten Speicher kannst du Tags oder Labels vergeben und je nach vergebenem Label oder Tag ist dieser Speicher dann für gewisse Dinge nutzbar (Stichwort content).
Das können Templates sein oder Images oder eben auch Backupdateien.

Logs lesen ist hier in diesem konkreten Fall vermutlich gar nicht notwendig aber ein Grundverständnis für das Produkt ist es bzw. der Wille mal die Doku zu lesen, in diesem Fall alle möglichen Seiten zum Thema Storage.
 
  • Gefällt mir
Reaktionen: andy_m4 und frabron
Ich habs rausgefunden.
Unter Rechenzentrum --> Storage --> local auf bearbeiten klicken und dann VZDump backup-Datei hinzufügen.
Jetzt kann ich meine Backups wieder sehen.

Allerdings kann ich keine neuen erstellen.
Zumindest nicht, wenn ich direkt auf dem Container ein Backup machen möchte.
Unter Rechenzentrum --> Backup konnte ich einen neuen Backupjob erstellen.

Hier die Error Ausgabe, beim Versuch den Nextcloud Container manuell zu backupen:
Code:
INFO: starting new backup job: vzdump 100 --node proxmox --remove 0 --storage local --compress zstd --notes-template '{{guestname}}' --mode snapshot
INFO: Starting Backup of VM 100 (lxc)
INFO: Backup started at 2024-02-22 13:26:43
INFO: status = running
INFO: CT Name: pNextCloud
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
  WARNING: You have not turned on protection against thin pools running out of space.
  WARNING: Set activation/thin_pool_autoextend_threshold below 100 to trigger automatic extension of thin pools before they get full.
  Logical volume "snap_vm-100-disk-0_vzdump" created.
  WARNING: Sum of all thin volume sizes (<1.20 TiB) exceeds the size of thin pool pve/data and the size of whole volume group (<931.01 GiB).
INFO: creating vzdump archive '/var/lib/vz/dump/vzdump-lxc-100-2024_02_22-13_26_43.tar.zst'
INFO: zstd: error 25 : Write error : No space left on device (cannot write compressed block)
INFO: cleanup temporary 'vzdump' snapshot
snapshot 'vzdump' was not (fully) removed - lvremove snapshot 'pve/snap_vm-100-disk-0_vzdump' error:   /etc/lvm/archive/.lvm_proxmox_73074_18368473: fclose failed: No space left on device
ERROR: Backup of VM 100 failed - command 'set -o pipefail && lxc-usernsexec -m u:0:100000:65536 -m g:0:100000:65536 -- tar cpf - --totals --one-file-system -p --sparse --numeric-owner --acls --xattrs '--xattrs-include=user.*' '--xattrs-include=security.capability' '--warning=no-file-ignored' '--warning=no-xattr-write' --one-file-system '--warning=no-file-ignored' '--directory=/var/lib/vz/dump/vzdump-lxc-100-2024_02_22-13_26_43.tmp' ./etc/vzdump/pct.conf ./etc/vzdump/pct.fw '--directory=/mnt/vzsnap0' --no-anchored '--exclude=lost+found' --anchored '--exclude=./tmp/?*' '--exclude=./var/tmp/?*' '--exclude=./var/run/?*.pid' ./ | zstd --rsyncable '--threads=1' >/var/lib/vz/dump/vzdump-lxc-100-2024_02_22-13_26_43.tar.dat' failed: exit code 25
INFO: Failed at 2024-02-22 13:31:06
INFO: Backup job finished with errors
TASK ERROR: job errors

Edit:
Seltsam, mit pi hole konnte ich ein Backup direkt im Container fahren:
Code:
()
{{guestname}}
INFO: starting new backup job: vzdump 101 --notes-template '{{guestname}}' --mode snapshot --node proxmox --compress zstd --storage local --remove 0
INFO: Starting Backup of VM 101 (lxc)
INFO: Backup started at 2024-02-22 13:53:29
INFO: status = running
INFO: CT Name: pPihole
INFO: including mount point rootfs ('/') in backup
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
  WARNING: You have not turned on protection against thin pools running out of space.
  WARNING: Set activation/thin_pool_autoextend_threshold below 100 to trigger automatic extension of thin pools before they get full.
  Logical volume "snap_vm-101-disk-1_vzdump" created.
  WARNING: Sum of all thin volume sizes (<1.23 TiB) exceeds the size of thin pool pve/data and the size of whole volume group (<931.01 GiB).
INFO: creating vzdump archive '/var/lib/vz/dump/vzdump-lxc-101-2024_02_22-13_53_29.tar.zst'
INFO: Total bytes written: 5955553280 (5.6GiB, 41MiB/s)
INFO: archive file size: 1.27GB
INFO: adding notes to backup
INFO: cleanup temporary 'vzdump' snapshot
  Logical volume "snap_vm-101-disk-1_vzdump" successfully removed
INFO: Finished Backup of VM 101 (00:02:23)
INFO: Backup finished at 2024-02-22 13:55:52
INFO: Backup job finished successfully
TASK OK

Also liegt das Problem wohl beim Nextcloud Container.

Das Problem liegt wohl hier:
INFO: zstd: error 25 : Write error : No space left on device (cannot write compressed block)
Wie kann ich den Local Speicher vergrößern?
Denn dort werden ja die Backups gespeichert.

Edit2:
Nach dem Löschen der alten backup-Datei von NC lief das Backup durch:
Code:
()
{{guestname}}
INFO: starting new backup job: vzdump 100 --mode snapshot --notes-template '{{guestname}}' --node proxmox --remove 0 --storage local --compress zstd
INFO: Starting Backup of VM 100 (lxc)
INFO: Backup started at 2024-02-22 14:12:04
INFO: status = running
INFO: CT Name: pNextCloud
INFO: including mount point rootfs ('/') in backup
INFO: found old vzdump snapshot (force removal)
  Logical volume "snap_vm-100-disk-0_vzdump" successfully removed
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: create storage snapshot 'vzdump'
  WARNING: You have not turned on protection against thin pools running out of space.
  WARNING: Set activation/thin_pool_autoextend_threshold below 100 to trigger automatic extension of thin pools before they get full.
  Logical volume "snap_vm-100-disk-0_vzdump" created.
  WARNING: Sum of all thin volume sizes (<1.20 TiB) exceeds the size of thin pool pve/data and the size of whole volume group (<931.01 GiB).
INFO: creating vzdump archive '/var/lib/vz/dump/vzdump-lxc-100-2024_02_22-14_12_04.tar.zst'
INFO: Total bytes written: 56245575680 (53GiB, 55MiB/s)
INFO: archive file size: 45.53GB
INFO: adding notes to backup
INFO: cleanup temporary 'vzdump' snapshot
  Logical volume "snap_vm-100-disk-0_vzdump" successfully removed
INFO: Finished Backup of VM 100 (00:16:28)
INFO: Backup finished at 2024-02-22 14:28:32
INFO: Backup job finished successfully
TASK OK

Das Problem liegt also an einem zu kleinem local Storage
 
Zuletzt bearbeitet:
Aktuelle Ausgabe von pvs, vgs und lvs sowie ein Screenshot der Proxmox GUI wenn du DISKS ausgewählt hast als auch jeweils von den Unterpunkten LVM und LVM-Thin.
Zuerst müssen wir ja dein Setup verstehen und nachvollziehen können bevor wir dir helfen können was genau du tun kannst oder musst.

Die Fehlermeldung beim Versuch des Backups von Nextcloud besagt: Du hast dem Container Nextcloud 1,21 TB zugewiesen (vermutlich ein LVM-Thin?) und im Backupziel stehen <931 GB zur Verfügung. Wenn das Backupziel nicht thin-provisioned ist sondern ein ganz normales LV dann wird dein Backup so da niemals rein passen denn er will/muss bei LVM die ausgewiesenen Blöcke (1,21 TB) komplett in Beschlag nehmen.

Lösung: Die Warnungen bzgl. Overprovisioning ernst nehmen und das sein lassen. Entweder also den zugewiesenen Speicherplatz des Nextcloud Containers deutlich reduzieren oder den local storage deutlich vergrößern. Partitionen verkleinern ist machbar aber mit Risiken verbunden, so als Warnung an dich. Local Storatge vergrößern heißt weitere Laufwerke als PVs dem lokalen LVM hinzufügen und dann die VGS vergrößern. Wenn du keine weiteren Laufwerke einbauen kannst: Klonen auf ein größeres.
Alternativ ein NAS oder externe Platte mit ausreichender freier Kapazität an den Proxmox Server hängen und Backups dort ablegen.
 
  • Gefällt mir
Reaktionen: hansstramm
snaxilian schrieb:
Aktuelle Ausgabe von pvs, vgs und lvs sowie ein Screenshot der Proxmox GUI wenn du DISKS ausgewählt hast als auch jeweils von den Unterpunkten LVM und LVM-Thin.
Zuerst müssen wir ja dein Setup verstehen und nachvollziehen können bevor wir dir helfen können was genau du tun kannst oder musst.

Code:
Last login: Thu Feb 22 14:57:53 CET 2024 on pts/0
root@proxmox:~# pvs
  PV         VG  Fmt  Attr PSize    PFree  
  /dev/sda3  pve lvm2 a--  <931.01g <723.93g
root@proxmox:~#  vgs
  VG  #PV #LV #SN Attr   VSize    VFree  
  pve   1   5   0 wz--n- <931.01g <723.93g
root@proxmox:~# lvs
  LV            VG  Attr       LSize    Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  data          pve twi-aotz-- <131.11g             69.42  3.49                          
  root          pve -wi-ao----   65.93g                                                  
  swap          pve -wi-ao----   <7.36g                                                  
  vm-100-disk-0 pve Vwi-aotz--  600.00g data        11.36                                
  vm-101-disk-1 pve Vwi-aotz--   28.00g data        81.74

1708610526321.png

1708610566547.png

1708610604095.png


snaxilian schrieb:
Die Fehlermeldung beim Versuch des Backups von Nextcloud besagt: Du hast dem Container Nextcloud 1,21 TB zugewiesen (vermutlich ein LVM-Thin?) und im Backupziel stehen <931 GB zur Verfügung. Wenn das Backupziel nicht thin-provisioned ist sondern ein ganz normales LV dann wird dein Backup so da niemals rein passen denn er will/muss bei LVM die ausgewiesenen Blöcke (1,21 TB) komplett in Beschlag nehmen.
Also die SSD hat nur 1TB, da kann wohl was nicht stimmen 😅 .
 
Doch das kann stimmen und zeigt wunderbar die Probleme bei thin provisioning auf, v.a. wenn man Warnungen vor Laien versteckt.

Jeder Container den du startest bekommt eine Disk erstellt, irgendwo müssen die Daten ja gespeichert sein. Diese Disk ist bei Proxmox ein LV aber eben kein normales sondern ein LV-thin. Diesem gibst du eine maximale Größe mit, in deinem Fall 1,21 TB aber real auf der Festplatte wird nur das belegt was auch real verbraucht wird. Der Container bekommt davon aber nix mit sondern denkt er habe sofort und dauerhaft 1,21 TB zur Nutzung.

Hast du nur 10 GB Daten in dem Container, dann liegen auch nur 10 GB am Ende auf der Festplatte und wenn es mehr Daten werden wächst der Container. Löscht du 1 GB davon und fügst 2 GB hinzu kann es aber auch sein, dass am Ende 2 GB mehr belegt werden da freier Speicher im Dateisystem nicht unbedingt freier Speicher im LV sein muss. Klingt kompliziert, ist es auch an manchen Stellen. Ist halt die Kehrseite der Medaille bei der Flexibilität die man mit LVM gewinnt.

Machst du jetzt ein Backup dann geht das Backup aber vorerst davon aus, dass die vollen maximal eingestellten 1,21 TB benötigt werden und versucht diesen Speicherplatz zu reservieren. Soweit verstanden?

Oder der allseits beliebte Autovergleich:
Kofferraum = SSD Kapazität
Sack = LV thin pro LXC/VM

Du hast einen Kofferraum mit 1000 Liter Volumen. Du hast 10 Säcke die klein und zusammen gefaltet quasi keinen Platz verbrauchen aber jeder Sack alleine kann bis zu 2000 Liter Volumen haben. Du kannst jetzt alle Säcke in den Kofferraum packen und hast noch ganz viel Platz. Du kannst in den ersten Sack irgendwas rein packen, z.B. 100 Milchkartons, also 100 Liter. Dieser Sack verbraucht jetzt 10% deines Kofferraums, bleiben 900 Liter für weitere Milch oder andere Dinge in den anderen Säcken.
Die einzelnen Säcke wissen nichts voneinander oder davon, dass der Kofferraum kleiner ist als das Volumen eines einzelnen komplett vollen Sacks oder der Summe mancher teilgefüllter Säcke.
Würdest du jetzt nämlich in jeden der 10 Säcke die 100 L Milch packen dann wäre dein Kofferraum voll obwohl in die Säcke ja theoretisch noch etwas passen würde.
Jetzt möchtest du die Säcke bei einem Kumpel in den Keller packen. Der Kumpel fragt dich also: Wie viele Säcke hast du und was ist das Maximalvolumen pro Sack? Das sind 10x 2000 L, d.h. dein Kumpel muss bis zu 20.000 L Stauraum im Keller haben weil auch er nicht weiß wie viel aktuell in den Säcken drin ist und ob du nicht irgendwann die volle Kapazität brauchst.

Storage ist hart und thin provisioning ist im Firmenumfeld gang und gäbe, da hast aber idR auch 2+ Leute die sich damit auskennen und das überwachen um wie viel der eigene Storage überbucht ist und planen rechtzeitig die entsprechende Erweiterung.

Für den Fall, dass du dem Nextcloud Container nicht die 1,21 TB zugewiesen hast wird ggf. irgendwo noch ne Leiche herum liegen, die vielleicht in keiner GUI mehr auftaucht aber noch existiert.
Mit folgendem Befehl kannst du dir alle LV-thin auf dem System anzeigen lassen:
Bash:
pvesm lvmthinscan pve
 
  • Gefällt mir
Reaktionen: hansstramm, redjack1000 und madmax2010
Zurück
Oben