Proxmox GPU Passthrough an VM hat USB HDDs "versteckt"

[RolloMollo]

Da ist dein Controller! In Proxmox bei PCI-Gerät hinzufügen, musst du das Gerät mit der Nummer 00:14.0 auswählen.

Soll ich das bei der VM von OMV eintragen?

lsblk

NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sdc                            8:32   1 119.7G  0 disk
└─sdc1                         8:33   1 119.7G  0 part
nvme0n1                      259:0    0 238.5G  0 disk
├─nvme0n1p1                  259:1    0  1007K  0 part
├─nvme0n1p2                  259:2    0     1G  0 part /boot/efi
└─nvme0n1p3                  259:3    0 237.5G  0 part
  ├─pve-swap                 252:0    0     8G  0 lvm  [SWAP]
  ├─pve-root                 252:1    0  69.4G  0 lvm  /
  ├─pve-data_tmeta           252:2    0   1.4G  0 lvm 
  │ └─pve-data-tpool         252:4    0 141.2G  0 lvm 
  │   ├─pve-data             252:5    0 141.2G  1 lvm 
  │   ├─pve-vm--101--disk--0 252:6    0     8G  0 lvm 
  │   ├─pve-vm--102--disk--0 252:7    0     4M  0 lvm 
  │   ├─pve-vm--102--disk--1 252:8    0    32G  0 lvm 
  │   ├─pve-vm--100--disk--0 252:9    0    32G  0 lvm 
  │   ├─pve-vm--103--disk--0 252:10   0     4G  0 lvm 
  │   ├─pve-vm--104--disk--0 252:11   0     6G  0 lvm 
  │   ├─pve-vm--106--disk--0 252:12   0     4G  0 lvm 
  │   └─pve-vm--300--disk--0 252:13   0    32G  0 lvm 
  └─pve-data_tdata           252:3    0 141.2G  0 lvm 
    └─pve-data-tpool         252:4    0 141.2G  0 lvm 
      ├─pve-data             252:5    0 141.2G  1 lvm 
      ├─pve-vm--101--disk--0 252:6    0     8G  0 lvm 
      ├─pve-vm--102--disk--0 252:7    0     4M  0 lvm 
      ├─pve-vm--102--disk--1 252:8    0    32G  0 lvm 
      ├─pve-vm--100--disk--0 252:9    0    32G  0 lvm 
      ├─pve-vm--103--disk--0 252:10   0     4G  0 lvm 
      ├─pve-vm--104--disk--0 252:11   0     6G  0 lvm 
      ├─pve-vm--106--disk--0 252:12   0     4G  0 lvm 
      └─pve-vm--300--disk--0 252:13   0    32G  0 lvm

 

[Krik]

Soll ich das bei der VM von OMV eintragen?

Korrekt!

Dann die VM (neu)starten, damit das Gerät auch durchgereicht werden kann. (Der Eintrag ist dann nicht mehr gelb/orange.)

 

[RolloMollo]

Ok bevor ich das tue habe ich mich soeben verlockt...
In OMV hab ich das fehlten Dateisystem neu angelegt. Der Storage war ja vorhanden jedoch irgendwie nicht das Filesystem. Einmal falsch geklickt, schon wurde es generiert. Zum Glück ist das die Backup Platte ohne (zur Zeit) Inhalt.
OMV sieht wie folgt aus (s. Anhang).

Die Bezeichnung ist aber definitiv Unsinn und folgt und den Ausführungen beim booten. Wer zu erst da ist, kriegt de früheren Buchstaben nach sd*. Denn sdb und sdc sind nun bei mir vertauscht. Wie gesagt, halb so wild aber die wichtigen Daten liegen aktuell auf sdc (vorher sdb)

Nur um sicher zu gehen. Ich nehme jetzt in der VM unter USB-Devices beide Platten raus und adde dann den Controller Nummer 00:14.0 korrekt?

Sorry, will nur sicher gehen und dich auf den laufenden halten

 

[Krik]

Schau dir mal das Video an. So habe ich den USB-Controller durchgereicht.

Bei den Nummern musst du darauf achten, die Richtige zu wählen. Ich glaube aber, bei dir ist das auch die 00:14.0

 

[RolloMollo]

Stark. Extrem nett von dir sogar ein Video zu machen.
Ich sehe, dass ich den Fehler gemacht habe lsblk immer auf dem Host, also in der Proxmox shell einzutragen.

Ich habe es gemacht, wie du es gesagt hast.OMV bootet auch, bloß leider komme ich nicht wirklich in die Shell. In der GUI sind aber alle HDDs +SSD (neu) sichtbar. Entsprechend sollte es passen, denn ich habe schließlich die USD HDDs vom USB mounting in der VM von Proxmox entfernt.

Gehe ich richtig davon aus:
. Mein Mounting vom den USB Platten wurde beim booten verändert
. OMV hat nun den Controller, d.h. das Mounting verändert sich nicht mehr
. Ich kann somit via PCI Device die GPU *02 an HAOS durchreichen ohne das OMV durcheinander kommt bei einem Neustart (losgelöstes Problem was nur zufällig zusammen gekommen ist)
. Ich muss die SanDisk (USB Stick für Proxmox Backup) neu einrichten, s.
https://www.reddit.com/r/Proxmox/comments/10spjwj/easiest_way_to_mount_usb_drive_proxmox_7/

Bitte um deine Meinung.

 

[Krik]

. Mein Mounting vom den USB Platten wurde beim booten verändert

Das Mounting kann sicher jederzeit verändern. Deswegen ist es jetzt, wo du den Controller komplett an die VM abgegeben hast, wichtig, in OMV nicht /dev/sda..b..c..irgendwas einzubinden, sondern auch hier am besten über die GeräteID zu arbeiten.

. OMV hat nun den Controller, d.h. das Mounting verändert sich nicht mehr

Die ID vom USB-Controller kann sich nicht ändern. Die IDs von den angeschlossenen Platten kann sich nicht ändern. Das Mapping (sda, sdb, usw.) kann sich immer und jederzeit ändern.

. Ich kann somit via PCI Device *02 an HAOS durchreichen ohne das OMV durcheinander kommt bei einem Neustart

Im Idealfall. Allerdings könnte schon ein Update in der OMV-VM für ein verändertes Mapping sorgen.

. Ich muss die SanDisk (USB Stick für Proxmox Backup) neu einrichten, s.

Machen wir erst mal eines nach dem anderen. Zuerst befassen wir uns mit der Platte, die du versehentlich überschrieben hast. Mit der kannst du Dinge ausprobieren, ohne Daten zu verlieren.

OMV bootet auch, bloß leider komme ich nicht wirklich in die Shell. In der GUI sind aber alle HDDs +SSD (neu) sichtbar.

Bitte mach mal von der Plattenansicht einen Screenshot.
Erlaubt OMV das Einbinden via /dev/disk/by-uuid/, /dev/disk/by-id/ oder /dev/disk/by-label/? Die IDs sind ziemlich unveränderlich, Labels kannst du selbst definieren (und bleiben so lange du willst).

 

[Skudrinka]

Alles in allen Ehren, doch halte ich das ganze Projekt, die ganze Vorgehensweise für nicht sinnvoll.
Viel fehlt nicht mehr, bis es zum (versehentlichen) Datenverlust kommt - wir waren schon kurz davor..

Wenn mit dem N100 eine NAS aufgesetzt werden soll, dann bitte direkt auf dem Host ohne das diese virtualisiert wird/werden muss.

Den Umweg über Proxmox verstehe ich nicht, da in OMV wunderbar ebenso alles virtualisiert werden kann.
Entweder direkt über das KVM Plugin, oder eben in Containern.
Zumindest hat OMV so "direkten" Zugriff auf die USB-Geräte..

 

[RolloMollo]

Das Mounting kann sicher jederzeit verändern. Deswegen ist es jetzt, wo du den Controller komplett an die VM abgegeben hast, wichtig, in OMV nicht /dev/sda..b..c..irgendwas einzubinden, sondern auch hier am besten über die GeräteID zu arbeiten.


Die ID vom USB-Controller kann sich nicht ändern. Die IDs von den angeschlossenen Platten kann sich nicht ändern. Das Mapping (sda, sdb, usw.) kann sich immer und jederzeit ändern.


Im Idealfall. Allerdings könnte schon ein Update in der OMV-VM für ein verändertes Mapping sorgen.


Machen wir erst mal eines nach dem anderen. Zuerst befassen wir uns mit der Platte, die du versehentlich überschrieben hast. Mit der kannst du Dinge ausprobieren, ohne Daten zu verlieren.



Bitte mach mal von der Plattenansicht einen Screenshot.
Erlaubt OMV das Einbinden via /dev/disk/by-uuid/, /dev/disk/by-id/ oder /dev/disk/by-label/? Die IDs sind ziemlich unveränderlich, Labels kannst du selbst definieren (und bleiben so lange du willst).

Anbei die Screenshots.

Wenn ich mir so die shared folder (absolute path) ansehe, scheint OMV schon nach der UUID zu gehen.

Was ich dann aber nicht checke wieso die HDDs dann nach dem Neustart weggewesen sind. Das hätte dann doch nicht passieren dürfen!?

Ergänzung (10. Juni 2024)

Alles in allen Ehren, doch halte ich das ganze Projekt, die ganze Vorgehensweise für nicht sinnvoll.
Viel fehlt nicht mehr, bis es zum (versehentlichen) Datenverlust kommt - wir waren schon kurz davor..

Wenn mit dem N100 eine NAS aufgesetzt werden soll, dann bitte direkt auf dem Host ohne das diese virtualisiert wird/werden muss.

Den Umweg über Proxmox verstehe ich nicht, da in OMV wunderbar ebenso alles virtualisiert werden kann.
Entweder direkt über das KVM Plugin, oder eben in Containern.
Zumindest hat OMV so "direkten" Zugriff auf die USB-Geräte..

Der Grund liegt in der Historie. Ich hatte den N100 initial für OPNSense gekauft. Das läuft auch wunderbar. Parallel hatte ich ioBroker laufen. Um beides parallel laufen zu laufen, habe ich Proxmox eingesetzt. Mit der Zeit kamen mehr Container (evcc, BitWared, Radikale,...). Vor 2 Wochen ging dann mein Synology kaputt (DS218+). Nach einiger Zeit und Tickets wurde der Root Cause identifiziert: Interner RAM. Kein Support mehr seitens Synology, kein Discount beim Neukauf einer DSM. Da mein Backup bei Synology C2 Drive lag (ca. 170 EUR) im Jahr) war ich noch mehr gefrustet, weil man ohne DSM dort nur einzeln Dateien herunterladen kann. Richtig Premium. Bevor ich alles in die Ecke geworfen habe, habe ich die 2x 4TB in ein externes Gehäuse gepackt und an den N100 angeschlossen. Dazu dann OMV, immich, frigrate etc. Eine 4TB hat die Dateien, die zweite ist die Backplkatte via Duplicati. Dazu liegt noch eine Spiegelung auf einer 2,5 Zoll externen Platte (nicht angeschlossen). Zu dem backupe ich mit Duplicati auf/in Backblaze. Nicht ideal, ich weiß aber sollte - eigentlich - passen.

 

[Krik]

@RolloMollo
Der Screenshot ist sehr aufschlussreich. 👍
Du willst, dass alle deine Platten genauso wie "Backup" und nicht wie "Datengrab" eingebunden werden.
Bekommst du das hin?

Was ich dann aber nicht checke wieso die HDDs dann nach dem Neustart weggewesen sind. Das hätte dann doch nicht passieren dürfen!?

Er scheint wohl nach der Spalte "Device" zu gehen. Die restlichen dargestellten Spalten sind wohl einfach nur extra.

 

[RolloMollo]

@RolloMollo
Er scheint wohl nach der Spalte "Device" zu gehen. Die restlichen dargestellten Spalten sind wohl einfach nur extra.

Da hast du recht. Ich scheint wohl ein Thema vom Dateisystem gewesen zu sein, nicht aber von der Platte selbst.

Ergänzung (10. Juni 2024)

@RolloMollo
Der Screenshot ist sehr aufschlussreich. 👍
Du willst, dass alle deine Platten genauso wie "Backup" und nicht wie "Datengrab" eingebunden werden.
Bekommst du das hin?

Backup habe ich inzwischen gelöscht, weil der Shared Folder ins Nirvana im File System führte. Durch das Löschen habe ich wieder eine saubere Sicht unter File System (s. Screenshots).
Ziel ist, dass der Device Path mit UUID versehen wird, wenn ich dich richtig verstehe. Das muss ich erstmal googeln. Denn absichtlich war das nicht. Ich lege die Shared Folder via GUI in OMV an. Und der, legt die dann mit sda, b, c an.

Ergänzung (10. Juni 2024)

Meinst du ich kann auch wieder die GPU an HAOS weiterreichen ohne, dass mir etwas zerschossen wird? Oder soll ich mich erstmal um OMV kümmern?

Ergänzung (10. Juni 2024)

Summa summarum, müsste ich doch nichts ändern. Der absolute Path schaut auf die UUID - das soll so sein. Warum "Backup" zerschossen wurde, liegt am File System, welches ich neu schreiben musste oder?

 

[Krik]

Ziel ist, dass der Device Path mit UUID versehen wird, wenn ich dich richtig verstehe.

Richtig!
In der OMV-Doku erwähnen die auch mit keinem Wort das Mapping. Die gehen schön nach UUID und Label.

Meinst du ich kann auch wieder die GPU an HAOS weiterreichen ohne, dass mir etwas zerschossen wird? Oder soll ich mich erstmal um OMV kümmern?

Wenn du die GPU nicht unbedingt in HAOS brauchst, würde ich empfehlen, das erst mal beiseite zu legen, bis OMV versorgt ist.

 

[RolloMollo]

Danke. Dann erst OMV.
Ich hab mir mal die config.xml angeschaut.
Hier ein (glaube ich) relevanter Part.

Für mich sieht das aber "gut" aus!?

      <sharedfolder>
        <uuid>223e4b9a-58f5-471d-abcb-46ac05985836</uuid>
        <name>appdata</name>
        <comment></comment>
        <mntentref>b708b88e-3a70-43f3-945a-b764626c0905</mntentref>
        <reldirpath>appdata/</reldirpath>
        <privileges>
          <privilege>
            <type>user</type>
            <name>appuser</name>
            <perms>7</perms>
          </privilege>
          <privilege>
            <type>user</type>
            <name>XXY</name>
            <perms>7</perms>
          </privilege>
          <privilege>
            <type>user</type>
            <name>nvr</name>
            <perms>0</perms>
          </privilege>
        </privileges>
      </sharedfolder>

 

[Krik]

Für mich sieht das aber "gut" aus!?

Für mich auch.

Um sicherzugehen: In Post #30 hast du ein Screenshot gepostet, auf dem man die Platten samt Füllstand sehen kann. Kann man dort irgendwie von /dev/sdX auf UUID wechseln bzw. neu einbinden?

 

[RolloMollo]

Leider nein, s. Anhang.
Ich konnte aber den mountpoint einblenden, der auf die UUID verweist.

 

[Krik]

Für mich sieht das, ehrlich gesagt, jetzt nicht so aus, dass er immer nach UUID geht. Mich stört, dass der Pfad mit /srv beginnt. Dort sollen eigentlich Daten liegen, die einer Server verteilen soll. Es erscheint mir, dass die Platten von /dev/sdX nach /srv/Y gemountet werden. Richtig wäre mMn, wenn von /dev/disk/by-uuid/ABC... nach /srv/Y gemountet wird.
Vielleicht interpretiere ich das aber auch falsch, ich habe zu wenig Erfahrungen mit OMV.

Dann kannst du jetzt die GPU an HAOS durchreichen. Prüfe dann auch gleich hinterher, ob es die Plattenzuordnung im OMV wieder durcheinander gewürfelt hat.

 

[RolloMollo]

Gut. Also das weiterreich der GPU hat soweit geklappt. Alles ist auch soweit verfügbar und läuft. DANKE!
Jedoch: Da ich den Controller an OMV VM weiterreiche, hab ich den Zigbee USB-Stick nicht mehr in HAOS VM verfügbar. Stimmt diese Aussage so?
Das wäre problematisch, da HAOS den Zigbee Dongle benötigt. Nachfolgend der Screenshot vom mounten des USB Devices. Zur Auswahl habe ich leider nichts.
Zweitens: Führt das auch dazu, dass ich SanDisk USB Stick für das lokale Backup der Proxmox LXC/VM nicht in Proxmox sehe bzw. mounten kann?

Danke!

 

[Krik]

Da ich den Controller an OMV VM weiterreiche, hab ich den Zigbee USB-Stick nicht mehr in HAOS VM verfügbar. Stimmt diese Aussage so?

Richtig!

Führt das auch dazu, dass ich SanDisk USB Stick für das lokale Backup der Proxmox LXC/VM nicht in Proxmox sehe bzw. mounten kann?

Richtig!

Der komplette Controller kann jetzt nur noch exklusiv von der OMV-VM genutzt werden. Also hängen doch alle 4 Ports am Controller. Ich wusste es nicht genau.
Du müsstest den Controller wieder aus der VM entfernen und nur die USB-Geräte via Geräte-ID durchreichen.

 

[RolloMollo]

Danke.
Habe den Controller entfernt, es erscheinen wieder die USB Devices in Proxmox. Dann habe ich folgendes probiert jedoch klappt es nicht:

root@proxmox:~# qm set 300 -scsi2 /dev/disk/by-id/d2c58590-93d7-4346-af7a-5c7856a3738f
update VM 300: -scsi2 /dev/disk/by-id/d2c58590-93d7-4346-af7a-5c7856a3738f
volume /dev/disk/by-id/d2c58590-93d7-4346-af7a-5c7856a3738f does not exist

Und das obwohl die IDs stimmen:

sda                                                                                         
└─sda1               ext4   1.0         d2c58590-93d7-4346-af7a-5c7856a3738f               
sdb                                                                                         
└─sdb1               ext4   1.0         088720e6-ceb5-46f1-842f-9d313a903478

Muss ich nicht verstehen!?

Ergänzung (10. Juni 2024)

Habs damit hinbekommen
https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM)