TrueNAS Scale isolated GPU

[Mr.Courious]

Hallo zusammen,

Ich weiß nicht, ob das Thema noch ins "NAS"-Gebiet fällt :-D
ich habe frisch einen TrueNAS-SCALE-23.10.2 Server aufgesetzt. Als Mainboard kommt ein Supermicro x13sae-f zum Einsatz.
Dazu 64GB DDR5-ECC RAM und eine I5-14600 CPU. Kernaufgaben des NAS sind neben der Datenhaltung ein Plex Server und Virtuelle Maschinen. Die iGPU konnte ich erfolgreich dem Docker vom Plex Server zuweisen, sodass Transcodierungen Hardwarebeschleunigt erfolgen. Soweit so gut.
Aber ich kann die iGPU weder einer VM zuweisen, noch unter "Isolated GPU Devices" in den erweiterten Systemeinstellungen finden.

Ich habe in der Console folgendes eingegeben:

lspci -k | grep -EA3 'VGA|3D|Display'

Die iGPU wird also korrekt erkannt, jedoch ist Sie im TrueNAS nicht auffindbar. Hat jemand dazu einen Tipp?

 

[FCKGW]

Du kannst die GPU nur zu einem zuweisen. Entweder den Plex Docker oder einer VM.

Beides zusammen geht nicht.

 

[Mr.Courious]

Klingt plausible, macht aber keinen Unterschied. Habe die GPU testweise aus dem Plex-Docker entfernt und auch den Plex-Docker komplett deinstalliert. Die GPU taucht nach wie vor sonst nicht auf. Das deckt sich vom Verhalten her mit anderen Beiträgen im Netz, bsp:
https://www.truenas.com/community/threads/13th-gen-support-for-truenas-scale.111161/

 

[alturismo]

ich kenne jetzt den Einsatzzweck nicht für was du die iGPU an eine VM geben willst, wenn du diese auch dediziert nutzen willst (mit Hardware Ausgabe an DP, HDMI) wird das eher nichts (mehr)x, so mein Erfahrungsstand zu KVM.

wenn du die iGPU als "Unterstützung" in der VM nutzen möchtest, würde ich mich mit dem Thema SR-IOV mal auseinandersetzen, damit erstellt man vGPU's zu der iGPU (ab 12th gen CPU's, vorher bis 10th gen war es gvt-g), diese kann man dann in VM's einbinden und parallel auch Dockers wir Plex mit der iGPU laufen lassen.

was du oben postest als "vorhandene" isolated iGPU ist die KVM GPU für Remote KVM usage, hat nichts mit der Intel iGPU am Hut.

du kannst auch alternativ dich zum Thema vfio bind (isolate) einlesen und versuchen die iGPU zu isolieren dass diese "frei" wird für eine laufende VM, aber wie erwähnt, nach Skylake wurde das "hier zumindest" nichts mehr ... zum "nativen" VM Gebrauch zumindest, alles andere macht man besser mit SR-IOV und vGPU's (Remote VM's und dann für Parsec und co ...).

 

[Bohnenhans]

So richtig kann man doch eine isolated iGPU doch nur in KVMs nutzen wenn diese zusätzlich drin steckt.

Nutzt Du die AST2600 zur Ausgabe oder die iGPU für das TrueNAS OS?

 

[Mr.Courious]

Ein weiterer Neustart hat mich zumindest einen Schritt weiter gebracht. Ich kann die iGPU jetzt auswählen, aber nicht isolieren:

Das ist eine gute Frage. Ich habe das nicht explizit eingestellt. Über die IMPI Schnittstelle greife ich auf BIOS und Hardwareeinstellungen zu, ansonsten läuft die Verbindung rein über den Browser. Mich würds ja auch nicht weiter stören, wenn ich die GPU nicht isoieren kann, aber die VM bekommt ja nicht ohne weiteres die GPU vom System vererbt, sondern ich muss sie explizit angeben.

 

[alturismo]

wenn ich die GPU nicht isoieren kann, aber die VM bekommt ja nicht ohne weiteres die GPU vom System vererbt, sondern ich muss sie explizit angeben.

du siehst ja bei der Meldung dass die iGPU nicht isoliert werden kann, dann kann diese auch nicht an die VM per passthrough durchgereicht werden.

Wie erwähnt, das wird seit skylake eigentlich nichts mehr.

Sofern dies als remote System ok ist, lies dich ein zu SR-IOV und vgpus

sieht dann beispielsweise so bei mir aus

und die vgpu

welche dann auch per passthrough and die VM gehen kann ... gemacht für "remote" VM's ...
RDP, Parsec, Sunshine, ... was auch immer ...

wenn jetzt noch wirklich physisch ein Monitor dran soll, eine Alternative, Displaylink per USB 3++ und du kannst auch halbwegs vernünftig nen Monitor nutzen. Reichte hier zumindest für alle Desktop Anwendungen bequem aus.

du kannst auch weiter versuchen die volle iGPU ... dazu einlesen wie du True Nas dazu bekommst komplett headless laufen zu lassen und nicht die iGPU zu beanspruchen, wenn das erledigt ist kannst du schauen was passiert wenn ... wobei aus Erfahrung ... das wird nichts

 

[Bohnenhans]

Aber er muss das doch nicht headless laufen lassen - die IPMI AST2600 ist eine vollwertige Grafikkarte die parallel verbaut ist.

Ich nutze die die AST 2xxx immer für Xeons die keine iGPU haben - das funktioniert problemlos - ist halt kein FPS Monster in Fortnite und man braucht vga => hdmi Adapter wenn man keinen vga Anschluss mehr hat.

 

[alturismo]

Ich nutze die die AST 2xxx immer für Xeons die keine iGPU haben - das funktioniert problemlos

ich schätze da keine andere GPU verbaut ist und nur dann ...

der TE kann ja mal schauen ob er diese iGPU als primary wählen kann für das OS ... aber selbst wenn glaube ich persönlich nicht mehr dran dass dies zum Erfolg führt.

ist halt kein FPS Monster in Fortnite und man braucht vga => hdmi Adapter wenn man keinen vga Anschluss mehr hat.

auch klar, ist ja normal auch nur als KVM Output gedacht ... bzw. IPMI.

 

[Bohnenhans]

Ne wieso sollte das nur dann gehen?

Da ist eine ganz normale vollwertige echte GPU die hat ausser dass sie langsam ist und nur einen VGA Ausgang überhaupt keine Einschränkungen die läuft bis 1920x1200x32@60Hz die hängt ganz normal am PCIe Bus.

Siehe auch seine lspci Ausgabe.

Wenn ich eine NVidia zusätzlich reinstecke oder einen Xeon mit iGPU habe ich ein völlig normales Multi GPU System. Man muss dann halt meist im BIOS dann schauen wie bei jedem Multi GPU System was man EInstallen muss damit das die "erste" Karte ist. Das hängt halt vom BIOS - wie immer - dann ab was möglich ist und was nicht.

 

[alturismo]

ich stimme dir ja soweit zu dass dies in der Theorie gehen könnte, ich jedoch in der Praxis noch kein System gesehen habe (und managed habe) wo die ASPEED ipmi iGPU als primary gewählt werden könnte, auch nicht bei einem multi GPU setup ...

Aber dies ist nur mein persönlicher Erfahrungsstand welcher natürlich auch falsch sein könnte, nichts desto trotz selbst wenn das mit seinem BIOS gehen würde, und er danach die Intel iGPU frei hätte zur Verwendung ist auch hier meine persönliche Erfahrung mit allem seit gen7 (oder gen8 weiß ich jetzt nicht mehr ganz genau) dass dies scheitert hier ein vollwertiges iGPU passthrough für eine VM hinzubekommen ... aber auch hier mag ich mich täuschen.

Wie oben erwähnt, alles KVM Base (Unraid, Proxmox), daher auch meine Empfehlung sich mit SR-IOV auseinanderzusetzen ...

Wenn es bei dir klappt mit TrueNAS eine Intel iGPU vollwertig an eine VM zu geben, dann Top und vielleicht kannst du Ihm den passenden Tipp geben.

 

[Bohnenhans]

wie gesagt die meisten meiner XEONs haben keine iGPU hehe ich spare mir das halt eigentlich fast immer weil die Workstation/Serverboards eh doch fast immer eine AST2x00 haben.

ich kann aber wenn ich eine NVidia zusätzlich reinstecke diese weil dann unbenutzt weiterreichen und die AST2500 weiter als alleinige System GPU nutzen. Ich muss halt im BIOS dann rumspielen mit EFI, Legacy disabled dem Slot zuordnen und den Primary Graphic Adapter setzen. Weil davon ja abhängt welche GPU die erste ist und welche die zweite.

Das halt leider etwas tricky da eine BIOS Einstellung zu finden.

-----------------------

Hmmm im Scale tut es bei mir allerdings nicht - in Arch Linux schon - bei Truenas Scale funktionieren bei mir die vfio kernel module nicht.

 

[Mr.Courious]

vielen Dank für die detaillierten Antworten. Die dedizierte AST-GPU kann ich natürlich auswählen, aber die Performance ist nicht ansatzweise vergleichbar. Ich arbeite jetzt fürs Erste mal ohne isolierte GPU und werde sonst einfach eine dGPU nachrüsten (zb die RTX3050), wenn es einfach nicht anders geht. Dann ist die Last auch besser verteilt (iGPU TRanscoding für Plex) und dGPU für die VM.