Dell T320 med GPU Pass through hjälp!

Hejsan

Sitter o försöker få upp en T320 server där jag har Proxmox som min VE med ett Nvidia Quadro NVS510(testa mig fram) för att få någon typ av 3d acceleration men också för att få GPU passthrough men verkar inte som jag lyckas, försökt kolla igenom proxmox guider och deras egna dokumentaion men vill sig fortfarande inte,

jag har kollat igenom iDRAC och Bios o aktiverat SR-IOV och även ändrat CMDLINE för grub till intel iommu=pt men får fortfarande att IOMMU is not active om jag försöker lägga till gpun som en PCI-E till vms, testade innan med intel iommu=quiet on eller bara on men då får jag DMAR PCI-E errors och mitt sas backplane lägger av så tappar tillgång til mina raid diskar.

någon som kan ha en annan bra förklaring varför detta inte fungerar eftersom proxmox verkar ju se att GPUn finns där men inte att passthrough är aktiv

tack på förhand

GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet"
GRUB_CMDLINE_LINUX="intel_iommu=pt"

lagt till i /etc/modules

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

så kör jag nu och skriver jag dmesg | grep -e DMAR -e IOMMU

dmesg | grep -e dmar -e iommu
[ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro intel_iommu=pt quiet
[ 0.033667] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro intel_iommu=pt quiet
[ 0.094700] DMAR: dmar0: reg_base_addr dd100000 ver 1:0 cap d2078c106f0466 ecap f020de
[ 0.250894] iommu: Default domain type: Translated
[ 1.331029] intel_iommu=pt

som jag ser nu dock står det inte IOMMU enabled men det har det gjort innan :/ men då fick jag fortfarane No IOMMU detected, please activate it.See Documentation for further information. när jag försöker lägga till PCI-E för en VM

sitter med en Intel(R) Xeon(R) CPU E5-2470 v2 så har ju tyävrr inte itllgång till iGPU

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

ok ska testa detta då återkommer vad som händer xD

hmm nu verkar det funka

root@ToxicPVE:~# dmesg | grep -e dmar -e iommu -e amd-vi
[ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on iommu=pt quiet intel_iommu=on iommu=pt
[ 0.033697] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on iommu=pt quiet intel_iommu=on iommu=pt
[ 0.094712] DMAR: dmar0: reg_base_addr dd100000 ver 1:0 cap d2078c106f0466 ecap f020de
[ 0.251154] iommu: Default domain type: Passthrough (set via kernel command line)
[ 0.299955] DMAR: dmar0: Using Queued invalidation
[ 0.300010] pci 0000:00:00.0: Adding to iommu group 0
[ 0.300029] pci 0000:00:01.0: Adding to iommu group 1
[ 0.300046] pci 0000:00:01.1: Adding to iommu group 2
[ 0.300063] pci 0000:00:03.0: Adding to iommu group 3
[ 0.300078] pci 0000:00:04.0: Adding to iommu group 4
[ 0.300092] pci 0000:00:04.1: Adding to iommu group 5
[ 0.300105] pci 0000:00:04.2: Adding to iommu group 6
[ 0.300120] pci 0000:00:04.3: Adding to iommu group 7
[ 0.300134] pci 0000:00:04.4: Adding to iommu group 8
[ 0.300148] pci 0000:00:04.5: Adding to iommu group 9
[ 0.300162] pci 0000:00:04.6: Adding to iommu group 10
[ 0.300177] pci 0000:00:04.7: Adding to iommu group 11
[ 0.300191] pci 0000:00:05.0: Adding to iommu group 12
[ 0.300205] pci 0000:00:05.2: Adding to iommu group 13
[ 0.300219] pci 0000:00:11.0: Adding to iommu group 14
[ 0.300251] pci 0000:00:16.0: Adding to iommu group 15
[ 0.300266] pci 0000:00:16.1: Adding to iommu group 15
[ 0.300279] pci 0000:00:1a.0: Adding to iommu group 16
[ 0.300294] pci 0000:00:1c.0: Adding to iommu group 17
[ 0.300308] pci 0000:00:1c.4: Adding to iommu group 18
[ 0.300322] pci 0000:00:1c.6: Adding to iommu group 19
[ 0.300337] pci 0000:00:1c.7: Adding to iommu group 20
[ 0.300351] pci 0000:00:1d.0: Adding to iommu group 21
[ 0.300365] pci 0000:00:1e.0: Adding to iommu group 22
[ 0.300397] pci 0000:00:1f.0: Adding to iommu group 23
[ 0.300412] pci 0000:00:1f.2: Adding to iommu group 23
[ 0.300455] pci 0000:01:00.0: Adding to iommu group 24
[ 0.300483] pci 0000:01:00.1: Adding to iommu group 24
[ 0.300496] pci 0000:03:00.0: Adding to iommu group 25
[ 0.300539] pci 0000:04:00.0: Adding to iommu group 26
[ 0.300582] pci 0000:04:01.0: Adding to iommu group 27
[ 0.300619] pci 0000:05:00.0: Adding to iommu group 26
[ 0.300622] pci 0000:06:00.0: Adding to iommu group 26
[ 0.300639] pci 0000:08:00.0: Adding to iommu group 28
[ 0.300675] pci 0000:0a:00.0: Adding to iommu group 29
[ 0.300696] pci 0000:0a:00.1: Adding to iommu group 29
[ 0.300720] pci 0000:3f:08.0: Adding to iommu group 30
[ 0.300742] pci 0000:3f:09.0: Adding to iommu group 31
[ 0.300791] pci 0000:3f:0a.0: Adding to iommu group 32
[ 0.300809] pci 0000:3f:0a.1: Adding to iommu group 32
[ 0.300826] pci 0000:3f:0a.2: Adding to iommu group 32
[ 0.300842] pci 0000:3f:0a.3: Adding to iommu group 32
[ 0.300872] pci 0000:3f:0b.0: Adding to iommu group 33
[ 0.300889] pci 0000:3f:0b.3: Adding to iommu group 33
[ 0.300946] pci 0000:3f:0c.0: Adding to iommu group 34
[ 0.300963] pci 0000:3f:0c.1: Adding to iommu group 34
[ 0.300981] pci 0000:3f:0c.2: Adding to iommu group 34
[ 0.300997] pci 0000:3f:0c.3: Adding to iommu group 34
[ 0.301014] pci 0000:3f:0c.4: Adding to iommu group 34
[ 0.301070] pci 0000:3f:0d.0: Adding to iommu group 35
[ 0.301088] pci 0000:3f:0d.1: Adding to iommu group 35
[ 0.301107] pci 0000:3f:0d.2: Adding to iommu group 35
[ 0.301124] pci 0000:3f:0d.3: Adding to iommu group 35
[ 0.301142] pci 0000:3f:0d.4: Adding to iommu group 35
[ 0.301172] pci 0000:3f:0e.0: Adding to iommu group 36
[ 0.301191] pci 0000:3f:0e.1: Adding to iommu group 36
[ 0.301204] pci 0000:3f:0f.0: Adding to iommu group 37
[ 0.301219] pci 0000:3f:0f.1: Adding to iommu group 38
[ 0.301233] pci 0000:3f:0f.2: Adding to iommu group 39
[ 0.301246] pci 0000:3f:0f.3: Adding to iommu group 40
[ 0.301260] pci 0000:3f:0f.4: Adding to iommu group 41
[ 0.301274] pci 0000:3f:0f.5: Adding to iommu group 42
[ 0.301288] pci 0000:3f:10.0: Adding to iommu group 43
[ 0.301302] pci 0000:3f:10.1: Adding to iommu group 44
[ 0.301316] pci 0000:3f:10.2: Adding to iommu group 45
[ 0.301331] pci 0000:3f:10.3: Adding to iommu group 46
[ 0.301345] pci 0000:3f:10.4: Adding to iommu group 47
[ 0.301359] pci 0000:3f:10.5: Adding to iommu group 48
[ 0.301372] pci 0000:3f:10.7: Adding to iommu group 49
[ 0.301421] pci 0000:3f:13.0: Adding to iommu group 50
[ 0.301441] pci 0000:3f:13.1: Adding to iommu group 50
[ 0.301461] pci 0000:3f:13.4: Adding to iommu group 50
[ 0.301481] pci 0000:3f:13.5: Adding to iommu group 50
[ 0.301521] pci 0000:3f:16.0: Adding to iommu group 51
[ 0.301542] pci 0000:3f:16.1: Adding to iommu group 51
[ 0.301563] pci 0000:3f:16.2: Adding to iommu group 51
[ 1.327158] intel_iommu=on

yep verkar som det funkar nu aja tack så mycket!