Forum Datorer och system Server Tråd Inlägg

Dell T320 med GPU Pass through hjälp!

1
Skriv svar
Permalänk
Medlem
●

Dell T320 med GPU Pass through hjälp!

Hejsan

Sitter o försöker få upp en T320 server där jag har Proxmox som min VE med ett Nvidia Quadro NVS510(testa mig fram) för att få någon typ av 3d acceleration men också för att få GPU passthrough men verkar inte som jag lyckas, försökt kolla igenom proxmox guider och deras egna dokumentaion men vill sig fortfarande inte,

jag har kollat igenom iDRAC och Bios o aktiverat SR-IOV och även ändrat CMDLINE för grub till intel iommu=pt men får fortfarande att IOMMU is not active om jag försöker lägga till gpun som en PCI-E till vms, testade innan med intel iommu=quiet on eller bara on men då får jag DMAR PCI-E errors och mitt sas backplane lägger av så tappar tillgång til mina raid diskar.

någon som kan ha en annan bra förklaring varför detta inte fungerar eftersom proxmox verkar ju se att GPUn finns där men inte att passthrough är aktiv

tack på förhand

Visa signatur

[CPU: AMD Ryzen 7 7800X3D][MB: Asus ROG Strix B650E-F Gaming]
[GPU: Power Color RX 9070xt Red Devil 16GB -70mV/-10PL/2668MHz Vram OC]
[Kylare: Arctic Liquid Freezer III 420 Stealth][RAM: G.Skill Trident Z5 Neo RGB 6000MTs CL30]
[PSU: Asus ROG Strix 1000W Aura][Case: Lian Li O11D Evo RGB Black]
[DAC/Amp: Asus Xonar Essence One][Lurar: Sennheiser HD650]

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Kan du klistra in din grub conf? Så man kan se om det är rätt. Jag kör passthrough med en intel IGPU, men bör vara snarlikt.

Visa signatur

AMD Athlon XP 2000+(Palomino) | 512MiB DDR333 | Gigabyte GA-7VRXP | Point of View GeForce 4 Ti4200 XP | 2x IBM Deskstar 80GB i Raid 0 | Chieftec Dragon | Win2k |

AMD Ryzen R7 5700X | 16GiB DDR4 3200 CL14 | MSI B450 Tomahawk II | Sapphire RX5700 Pulse | Intel 660p 1TiB | Nanoxia Deep Silence | AOC CQ32G1 144Hz 1440p | Win 10 |

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av lord_dubbdäck:

Kan du klistra in din grub conf? Så man kan se om det är rätt. Jag kör passthrough med en intel IGPU, men bör vara snarlikt.

Gå till inlägget

GRUB_DEFAULT=0
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR=`lsb_release -i -s 2> /dev/null || echo Debian`
GRUB_CMDLINE_LINUX_DEFAULT="quiet"
GRUB_CMDLINE_LINUX="intel_iommu=pt"

lagt till i /etc/modules

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

så kör jag nu och skriver jag dmesg | grep -e DMAR -e IOMMU

dmesg | grep -e dmar -e iommu
[ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro intel_iommu=pt quiet
[ 0.033667] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro intel_iommu=pt quiet
[ 0.094700] DMAR: dmar0: reg_base_addr dd100000 ver 1:0 cap d2078c106f0466 ecap f020de
[ 0.250894] iommu: Default domain type: Translated
[ 1.331029] intel_iommu=pt

som jag ser nu dock står det inte IOMMU enabled men det har det gjort innan :/ men då fick jag fortfarane No IOMMU detected, please activate it.See Documentation for further information. när jag försöker lägga till PCI-E för en VM

sitter med en Intel(R) Xeon(R) CPU E5-2470 v2 så har ju tyävrr inte itllgång till iGPU

Senast redigerat
Visa signatur

[CPU: AMD Ryzen 7 7800X3D][MB: Asus ROG Strix B650E-F Gaming]
[GPU: Power Color RX 9070xt Red Devil 16GB -70mV/-10PL/2668MHz Vram OC]
[Kylare: Arctic Liquid Freezer III 420 Stealth][RAM: G.Skill Trident Z5 Neo RGB 6000MTs CL30]
[PSU: Asus ROG Strix 1000W Aura][Case: Lian Li O11D Evo RGB Black]
[DAC/Amp: Asus Xonar Essence One][Lurar: Sennheiser HD650]

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Japp ser ut att vara i din grub conf det är fel, såhär ska det vara vad jag kan hitta:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
Visa signatur

AMD Athlon XP 2000+(Palomino) | 512MiB DDR333 | Gigabyte GA-7VRXP | Point of View GeForce 4 Ti4200 XP | 2x IBM Deskstar 80GB i Raid 0 | Chieftec Dragon | Win2k |

AMD Ryzen R7 5700X | 16GiB DDR4 3200 CL14 | MSI B450 Tomahawk II | Sapphire RX5700 Pulse | Intel 660p 1TiB | Nanoxia Deep Silence | AOC CQ32G1 144Hz 1440p | Win 10 |

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av lord_dubbdäck:

Japp ser ut att vara i din grub conf det är fel, såhär ska det vara vad jag kan hitta:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
Gå till inlägget

ok ska testa detta då återkommer vad som händer xD

hmm nu verkar det funka

root@ToxicPVE:~# dmesg | grep -e dmar -e iommu -e amd-vi
[ 0.000000] Command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on iommu=pt quiet intel_iommu=on iommu=pt
[ 0.033697] Kernel command line: BOOT_IMAGE=/boot/vmlinuz-5.13.19-2-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on iommu=pt quiet intel_iommu=on iommu=pt
[ 0.094712] DMAR: dmar0: reg_base_addr dd100000 ver 1:0 cap d2078c106f0466 ecap f020de
[ 0.251154] iommu: Default domain type: Passthrough (set via kernel command line)
[ 0.299955] DMAR: dmar0: Using Queued invalidation
[ 0.300010] pci 0000:00:00.0: Adding to iommu group 0
[ 0.300029] pci 0000:00:01.0: Adding to iommu group 1
[ 0.300046] pci 0000:00:01.1: Adding to iommu group 2
[ 0.300063] pci 0000:00:03.0: Adding to iommu group 3
[ 0.300078] pci 0000:00:04.0: Adding to iommu group 4
[ 0.300092] pci 0000:00:04.1: Adding to iommu group 5
[ 0.300105] pci 0000:00:04.2: Adding to iommu group 6
[ 0.300120] pci 0000:00:04.3: Adding to iommu group 7
[ 0.300134] pci 0000:00:04.4: Adding to iommu group 8
[ 0.300148] pci 0000:00:04.5: Adding to iommu group 9
[ 0.300162] pci 0000:00:04.6: Adding to iommu group 10
[ 0.300177] pci 0000:00:04.7: Adding to iommu group 11
[ 0.300191] pci 0000:00:05.0: Adding to iommu group 12
[ 0.300205] pci 0000:00:05.2: Adding to iommu group 13
[ 0.300219] pci 0000:00:11.0: Adding to iommu group 14
[ 0.300251] pci 0000:00:16.0: Adding to iommu group 15
[ 0.300266] pci 0000:00:16.1: Adding to iommu group 15
[ 0.300279] pci 0000:00:1a.0: Adding to iommu group 16
[ 0.300294] pci 0000:00:1c.0: Adding to iommu group 17
[ 0.300308] pci 0000:00:1c.4: Adding to iommu group 18
[ 0.300322] pci 0000:00:1c.6: Adding to iommu group 19
[ 0.300337] pci 0000:00:1c.7: Adding to iommu group 20
[ 0.300351] pci 0000:00:1d.0: Adding to iommu group 21
[ 0.300365] pci 0000:00:1e.0: Adding to iommu group 22
[ 0.300397] pci 0000:00:1f.0: Adding to iommu group 23
[ 0.300412] pci 0000:00:1f.2: Adding to iommu group 23
[ 0.300455] pci 0000:01:00.0: Adding to iommu group 24
[ 0.300483] pci 0000:01:00.1: Adding to iommu group 24
[ 0.300496] pci 0000:03:00.0: Adding to iommu group 25
[ 0.300539] pci 0000:04:00.0: Adding to iommu group 26
[ 0.300582] pci 0000:04:01.0: Adding to iommu group 27
[ 0.300619] pci 0000:05:00.0: Adding to iommu group 26
[ 0.300622] pci 0000:06:00.0: Adding to iommu group 26
[ 0.300639] pci 0000:08:00.0: Adding to iommu group 28
[ 0.300675] pci 0000:0a:00.0: Adding to iommu group 29
[ 0.300696] pci 0000:0a:00.1: Adding to iommu group 29
[ 0.300720] pci 0000:3f:08.0: Adding to iommu group 30
[ 0.300742] pci 0000:3f:09.0: Adding to iommu group 31
[ 0.300791] pci 0000:3f:0a.0: Adding to iommu group 32
[ 0.300809] pci 0000:3f:0a.1: Adding to iommu group 32
[ 0.300826] pci 0000:3f:0a.2: Adding to iommu group 32
[ 0.300842] pci 0000:3f:0a.3: Adding to iommu group 32
[ 0.300872] pci 0000:3f:0b.0: Adding to iommu group 33
[ 0.300889] pci 0000:3f:0b.3: Adding to iommu group 33
[ 0.300946] pci 0000:3f:0c.0: Adding to iommu group 34
[ 0.300963] pci 0000:3f:0c.1: Adding to iommu group 34
[ 0.300981] pci 0000:3f:0c.2: Adding to iommu group 34
[ 0.300997] pci 0000:3f:0c.3: Adding to iommu group 34
[ 0.301014] pci 0000:3f:0c.4: Adding to iommu group 34
[ 0.301070] pci 0000:3f:0d.0: Adding to iommu group 35
[ 0.301088] pci 0000:3f:0d.1: Adding to iommu group 35
[ 0.301107] pci 0000:3f:0d.2: Adding to iommu group 35
[ 0.301124] pci 0000:3f:0d.3: Adding to iommu group 35
[ 0.301142] pci 0000:3f:0d.4: Adding to iommu group 35
[ 0.301172] pci 0000:3f:0e.0: Adding to iommu group 36
[ 0.301191] pci 0000:3f:0e.1: Adding to iommu group 36
[ 0.301204] pci 0000:3f:0f.0: Adding to iommu group 37
[ 0.301219] pci 0000:3f:0f.1: Adding to iommu group 38
[ 0.301233] pci 0000:3f:0f.2: Adding to iommu group 39
[ 0.301246] pci 0000:3f:0f.3: Adding to iommu group 40
[ 0.301260] pci 0000:3f:0f.4: Adding to iommu group 41
[ 0.301274] pci 0000:3f:0f.5: Adding to iommu group 42
[ 0.301288] pci 0000:3f:10.0: Adding to iommu group 43
[ 0.301302] pci 0000:3f:10.1: Adding to iommu group 44
[ 0.301316] pci 0000:3f:10.2: Adding to iommu group 45
[ 0.301331] pci 0000:3f:10.3: Adding to iommu group 46
[ 0.301345] pci 0000:3f:10.4: Adding to iommu group 47
[ 0.301359] pci 0000:3f:10.5: Adding to iommu group 48
[ 0.301372] pci 0000:3f:10.7: Adding to iommu group 49
[ 0.301421] pci 0000:3f:13.0: Adding to iommu group 50
[ 0.301441] pci 0000:3f:13.1: Adding to iommu group 50
[ 0.301461] pci 0000:3f:13.4: Adding to iommu group 50
[ 0.301481] pci 0000:3f:13.5: Adding to iommu group 50
[ 0.301521] pci 0000:3f:16.0: Adding to iommu group 51
[ 0.301542] pci 0000:3f:16.1: Adding to iommu group 51
[ 0.301563] pci 0000:3f:16.2: Adding to iommu group 51
[ 1.327158] intel_iommu=on

yep verkar som det funkar nu aja tack så mycket!

Senast redigerat
Visa signatur

[CPU: AMD Ryzen 7 7800X3D][MB: Asus ROG Strix B650E-F Gaming]
[GPU: Power Color RX 9070xt Red Devil 16GB -70mV/-10PL/2668MHz Vram OC]
[Kylare: Arctic Liquid Freezer III 420 Stealth][RAM: G.Skill Trident Z5 Neo RGB 6000MTs CL30]
[PSU: Asus ROG Strix 1000W Aura][Case: Lian Li O11D Evo RGB Black]
[DAC/Amp: Asus Xonar Essence One][Lurar: Sennheiser HD650]

Redigera
Citera flera Citera
1
Skriv svar