HP Microserver N36L fungerar inte med Quadro P400-kort (Ubuntu 20.04 - ingen bild i GRUB eller i OS)

Permalänk
Hedersmedlem

HP Microserver N36L fungerar inte med Quadro P400-kort (Ubuntu 20.04 - ingen bild i GRUB eller i OS)

Hej!

Jag har en gammal HP Microserver N36L, och ville stoppa i ett Quadro P400-kort för att labba med hårdvaruaccellererad videotranscoding i Plex. (Ja, det är hög risk att CPU-resurserna ändå inte räcker även om man har med GPU-accelleration, men jag ville ändå testa för intressets skull.)

Har därmed köpt ett Quadro P400 på marknaden här, men jag stöter på patrull. Servern POST:ar som den ska, och grafikkortet funkar i BIOS, men så fort den ska boota in i ett OS så blir det bara svart skärm. Inte ens GRUB visar något!

Om jag i BIOS ställer om att den inbyggda grafiken ska användas så bootar OS:et utan problem, men nätverket fungerar inte. Inga uppenbara felmeddelanden i dmesg eller liknande, det är bara att OS:et tror att ingen länk finns.

Provar jag PXE-boota servern i den konfigurationen så ser jag i Wireshark att paket kommer ut från nätverkskortet, så helt dött är det inte.

Vet inte riktigt var jag ska börja med att felsöka detta? OS:et i fråga är Ubuntu 20.04.

Permalänk
Medlem

Använd den inbyggda grafiken, du behöver inte skicka bild ut på Quadro-kortet för att använda det till annat i OS:et.
Vad säger "lspci" när nätet inte funkar?
Kör du DHCP eller statisk konf?
Om du kör DHCP, kan du då sätta statisk IP funkar det isåfall?

Permalänk
Hedersmedlem

Hej!

Jo, jag kan väl köra den inbyggda grafiken i nödfall. Det är ju inte ett måste att köra med grafik-utgångarna för Quadro-kortet. Däremot vore det ju bra att kunna slippa köra den inbyggda grafiken, det är endast VGA-utgångar vilket gör att jag måste ha en gammal bildskärm för att ta in signalen, och dessutom så tar den inbyggda grafiken av RAM-minnet.

Angående lspci ser det ut så här:

pvz@homeserver:~$ lspci 00:00.0 Host bridge: Advanced Micro Devices, Inc. [AMD] RS880 Host Bridge 00:01.0 PCI bridge: Hewlett-Packard Company AMD RS780/RS880 PCI to PCI bridge (int gfx) 00:02.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] RS780 PCI to PCI bridge (ext gfx port 0) 00:06.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] RS780 PCI to PCI bridge (PCIE port 2) 00:11.0 SATA controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 SATA Controller [AHCI mode] (rev 40) 00:12.0 USB controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 USB OHCI0 Controller 00:12.2 USB controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 USB EHCI Controller 00:13.0 USB controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 USB OHCI0 Controller 00:13.2 USB controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 USB EHCI Controller 00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD/ATI] SBx00 SMBus Controller (rev 42) 00:14.1 IDE interface: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 IDE Controller (rev 40) 00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 LPC host controller (rev 40) 00:14.4 PCI bridge: Advanced Micro Devices, Inc. [AMD/ATI] SBx00 PCI to PCI Bridge (rev 40) 00:16.0 USB controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 USB OHCI0 Controller 00:16.2 USB controller: Advanced Micro Devices, Inc. [AMD/ATI] SB7x0/SB8x0/SB9x0 USB EHCI Controller 00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 10h Processor HyperTransport Configuration 00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 10h Processor Address Map 00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 10h Processor DRAM Controller 00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 10h Processor Miscellaneous Control 00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Family 10h Processor Link Control 01:05.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] RS880M [Mobility Radeon HD 4225/4250] 02:00.0 VGA compatible controller: NVIDIA Corporation GP107GL [Quadro P400] (rev a1) 02:00.1 Audio device: NVIDIA Corporation GP107GL High Definition Audio Controller (rev a1) 03:00.0 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme BCM5723 Gigabit Ethernet PCIe (rev 10)

Jag kör DHCP. Att sätta en statisk konfiguration hjälper inte, se nedan:

pvz@homeserver:~$ ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: enp3s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000 link/ether 3c:4a:92:79:c4:b3 brd ff:ff:ff:ff:ff:ff 3: br-22248e87a612: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:e5:27:36:72 brd ff:ff:ff:ff:ff:ff inet 172.18.0.1/16 brd 172.18.255.255 scope global br-22248e87a612 valid_lft forever preferred_lft forever inet6 fe80::42:e5ff:fe27:3672/64 scope link valid_lft forever preferred_lft forever 4: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default link/ether 02:42:a9:5b:6c:96 brd ff:ff:ff:ff:ff:ff inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0 valid_lft forever preferred_lft forever 6: veth4b47cdf@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-22248e87a612 state UP group default link/ether 5e:af:a0:fc:81:5d brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet6 fe80::5caf:a0ff:fefc:815d/64 scope link valid_lft forever preferred_lft forever 8: veth100c5a1@if7: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-22248e87a612 state UP group default link/ether ea:b4:7b:d3:de:1e brd ff:ff:ff:ff:ff:ff link-netnsid 1 inet6 fe80::e8b4:7bff:fed3:de1e/64 scope link valid_lft forever preferred_lft forever 10: veth4f515b8@if9: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-22248e87a612 state UP group default link/ether e2:18:b6:d2:cc:76 brd ff:ff:ff:ff:ff:ff link-netnsid 2 inet6 fe80::e018:b6ff:fed2:cc76/64 scope link valid_lft forever preferred_lft forever pvz@homeserver:~$ sudo ip addr add 192.168.98.2/24 dev enp3s0 pvz@homeserver:~$ ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: enp3s0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000 link/ether 3c:4a:92:79:c4:b3 brd ff:ff:ff:ff:ff:ff inet 192.168.98.2/24 scope global enp3s0 valid_lft forever preferred_lft forever 3: br-22248e87a612: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:e5:27:36:72 brd ff:ff:ff:ff:ff:ff inet 172.18.0.1/16 brd 172.18.255.255 scope global br-22248e87a612 valid_lft forever preferred_lft forever inet6 fe80::42:e5ff:fe27:3672/64 scope link valid_lft forever preferred_lft forever 4: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default link/ether 02:42:a9:5b:6c:96 brd ff:ff:ff:ff:ff:ff inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0 valid_lft forever preferred_lft forever 6: veth4b47cdf@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-22248e87a612 state UP group default link/ether 5e:af:a0:fc:81:5d brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet6 fe80::5caf:a0ff:fefc:815d/64 scope link valid_lft forever preferred_lft forever 10: veth4f515b8@if9: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-22248e87a612 state UP group default link/ether e2:18:b6:d2:cc:76 brd ff:ff:ff:ff:ff:ff link-netnsid 2 inet6 fe80::e018:b6ff:fed2:cc76/64 scope link valid_lft forever preferred_lft forever 12: veth18eea04@if11: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master br-22248e87a612 state UP group default link/ether 32:4d:d6:07:3e:f7 brd ff:ff:ff:ff:ff:ff link-netnsid 1 inet6 fe80::304d:d6ff:fe07:3ef7/64 scope link valid_lft forever preferred_lft forever pvz@homeserver:~$ ping 192.168.98.1 ping: connect: Network is unreachable

Permalänk
Medlem

@pv2b enp3s0 är ju fortfarande nere, prova "sudo ip link set dev enp3s0" up också, före eller efter du satt adress spelar ingen roll.
Skulle gissa att det är därför du inte får någon dhcp också, du kan prova "dev up" och sen dhclient enp3s0 för att se om du får någon DHCP, gör det innan du sätter statisk adress bara.

Permalänk
Hedersmedlem

Men se på fan, det funkar. Jag hade testat köra dhclient manuellt på nätverkskortet bara men det funkade ju inte. För att man behövde köra sudo ip link set dev enp3s0 up.

Jag undersökte lite närmare och kollade min Netplan-konfiguration:

pvz@homeserver:~$ ls /etc/netplan 00-installer-config.yaml pvz@homeserver:~$ cat /etc/netplan/00-installer-config.yaml # This is the network config written by 'subiquity' network: ethernets: enp2s0: dhcp4: true version: 2 pvz@homeserver:~$

Notera att nätverkskortsnamnet där är enp2s0. Verkar som att stoppa i grafikkortet får nätverkskortet att byta enhetsnamn. (Suck, jag hatar modern Linux ibland, vad är det för fel på "eth0" egentligen.)

Men då har jag en naturlig förklaring på mitt problem! Och jag var ju helt ute och cyklade med min egen felsökning. Bra med ett par ögon till.

Vore ju kul om jag fick igång video-utgång på Quadro:n nu även efter boot, men det är ju plötsligt inte alls lika nödvändigt. Däremot blir det ju möjligt att felsöka det då jag förhoppningsvis kan SSH:a in i servern efter boot...

Permalänk
Hedersmedlem

En uppdatering - kan utesluta att problemet med att Quadro P400:s grafikutgång inte fungerar efter boot är OS-specifikt.

Får ingen output i FreeDOS heller om jag kör med Quadro-kortet, däremot funkar det finfint med VGA-utgången om jag manuellt aktiverar onboard-grafiken. Har slagit på och av lite slumpmässiga inställningar i BIOS också, men jag har inte hittat något som verkar vara ens i närheten av relevant.

Har även uteslutit att det är specifikt till någon av de tre videoutgångarna, det beter sig likadant oavsett utgång.

Tror att nästa steg är att testa att det går att använda grafikkortet till vad jag tänkt använda det till, nämligen videokodning. Att inte ha video-output i P400:at är bara obekvämt i dagsläget.

Permalänk
Hedersmedlem

Sådär, nu har jag fått igång videoutgången också. Visade sig vara att flasha grafikkortets VBIOS var det som hjälpte.

pvz@homeserver:~/nvflash/x64$ sudo ./nvflash 215708.rom NVIDIA Firmware Update Utility (Version 5.692.0) Copyright (C) 1993-2021, NVIDIA Corporation. All rights reserved. Checking for matches between display adapter(s) and image(s)... Adapter: Quadro P400 (10DE,1CB3,1028,11BE) S:00,B:02,D:00,F:00 EEPROM ID (EF,6013) : WBond W25Q40EW 1.65-1.95V 4096Kx1S, page EEPROM ID (EF,6013) : WBond W25Q40EW 1.65-1.95V 4096Kx1S, page Current - Version:86.07.3B.00.50 ID:10DE:1CB3:1028:11BE GP107 Board - PG2120500 (Normal Board) Replace with - Version:86.07.6B.00.04 ID:10DE:1CB3:1028:11BE GP107 Board - PG2120500 (Normal Board) Update display adapter firmware? Press 'y' to confirm (any other key to abort): y EEPROM ID (EF,6013) : WBond W25Q40EW 1.65-1.95V 4096Kx1S, page Storing updated firmware image... [==================================================] 100 % Verifying update... Update successful. Firmware image updated. - New version: 86.07.6B.00.04 - Old version: 86.07.3B.00.50 InfoROM image updated. - New version: G212.0500.00.01 - Old version: G212.0500.00.01 A reboot is required for the update to take effect. pvz@homeserver:~/nvflash/x64$

Detta var VBIOS:et jag körde in: https://www.techpowerup.com/vgabios/215708/215708

Nätverket gick sönder igen efter VBIOS-flash, men det var för att nätverkskortet bytte namn tillbaka från enp3s0 till enp2s0 igen...

Permalänk
Medlem

Spännande, hela grejen med en(p/s) namngivningen är att interfacen INTE ska byta namn när man ändrar hårdvaran...
Gött att du fått igång det och kudos för att du skriver hur du löste problem istället för att bara skriva "löst"!