HPE Microserver Gen8: Vill köra Docker, GPU-containers, NAS (ZFS) och Windows VM, hur lösa?

Trädvy Permalänk
Medlem
Registrerad
Jun 2003

HPE Microserver Gen8: Vill köra Docker, GPU-containers, NAS (ZFS) och Windows VM, hur lösa?

Jag har en HPE MicroServer Gen8 som jag ska konfigurera om, byta OS, containerhantering och liknande. Servern har följande specifikationer:

CPU: Intel Xeon E3-1265L
RAM: 16GB DDR3 ECC
Disk: 4x mekaniska diskar, 1x SSD i porten för optisk enhet
GPU: NVIDIA 1030 GT

Jag vill köra containers (Docker), GPU-containers (NVIDIA Docker), NAS (ZFS) och ett Windows VM för smått grafiktunga program. Gärna också pfSense som brandvägg, men det är inte viktigt.

Just nu kör servern SmartOS vilket inte har stöd för GPU:n eller PCI-passthrough, så det går bort.

Planerade att köra ESXi men eftersom det inte går att köra passthrough på den inbyggda diskkontrollern eftersom den också hanterar porten som SSD:n sitter på. Således finns det ingen datastore för VM:s. Så även ESXi går bort.

Just nu lutar jag åt att köra någon Linuxdistribution i botten med ZFS, Docker och två VM:s, en för NVIDIA Docker och en för Windows.

Frågan är om det finns någon elegantare lösning än detta?

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Jul 2001

Kikat på Proxmox?

https://www.proxmox.com/en/

Dator: Asus Z87m Pro mAtx, i7 4770k@4.3ghz, 16g ram 2133mhz, MSI GTX 1080ti FoundersE, Fractal Design S, Samsung EVO 250 ssd

Trädvy Permalänk
Forumledare
Kent
Registrerad
Jan 2005

@Santrium *Rubrik förtydligad i enlighet med §3.1*

Tänk på att en beskrivande rubrik ger bättre svar och ett mer lättnavigerat forum. Du är välkommen att pm:a en ny rubrik ifall du är missnöjd med min.

Synpunkter eller frågor gällande modereringen? Då kan du kontakta mig eller moderatorerna.
Ursäkta min stavning, jag är dansk

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Mar 2004

Du kan alltid köra ESXi på USB-minne och passthrough på diskkontrollern. Glöm inte att flytta logg-sökvägen från USB-minnet till din Storage-VM när allt är klart.

* Starta upp ESXi från USB-minne.
* Skapa en VM för lagring, t.ex. FreeNAS och tilldela diskkontrollern till denna.
* Skapa t.ex. en pool med de 4x mekaniska diskarna, använd 1x SSD som cache till poolen, eller hur du nu vill ha diskuppsättningen.
* Dela ut din pool med iSCSI eller NFS till ESXi'n, nu har du din storage för VM's.
* Skapa en pfSense-VM och en vSwitch för insidan där du stoppar samtliga VM's.

Rätt bökig uppsättning dock, men det fungerar. Rekommenderar dock att du kikar på Proxmox istället.

pfSense: GA-J1900N-D3V Quad-core Celeron 2GHz, Samsung 4GB, pfSense 2.2.2@USB
ESXi: i5 3470S, Gigabyte GA-B75N, Corsair XMS3 16GB, Intel PRO/1000 VT Quad GbE, Streacom F7C, ESXi@USB
Campfire Audio Lyra II, HiFiMAN HE-400, Yamaha EPH-100, Audioengine D1, FiiO E10

Trädvy Permalänk
Medlem
Plats
NT
Registrerad
Mar 2009

Ett till alternativ kan vara unRAID

https://lime-technology.com/

Trädvy Permalänk
Medlem
Plats
Sundbyberg
Registrerad
Maj 2002

Om du väljer att köra proxmox, unraid eller annat valfritt os byggt på linux så bör du vara medveten om att passthrough inte fungerar utan modifierad kernel pga RMRR i HP Gen8.

För mer info kan du googla "Device is ineligible for IOMMU domain attach due to platform RMRR requirement".

För proxmox finns en tråd här: https://forum.proxmox.com/threads/help-with-pci-passthrough.2...

För Unraid: https://forums.lime-technology.com/topic/53049-solved-device-...

Så vitt jag har förstått det fungerar det i ESXi, har dock inte testat själv utan bara läst att det är så.

Spelburk: Ryzen 2700x, 32GB ram, EVGA 980 SC ACX 2.0, Benq BL3201PT
Server 1: E3-1240v2, 32Gb ram, X9SCM-F, Node 804
Server 2: HP MS G8, E3-1260L, 16Gb ram
Server 3-5: NUC i3-3217u 8GB ram, NUC 4010u 16GB ram, BRIX i3-4010u 16GB ram

Trädvy Permalänk
Medlem
Registrerad
Jun 2012

Mitt förslag är att köra Windows Server 2016 och Hyper-V så kör jag och allt fungerar helt klockrent med alla mina VM's - inga problem alls.

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Trädvy Permalänk
Medlem
Plats
Sundbyberg
Registrerad
Maj 2002
Skrivet av Calby:

Mitt förslag är att köra Windows Server 2016 och Hyper-V så kör jag och allt fungerar helt klockrent med alla mina VM's - inga problem alls.

Har du verifierat att gpu passthrough fungerar? Säger inte att det inte gör det, bara nyfiken då jag inte ens försökt googla det ☺️

Skickades från m.sweclockers.com

Spelburk: Ryzen 2700x, 32GB ram, EVGA 980 SC ACX 2.0, Benq BL3201PT
Server 1: E3-1240v2, 32Gb ram, X9SCM-F, Node 804
Server 2: HP MS G8, E3-1260L, 16Gb ram
Server 3-5: NUC i3-3217u 8GB ram, NUC 4010u 16GB ram, BRIX i3-4010u 16GB ram

Trädvy Permalänk
Medlem
Registrerad
Jun 2012

@kniven:

Hej,
Nej, jag har inte testat GPU passtrough men jag läste tidigare att det inte ska vara några problem kör andra passtrough utan problem.

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Trädvy Permalänk
Medlem
Plats
Sundbyberg
Registrerad
Maj 2002
Skrivet av Calby:

@kniven:

Hej,
Nej, jag har inte testat GPU passtrough men jag läste tidigare att det inte ska vara några problem kör andra passtrough utan problem.

Om annan passthrough lirar så öker det ju chanserna markant. Jag ville köra passthrough på ett nätkort till pfsense för att få bättre performance men det ville sig inte och jag vill inte mecka kernel vid varje upgrade.

Det fungerar ju även på äldre varianter av linux kerneln, det fungerade i proxmox 3.3 och äldre tror jag utan någon kernel mod. Nu funkar det inte på något alls utan det.

Spelburk: Ryzen 2700x, 32GB ram, EVGA 980 SC ACX 2.0, Benq BL3201PT
Server 1: E3-1240v2, 32Gb ram, X9SCM-F, Node 804
Server 2: HP MS G8, E3-1260L, 16Gb ram
Server 3-5: NUC i3-3217u 8GB ram, NUC 4010u 16GB ram, BRIX i3-4010u 16GB ram

Trädvy Permalänk
Medlem
Registrerad
Jun 2003

Tack så mycket för alla svar!

Det blir nog nästan att jag kör CentOS endast och skippar Windows helt och hållet. På så vis slipper jag alla passthrough-bekymmer och virtualiseringsoverhead också. CentOS med ZFS, Docker, NVIDIA Docker, Rancher och Windows-program under Wine i Docker-containers.