Forum Datorer och system Server Tråd Inlägg

HPE Microserver Gen8: Vill köra Docker, GPU-containers, NAS (ZFS) och Windows VM, hur lösa?

1
Skriv svar
Permalänk
Medlem
●

HPE Microserver Gen8: Vill köra Docker, GPU-containers, NAS (ZFS) och Windows VM, hur lösa?

Jag har en HPE MicroServer Gen8 som jag ska konfigurera om, byta OS, containerhantering och liknande. Servern har följande specifikationer:

CPU: Intel Xeon E3-1265L
RAM: 16GB DDR3 ECC
Disk: 4x mekaniska diskar, 1x SSD i porten för optisk enhet
GPU: NVIDIA 1030 GT

Jag vill köra containers (Docker), GPU-containers (NVIDIA Docker), NAS (ZFS) och ett Windows VM för smått grafiktunga program. Gärna också pfSense som brandvägg, men det är inte viktigt.

Just nu kör servern SmartOS vilket inte har stöd för GPU:n eller PCI-passthrough, så det går bort.

Planerade att köra ESXi men eftersom det inte går att köra passthrough på den inbyggda diskkontrollern eftersom den också hanterar porten som SSD:n sitter på. Således finns det ingen datastore för VM:s. Så även ESXi går bort.

Just nu lutar jag åt att köra någon Linuxdistribution i botten med ZFS, Docker och två VM:s, en för NVIDIA Docker och en för Windows.

Frågan är om det finns någon elegantare lösning än detta?

Redigera
Citera flera Citera
Permalänk
Medlem
●

Kikat på Proxmox?

https://www.proxmox.com/en/

Visa signatur

Dator: Gigabyte Z390 i7-9700 32gig RAM DDR4 RTX 2080

Redigera
Citera flera Citera
Permalänk
Hedersmedlem ★
●

@Santrium *Rubrik förtydligad i enlighet med §3.1*

Tänk på att en beskrivande rubrik ger bättre svar och ett mer lättnavigerat forum. Du är välkommen att pm:a en ny rubrik ifall du är missnöjd med min.

Visa signatur

Danskjävel så krattar som en skrivare...

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Du kan alltid köra ESXi på USB-minne och passthrough på diskkontrollern. Glöm inte att flytta logg-sökvägen från USB-minnet till din Storage-VM när allt är klart.

* Starta upp ESXi från USB-minne.
* Skapa en VM för lagring, t.ex. FreeNAS och tilldela diskkontrollern till denna.
* Skapa t.ex. en pool med de 4x mekaniska diskarna, använd 1x SSD som cache till poolen, eller hur du nu vill ha diskuppsättningen.
* Dela ut din pool med iSCSI eller NFS till ESXi'n, nu har du din storage för VM's.
* Skapa en pfSense-VM och en vSwitch för insidan där du stoppar samtliga VM's.

Rätt bökig uppsättning dock, men det fungerar. Rekommenderar dock att du kikar på Proxmox istället.

Visa signatur

pfSense: GA-J1900N-D3V Quad-core Celeron 2GHz, Samsung 4GB, pfSense 2.2.2@USB
ESXi: i5 3470S, Gigabyte GA-B75N, Corsair XMS3 16GB, Intel PRO/1000 VT Quad GbE, Streacom F7C, ESXi@USB
Campfire Audio Lyra II, HiFiMAN HE-400, Yamaha EPH-100, Audioengine D1, FiiO E10

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ett till alternativ kan vara unRAID

https://lime-technology.com/

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Om du väljer att köra proxmox, unraid eller annat valfritt os byggt på linux så bör du vara medveten om att passthrough inte fungerar utan modifierad kernel pga RMRR i HP Gen8.

För mer info kan du googla "Device is ineligible for IOMMU domain attach due to platform RMRR requirement".

För proxmox finns en tråd här: https://forum.proxmox.com/threads/help-with-pci-passthrough.2...

För Unraid: https://forums.lime-technology.com/topic/53049-solved-device-...

Så vitt jag har förstått det fungerar det i ESXi, har dock inte testat själv utan bara läst att det är så.

Visa signatur

Errare human est

Redigera
Citera flera Citera
Permalänk
Medlem
●

Mitt förslag är att köra Windows Server 2016 och Hyper-V så kör jag och allt fungerar helt klockrent med alla mina VM's - inga problem alls.

Visa signatur

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Calby:

Mitt förslag är att köra Windows Server 2016 och Hyper-V så kör jag och allt fungerar helt klockrent med alla mina VM's - inga problem alls.

Gå till inlägget

Har du verifierat att gpu passthrough fungerar? Säger inte att det inte gör det, bara nyfiken då jag inte ens försökt googla det ☺️

Skickades från m.sweclockers.com

Visa signatur

Errare human est

Redigera
Citera flera Citera
Permalänk
Medlem
●

@kniven:

Hej,
Nej, jag har inte testat GPU passtrough men jag läste tidigare att det inte ska vara några problem kör andra passtrough utan problem.

Visa signatur

Supermicro X9SRI-F | Xeon E5-2690 v2 | 128GB 1600MHz RDIMM | Dell Perc H200 (9211-8i IT) | Windows Server 2016 DataCenter med Hyper-V

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Calby:

@kniven:

Hej,
Nej, jag har inte testat GPU passtrough men jag läste tidigare att det inte ska vara några problem kör andra passtrough utan problem.

Gå till inlägget

Om annan passthrough lirar så öker det ju chanserna markant. Jag ville köra passthrough på ett nätkort till pfsense för att få bättre performance men det ville sig inte och jag vill inte mecka kernel vid varje upgrade.

Det fungerar ju även på äldre varianter av linux kerneln, det fungerade i proxmox 3.3 och äldre tror jag utan någon kernel mod. Nu funkar det inte på något alls utan det.

Visa signatur

Errare human est

Redigera
Citera flera Citera
Permalänk
Medlem
●

Tack så mycket för alla svar!

Det blir nog nästan att jag kör CentOS endast och skippar Windows helt och hållet. På så vis slipper jag alla passthrough-bekymmer och virtualiseringsoverhead också. CentOS med ZFS, Docker, NVIDIA Docker, Rancher och Windows-program under Wine i Docker-containers.

Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara