Det är dags att bygga en ny server men har lite frågor. [unRAID][AI][Linux][FPGA]

Trädvy Permalänk
Medlem
Registrerad
Apr 2016

Det är dags att bygga en ny server men har lite frågor. [unRAID][AI][Linux][FPGA]

OK jag har stor slagna planer att bygga skynet och ta över värden med min server. MUHAHA (skojar)
Men så här är det egentligen. Den största delen i det här projektet är att jag vill ha en egen server för att jag gillar att mecka med det men det finns även ett par seriösa användningsområden.

Det är så att jag/vi kommer att läsa kursen Lärande system första perioden nästa år som sedan kommer att implementeras i ett 15hp AI projekt under andra perioden. Där kunde det vara bra med lite mer prestanda än min lilla laptop, sedan samtidigt som jag läser om detta ska jag även läsa Linux som operativ system på Luleås högskola (om jag kommer in).
Under den kursen kunde det vara bra om man kunde köra ett par vms med kdebug samt det vore kanske inte så dumt med en processor som kan kompilera hela kerneln utan att det tar halva dagen (Något överdrivet då min laptop gjorde det på 55min). Och för att det inte är nog så ska jag virtualisera hela mitt nätverk genom att köra pfsence som en gäst operativ som dels agerar brandväg med en 4 port Intel nic via Pci-e passthrough samt agera både VPN server och VPN klient då jag vill kunna ansluta till mitt nätverk från skolan via OVPN. Svettig tid fram över =D
Om ett år så finns det planer på att se till att systemets viktigaste filer ska ha offsite backup genom att skapa en reverse ssh anslutning med en rasbery pi som får stå hemma hos min far.

Min specifikation för vad systemet ska klara

  1. Minst 3st gäst operativ

  2. Minst 3 av dessa ska kunna ha pci-e passthrough (1st 4x och 2st 16x

  3. Alltid på då en av gästerna är pfsence

  4. 100% belastning i 8 dagar (AI träning, fpga/kernel compelering mm)

Det här är min lösning som den ser ut just nu.
AMD Ryzen Threadripper 1900X 3,8GHz (Jag är inte gjord av pengar tyvärr blev det bar 8 cores)
ASRock X399 Taichi
Samsung Server DDR4 PC17000/2133MHz ECC Reg CL15 4x8GB (M393A4K40BB0-CPB) (Passar dessa?)
EVGA SuperNOVA G2 850W
Noctua NH-U14S TR4-SP3
HGST Ultrastar 7K6000 HUS726040ALA610 128MB 4TB
SanDisk USB 3.0 Ultra Fit 32GB

Operativ system
LimeTech unRAID
many flawors of Linux.
Windows vm för CAD,Multisim,Ultiboard och LabView.

Det som återstår är grafik kort och en av frågorna till er.
Vad ska jag köpa för grafik kort till de olika gäst operativsystemen?
- Just nu kommer jag nog bara att köpa något skräp kort som jag kan använda för att få UEFI bild och kanse prova att göra en passthrough med.
- Jag har hört att det är problem med nvidias kort under virtualisering (code 43 eller något sådant)
- Jag har tittat på AMD Radeon Pro WX 3100 3xDP 4GB som passar ganska bra in i CAD prfilen men vet inte kanske är ett gaming kort bättre/billigare för AIn?

ECC minnen till det moderkortet?
- Läste genom Memory QVL
- Men det var inte lätt att hitta några minnen från den listan på nätet att köpa...
- Så jag tog det som låg närmast. Någon som har provat dessa?

unRAID med det systemet?
- Någon som vet något om huruvida Threadripper funkar på unRAID?
- Hur ofta uppdaterar LimeTech, unRAID kerneln?
- Är det svårt att uppdatera kerneln på unRAID manuellt så att den inkluderar de senaste patcharna från AMD?

Övrigt:
-- Är det genomförbart eller bara galet?
-- Förslag på förändringar av hårdvara/mjukvara?

Trädvy Permalänk
Medlem
Plats
Arrrghboga
Registrerad
Okt 2002

@r00tr4t: som det är just nu så är PCI passthrough på ryzen inte helt bra, krävs fortfarande ganska bleeding edge kernel för att det ska fungera vettigt. oklart om unraid har stöd för ryzen just nu.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Okt 2003

Även om AMD TR är lockande så hade jag kikat på Intel Xeon, då det är en mycket mer mogen platform. Antingen E5-2xxx om du vill ha tillgång till många trådar (kan börja med en CPU och utöka med en till senare), eller t.ex. E5-1650v4 för snabbare enkeltrådsprestanda (6C/12T för att hålla sig inom din budget).

E5-1650v4 ser ut att kosta strax över TR 1900X. Den kommer inte prestera lika väl, men kanske nära nog.

Tänk på att du med största sannolikhet kommer behöva ett grafikkort för host OS som du inte samtidigt kan köra passthrough på. Om du hittar ett moderkort med inbyggd grafikkrets (som inte kräver GPU från CPU) så är det tillräckligt.

Ett annat alternativ är att gå ner till E3-serien där vissa CPU-modeller har inbyggd grafik. Dock blir du då begränsad till som mest 4C/8T, och du får inte tillgång till lika många PCI-E-lanes mot CPU.

Speldator: Fractal Design Meshify C, Core i7-8700k @ 5,0 GHz (AVX -3) luftkyld med Cryorig R1 Universal, Asrock Z370 Fatal1ty Professional Gaming i7, 64 GB Corsair Dominator Platinum @ 3466 MHz CL16 (XMP), ASUS ROG Strix GeForce GTX 1080 Ti Gaming, Win10 Pro, Acer XB271HU (gamla bilder med GTX 970)
i7-8700k 5.0 GHz OC: CPU 50x, Vcore 1,310V, LLC 2 (1=max, 5=min), BCLK 100.0, AVX offset -3, Cache 45x
Server: Xeon E3-1226v3 3,3 GHz, 32 GB ECC DDR3, VMware ESXi 6, 10 Gbps fiber

Trädvy Permalänk
Medlem
Registrerad
Sep 2017
Skrivet av r00tr4t:

Min specifikation för vad systemet ska klara

  1. Minst 3st gäst operativ

  2. Minst 3 av dessa ska kunna ha pci-e passthrough (1st 4x och 2st 16x

  3. Alltid på då en av gästerna är pfsence

  4. 100% belastning i 8 dagar (AI träning, fpga/kernel compelering mm)

Du säger server och med 100% belastning i 8 dagar så är det server du behöver, men det du har specat är inte serverhårdvara det är "consumer".

AMDs serverversion av Ryzen heter Epyc 7000. 7251 är deras 8 kärniga CPU, den minsta i serien.

Unraid är ju NAS programvara baserad på linux. Om du vill sätta dig in linux känns det som du borde köra någon av de stora distrona med xen eller kvm som hypervisor. Tex Redhat, SUSE, Debian, CentOS etc. Vi kör Debian och Xenserver på jobbet (vilket är xen med CentOS och fin GUI).

Du kommer också att generera massor av värme så du behöver en riktig låda. Minns inte att jag såg det i din lista.

Trädvy Permalänk
Medlem
Plats
Lund
Registrerad
Mar 2011

Nu vet jag ju inte vad du menar med 'AI träning' men generellt om du vill använda en GPU till beräkning och i synnerhet om du t ex ska träna neurala nätverk så köp ett Nvidiagrafikkort då AMD inte har i närheten av samma stöd inom AI-communityn. Vilken modell du bör välja beror på vad det är du ska göra. Jobbar du t ex med stora mängder bilder, tidssekvenser eller andra stora features kan det vara idé att skaffa ett med lite mer VRAM, men i det mer generella fallet borde du klara dig på något relativt nytt, halvbra gamingkort.

Trädvy Permalänk
Medlem
Registrerad
Apr 2016

Tack för alla svar. Anledningen att jag valde TR är att jag vill främja konkurrensen (Inser att det är totalt meningslöst för en enda konsument men många bäckar små antar jag).
Anledningen att tog unRAID är att det ser sjukt praktiskt ut att kunna installera dockier containers lika enkelt som det är att installera appar på android. Första gången jag såg unRAID var på LinusTech tip när de byggde 7 gamer 1 cpu konstruktionen.

Men pga egen klantighet råkade jag just ut för bilinbrott så jag får lägga det här projektet lite på is tills det är fixat. =/