Permalänk

Bygga Proxmox/NAS

Jag behöver lite inspiration för ett bygge. Har en gammal Qnap-rack nas idag som är EOL och inte kan göra så mycket kul. Den är för seg helt enkelt och för krånlig att ha att göara med.

Så jag tänkte bygga en hemmaserver som ska köra proxmox i grunden för VMs/NAS/etc.

Kikar på mini-itx men formfaktor spelar egentligen ingen roll då den ska stå i en källare.

Plats för 6-8 3.5 hdd. Köper refurb för att hålla ner priset och maxa totalmängden.
Kommer köra Raid 5 på dom mest troligt.

Kikar på något Kina-mobo med dubbla CPUs eller så kör jag bara en Intel i7 11/12/12 gen.
Har hellre fler cores för att köra mer i VM.

Blir det kina mobo så kan man klämma på rätt ordentligt med ECC minnen, blir det nyare mobo så kanske det blir lite begärnsat.

Vad har ni andra byggt där ute?

Totalkostnad för bygge utan diskar 4-5k Gärna så lite som möjligt givetvis.

Permalänk
Moderator
Festpilot 2020, Antiallo
Skrivet av Math-ematics:

Jag behöver lite inspiration för ett bygge. Har en gammal Qnap-rack nas idag som är EOL och inte kan göra så mycket kul. Den är för seg helt enkelt och för krånlig att ha att göara med.

Så jag tänkte bygga en hemmaserver som ska köra proxmox i grunden för VMs/NAS/etc.

Kikar på mini-itx men formfaktor spelar egentligen ingen roll då den ska stå i en källare.

Plats för 6-8 3.5 hdd. Köper refurb för att hålla ner priset och maxa totalmängden.
Kommer köra Raid 5 på dom mest troligt.

Kikar på något Kina-mobo med dubbla CPUs eller så kör jag bara en Intel i7 11/12/12 gen.
Har hellre fler cores för att köra mer i VM.

Blir det kina mobo så kan man klämma på rätt ordentligt med ECC minnen, blir det nyare mobo så kanske det blir lite begärnsat.

Vad har ni andra byggt där ute?

Totalkostnad för bygge utan diskar 4-5k Gärna så lite som möjligt givetvis.

mITX med dubbla CPU:er? What?

Jag kör mITX med en 8kärnig lite äldre Ryzen, det som tar slut är inte CPU utan RAM.
Ingen ECC, men jag har inget som är "mission critical".

System huseras i Jonsbo N2, kunde likväl fortsatt på min Fractal Design Node 304.

Kör Proxmox i grunden med HBA-adapter skickad till VM med TrueNAS som sköter alla diskar. Dubbla NVME-diskar som alla VMs kör på.

Kostar nog lite mer än 4-5k nytt, men inte mycket mer. Snegla på lite äldre Ryzen + mITX så kommer du nog galet långt!

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk
Medlem

Jag kör 2 gamla nucar som mitt "server" kluster... 6500T eller nått sånt med 64GB ram, fungerar svinbra.. skulle nog gå som överstående säger och köpa nått annat än dubbla cpuer. (notera den servern i min footer ska bytas också mot singlecpu)

Visa signatur

Battlestation: 12700k - RTX3090 - 32gb ram - 1tb M2 990 PRO - 2TB M2 crucial
Server: 2x Xeon E5-2670 - 64GB Ecc ram

Permalänk

Jag har mycket i serverväg och kan säga följande:
Konsument CPU'er är bättre för de flesta, då snabbare kärnorna spelar större roll i många single-core applikationer som inte klarar att dela all last på alla kärnor. Och Ryzen är bra av två anledningar:
1. Billigt om du inte köper nyaste grejerna.
2. Det går att köra ECC-minnen (ej R-DIMM)

Och som nämnt, HBA kort är bra för NAS-delen.
Om ditt chassi har plats för större moderkort så kan du likväl strunta i formfaktorn och bara köpa det billigaste som funkar bra för dig.

Gå inte mot enterprise ifall du inte är ute efter enterprise-funktioner.

Visa signatur

Jag kan hittas på 127.0.0.1

Permalänk
Skrivet av DavidtheDoom:

mITX med dubbla CPU:er? What?

Jag kör mITX med en 8kärnig lite äldre Ryzen, det som tar slut är inte CPU utan RAM.
Ingen ECC, men jag har inget som är "mission critical".

System huseras i Jonsbo N2, kunde likväl fortsatt på min Fractal Design Node 304.

Kör Proxmox i grunden med HBA-adapter skickad till VM med TrueNAS som sköter alla diskar. Dubbla NVME-diskar som alla VMs kör på.

Kostar nog lite mer än 4-5k nytt, men inte mycket mer. Snegla på lite äldre Ryzen + mITX så kommer du nog galet långt!

Jag vet inte vad jag tänkte när jag skrev mITX riktigt. E-ATX eller liknande. Har kikat lite på x99 kort som andra här har byggt med för dual cpu. Det går att få till rätt bra pris med mycket ram.

Dessvärre drar det ju mer el men kanske inte så himla farligt.

Kikade en del här förra året - https://www.sweclockers.com/forum/trad/1696481-bygga-nas-vs-k...
Behöver dock inget fancy chassi (Jonsbo n3) även om det ser trevligt ut. Kommer inte se lådan och den kommer stå i ett källarföråd.

Jag kör idag en racknas som sagt som huserar 24tb på ett gäng 4tb diskar som ska bytas ut. Den är för gammal och seg helt enkelt.

Det kommer köras 4-5vms och en del servrar som ligger och tuggar i bakgrunden.

Inte så mycket jättetungt förvisso men vill ha så det räcker och blir över.
Det du kör är ungefär vad jag siktar på. Kostar det mer så är det så, det är inte hela världen.

Ville hålla ner kostnaden för boxen då diskarna kommer gå på mycket mer än så.
Jag har ett gammalt Fractal chassi också som står någonstans. Får kika på det.

Permalänk
Medlem

Jag kör proxmox på en AM4-baserad burk med ECC-minnen. Skaffade ett pcie-sata-kort med 10 portar som jag forwardar till en Vm som kör TrueNAS Scale, så att VM'en har direktacess till diskarna. Kör zfs med parvis speglade diskar i NAS'en och det har funkat klockrent.

Väldigt billigt samtidigt som funktionaliteten och pålitligheten är skapligt "enterprise"!

Permalänk
Sötast
Skrivet av Math-ematics:

Jag behöver lite inspiration för ett bygge. Har en gammal Qnap-rack nas idag som är EOL och inte kan göra så mycket kul. Den är för seg helt enkelt och för krånlig att ha att göara med.

Så jag tänkte bygga en hemmaserver som ska köra proxmox i grunden för VMs/NAS/etc.

Kikar på mini-itx men formfaktor spelar egentligen ingen roll då den ska stå i en källare.

Plats för 6-8 3.5 hdd. Köper refurb för att hålla ner priset och maxa totalmängden.
Kommer köra Raid 5 på dom mest troligt.

Kikar på något Kina-mobo med dubbla CPUs eller så kör jag bara en Intel i7 11/12/12 gen.
Har hellre fler cores för att köra mer i VM.

Blir det kina mobo så kan man klämma på rätt ordentligt med ECC minnen, blir det nyare mobo så kanske det blir lite begärnsat.

Vad har ni andra byggt där ute?

Totalkostnad för bygge utan diskar 4-5k Gärna så lite som möjligt givetvis.

Du vill inte köra kinamoderkort för virtualisering och dyl. Ofta saknas funktioner i bios som behövs för att gör det. Det finns vissa hemmasnickrade bios man kan fixa men.... är det en bra startpunkt tro?

Permalänk
Skrivet av Allexz:

Du vill inte köra kinamoderkort för virtualisering och dyl. Ofta saknas funktioner i bios som behövs för att gör det. Det finns vissa hemmasnickrade bios man kan fixa men.... är det en bra startpunkt tro?

Nja vi får se, det var mest för att komma åt fler cores och mycket ram. Det går förvisso på en single CPU bräda också med ECC.
Det kommer ligga en hel del och tugga samtidigt.

Permalänk

https://www.ebay.co.uk/itm/386226605332?chn=ps&_ul=GB

Det här är lite åt hållet jag kikar.

Supermicro X10DRl-i LGA2011-3 Motherboard+2x Intel Xeon E5-2697v4 36c/72t 2.3GHz
Stödjer virtualisering bra också.

Permalänk
Sötast
Skrivet av Math-ematics:

https://www.ebay.co.uk/itm/386226605332?chn=ps&_ul=GB

Det här är lite åt hållet jag kikar.

Supermicro X10DRl-i LGA2011-3 Motherboard+2x Intel Xeon E5-2697v4 36c/72t 2.3GHz
Stödjer virtualisering bra också.

Supermicro är fina grejer dock, inte en sk kinabräda

Permalänk
Skrivet av Allexz:

Supermicro är fina grejer dock, inte en sk kinabräda

Nej med kinabräda menade jag ett x99 med cpu och ram. Finns en uppsjö på Ali/amazon.

Permalänk
Moderator
Festpilot 2020, Antiallo
Skrivet av Math-ematics:

Nej med kinabräda menade jag ett x99 med cpu och ram. Finns en uppsjö på Ali/amazon.

Absolut, de har avhandlats tidigare och stödet för ordentlig virtualisering är inte så bra. Mer slump än regel att gå på tyvärr. Mest en varning, hittar du något som löser virtualisering bra så lär det vara fler som vill veta vilken modell det är som gäller!

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk
Skrivet av DavidtheDoom:

Absolut, de har avhandlats tidigare och stödet för ordentlig virtualisering är inte så bra. Mer slump än regel att gå på tyvärr. Mest en varning, hittar du något som löser virtualisering bra så lär det vara fler som vill veta vilken modell det är som gäller!

Jag ska höra mig lite med lite säljare av kinabrädor. Kanske går att hitta något som dom påstår sig stödja det och få hem ett prov. Borde inte vara omöjligt.

Det blir säkert ett Supermicro islutändan ändå eller ett singel med ett gäng cores.

Permalänk

Kört unraid på min som jag jag pma dig om om du ville köpa , med en Windows vm och linux vm

Xeon 2680 v3 12c 24th
- 128GB RAM DDR4 ECC
- HUANANZHI X99 F8

Permalänk
Medlem
Skrivet av DavidtheDoom:

mITX med dubbla CPU:er? What?

Jag kör mITX med en 8kärnig lite äldre Ryzen, det som tar slut är inte CPU utan RAM.
Ingen ECC, men jag har inget som är "mission critical".

System huseras i Jonsbo N2, kunde likväl fortsatt på min Fractal Design Node 304.

Kör Proxmox i grunden med HBA-adapter skickad till VM med TrueNAS som sköter alla diskar. Dubbla NVME-diskar som alla VMs kör på.

Kostar nog lite mer än 4-5k nytt, men inte mycket mer. Snegla på lite äldre Ryzen + mITX så kommer du nog galet långt!

dela resurs via nätverk nfs smb ect. går bra om man inte har ngåra krav på prestanda.

bättre att mount lagringen direkt i containrar, så får man låg latens för allt man kör

Visa signatur

Nätverksnörd

Permalänk
Moderator
Festpilot 2020, Antiallo
Skrivet av moire:

dela resurs via nätverk nfs smb ect. går bra om man inte har ngåra krav på prestanda.

bättre att mount lagringen direkt i containrar, så får man låg latens för allt man kör

Ja, beror ju helt på vad man vill åstadkomma. Min nasen har inga prestandakrav. De grejer som jobbar ligger på två speglade NVME-diskar så det finns ju långt mer lokal prestanda den vägen om man ska jobba med lagring.

Visa signatur

 | PM:a Moderatorerna | Kontaktformuläret | Geeks Discord |
Testpilot, Skribent, Moderator & Geeks Gaming Huvudadmin

Permalänk
Medlem

Kan jag fråga dig om vilka VM å services du tänker köra?
Ingen mening att köpa 72 cores om du inte ska virtualisera Windows, AI, cloudgaming eller liknande. Det hamnar bara på din ström räkning🤣.
Oavsett...köp en massa RAM. Det är det som tar slut först. Ju mer du har desto bättre. Bara en xeon v4 är nog till väldigt mycket. Lenovo p700/710/520 får du för billigt. Xeon v4 är att föredra framför v3 pga strömförbrukning. De modeller av epyc som börjar bli billiga men de har låg clock speed.

Rekommenderar också HBA+SAS enterprise diskar. En 6gb/d HBA räcker långt men 12gb/s börjar bli billiga.

Visa signatur

Fractal Design Define R6, ASUS X99a, Xeon E5-2697v3@3.5Ghz allcore, 64gb Hynix ECC REG 2133Mhz, 7900xt, 2.5gb nic

Server: Proxmox med OMV7, Teuenas och annat virtuellt: Supermicro X9SRH-7F, 64gb RAM, Xeon 2651v2, 4x10tb, 2.5gb Nic

Permalänk
Skrivet av Gnarf:

Kan jag fråga dig om vilka VM å services du tänker köra?
Ingen mening att köpa 72 cores om du inte ska virtualisera Windows, AI, cloudgaming eller liknande. Det hamnar bara på din ström räkning🤣.
Oavsett...köp en massa RAM. Det är det som tar slut först. Ju mer du har desto bättre. Bara en xeon v4 är nog till väldigt mycket. Lenovo p700/710/520 får du för billigt. Xeon v4 är att föredra framför v3 pga strömförbrukning. De modeller av epyc som börjar bli billiga men de har låg clock speed.

Rekommenderar också HBA+SAS enterprise diskar. En 6gb/d HBA räcker långt men 12gb/s börjar bli billiga.

Bra fråga!

Jag har inte strukturen helt klar men det som kommer köra är
Proxmoxy som OS, sen blir det VMs med Truenas, Ubuntu,Win, pfsense/OPNsense (som kanske körs separat på egen hårdvara)
Ett par VMs för docker containers, gitlab, OpenVPN, Dns, webserver (har en del grejer som ligger både utåt och på LAN), Plex
NVR för videoövervakningen hemma och i stugan och Home assistant.

Men i dockers kommer det höras SQL (eller i VM) men containers kör eventuellt i lxc, pihole etc

Det körs en del temporära VMs idag på desktopen för jobbet. Gitlab mm.

Ett hemmalabb som också är Nas men jag vill inte behöva fundera på vad den klarar och inte.

Jobbar med IT-säkerhet så det är mycket testande där.

Kikar lite på åt detta hållet just nu https://www.ebay.com/itm/155747101868
https://www.ebay.com/itm/175882115966
https://www.ebay.com/itm/155747101868

Samma säljare bara olika cpu, säljaren kan gå ner i pris också med 120€~
Så då känns det inte helt bortkastat längre.

Permalänk
Medlem

Fin hårdvara! Jag ser att budgeten är på plats😀. Kan inte någonstans se att du behöver 48cores för det du ska köra. Epyc är enormt kraftfull men boost speed är låg. Har du sett lite åt Intel 11-14 serien eftersom ecores numera stöds i Proxmox? Eller en epyc med färre cores å högre cpu boost? Sen är det ju bra med allt ram å pci-e som epyc plattformen stöder å det finns ju en massa CPU att välja på PM du vill utveckla vad du ska köra på sikt. De allra flesta lxc klarar sig med 1-2 cores å VMs med 4ish. (Nu är jag väldigt generell). Om du tänker köra AI med t.ex stable diffusion etc så är det mest gpu som det står på och mest möjligt Vram. RAM är det som Proxmox äter så där ser det väldigt bra ut iaf 😀

Jag hade lagt NAS+pbs på en annan, svagare burk, gärna virtualiserat men att ha nas på primär proxmox är inte att rekommendera mtp redundans om något sker och det vill ske något någon gång, tro mig 🤣. Been there

Det fina men moderkortet du länkar till är att du kan starta med en CPU om du går för epyc å sen köpa en till eller en annan typ. Mer än nog cores på en av dem oavsett

Visa signatur

Fractal Design Define R6, ASUS X99a, Xeon E5-2697v3@3.5Ghz allcore, 64gb Hynix ECC REG 2133Mhz, 7900xt, 2.5gb nic

Server: Proxmox med OMV7, Teuenas och annat virtuellt: Supermicro X9SRH-7F, 64gb RAM, Xeon 2651v2, 4x10tb, 2.5gb Nic

Permalänk
Skrivet av Gnarf:

Fin hårdvara! Jag ser att budgeten är på plats😀. Kan inte någonstans se att du behöver 48cores för det du ska köra. Har su sett lite åt Intel 11-14 serien eftersom ecores numera stöds i Proxmox? Sen är det ju bra med allt ram å pci-e som epyc plattformen stöder å det finns ju en massa CPU att välja på PM du vill utveckla vad su ska köra på sikt. De allra flesta containers klarar sig med 1-2 cores å VMs med 4. Nu är jag väldigt generell. Om du tänker köra AI med t.ex stable diffusion etc så är det mest gpu som det står på och mest möjligt Vram.

Du har givetvis helt rätt och budgeten kommer spricka rätt hårt ändå.
Men känner jag mig själv rätt kommer den köra rätt mycket som jag aldrig behöver.

Landade en ny tjänst med mycket bättre lön sedan jag postade första inlägget Så kommande lönerevison och bonus kan nog täcka upp en hel del.

Diskarna kommer ju kosta mer än resten oavsett inser jag ju.

Permalänk
Medlem

finns ju sådant här också

https://www.ebay.com/itm/134470421913?_trksid=p4375194.c10177...
epyc sedan 256 GB ram på det.

ska du köra lite egen NAS på samma hårdvara går det ju utmärkt, 8 hdds får man plats med i många chassin fractal R5, med XL får du långt fler diskar. tyvärr pga chia är alla rack chassin ap dyra.

Jag kör själv en heldel säk labbade på min NAS/server med proxmox

Visa signatur

Nätverksnörd

Permalänk

Jag kikar ju rätt mycket på delar nu, det är dags att börja handlla för jag orkar inte vänta på Black friday. Allt jag behöver kommer ju nödvändigtvis inte vara billigare.

Efter lite youtubande tipsades det om Erying mobos, mest för desktops antar jag men jag hittade denna.
i9 13900HX DDR5 5600 24C32T

Alla deras kort stödjer hyper-v i windows (enligt dem efter kontakt)
Kunde inte få något svar om Linux men det borde gå att lösa.

Blev lite sugen för det priset faktiskt att testa.
Stödjer 192ram men inte ECC tyvärr. Så det kan bli lite dyrt.
Men dom rekomenderar inte över 16gb per sticka så det går inte att få ihop ändå men 64gb går att maxa

https://www.aliexpress.com/item/1005006866701505.html?spm=a2g...

Permalänk
Medlem

Tldr; ggsp.se eller mullet.se

Köp riktiga grejor, antingen beggat eller nytt men inte konsumentdynga eller nån no name kinajunk.

Visa signatur

WS: R7 5800X, 32GB, Suprim X 3080, Acer X38P+Acer XB271HU
FS: HPE ML110 Gen10 Xeon Silver, Qnap TS-h973AX ~100TB
NW: Fortigate, Ruckus, Zyxel XS1930HP 10Gb

Permalänk
Medlem

Personligen gillar jag idén med att köpa ett Erying-moderkort men när det kommer till kritan så att säga, så valde jag ändå att köpa ett Supermicro-moderkort.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk

Det brukar vara att kinakort funkar rätt bra, men kommer med sina quirks.
Om inte du har specifika förhoppningar så borde det vara lungt, och om kortet stödjer Hyper-V borde det stödja KVM / QEMU osv iom virtualisering. Undra bara om det stödjer Intel VT-d (direct hardware passthrough).

Kul projekt, och roligt att se att du går på något experimentellt !

Du får mer än gärna skriva hur dina erfarenheter går, mycket kan ju vara odukumenterat med sådana moderkort

Visa signatur

Jag kan hittas på 127.0.0.1

Permalänk
Skrivet av _niko_:

Tldr; ggsp.se eller mullet.se

Köp riktiga grejor, antingen beggat eller nytt men inte konsumentdynga eller nån no name kinajunk.

Det kommer nog bli ett supermicro i slutändan även om det där i9 kortet verkade både bra och prisvärt. Villhöver en sådan burk antar jag.

Dock verkade det väldigt prisvärt och räcker nog alldeles utmärkt.

Skrivet av Container:

Det brukar vara att kinakort funkar rätt bra, men kommer med sina quirks.
Om inte du har specifika förhoppningar så borde det vara lungt, och om kortet stödjer Hyper-V borde det stödja KVM / QEMU osv iom virtualisering. Undra bara om det stödjer Intel VT-d (direct hardware passthrough).

Kul projekt, och roligt att se att du går på något experimentellt !

Du får mer än gärna skriva hur dina erfarenheter går, mycket kan ju vara odukumenterat med sådana moderkort

Det blir nog ett köp av båda korten i år. Först något stabilt mobo som grund. Kikar lite på förbruking också även om jag i nuläget kommer ha servern där jag inte betalar förbrukinngen själv.

Men det är dags att komma igång. Det kommer vara krångligt nog att få allt att lira.

Permalänk

Nu är Jonsbo N5 släppt så det hamnar på inköpslistan. (även om jag säkert dumsnålar och köper billigast möjliga) men det har alt som behövs.

Så fort en leverantör som inte tar 200$ i frakt for hem det...

https://www.aliexpress.us/item/3256807538351508.html?aff_fcid...