Bygga server för proxmox

Permalänk
Medlem

Bygga server för proxmox

Vad tror ni, skulle detta duga till en hemmaserver?
Hyr idag en hetzner-server, som har 128GB ram, typ 16TB-18TB lagring (totalt utanför raid) för 900-1100kr/månad (Inkl storagebox på 10TB)

Tänkte bland annat ha för en nätverkslagring + virtuella servrar.
Valet av chassi var att den kunde ha 9-10 st 3.5" HDD, så det skulle bli möjligt med framtida utökning av lagring "ju mer jag leker"
Alla grejer verkar finnas i lager på Webhallen i göteborg.

Chassi
PSU
CPU
Moderkort
(Paketpris cpu+moderkort)
Ram 128GB
m.2 Lagring
HHD 20TB
AIO Kylning cpu

Permalänk
Medlem

Vad skall du använda servern till mer än lagring? Vad för virtuella servrar har du tänkt dig?

Permalänk
Medlem
Skrivet av joakim99:

Vad skall du använda servern till mer än lagring? Vad för virtuella servrar har du tänkt dig?

Antingen samba/cifs lokalt (med tailscale eller liknande för att komma åt utifrån) eller liknande vaultwarden + nextcloud/seafile.
Tänkte även kanske ha någon som Adguard home för lite reklam-filter. HAr även en java-baserad server som ska få t.ex. ~8 GB ram själv, 200GB hdd samt den drar "lagom" cpu.
Iaf till att börja med. Hade även tänkt ha en VM för att försöka själv utveckla egen mjukvara/webbserver-tjänst för att skriva in arbetstider till att generera PDF:er med fakturor, och kunna koppla det mot bankutdrag osv. Kanske hosta en spel-server om jag/polare skulle behöva en dedikerat sådan.

Permalänk
Medlem

"Vad tror ni, skulle detta duga till en hemmaserver?"

Oklart eftersom vi inte vet vad du ska göra med den.

Exempelvis har jag själv en minisforum med en Intel N100, 500GB SSD och 16GB RAM, som duger till det jag har den till.

Köp minnen med 6000MT/s-RAM till 7000-serien för övrigt.

Permalänk
Medlem

I så fall känns det som att hårdvaran är kraftigt överdimensionerad.

Permalänk
Medlem

Enligt Proxmox på server jag hyr idag:
CPU(s) 16 x Intel(R) Core(TM) i9-9900K CPU @ 3.60GHz (1 Socket) (Antar de menar 16 cores och inte 16 separata CPU:er)
Hela servern ligger på 20-25% cpu.

Permalänk
Medlem
Skrivet av joakim99:

I så fall känns det som att hårdvaran är kraftigt överdimensionerad.

Vilka delar då? Lagringen kommer jag iaf behöva. Har nog minst 7TB att lägga i en NAS/Cloud-biten. Troligen kanske 64GB ram skulle funka och köpa till senare 64 till.
2 x M.2 var tanken att raida för proxmox, så allt inte försvinner om ena går sönder.

Skrivet av dlq84:

Köp minnen med 6000MT/s-RAM till 7000-serien för övrigt.

Antar du menar då 6000 MHz-minnen? Typ G.Skill Trident Z5 Neo RGB 64GB (2x32GB) Expo / 6000Mhz / 30CL

Permalänk
Medlem
Skrivet av VinterSolen:

Vilka delar då? Lagringen kommer jag iaf behöva. Har nog minst 7TB att lägga i en NAS/Cloud-biten. Troligen kanske 64GB ram skulle funka och köpa till senare 64 till.
2 x M.2 var tanken att raida för proxmox, så allt inte försvinner om ena går sönder.

Antar du menar då 6000 MHz-minnen? Typ G.Skill Trident Z5 Neo RGB 64GB (2x32GB) Expo / 6000Mhz / 30CL

MT/s är den korrekta benämningen, MHz är en lekmannaterm som egentligen är gravt felaktig då vi kör Double Data Rate. En minnessticka som säljs som 6000 MHz (Egentligen 6000 MT/s) har den fysiska frekvensen 3000 MHz. Det är viktigt att känna till detta när man börjar överklocka interna bussar och minneskontrollers ut mot minnesstickorna.

Permalänk
Medlem

Varför ett gameing grfx ? ska du transcoda eller spela i VMar ? för transcoda finns det billigare och strömsnålare kort.

har du sata portar och 3.5" platser nog för framtida expandering?

ska du köra zfs ?

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av moire:

Varför ett gameing grfx ? ska du transcoda eller spela i VMar ? för transcoda finns det billigare och strömsnålare kort.

har du sata portar och 3.5" platser nog för framtida expandering?

Ligger inget grafikkort med i listan vad jag vet.
Chassit har plats för 9-10 st, moderkortet 6 SATA (finns instickskort för att utöka därefter)

Permalänk
Sötast

Det är inte helt ovanligt att CPU är det minst viktiga på en hypervisor. Vad är det för javaprocess du kör?
Både på jobb och här hemma så är minnet oftast nära fullt och cpu oftast markant närme idle än 20%

Bara du som vet vad du kör för mjukvara just nu.
Men i övrigt så kan du köra 10+ VM och 50+ dockers utan att få den där cpun att gå över 30%

Permalänk
Medlem
Skrivet av VinterSolen:

Ligger inget grafikkort med i listan vad jag vet.
Chassit har plats för 9-10 st, moderkortet 6 SATA (finns instickskort för att utöka därefter)

hm bilden övest visar ett 3060 tuf kort

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av moire:

hm bilden övest visar ett 3060 tuf kort

Det är nog AOI-kylaren till CPU:n
https://www.webhallen.com/se/product/366222-ASUS-TUF-GAMING-L...

Permalänk
Hedersmedlem
Skrivet av mc68000:

MT/s är den korrekta benämningen, MHz är en lekmannaterm som egentligen är gravt felaktig då vi kör Double Data Rate. En minnessticka som säljs som 6000 MHz (Egentligen 6000 MT/s) har den fysiska frekvensen 3000 MHz. Det är viktigt att känna till detta när man börjar överklocka interna bussar och minneskontrollers ut mot minnesstickorna.

Det är inget fel på att använda 6000 MHz för att avse samma sak som 6000 MT/s. Detta eftersom "Hz" som enhet bra betyder "per sekund".

I det här fallet sker 6 000 miljoner överföringar per sekund, vilket innebär att överföringsfrekvensen är 6000 MHz. Det är inget felaktigt med det, inte ens lite, absolut inte gravt.

Däremot är i detta fall klockfrekvensen i DDR periodisk med frekvensen 3000 MHz, detta för att överföringar sker både på positiv och negativ flank. Denna frekvens är mer intressant att räkna om man ska prata signalöverföringsegenskaper eller liknande på kretskort, men inte särskilt intressant när man ska specificera hur minnet faktiskt fungerar. Jag skulle nästan vilja säga att om man säger att minne med 6000 MT/s har en överföringsfrekvens på 3000 MHz så är det felaktigt, eftersom det inte är överföringarna som har den frekvensen, utan en hel period av klocksignalen.

Det är precis lika rätt att använda MHz för att mäta MT/s, eller klocksignalens period. Precis som det är precis lika korrekt att mäta en cirkels storlek i centimeter, oavsett om man med det avser cirkelns omkrets, diameter eller radie.

Permalänk
Hedersmedlem
Skrivet av VinterSolen:

Du behöver inte kyla en 7600X med en 360-rad. Köp en tornkylare istället, det är både billigare och driftsäkrare.

PSU:n är även på tok överdimensionerad, med tanke på att det saknas grafikkort, men det kan ju vara skönt att ta höjd för att kunna stoppa in ett grafikkort senare om du t.ex. vill labba med AI-modeller eller liknande på din server.

Permalänk
Medlem
Skrivet av VinterSolen:

aah! jag som är lite blind.

Du kommer hur som att ha massor cpu, ram kommer vara den begränsande faktorn.
Ett tips är att köra på containers där du kan.

några exempel på vad mina containers allokerar
smb lxc: 127MB ram
Jellyfin: 480MB ram
Proxmox Backup server: 72MB
Immich: 1200 MB

tailscale som körs på en vm drar "mycket" iom helt OS
824MB

gällande cpu ligger nästan alla under 1% i medel. förrutom min honeypot som snittar på 4% på 12 cores.

Du får nog hosta lite spelservrar eller annat för att dra mer cpu i snitt.

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av pv2b:

Du behöver inte kyla en 7600X med en 360-rad. Köp en tornkylare istället, det är både billigare och driftsäkrare.

PSU:n är även på tok överdimensionerad, med tanke på att det saknas grafikkort, men det kan ju vara skönt att ta höjd för att kunna stoppa in ett grafikkort senare om du t.ex. vill labba med AI-modeller eller liknande på din server.

Oki, tog en AOI "bara för att" (= ingen anledning egentligen).
Denna PSU på 1000W var den billigaste modulära på webhallen + göteborg i lager.

Permalänk
Hedersmedlem
Skrivet av VinterSolen:

Oki, tog en AOI "bara för att" (= ingen anledning egentligen).
Denna PSU på 1000W var den billigaste modulära på webhallen + göteborg i lager.

2800 kr för en PSU är allt annat än billigt dock...

Finns ju massa modulära i lager i Göteborg som är mindre dyra än denna:

https://www.webhallen.com/se/category/764-Nataggregat-PSU?f=a...

Permalänk
Medlem

1000w agg behöver du för framtida högprestanda grafikkort, eller om du ska köra 10+ hårddiskar utan staggered spinnup och massa pci addon som kan dra ström.

du kan gå ner till 800w och ha ström budget för 8 diskar och ett medium grafikkort.

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av moire:

aah! jag som är lite blind.

Du kommer hur som att ha massor cpu, ram kommer vara den begränsande faktorn.
Ett tips är att köra på containers där du kan.

några exempel på vad mina containers allokerar
smb lxc: 127MB ram
Jellyfin: 480MB ram
Proxmox Backup server: 72MB
Immich: 1200 MB

tailscale som körs på en vm drar "mycket" iom helt OS
824MB

gällande cpu ligger nästan alla under 1% i medel. förrutom min honeypot som snittar på 4% på 12 cores.

Du får nog hosta lite spelservrar eller annat för att dra mer cpu i snitt.

Vad använder du honeypot till?
Sett att det finns i min unifi router men kollat vad de är.

Permalänk
Medlem
Skrivet av moire:

aah! jag som är lite blind.

Du kommer hur som att ha massor cpu, ram kommer vara den begränsande faktorn.
Ett tips är att köra på containers där du kan.

några exempel på vad mina containers allokerar
smb lxc: 127MB ram
Jellyfin: 480MB ram
Proxmox Backup server: 72MB
Immich: 1200 MB

tailscale som körs på en vm drar "mycket" iom helt OS
824MB

gällande cpu ligger nästan alla under 1% i medel. förrutom min honeypot som snittar på 4% på 12 cores.

Du får nog hosta lite spelservrar eller annat för att dra mer cpu i snitt.

Sitter precis och kollar lite youtube-klipp med tailscale och satt också precis och tänkte på vad som borde köras i en LXC och vad som bör VM:as upp.

Permalänk
Medlem
Skrivet av VinterSolen:

Sitter precis och kollar lite youtube-klipp med tailscale och satt också precis och tänkte på vad som borde köras i en LXC och vad som bör VM:as upp.

just tailscale bör köras i en VM annars nästan allt annat i lxc, förrutom om du är nojjig med säkerheten. full VM ger teoretiskt bättre säkerhet, men praktiskt är det inte det den svagaste länken så det böhäver man inte tänka på.

på med fw regler i proxmox på vm/lxc nivå om du vill finlira.

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av jope84:

Vad använder du honeypot till?
Sett att det finns i min unifi router men kollat vad de är.

statistik just nu bara, samt kikar lite på om de är nå kul payload som laddas upp. bidrar även till global block list då jag delar infin.

https://github.com/telekom-security/tpotce

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av moire:

statistik just nu bara, samt kikar lite på om de är nå kul payload som laddas upp. bidrar även till global block list då jag delar infin.

https://github.com/telekom-security/tpotce

Ser lite kul ut att kanske slänga upp en sådan VM också.

Permalänk
Medlem
Skrivet av moire:

just tailscale bör köras i en VM annars nästan allt annat i lxc, förrutom om du är nojjig med säkerheten. full VM ger teoretiskt bättre säkerhet, men praktiskt är det inte det den svagaste länken så det böhäver man inte tänka på.

på med fw regler i proxmox på vm/lxc nivå om du vill finlira.

Ok.

Ska fundera några timmar till på datordelarna.. Hmm behöver eller villhöver jag 128GB (istället för t.ex. 64GB nu/idag).. Kan ju även spara typ 2000kr på att inte raida proxmox host på m.2:orna.

Sedan lite osäker på vilket filsystem för VM:arna där det är enklast att "slänga in en disk eller två till" lite senare och de blir en del av mirror/paritet-mixen, utan att behöva döda hela t.ex. zpool:en för att utöka (ej byta ut) disk.

Permalänk
Medlem
Skrivet av VinterSolen:

Kan ju även spara typ 2000kr på att inte raida proxmox host på m.2:orna.

Kostar inte SSDerna du har valt 579 kr/st?

I möjligaste mån hade jag lagt alla servrar på SSD och sedan bara ha lagringen på HDD. Jag hade inte brytt mig om att köra raid på host och vm disken utan istället tagit backup.

Permalänk
Medlem

Klart du kan köra ovan, jag tycker dock det känns som om väldigt mycket waste av pengar för en hemmaserver.

Köp:
- Begagnat fractal define r5 eller liknande.
- begagnat moderkort för intel gen 10 och framåt typ, inkl cpu med iGPU om nu dina planer är att köra Plex eller liknande. (annars borde du kunna hitta billiga AM4-kort begagnat)
- Köp dubbla ssd och kör speglat. (EDIT: missade att du valt två, BRA! )
- Vattenkylning i en server? Jag hade inte vågat iaf. Kan lika gärna köra luftkylt.
- 20tb-diskar är ju nice, men ska du ha så många diskplatser kanske 14TB eller liknande är billigare per GB.
- DDR4 är ju mycket billigare (duh) så då kan du säkert få till 4x32gb istället

Ja, du hajar. Köp begagnat, du behöver inte ha senaste senaste för det du beskriver. Spara pengarna nu, lägg dem på lagring sedan, eller ev uppgradering i framtiden.

Sedan kan du läsa på om SAS, hårddiskarna kräver en HBA-kort i PCIe-plats men dessa är enterprisediskar och ska generellt hålla längre och ibland kan man fynda dessa begagnat https://www.ebay.com/itm/176433675764 . Och eftersom du bygger en server så kommer du ju (eller hur? ) ha både redundans och backup. Lite inte på hårddiskar, oavsett hur nya de är.

Visa signatur

Älskar att bygga, reparera och modifiera (typ) allt, datorer, tv-spel, servrar, osv. Startade Modda.se för att hitta likasinnade. Min prisguide för Switch 2 inkl importpriser.

Permalänk
Medlem
Skrivet av joakim99:

Kostar inte SSDerna du har valt 579 kr/st?

I möjligaste mån hade jag lagt alla servrar på SSD och sedan bara ha lagringen på HDD. Jag hade inte brytt mig om att köra raid på host och vm disken utan istället tagit backup.

Jo de gjorde dem, har lagt till och ändrat en del, så en del siffror minns jag nog fel.

Med HHD-lagringen tänkte jag mer för faktiskt lagringsutrymme för VM:arna, men config-filerna och o.dyl. kan ligga på ssd:erna.
Backup är tänkt att hamna på hetzner storage box när jag fått igång allt. Men just nu så verkar webhallen strula lite, då vissa saker slut i lager fast det inte står att det är slut för nordstan.
Får se om jag kan plocka ihop en liknande burk på inet, men om jag minns igår rätt, så har t.ex. sisjön "inget" i lager..

Permalänk
Medlem
Skrivet av billyskate:

Klart du kan köra ovan, jag tycker dock det känns som om väldigt mycket waste av pengar för en hemmaserver.

Eftersom det ska köpa på företagets pengar, så måste kvitton o.s.v. finnas.. Lite si-så-där av redovisningen att köpa begagnat/utan "riktigt kvitto".

Permalänk
Medlem
Skrivet av VinterSolen:

Eftersom det ska köpa på företagets pengar, så måste kvitton o.s.v. finnas.. Lite si-så-där av redovisningen att köpa begagnat/utan "riktigt kvitto".

Du kanske inte skall vara fullt så tydlig med att du tänker köpa in saker för hemmabruk med företagets pengar.