Kritisera min nya server

Permalänk

Kritisera min nya server

Efter över 10 år är det äntligen dags för en ny server. En riktig server (nuvarande är en MacMini från 2011).

Tanken är att jag ska köra Proxmox och lasta den i huvudsak med ett Kubernetes cluster (hemlabb, är konsult), TrueNAS, HomeAssistant samt Plex.

Då den typ är olastad 90% av tiden vill jag försöka komma ner under 20W i idle (med nerspunna diskar). Övriga krav var minst 4st SATA samt 2st M2 slottar.

Hårdvaran jag beställt (levereras om 2 veckor pga. att vissa saker ej fanns i lager):

Intel i5-13400
ASUS Prime B760M-A D4
Kingston Fury 64GB (2x32GB) DDR4 3600MHz CL
WD Blue SN570 1TB (2st, en för OS och en för cache)
WD Red Plus 4TB 5400rpm 256MB (4st för lagring)
Seasonic FOCUS PX 550W
Fractal Design Node 804 Svart

Något jag bör byta ut/tänka annorlunda kring?

Permalänk
Medlem

Den är ful och luktar illa.

Permalänk
Medlem
Skrivet av TheRealBeyondEvil:

Efter över 10 år är det äntligen dags för en ny server. En riktig server (nuvarande är en MacMini från 2011).

Tanken är att jag ska köra Proxmox och lasta den i huvudsak med ett Kubernetes cluster (hemlabb, är konsult), TrueNAS, HomeAssistant samt Plex.

Då den typ är olastad 90% av tiden vill jag försöka komma ner under 20W i idle (med nerspunna diskar). Övriga krav var minst 4st SATA samt 2st M2 slottar.

Hårdvaran jag beställt (levereras om 2 veckor pga. att vissa saker ej fanns i lager):

Intel i5-13400
ASUS Prime B760M-A D4
Kingston Fury 64GB (2x32GB) DDR4 3600MHz CL
WD Blue SN570 1TB (2st, en för OS och en för cache)
WD Red Plus 4TB 5400rpm 256MB (4st för lagring)
Seasonic FOCUS PX 550W
Fractal Design Node 804 Svart

Något jag bör byta ut/tänka annorlunda kring?

Det enda skulle vara att välja T modellen
https://compu-mail.se/sv/p/intel-cpu-core-i5-13500t-1-6ghz-14...
Med halva tdp

Visa signatur

Intel i5 12600k OC 5.2GHz | Arctic Freezer II 240 | MSI Pro Z690 A | 2x 16Gb Corsair LPX 3200MHz | Asus Tuf 4070 Ti | Corsair Rm850x V3 | 2x 1Tb Samsung 980 m2 | 7x Noctua A14x25

Permalänk
Skrivet av Swedishchef_90:

Det enda skulle vara att välja T modellen
https://compu-mail.se/sv/p/intel-cpu-core-i5-13500t-1-6ghz-14...
Med halva tdp

En "T" modell garanterar inte lägre idle W. Den garanterar endast lägre värmeutveckling (T står för "Thermal") över hela effektregistret. Därför dessa ofta sitter i laptops t.ex.

Permalänk
Skrivet av Spiffman:

Den är ful och luktar illa.

Oooooh, right in the feels.

Permalänk
Medlem
Skrivet av TheRealBeyondEvil:

En "T" modell garanterar inte lägre idle W. Den garanterar endast lägre värmeutveckling (T står för "Thermal") över hela effektregistret. Därför dessa ofta sitter i laptops t.ex.

Nej T är för desktop och U är för laptop men trodde att lägre MHz och tdp skulle ge out of the box lägre idle men verkar inte vara fallet.

Om du skall köra som du tänkt så är väl det enda, se till att du har rätt moderkort så du inte behöver byta ram utan kan utöka

Visa signatur

Intel i5 12600k OC 5.2GHz | Arctic Freezer II 240 | MSI Pro Z690 A | 2x 16Gb Corsair LPX 3200MHz | Asus Tuf 4070 Ti | Corsair Rm850x V3 | 2x 1Tb Samsung 980 m2 | 7x Noctua A14x25

Permalänk
Sötast

Det är helt beroende på vad man skall ha det till, och om det man skall ha det till är statiskt eller ej.

Jag kommer aldrig bygga server med konsumentgrejer igen iallafall.

Saker jag hade tänkt på:
Har moderkortet bra iommu grupper / separation?
går det att utföra pci passthrough på sata kontrollern, samt på båda nvme slottarna? individuellt isåfall?
Kan man göra passthrough på några usb-portar?
Ser 3 pcie slottar, hur många kan man använda till pci passthrough, vilka hastigheter?
Endast 1 nätverksport? 1 för lite... är det åtminstone intel?
WD blue, jag förutsätter då att du inte kommer köra ZFS. Annars write amplifications i VMS... kommer äta den.
Har du lämplig backup för din data? är den viktig? kanske redundans på disk som första steg

Frågorna kommer såklart från mina egna erfarenheter och problem som jag har stött på. Såklart med mina egna projekt som säkerligen kan skilja från dina.

Permalänk
Skrivet av Swedishchef_90:

Nej T är för desktop och U är för laptop men trodde att lägre MHz och tdp skulle ge out of the box lägre idle men verkar inte vara fallet.

Om du skall köra som du tänkt så är väl det enda, se till att du har rätt moderkort så du inte behöver byta ram utan kan utöka

Detta MB har 4st slottar för upp till 128GB ram. Är det "rätt"?

Permalänk
Skrivet av Allexz:

Det är helt beroende på vad man skall ha det till, och om det man skall ha det till är statiskt eller ej.

Kubernetes hemmalabb (typ k3s en master och kanske 2-3 worker nodes)
TrueNAS
Plex (används endast av familjen)

Skrivet av Allexz:

Har moderkortet bra iommu grupper / separation?

Vet inte. Får läsa på. Varför är det viktigt? När är det viktigt?

Skrivet av Allexz:

går det att utföra pci passthrough på sata kontrollern, samt på båda nvme slottarna? individuellt isåfall?

Vet inte. Får läsa på. Varför är det viktigt? När är det viktigt?

Skrivet av Allexz:

Kan man göra passthrough på några usb-portar?

Vet inte. Får läsa på. Varför är det viktigt? När är det viktigt?

Skrivet av Allexz:

Ser 3 pcie slottar, hur många kan man använda till pci passthrough, vilka hastigheter?

Vet inte. Får läsa på. Varför är det viktigt? När är det viktigt?

Skrivet av Allexz:

Endast 1 nätverksport? 1 för lite... är det åtminstone intel?

Realtek 2.5Gb. Har ingen övrig redundans i nätverket och inga SLA:er direkt. 1 duger för mina use-case. Skulle det förändras kan jag köpa ett expansionkort (och då t.ex. köpa intel).

Skrivet av Allexz:

WD blue, jag förutsätter då att du inte kommer köra ZFS. Annars write amplifications i VMS... kommer äta den.

Inte tänkt så långt faktiskt. Har du något bättre förslag?

Skrivet av Allexz:

Har du lämplig backup för din data? är den viktig? kanske redundans på disk som första steg

TrueNAS kommer agera "backup" med nån lämpligt raid. Sånt som är viktigt backas upp till cold storage.

Permalänk
Medlem
Skrivet av TheRealBeyondEvil:

Detta MB har 4st slottar för upp till 128GB ram. Är det "rätt"?

Precis, men begränsningen sitter i CPUns minneskontroller där 128 GB är max.

Ska man köra 4 st minnesmoduler så avråder jag från allt annat än ett kit d.v.s. där tillverkaren levererar ett paket med fyra minnesmoduler som de plockat ut genom binning, och garanterar att de fungerar ihop. Det är även en bra idé att titta på moderkortets QVL (Qualified Vendor List) och se vilka minneskit de har testat, och om det är något av dem som går att köpa här till vettiga pengar.

Tumregeln är att man alltid vill ha sitt RAM utspritt på så få minnesmoduler som möjligt av kompatibilitetsskäl.

Permalänk
Medlem
Skrivet av TheRealBeyondEvil:

Efter över 10 år är det äntligen dags för en ny server. En riktig server (nuvarande är en MacMini från 2011).

Tanken är att jag ska köra Proxmox och lasta den i huvudsak med ett Kubernetes cluster (hemlabb, är konsult), TrueNAS, HomeAssistant samt Plex.

Då den typ är olastad 90% av tiden vill jag försöka komma ner under 20W i idle (med nerspunna diskar). Övriga krav var minst 4st SATA samt 2st M2 slottar.

Hårdvaran jag beställt (levereras om 2 veckor pga. att vissa saker ej fanns i lager):

Intel i5-13400
ASUS Prime B760M-A D4
Kingston Fury 64GB (2x32GB) DDR4 3600MHz CL
WD Blue SN570 1TB (2st, en för OS och en för cache)
WD Red Plus 4TB 5400rpm 256MB (4st för lagring)
Seasonic FOCUS PX 550W
Fractal Design Node 804 Svart

Något jag bör byta ut/tänka annorlunda kring?

Är nerspunna diskar verkligen ett troligt scenario?
HomeAssistant och TrueNAS lär vilja läsa/skriva ganska konstant.

Vad kommer du använda den där 1TB cachen till?
Jag är tveksam till att TrueNAS kommer ha någon nytta av den. Kanske mer RAM för att ge ZFS ARC mer utrymme att cache:a vore ett bättre alternativ? TrueNAS SCALE kommer inte kunna använda mer än 50% av tilldelat RAM för ARC.

Kommer du dela virtuella diskar till TrueNAS? Om så är fallet underminerar du dataintegritetsfunktioner i filsystemet ZFS. Kör man TrueNAS i en VM är rekommendationen att dela hela SATA-kontrollern till TrueNAS VM:en så att TN får direkt access till diskarna. Oftast behöver man en separat HBA-kontroller för att lyckas med det men ymmv.

Om du behöver transcoding antar jag att du tänker använda iGPU:n till det? Dubbelkolla att andra rapporterar att dina HW-val faktiskt fungerar i Plex. PCI-passthrough kan vara lite temperamentsfullt ibland.

Permalänk
Skrivet av warp64:

Är nerspunna diskar verkligen ett troligt scenario?
HomeAssistant och TrueNAS lär vilja läsa/skriva ganska konstant.

Vad kommer du använda den där 1TB cachen till?
Jag är tveksam till att TrueNAS kommer ha någon nytta av den. Kanske mer RAM för att ge ZFS ARC mer utrymme att cache:a vore ett bättre alternativ? TrueNAS SCALE kommer inte kunna använda mer än 50% av tilldelat RAM för ARC.

Kommer du dela virtuella diskar till TrueNAS? Om så är fallet underminerar du dataintegritetsfunktioner i filsystemet ZFS. Kör man TrueNAS i en VM är rekommendationen att dela hela SATA-kontrollern till TrueNAS VM:en så att TN får direkt access till diskarna. Oftast behöver man en separat HBA-kontroller för att lyckas med det men ymmv.

Om du behöver transcoding antar jag att du tänker använda iGPU:n till det? Dubbelkolla att andra rapporterar att dina HW-val faktiskt fungerar i Plex. PCI-passthrough kan vara lite temperamentsfullt ibland.

HA kommer köra i k8s, och tanken var att den skulle använda "OS" disken som PVC. Men får kanske tänka om där. HDD:arna kommer endast agera content store. Dvs. kommer inte se kontinuerlig read/write. Såvida inte TrueNAS fipplar med storage även fast "inget" händer?

1TB cachen är tänkt som write cache framförallt för Plex och TrueNAS, men kan ha missförstått det scenariot när det gäller TrueNAS och ZFS...

Ang. separat HBA för att kunna dela hela SATA-kontrollern med TN - har du nån länk som förklarar?

Vad mer är Plex kinkig kring annat än vilken iGPU det är och om den stödjer Quick-Sync etc?

Permalänk
Medlem
Skrivet av TheRealBeyondEvil:

HA kommer köra i k8s, och tanken var att den skulle använda "OS" disken som PVC. Men får kanske tänka om där. HDD:arna kommer endast agera content store. Dvs. kommer inte se kontinuerlig read/write. Såvida inte TrueNAS fipplar med storage även fast "inget" händer?

Det är vanligt att TN går in och rör diskarna var femte minut. Tror det har något med S.M.A.R.T. temperaturmätning att göra. Är diskarna inställda på att vila snabbare än så kommer de spinna ner och upp konstant, något som inte är att rekommendera.

Skrivet av TheRealBeyondEvil:

1TB cachen är tänkt som write cache framförallt för Plex och TrueNAS, men kan ha missförstått det scenariot när det gäller TrueNAS och ZFS...

TrueNAS kan inte använda en write cache på det sättet.
Lite förenklat kan man säga att när data ska skrivas till disken kan den antingen buffras först i RAM (async) eller direkt på disken (sync). Då RAM är mycket snabbare än dagens diskar upplevs async i regel som en markant snabbare process men priset man betalar är att om något händer med NASen när den endast mellanlagrat data i RAM men inte hunnit skriva till disk är det troligt att den datan går förlorad (tänk krash eller strömbortfall).

En SLOG kommer bara användas vid sync writes. När data skrivs mellanlandar det det på SLOG-disken som ska klara ett plötsligt strömbortfall. Målet är att ha en snabb disk då hastigheten på överföringen delvis kommer begränsas av vad SLOG-disken klarar*. Det är inte viktigt att SLOG:en är stor, en funktionsanpassad SLOG är någonstans mellan 16GB - 100 GB, det viktigaste är hög överföringshastighet och låg latens. Det är även väldigt bra om den har hög write endurance eftersom allt du skriver med sync writes kommer passera disken.
*För man över större mängder data i streck kommer dock fortfarande det slutliga lagringsmediet att sätta hastigheten. En SLOG fungerar bäst när skrivningar sker med tillfälliga toppar då den regelbundet behöver dumpa den buffrade datan.

Sync writes brukar användas när man har en VM som skriver på zfs-hanterad media, detta då en avbruten skrivning till disk kan vara katastrofalt för integriteten av VM-imagen. Andra situationer kan vara att man kör default NFS-share inställningar eller har Mac-klienter via SMB.

Känner du inte igen dig i de användningsområdena kommer du troligtvis nästan uteslutande att använda dig av async writes, vilket innebär att din SLOG inte kommer göra något alls. Edit: Med det sagt går det att forcera async writes även i dessa situationer, om man vill.

ZFS cache:ar saker du ofta läser. Utan vidare konfiguration sker det automatiskt i RAM och cache:en kallas då ARC. Mer RAM medför större ARC vilket medför att fler filer får plats innan den tvingas prioritera vad som ska finnas kvar i ARC och vad som ska ersättas med ny data.

Vill man kan man komplettera RAM-baserade ARC med diskbaserade L2ARC.

Jag rekommenderar att man först skaffar mer RAM då det är det snabbaste cachet du kan ha. Men om du vill behålla cache:ad information mellan omstarter kan L2ARC erbjuda dig det i form av "persistent L2ARC", något man kan behöva aktivera manuellt beroende på TrueNAS-version (CORE eller SCALE).

Skrivet av TheRealBeyondEvil:

Ang. separat HBA för att kunna dela hela SATA-kontrollern med TN - har du nån länk som förklarar?

Vad mer är Plex kinkig kring annat än vilken iGPU det är och om den stödjer Quick-Sync etc?

Jag kan inte ge några specifika exempel på detta men jag ser regelbundet användare som klagar på att det inte fungerar. Det löser sig säkert i slutändan men är det en viktig funktion för dig rekommenderar jag att försöker försäkra dig om att din HW-kombo och Plex-version ser ut att komma överens.