Hårdvarurekommendation i 24disk rack chassi

Följer inte iXsystems i någon större utsträckning men CORE bygger på numera gamla FreeBSD 13.2 så det gör val av hårdvara rätt begränsat. Ingen aning om 14.X kommer eller om det blir något fork etc annars fungerar FreeBSD 14(.1) utmärkt på denna hårdvara.

https://www.asus.com/motherboards-components/motherboards/pro...
Ett av de få kort som stödjer ECC och har 2x PCIe 8x och du kan få 5 års garanti på kortet via https://www.asus.com/se/events/infoM/activity_proart5years/ . 2.5Gbe Intel NIC som fungerar fint sen även ett 10G Marvell (Aquantia) som iaf i FreeBSD saknar drivrutiner i skrivande stund.

Ploppa i någon AM5 CPU, förslagsvis någon 65W eller snålare variant. Skippa 7500F eftersom den saknar grafik helt.
https://en.wikipedia.org/wiki/Zen_4#Raphael
Teoretiskt sett beroende på hur bråttom du har så kommer EPYC 4004 serien som är en något uppdaterad variant av Zen 4 men förmodligen inget du märker av i en ras NAS-låda. Det finns direkt motsvarigheter https://www.amd.com/en/products/processors/server/epyc/4004-s... men oklart gällade stöd för moderkort.

Minne, finns lite olika passande ECC varianter men dessa (32Gb) fungerar fint men jag skulle också anta att 5600-varianterna också lirar utan problem. Tänk dock på att det är 3600 som gäller om du vill ha 128Gb så det finns ingen direkt anledning till att kasta pengar på de snabbare minnena. https://eu.crucial.com/memory/server-ddr5/mtc20c2085s1ec48br

Ska du köra utan så funkar Crucials Pro-serie (https://www.idealo.de/preisvergleich/MainSearchProductCategor...) fint utan några bekymmer, tar du något som följer JEDEC så är det i regel inga problem alls oavsett tillverkare av minnen.

LSI/Broadcom är väl ett alternativ men undvik kopior från Kina och den numera lastgamla 2000-serien, räkna med ~200 EUR per kontroller exkl kablage för 3000-serien. Ser du något billigare så är det i regel kopior eller icke genuina kort. Något jag hade tittat på istället för att göra det enkelt är kort med ASM1166 i någon form då de både är billigare, kräver ej aktiv kylning även om någon form av luftflöde är att rekommendera och är vanliga AHCI-kontrollers. Det finns både lösa rent kort som t.ex https://www.silverstonetek.com/en/product/info/expansion-card... , https://www.silverstonetek.com/en/product/info/expansion-card... eller så är du lite kreavtiv https://forum.level1techs.com/t/short-review-edging-asmedia-1... . Kör du dock med SATA kontrollers blir det strul med ditt backplane så du är mer eller mindre låst till HBA-kort.

Jag köpte detta, dock innan Brexit, https://www.servercase.co.uk/shop/server-cases/rackmount/4u-c...

Sedan skulle jag rekommendera dig att lösa följande artiklar
https://www.servethehome.com/buyers-guides/top-hardware-compo...
https://www.servethehome.com/buyers-guides/top-hardware-compo...

När man använder ett chassi som detta så är det oftast, om det inte står något annat i dokumentationen (på hårddiskarna) i princip krav på att köra enterprise diskar då de är mycket mer tåliga emot vibrationer än konsumentdiskar.

Men då det handlar om nas, såvida du inte streamar emot kunder eller liknande så gissar jag att du kommer köra spindown på samtliga diskar? Om du inte gillar elräkningar dvs! och då är vibrationsproblemet löst från början.

AMD processorer är helt klart mest strömsnåla - under förutsättningen att man mäter vid höga loads. En nas brukar dock ligga på 0 - 0.05 i load och där är tro det eller ej Intel bra mycket mer strömsnåla än AMD och då snackar vi inte om marginaler utan vi snackar kanske 50% skillnad i realistiska scenarion detta då deras chipsets, powerstates och drivers för detta är mycket mer optimerade.

(Är AMD fanboy)

Bilden är från nas+container VM. Den kör 8 containers varav en är en spelserver

@naaw
Enligt tillverkaren så är det 3 kontakter, https://www.inter-tech.de/files/images/ipc/88887354/D-IPC-4U-...
Du verkar också kunna köra SATA direkt men då tappar du halva kapaciteteten på fysiska enheter
För att vara övertydlig, jag har ingen aning om hårdvaran fungerar bra på FreeBSD 13.2 som TrueNAS Core är baserad på men jag kan tänka mig att du kommer få lite problem med kompatibilitet.
Unraid borde fungera på samma hårdvara generellt men inget jag kör så ingen aning hur gammal/ny hårdvara som stöds.

Ser inte riktigt varför du skulle välja UnRAID som är en subscription men upp till dig, hittade ingen uppenbar lista på vad de stödjer för hårdvara så du får väl fråga alt testa och hoppas på det bästa (stödet baserar sig helt vilket moduler de har valt att inkludera etc).

Nu hoppas jag att TS inte tycker jag hijackar tråden här, men UnRAID har ju en del funktioner som inte är så vanliga i övrigt -- rätta mig om jag har fel.
Framför allt är väl en vanlig anledning att välja det möjligheten att blanda storlekar på diskar fritt. Det enda kravet är väl att paritetsdisken (eller diskarna) måste vara störst; men har du en paritetsdisk (eller två) på 20 TB så kan du i övrigt köra 3x8 TB, 6x12 TB och 4x20 TB utan några konstigheter.
Vill du har mer utrymme sen kan du byta ut de minsta diskarna mot större diskar, så har du mer utrymme.
Går detta med något annat än UnRAID?

Utöver det så fungerar det som jag förstått som så att om en disk dör, och alla paritetsdiskar också dör, så förlorar du enbart data på den trasiga disken, medan datan på alla andra är kvar. Med RAIDZ/RAID5/RAID6 är det ju i regel svårt att få fram mycket data från någon disk i det fallet pga striping.

Om vi bortser från faktumet att det upplägget kommer ge usel prestanda och eventuella lite andra lustiga "egenskaper" så verkar det vara lite mer invecklat när du blandar diskar så det är absolut inget jag skulle förlita mig på, sen vettefasen om jag skule köra på XFS idag som verkar vara krav(?).

@naaw
Verkar finnas någon sådan baserat på antal diskar, frågan är väl mest varför när du har kompetenta eller tom bättre alterantiv men ser du värde i det så är det väl bra. Det du efterfrågar i sig är ju inte direkt superkomplicerat.

Tja, du kan ju alltid börja med TrueNAS och visar det sig inte funka med din hårdvara så byt då till unraid.

Själv kör jag med Linux mdadm. Inte optimalt men när jag började med raid för 20+ år sen fanns inte ovanstående alternativ.
Det är inte lika flexibelt som unraid men mer än TrueNAS. Tex säg jag vill ha en raid5 och har 2x6TB + 2x3TB +3x2TB så kan jag göra en JBOD eller raid0 av 2x3TB så får jag en 6TB area, sen samma med 3x2TB. Då har jag 4x6TB så med raid5 blir det 18TB användbart.

Finns även annat scenario. Säg jag har en server (1U) som bara tar 4 diskar. Då kan jag t.ex. partitionera 40GB + ~6TB på alla diskar.
/dev/sda1 blir då boot + os, sdb1, sdc1, sdd1 kan bli en raid 5 -> 80GB till t.ex. /home + swapfil. sda2 .. sdd2 blir min raid5 array som ger nästan 18 TB. Då Linux har bra disk-cache så blir det bara lite långsam start men sen rullar allt på bra om man har nog med ram.

varför inte truenas scale ? linux baserad och de kommer helt gå över till linux , tyvärr kanske man ska säga.

@naaw
Problemet med prestanda är att olika modeller och olika storlekar har olika prestanda och förutsatt att det är någon form av integritet så kommer alla diskar få "vänta" på varandra vilket inte är speciellt optimalt och ger oftast mycket dålig prestanda jämfört med "matchade" diskar. BTRFS är väl dessutom fortfarande inte rekommenderat för något annat än mirror (RAID-1). Skulle vilja påstå att du inte direkt kommer spara något genom att försöka "lappa ihop" en trasig setup från början. Ser inte riktigt problemet med att du helt enkelt kör med separata arrays om det så önskas speciellt när du börjar från "scratch". Någon enhetför slog eller l2arc eller motsvarande är närmast bortkastat för dig i praktiken med tanke på hur "workload".

Om du prompt ska ha Intel så 12:e gen eller nyare, dock blir det inget stöd gör ECC om du inte köper ett moderkort med W-chipset och då behöver du hålla koll på vilka CPUs som stöds med ECC för det är inte alla i serierna.

Varför du ska krångla med expanders som många gånger är mer problem än nytta?

Förstår inte riktigt vad problemet är att du har flera vdevs eller motsvarande?

ok! ja du addderar vdev till en pool, det är så zfs är tänkt att användas.

för mirror 2 diskar, z1 3 diskar åtgången osv.

JA du måste bestämma layout oavsett system dock.

men truenas har sponsrat arbete för att expandera raidz

https://x.com/kmooresays/status/1673792749672210434
https://github.com/openzfs/zfs/pull/15022

Jag som är lite trött när jag läste tidigare, det är 2x 12-portars backplane dvs 6 kontakter totalt så ta ett eller två HBA beroende på vilken kapacitet du väljer och bara koppla in.
https://docs.broadcom.com/doc/pub-005090

Det gör det också möjligt att använda vanliga AHCI (SATA-adaptrar) också iaf i teorin sen behöver inte just det där backplane(:et) stödja det.

Då det handlar om nas och hobby och videouppspelning så fungerar i princip vad som helst.

Valfri i3 eller i5 brukar ha generellt låg strömförbrukning i snitt med vissa lägre än andra.
Den första jag körde unraid på var en 3570k och den drog 35watt... Och då var snitt usage runt 2-3 av cpun... Dvs en 12gen är som att köpa en Maserati för att köra sten till kolonin.

Att gå det senaste är bara rent utkastade pengar.

Även om jag själv kör zfs för ett fåtal diskar på min hypervisor så gör jag det av en anledning och det är inte relaterat till mediashares.

För media är alla typer av raid och även zfs upp i skogen overkill och helt och hållet onödigt för en nas.

Det är dock vanligt att man blir rekommenderat sådant av folk som gärna lägger mer på utrustningen än på filmerna

Unraid har mest troligt de lägsta hastigheterna av samtliga metoder och ändå är det fullt normalt att landa någonstans mellan 50-110 MB/s
Dvs en halv till en gigabit.
Filmers bitrate, låt säga 4K ligger nånstans mellan 3-10MB/s.

Unraid är också tveklöst det absolut lättaste att sätta upp och det absolut lättaste att addera diskar till. Din enda begränsning är antalet sata portar i princip.

Åhh titta en 4TB disk som låg i tvättlådan! Bara att trycka in. Epic.

Sist men inte minst har jag personligen helt lämnat raid bakom mig så det är för dyrt för sin användning. Varför spegla hela diskar, dvs betala för 40TB och få 20TB?

Istället köper jag 40TB disk och sedan har jag en folder på varje disk som är speglad till samtliga diskar. Men det är bara exakt den kritiska lilla datan som speglas om och om igen. Inte all data.

Min kritiska data visade sig bara vara lite mer än 600GB. Tänk att jag en gång i tiden höll på att raida stora hela diskar för något så litet?

Å andra sidan så bygger jag för mig själv och inte för att imponera på reddit

Edit: och nu äntrar jag helig mark och riskeras att portas ut i öknen mot alla som kör servrar på swec...
Men hba är sjukt overkill för lite skitlagring som media.

En billig sketen asmedia kontroller räcker gott och väl för en hemmanas med icke kritisk data.
1/5 - 1/10 av priset och noll komplexitet. Bara koppla sata från disk till kontroller och sedan är biffen fixad. Man bör dock veta att det kommer till en prestandaförlust om man flyttar mkt data oavsett riktning.

Läs på om dem på unraids forum...

https://forums.unraid.net/topic/102010-recommended-controller...
Jag kör sedan flera år:
SATA controller: ASMedia Technology Inc. ASM1166 Serial ATA Controller (rev 02)
Har aldrig orsakat ett fel.