Hårdvarurekommendation i 24disk rack chassi

Permalänk
Medlem

Hårdvarurekommendation i 24disk rack chassi

Står väl och smeker köpknappen på ett Inter-Tech IPC 4U-4724 chassi just nu, men är väldigt osäker på vad jag behöver för hårdvara för mitt "user-case".

Kan väl börja med att säga att jag inte 100% bestämt mig om jag ska köra truenas core eller unraid än. Så om det skiljer rejält i rekommendationerna så vill jag ju så klart gärna ha rekommendation för båda dessa OS till detta chassi (om det inte är för mycket begärt).

Denna NAS ska i alla fall uteslutande användas till att lagra filer som sedan ska streamas/spelas/läsas från Plex/Infuse/*arr osv.. Dessa servar ligger alltså inte på denna NAS, utan de ska bara läsa datan härifrån.

Målet är att använda mig utav 20TB-diskar men eftersom jag inte får skattepengar från svenska befolkningen likt kungen så förstår ni kanske också att jag inte kommer köpa 24 diskar och slänga in direkt, utan det blir ett gäng först och sen fylla på efterhand (om det nu skulle spela någon roll i val av hårdvara).

ECC RAM är väl nice to have, men då jag inte kommer kasta mig från närmsta bro om datan blir korrupt så tänker jag inte lägga flera tusen extra på ECC RAM, så det är väl mer om det finns till rimligt pris/inte skiljer sig nämnvärt från non-ECC RAM. Men om det är något som starkt rekommenderas ändå (har dålig koll på zfs-krav t.ex om jag skulle välja truenas) så får det väl vara så..

Har jag missat något så är det bara att säga till så ska jag försöka fylla i "kravlistan" (även om jag inte har så många krav, enligt mig själv).

Tack på förhand!

Permalänk
Medlem

Följer inte iXsystems i någon större utsträckning men CORE bygger på numera gamla FreeBSD 13.2 så det gör val av hårdvara rätt begränsat. Ingen aning om 14.X kommer eller om det blir något fork etc annars fungerar FreeBSD 14(.1) utmärkt på denna hårdvara.

https://www.asus.com/motherboards-components/motherboards/pro...
Ett av de få kort som stödjer ECC och har 2x PCIe 8x och du kan få 5 års garanti på kortet via https://www.asus.com/se/events/infoM/activity_proart5years/ . 2.5Gbe Intel NIC som fungerar fint sen även ett 10G Marvell (Aquantia) som iaf i FreeBSD saknar drivrutiner i skrivande stund.

Ploppa i någon AM5 CPU, förslagsvis någon 65W eller snålare variant. Skippa 7500F eftersom den saknar grafik helt.
https://en.wikipedia.org/wiki/Zen_4#Raphael
Teoretiskt sett beroende på hur bråttom du har så kommer EPYC 4004 serien som är en något uppdaterad variant av Zen 4 men förmodligen inget du märker av i en ras NAS-låda. Det finns direkt motsvarigheter https://www.amd.com/en/products/processors/server/epyc/4004-s... men oklart gällade stöd för moderkort.

Minne, finns lite olika passande ECC varianter men dessa (32Gb) fungerar fint men jag skulle också anta att 5600-varianterna också lirar utan problem. Tänk dock på att det är 3600 som gäller om du vill ha 128Gb så det finns ingen direkt anledning till att kasta pengar på de snabbare minnena. https://eu.crucial.com/memory/server-ddr5/mtc20c2085s1ec48br

Ska du köra utan så funkar Crucials Pro-serie (https://www.idealo.de/preisvergleich/MainSearchProductCategor...) fint utan några bekymmer, tar du något som följer JEDEC så är det i regel inga problem alls oavsett tillverkare av minnen.

LSI/Broadcom är väl ett alternativ men undvik kopior från Kina och den numera lastgamla 2000-serien, räkna med ~200 EUR per kontroller exkl kablage för 3000-serien. Ser du något billigare så är det i regel kopior eller icke genuina kort. Något jag hade tittat på istället för att göra det enkelt är kort med ASM1166 i någon form då de både är billigare, kräver ej aktiv kylning även om någon form av luftflöde är att rekommendera och är vanliga AHCI-kontrollers. Det finns både lösa rent kort som t.ex https://www.silverstonetek.com/en/product/info/expansion-card... , https://www.silverstonetek.com/en/product/info/expansion-card... eller så är du lite kreavtiv https://forum.level1techs.com/t/short-review-edging-asmedia-1... . Kör du dock med SATA kontrollers blir det strul med ditt backplane så du är mer eller mindre låst till HBA-kort.

Permalänk
Medlem
Skrivet av diizzy:

Följer inte iXsystems i någon större utsträckning men CORE bygger på numera gamla FreeBSD 13.2 så det gör det val av hårdvara rätt begränsat. Ingen aning om 14.X kommer eller om det blir något fork etc annars fungerar FreeBSD 14(.1) utmärkt på denna hårdvara.

https://www.asus.com/motherboards-components/motherboards/pro...
Ett av de få kort som stödjer ECC och har 2x PCIe 8x och du kan få 5 års garanti på kortet via https://www.asus.com/se/events/infoM/activity_proart5years/ . 2.5Gbe Intel NIC som fungerar fint sen även ett 10G Marvell (Aquantia) som iaf i FreeBSD saknar drivrutiner i skrivande stund.

Ploppa i någon AM5 CPU, förslagsvis någon 65W eller snålare variant. Skippa 7500F eftersom den saknar grafik helt.
https://en.wikipedia.org/wiki/Zen_4#Raphael
Teoretiskt sett beroende på hur bråttom du har så kommer EPYC 4004 serien som är en något uppdaterad variant av Zen 4 men förmodligen inget du märker av i en ras NAS-låda. Det finns direkt motsvarigheter https://www.amd.com/en/products/processors/server/epyc/4004-s... men oklart gällade stöd för moderkort.

Minne, finns lite olika passande ECC varianter men dessa (32Gb) fungerar fint men jag skulle också anta att 5600-varianterna också lirar utan problem. Tänk dock på att det är 3600 som gäller om du vill ha 128Gb så det finns ingen direkt anledning till att kasta pengar på de snabbare minnena. https://eu.crucial.com/memory/server-ddr5/mtc20c2085s1ec48br

Ska du köra utan så funkar Crucials Pro-serie (https://www.idealo.de/preisvergleich/MainSearchProductCategor...) fint utan några bekymmer, tar du något som följer JEDEC så är det i regel inga problem alls oavsett tillverkare av minnen.

LSI/Broadcom är väl ett alternativ men undvik kopior från Kina och den numera lastgamla 2000-serien, räkna med ~200 EUR per kontroller exkl kablage för 3000-serien. Ser du något billigare så är det i regel kopior eller icke genuina kort. Något jag hade tittat på istället för att göra det enkelt är kort med ASM1166 i någon form då de både är billigare, kräver ej aktiv kylning även om någon form av luftflöde är att rekommendera och är vanliga AHCI-kontrollers. Det finns både lösa rent kort som t.ex https://www.silverstonetek.com/en/product/info/expansion-card... , https://www.silverstonetek.com/en/product/info/expansion-card... eller så är du lite kreavtiv https://forum.level1techs.com/t/short-review-edging-asmedia-1... . Kör du dock med SATA kontrollers blir det strul med ditt backplane så du är mer eller mindre låst till HBA-kort.

Tack för tipsen! Stämmer det att backplane har tre kontakter? Borde det inte räcka med de tre av SATA-portarna i moderkortet då istället för att köpa pcie-kort? Eller var det det du syftade på när du nämnde att jag var låst till HBA att jag ska köra ett pcie kort du länkade till?

Om jag istället väljer unraid, står du kvar vid finns rekommendationer eller förändras de något?

Permalänk
Permalänk
Sötast

När man använder ett chassi som detta så är det oftast, om det inte står något annat i dokumentationen (på hårddiskarna) i princip krav på att köra enterprise diskar då de är mycket mer tåliga emot vibrationer än konsumentdiskar.

Men då det handlar om nas, såvida du inte streamar emot kunder eller liknande så gissar jag att du kommer köra spindown på samtliga diskar? Om du inte gillar elräkningar dvs! och då är vibrationsproblemet löst från början.

AMD processorer är helt klart mest strömsnåla - under förutsättningen att man mäter vid höga loads. En nas brukar dock ligga på 0 - 0.05 i load och där är tro det eller ej Intel bra mycket mer strömsnåla än AMD och då snackar vi inte om marginaler utan vi snackar kanske 50% skillnad i realistiska scenarion detta då deras chipsets, powerstates och drivers för detta är mycket mer optimerade.

(Är AMD fanboy)

Bilden är från nas+container VM. Den kör 8 containers varav en är en spelserver

Permalänk
Medlem

@naaw
Enligt tillverkaren så är det 3 kontakter, https://www.inter-tech.de/files/images/ipc/88887354/D-IPC-4U-...
Du verkar också kunna köra SATA direkt men då tappar du halva kapaciteteten på fysiska enheter
För att vara övertydlig, jag har ingen aning om hårdvaran fungerar bra på FreeBSD 13.2 som TrueNAS Core är baserad på men jag kan tänka mig att du kommer få lite problem med kompatibilitet.
Unraid borde fungera på samma hårdvara generellt men inget jag kör så ingen aning hur gammal/ny hårdvara som stöds.

Permalänk
Medlem

Tack för alla förslag och info!

Jag har nu bestämt mig för att det blir unraid, så det jag behöver är rekommendationer som passar till detta OS med det chassi jag valt (om inte någon har tips på något billigare som får plats med 24 diskar och har hotswap).

Det viktigaste jag är ute efter är väl egentligen vad för typ av HBA jag behöver, vilka kablar till dessa och om jag behöver något mer (och i så fall vad) för själva anslutningen av diskar (backplane) till moderkortet. Och kanske vilket moderkort om det skulle krävas något särskilt i det ändamålet. Mest för att jag inte lyckats hitta någon dokumentation där det tydligt framgår vad det är (så att jag vet vad jag behöver), eller så är jag bara korkad.

Det enda har fått fram är att det är ”2x12-way S-ATA/SAS backplane” med ”3x SFF 8087 Socket” och att de noterar följande:

”the backplane is only suitable for operation on a SAS controller with a SFF-8087 connector”

”For operation with a SATA controller, please order the corresponding number of the optional crossed SFF-8087 to 4x SATA cables (88885237).”

Samt att adapterkablar behövs för kontroller med andra kontakter/anslutningar.

I övrigt är det nog inte så svårt att ta reda på vad som behövs då unraid inte verkar så kräset tänker jag. Så CPU, RAM och PSU kan jag nog ta i princip vad som helst (så länge det fungerar mot moderkortet så klart och att PSU är kraftig nog att driva alla diskar, HBA osv)

Permalänk
Medlem

Ser inte riktigt varför du skulle välja UnRAID som är en subscription men upp till dig, hittade ingen uppenbar lista på vad de stödjer för hårdvara så du får väl fråga alt testa och hoppas på det bästa (stödet baserar sig helt vilket moduler de har valt att inkludera etc).

Permalänk
Hedersmedlem
Skrivet av diizzy:

Ser inte riktigt varför du skulle välja UnRAID som är en subscription men upp till dig, hittade ingen uppenbar lista på vad de stödjer för hårdvara så du får väl fråga alt testa och hoppas på det bästa (stödet baserar sig helt vilket moduler de har valt att inkludera etc).

Nu hoppas jag att TS inte tycker jag hijackar tråden här, men UnRAID har ju en del funktioner som inte är så vanliga i övrigt -- rätta mig om jag har fel.
Framför allt är väl en vanlig anledning att välja det möjligheten att blanda storlekar på diskar fritt. Det enda kravet är väl att paritetsdisken (eller diskarna) måste vara störst; men har du en paritetsdisk (eller två) på 20 TB så kan du i övrigt köra 3x8 TB, 6x12 TB och 4x20 TB utan några konstigheter.
Vill du har mer utrymme sen kan du byta ut de minsta diskarna mot större diskar, så har du mer utrymme.
Går detta med något annat än UnRAID?

Utöver det så fungerar det som jag förstått som så att om en disk dör, och alla paritetsdiskar också dör, så förlorar du enbart data på den trasiga disken, medan datan på alla andra är kvar. Med RAIDZ/RAID5/RAID6 är det ju i regel svårt att få fram mycket data från någon disk i det fallet pga striping.

Visa signatur

Asus ROG STRIX B550-F / Ryzen 5800X3D / 48 GB 3200 MHz CL14 / Asus TUF 3080 OC / WD SN850 1 TB, Kingston NV1 2 TB + NAS / Corsair RM650x V3 / Acer XB271HU (1440p165) / LG C1 55"
NAS: 6600K/16GB/Debian+ZFS | Backup (offsite): 9600K/16GB/Debian+ZFS

Permalänk
Medlem
Skrivet av diizzy:

Ser inte riktigt varför du skulle välja UnRAID som är en subscription men upp till dig, hittade ingen uppenbar lista på vad de stödjer för hårdvara så du får väl fråga alt testa och hoppas på det bästa (stödet baserar sig helt vilket moduler de har valt att inkludera etc).

Det är subscription om man vill per år (för uppdateringar). Eller så betalar man en engångskostnad för uppdateringar ”för evigt” som jag förstått det. Kanske har jag fel?

Skrivet av Thomas:

Nu hoppas jag att TS inte tycker jag hijackar tråden här, men UnRAID har ju en del funktioner som inte är så vanliga i övrigt -- rätta mig om jag har fel.
Framför allt är väl en vanlig anledning att välja det möjligheten att blanda storlekar på diskar fritt. Det enda kravet är väl att paritetsdisken (eller diskarna) måste vara störst; men har du en paritetsdisk (eller två) på 20 TB så kan du i övrigt köra 3x8 TB, 6x12 TB och 4x20 TB utan några konstigheter.
Vill du har mer utrymme sen kan du byta ut de minsta diskarna mot större diskar, så har du mer utrymme.
Går detta med något annat än UnRAID?

Utöver det så fungerar det som jag förstått som så att om en disk dör, och alla paritetsdiskar också dör, så förlorar du enbart data på den trasiga disken, medan datan på alla andra är kvar. Med RAIDZ/RAID5/RAID6 är det ju i regel svårt att få fram mycket data från någon disk i det fallet pga striping.

Ja men precis, möjligheten till att lättare utöka med större diskar (när alla platser är upptagna) är även en stor anledning.

Permalänk
Medlem
Skrivet av Thomas:

Nu hoppas jag att TS inte tycker jag hijackar tråden här, men UnRAID har ju en del funktioner som inte är så vanliga i övrigt -- rätta mig om jag har fel.
Framför allt är väl en vanlig anledning att välja det möjligheten att blanda storlekar på diskar fritt. Det enda kravet är väl att paritetsdisken (eller diskarna) måste vara störst; men har du en paritetsdisk (eller två) på 20 TB så kan du i övrigt köra 3x8 TB, 6x12 TB och 4x20 TB utan några konstigheter.
Vill du har mer utrymme sen kan du byta ut de minsta diskarna mot större diskar, så har du mer utrymme.
Går detta med något annat än UnRAID?

Utöver det så fungerar det som jag förstått som så att om en disk dör, och alla paritetsdiskar också dör, så förlorar du enbart data på den trasiga disken, medan datan på alla andra är kvar. Med RAIDZ/RAID5/RAID6 är det ju i regel svårt att få fram mycket data från någon disk i det fallet pga striping.

Om vi bortser från faktumet att det upplägget kommer ge usel prestanda och eventuella lite andra lustiga "egenskaper" så verkar det vara lite mer invecklat när du blandar diskar så det är absolut inget jag skulle förlita mig på, sen vettefasen om jag skule köra på XFS idag som verkar vara krav(?).

@naaw
Verkar finnas någon sådan baserat på antal diskar, frågan är väl mest varför när du har kompetenta eller tom bättre alterantiv men ser du värde i det så är det väl bra. Det du efterfrågar i sig är ju inte direkt superkomplicerat.

Permalänk
Medlem
Skrivet av diizzy:

Om vi bortser från faktumet att det upplägget kommer ge usel prestanda och eventuella lite andra lustiga "egenskaper" så verkar det vara lite mer invecklat när du blandar diskar så det är absolut inget jag skulle förlita mig på, sen vettefasen om jag skule köra på XFS idag som verkar vara krav(?).

@naaw
Verkar finnas någon sådan baserat på antal diskar, frågan är väl mest varför när du har kompetenta eller tom bättre alterantiv men ser du värde i det så är det väl bra. Det du efterfrågar i sig är ju inte direkt superkomplicerat.

Varför skulle det ge usel prestanda? Som jag förstår det då blir prestandan detsamma som den disk det läser ifrån (?). Vet inte om jag skulle kalla det uselt. Visst i jämförelse mot raid, men gott nog för att läsa för en stream eller ett par. Och skrivning kunde man nog förbättra genom att använda cache (pool) med SSD-diskar (en eller två).

Som jag förstått det så finns även zfs, men då med de ”begränsningar” som gjorde att jag valde unraid istället. Tror även det finns BTRFS som val. Sen kanske det inte framgick i mitt första inlägg tydligt nog, men det handlar ju inte om någon Enterprise installation, det är hemmabruk som gäller för lagring av filmer och serier endast.

Kan väl tillägga att jag inte helt stängt dörren för TrueNAS. Men i och med att jag inte ens lyckas klura ut vad jag ska ha för grejer för att ansluta Backplane till moderkortet och hur många av varje grej så kände jag väl att kanske unraid var lite lättare att komma igång med.

Permalänk
Medlem
Skrivet av naaw:

Varför skulle det ge usel prestanda? Som jag förstår det då blir prestandan detsamma som den disk det läser ifrån (?). Vet inte om jag skulle kalla det uselt. Visst i jämförelse mot raid, men gott nog för att läsa för en stream eller ett par. Och skrivning kunde man nog förbättra genom att använda cache (pool) med SSD-diskar (en eller två).

Som jag förstått det så finns även zfs, men då med de ”begränsningar” som gjorde att jag valde unraid istället. Tror även det finns BTRFS som val. Sen kanske det inte framgick i mitt första inlägg tydligt nog, men det handlar ju inte om någon Enterprise installation, det är hemmabruk som gäller för lagring av filmer och serier endast.

Kan väl tillägga att jag inte helt stängt dörren för TrueNAS. Men i och med att jag inte ens lyckas klura ut vad jag ska ha för grejer för att ansluta Backplane till moderkortet och hur många av varje grej så kände jag väl att kanske unraid var lite lättare att komma igång med.

Tja, du kan ju alltid börja med TrueNAS och visar det sig inte funka med din hårdvara så byt då till unraid.

Själv kör jag med Linux mdadm. Inte optimalt men när jag började med raid för 20+ år sen fanns inte ovanstående alternativ.
Det är inte lika flexibelt som unraid men mer än TrueNAS. Tex säg jag vill ha en raid5 och har 2x6TB + 2x3TB +3x2TB så kan jag göra en JBOD eller raid0 av 2x3TB så får jag en 6TB area, sen samma med 3x2TB. Då har jag 4x6TB så med raid5 blir det 18TB användbart.

Finns även annat scenario. Säg jag har en server (1U) som bara tar 4 diskar. Då kan jag t.ex. partitionera 40GB + ~6TB på alla diskar.
/dev/sda1 blir då boot + os, sdb1, sdc1, sdd1 kan bli en raid 5 -> 80GB till t.ex. /home + swapfil. sda2 .. sdd2 blir min raid5 array som ger nästan 18 TB. Då Linux har bra disk-cache så blir det bara lite långsam start men sen rullar allt på bra om man har nog med ram.

Permalänk
Medlem
Skrivet av SAFA:

Tja, du kan ju alltid börja med TrueNAS och visar det sig inte funka med din hårdvara så byt då till unraid.

Själv kör jag med Linux mdadm. Inte optimalt men när jag började med raid för 20+ år sen fanns inte ovanstående alternativ.
Det är inte lika flexibelt som unraid men mer än TrueNAS. Tex säg jag vill ha en raid5 och har 2x6TB + 2x3TB +3x2TB så kan jag göra en JBOD eller raid0 av 2x3TB så får jag en 6TB area, sen samma med 3x2TB. Då har jag 4x6TB så med raid5 blir det 18TB användbart.

Finns även annat scenario. Säg jag har en server (1U) som bara tar 4 diskar. Då kan jag t.ex. partitionera 40GB + ~6TB på alla diskar.
/dev/sda1 blir då boot + os, sdb1, sdc1, sdd1 kan bli en raid 5 -> 80GB till t.ex. /home + swapfil. sda2 .. sdd2 blir min raid5 array som ger nästan 18 TB. Då Linux har bra disk-cache så blir det bara lite långsam start men sen rullar allt på bra om man har nog med ram.

Ja det återstår att se om jag lyckas få ihop någon hårdvara alls.

Permalänk
Medlem
Skrivet av Allexz:

När man använder ett chassi som detta så är det oftast, om det inte står något annat i dokumentationen (på hårddiskarna) i princip krav på att köra enterprise diskar då de är mycket mer tåliga emot vibrationer än konsumentdiskar.

Men då det handlar om nas, såvida du inte streamar emot kunder eller liknande så gissar jag att du kommer köra spindown på samtliga diskar? Om du inte gillar elräkningar dvs! och då är vibrationsproblemet löst från början.

AMD processorer är helt klart mest strömsnåla - under förutsättningen att man mäter vid höga loads. En nas brukar dock ligga på 0 - 0.05 i load och där är tro det eller ej Intel bra mycket mer strömsnåla än AMD och då snackar vi inte om marginaler utan vi snackar kanske 50% skillnad i realistiska scenarion detta då deras chipsets, powerstates och drivers för detta är mycket mer optimerade.

(Är AMD fanboy)

<Uppladdad bildlänk>

Bilden är från nas+container VM. Den kör 8 containers varav en är en spelserver

<Uppladdad bildlänk>

Har du något förslag på en intel CPU som skulle passa bra för mitt ändamål?

Permalänk
Medlem

varför inte truenas scale ? linux baserad och de kommer helt gå över till linux , tyvärr kanske man ska säga.

Visa signatur

Nätverksnörd

Permalänk
Medlem

@naaw
Problemet med prestanda är att olika modeller och olika storlekar har olika prestanda och förutsatt att det är någon form av integritet så kommer alla diskar få "vänta" på varandra vilket inte är speciellt optimalt och ger oftast mycket dålig prestanda jämfört med "matchade" diskar. BTRFS är väl dessutom fortfarande inte rekommenderat för något annat än mirror (RAID-1). Skulle vilja påstå att du inte direkt kommer spara något genom att försöka "lappa ihop" en trasig setup från början. Ser inte riktigt problemet med att du helt enkelt kör med separata arrays om det så önskas speciellt när du börjar från "scratch". Någon enhetför slog eller l2arc eller motsvarande är närmast bortkastat för dig i praktiken med tanke på hur "workload".

Om du prompt ska ha Intel så 12:e gen eller nyare, dock blir det inget stöd gör ECC om du inte köper ett moderkort med W-chipset och då behöver du hålla koll på vilka CPUs som stöds med ECC för det är inte alla i serierna.

Permalänk
Medlem
Skrivet av moire:

varför inte truenas scale ? linux baserad och de kommer helt gå över till linux , tyvärr kanske man ska säga.

Den absolut största anledningen är för att jag inte kommer köpa 24 diskar med en gång (jag är inte rik) och att lägga till diskar hela tiden till en befintlig raidz är som jag förstått det inte någon lätt grej samt lär ju slita på diskarna varje gång (?)

Sen att unraid har möjlighet att byta ut diskar till större när alla platser väl är fulla är en grej, även om det sannolikt är långt in i framtiden (om det sker).

Den största nackdelen är väl diskprestandan, som är den största (enda?) anledningen till att jag fortfarande funderar på TrueNAS.

Har dock fått hjälp av the wizard of nas att välja HBA och expander (samt kablar), så nu sitter jag mest och försöker få fram något vettigt moderkort och processor samt så klart PSU som kan driva grejerna.

Sen tar jag väl och hittar RAM och extra nätverkskort sist.

Permalänk
Medlem

Varför du ska krångla med expanders som många gånger är mer problem än nytta?

Förstår inte riktigt vad problemet är att du har flera vdevs eller motsvarande?

Permalänk
Medlem
Skrivet av diizzy:

Varför du ska krångla med expanders som många gånger är mer problem än nytta?

Förstår inte riktigt vad problemet är att du har flera vdevs eller motsvarande?

Hur har du annars tänkt att det ska kopplas in från Backplane (som är pass through, dvs saknas expander) till HBA?

Problemet är väl att jag förlorar en jävla massa disk per vdev om det ska vara raidz2. Är väl två disk per vdev istället för två diskar totalt.

Permalänk
Medlem
Skrivet av naaw:

Den absolut största anledningen är för att jag inte kommer köpa 24 diskar med en gång (jag är inte rik) och att lägga till diskar hela tiden till en befintlig raidz är som jag förstått det inte någon lätt grej samt lär ju slita på diskarna varje gång (?)

Sen att unraid har möjlighet att byta ut diskar till större när alla platser väl är fulla är en grej, även om det sannolikt är långt in i framtiden (om det sker).

Den största nackdelen är väl diskprestandan, som är den största (enda?) anledningen till att jag fortfarande funderar på TrueNAS.

Har dock fått hjälp av the wizard of nas att välja HBA och expander (samt kablar), så nu sitter jag mest och försöker få fram något vettigt moderkort och processor samt så klart PSU som kan driva grejerna.

Sen tar jag väl och hittar RAM och extra nätverkskort sist.

ok! ja du addderar vdev till en pool, det är så zfs är tänkt att användas.

för mirror 2 diskar, z1 3 diskar åtgången osv.

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av moire:

ok! ja du addderar vdev till en pool, det är så zfs är tänkt att användas.

för mirror 2 diskar, z1 3 diskar åtgången osv.

Precis, så med 24 diskar och raidz2 så förlorar jag totalt 6 diskar (8x3 vdev), på 20TB diskar är det då 120TB. Mot unraid 2 parity (totalt 40TB förlorat). Lite skillnad både i förlorad lagring men även kostnad, eller kanske t.o.m. framförallt kostnad. Särskilt när jag inte bryr mig nämnvärt om upptiden eller förlust av datan.

Dessutom behöver jag ju då köpa 8st 20tb-diskar åt gången, det blir i runda slängar 40 tusen varje gång. istället för köpa en eller två diskar åt gången när det börjar bli fullt.

Permalänk
Medlem
Skrivet av naaw:

Precis, så med 24 diskar och raidz2 så förlorar jag totalt 6 diskar (8x3 vdev), på 20TB diskar är det då 120TB. Mot unraid 2 parity (totalt 40TB förlorat). Lite skillnad både i förlorad lagring men även kostnad, eller kanske t.o.m. framförallt kostnad. Särskilt när jag inte bryr mig nämnvärt om upptiden eller förlust av datan.

JA du måste bestämma layout oavsett system dock.

men truenas har sponsrat arbete för att expandera raidz

https://x.com/kmooresays/status/1673792749672210434
https://github.com/openzfs/zfs/pull/15022

Visa signatur

Nätverksnörd

Permalänk
Medlem
Skrivet av moire:

JA du måste bestämma layout oavsett system dock.

men truenas har sponsrat arbete för att expandera raidz

https://x.com/kmooresays/status/1673792749672210434
https://github.com/openzfs/zfs/pull/15022

”In the future” kan ju dock betyda lite när som helst.

Och att man får bestämma layout oavsett system förändrar ingenting. Fortfarande rejält mycket dyrare up-front kostnad att dra igång en zfs raidz än att börja med unraid. Mycket billigare att utöka lagringen vid varje tillfälle det görs och man kan i nuläget dessutom börja med mindre diskar och köpa större vid behov senare.

Jag brukar inte hoppa på grejer bara för att de annonser att det möjligtvis kanske sannolikt kommer en funktion någon gång om ett tag någonstans i framtiden.

Är ju inte direkt så att man är du sugen på att byta ut hela systemet när man väl börjat använda det och använt det i ett par år och kanske har 50TB+ lagrat.

Men, trots allt det där så lockar det ändå med raidz mot ”en disks”-hastigheten i unraid. Även om jag sannolikt inte kommer behöva den prestandan till mitt användningsområde.

Nu var det ju dock inte tänkt att bli en diskussion om TrueNAS (zfs/raidz) vs unraid utan snarare om vad för hårdvara som skulle vara vettig till mitt användningsområde och till det chassi och antal diskar jag ska köra och till unraid.

Permalänk
Medlem
Skrivet av naaw:

”In the future” kan ju dock betyda lite när som helst.

Och att man får bestämma layout oavsett system förändrar ingenting. Fortfarande rejält mycket dyrare up-front kostnad att dra igång en zfs raidz än att börja med unraid. Mycket billigare att utöka lagringen vid varje tillfälle det görs och man kan i nuläget dessutom börja med mindre diskar och köpa större vid behov senare.

Jag brukar inte hoppa på grejer bara för att de annonser att det möjligtvis kanske sannolikt kommer en funktion någon gång om ett tag någonstans i framtiden.

Är ju inte direkt så att man är du sugen på att byta ut hela systemet när man väl börjat använda det och använt det i ett par år och kanske har 50TB+ lagrat.

Men, trots allt det där så lockar det ändå med raidz mot ”en disks”-hastigheten i unraid. Även om jag sannolikt inte kommer behöva den prestandan till mitt användningsområde.

Nu var det ju dock inte tänkt att bli en diskussion om TrueNAS (zfs/raidz) vs unraid utan snarare om vad för hårdvara som skulle vara vettig till mitt användningsområde och till det chassi och antal diskar jag ska köra och till unraid.

Ännu billigare är det med snapraid och mergerfs Snarlikt unraid, men skapar inte paritet inline. Du är då inte heller låst till ett OS.

Visa signatur

+++ Divide By Cucumber Error. Please Reinstall Universe And Reboot +++

"Real stupidity beats artificial intelligence every time." - Terry Pratchett, Hogfather

Permalänk
Medlem
Skrivet av naaw:

Hur har du annars tänkt att det ska kopplas in från Backplane (som är pass through, dvs saknas expander) till HBA?

Problemet är väl att jag förlorar en jävla massa disk per vdev om det ska vara raidz2. Är väl två disk per vdev istället för två diskar totalt.

Jag som är lite trött när jag läste tidigare, det är 2x 12-portars backplane dvs 6 kontakter totalt så ta ett eller två HBA beroende på vilken kapacitet du väljer och bara koppla in.
https://docs.broadcom.com/doc/pub-005090

Det gör det också möjligt att använda vanliga AHCI (SATA-adaptrar) också iaf i teorin sen behöver inte just det där backplane(:et) stödja det.

Permalänk
Sötast
Skrivet av naaw:

Har du något förslag på en intel CPU som skulle passa bra för mitt ändamål?

Då det handlar om nas och hobby och videouppspelning så fungerar i princip vad som helst.

Valfri i3 eller i5 brukar ha generellt låg strömförbrukning i snitt med vissa lägre än andra.
Den första jag körde unraid på var en 3570k och den drog 35watt... Och då var snitt usage runt 2-3 av cpun... Dvs en 12gen är som att köpa en Maserati för att köra sten till kolonin.

Att gå det senaste är bara rent utkastade pengar.

Även om jag själv kör zfs för ett fåtal diskar på min hypervisor så gör jag det av en anledning och det är inte relaterat till mediashares.

För media är alla typer av raid och även zfs upp i skogen overkill och helt och hållet onödigt för en nas.

Det är dock vanligt att man blir rekommenderat sådant av folk som gärna lägger mer på utrustningen än på filmerna

Unraid har mest troligt de lägsta hastigheterna av samtliga metoder och ändå är det fullt normalt att landa någonstans mellan 50-110 MB/s
Dvs en halv till en gigabit.
Filmers bitrate, låt säga 4K ligger nånstans mellan 3-10MB/s.

Unraid är också tveklöst det absolut lättaste att sätta upp och det absolut lättaste att addera diskar till. Din enda begränsning är antalet sata portar i princip.

Åhh titta en 4TB disk som låg i tvättlådan! Bara att trycka in. Epic.

Sist men inte minst har jag personligen helt lämnat raid bakom mig så det är för dyrt för sin användning. Varför spegla hela diskar, dvs betala för 40TB och få 20TB?

Istället köper jag 40TB disk och sedan har jag en folder på varje disk som är speglad till samtliga diskar. Men det är bara exakt den kritiska lilla datan som speglas om och om igen. Inte all data.

Min kritiska data visade sig bara vara lite mer än 600GB. Tänk att jag en gång i tiden höll på att raida stora hela diskar för något så litet?

Å andra sidan så bygger jag för mig själv och inte för att imponera på reddit

Edit: och nu äntrar jag helig mark och riskeras att portas ut i öknen mot alla som kör servrar på swec...
Men hba är sjukt overkill för lite skitlagring som media.

En billig sketen asmedia kontroller räcker gott och väl för en hemmanas med icke kritisk data.
1/5 - 1/10 av priset och noll komplexitet. Bara koppla sata från disk till kontroller och sedan är biffen fixad. Man bör dock veta att det kommer till en prestandaförlust om man flyttar mkt data oavsett riktning.

Läs på om dem på unraids forum...

https://forums.unraid.net/topic/102010-recommended-controller...
Jag kör sedan flera år:
SATA controller: ASMedia Technology Inc. ASM1166 Serial ATA Controller (rev 02)
Har aldrig orsakat ett fel.

Permalänk
Medlem
Skrivet av diizzy:

Jag som är lite trött när jag läste tidigare, det är 2x 12-portars backplane dvs 6 kontakter totalt så ta ett eller två HBA beroende på vilken kapacitet du väljer och bara koppla in.
https://docs.broadcom.com/doc/pub-005090

Det gör det också möjligt att använda vanliga AHCI (SATA-adaptrar) också iaf i teorin sen behöver inte just det där backplane(:et) stödja det.

Ok, vad är dessa problem som du säger kan uppstå med expander?

Permalänk
Medlem
Skrivet av naaw:

Ok, vad är dessa problem som du säger kan uppstå med expander?

Det är främst kompatibilitet som kan vara struligt men kan du få det att fungera så fungerar det i regel bra, generella rekommendationen är att inte hoppa mellan olika tillverkare av chipset om möjligt. I ditt fall så ser jag inte varför du inte bara skulle köra med en eller två HBAs istället vilket bör vara i liknande prisläge eller ev billigare och skippa en expander förutsatt att du skaffar ett modekort med 2x - 8x PCIe kortplatser.