Nackdelar med 8 diskar i raidz2?

Permalänk
Medlem

Nackdelar med 8 diskar i raidz2?

Jag sitter och drömmer om att uppgradera utrymmet på servern som kör Freenas.

Jag har spenderat alldeles för många timmar med att jämföra allt från hårddiskar till chassin och efter att äntligen bestämt mig snubblade jag över lite info som gör mig osäker.

Jag hade tänkt använda åtta diskar i raidz2 men sen läste jag på olika ställen att just åtta hårddiskar dels ger något sämre prestanda men framförallt att extra mycket utrymme försvinner. Detta om man jämför med t.ex. sex diskar i raidz2.

Trots att jag kört Freenas ett tag nu har jag nästintill noll koll på ZFS. Hoppas på att någon orkar hålla mig i handen och förklara som om jag vore en femåring hur det står till.

Frågorna:
Hur mycket extra utrymme försvinner om jag använder åtta stycken 6TB-diskar?
Är prestandaförlusten märkbar?
Hur hade ni gjort? Fler/färre hårddiskar? Annan sorts raid?

98 % av användningen är mediaserver, torrents och backup så en mindre prestandaförlust är inget större bekymmer även om det föstås är tråkigt.

Permalänk
Medlem

Det försvinner inte mer utrymme för att du kör fler diskar, i alla fall var det inte så när jag satte upp min burk. Vid RAIDZ2 förlorar du 2 diskar för paritet, så har du 6 diskar kan du utnyttja 4st (66,6%), har du 8 diskar kan du utnyttja 6st (75%).

När det gäller prestandan så har det med att optimalt är att ha antalet datadiskar i en multipel av 2 (2, 4, 8), alltså 6 diskar totalt ger dig 4 datadiskar medan 8 diskar ger dig 6 datadiskar vilket inte är en multipel av 2.

Jag gick stenhårt på detta själv med prestandan och skapade istället en pool bestående av 2st vdevs med 6st diskar i RAIDZ2 var. Körde en massa tester och jag det skilde en del i prestanda men inget enormt. Har för mig jag ligger mellan 5-700MB/s på min pool med 12st gamla sunkiga 5900rpm diskar.

Då alla tester med råge fyllde upp en 1Gbit/s länk så hade jag idag inte gjort på detta sättet utan kanske som du kört en 8-diskars RAIDZ2 istället, detta då mitt behov var likt ditt i stort sett enbart arkivering och inte något avancerat som behöver all denna prestanda. Planerar man för eller har behov av 10Gbit/s nätverk så är det ju en annan femma.

Annars gör lite tester med olika konfig innan du bestämmer dig, dock får man ju om man inte har 10Gbit/s nätverk testa internt på servern t.ex. med dd kommando som kopierar till NULL eller läser från RAM, bara att googla fram hur.

Permalänk
Medlem
Skrivet av b1ghen:

Annars gör lite tester med olika konfig innan du bestämmer dig, dock får man ju om man inte har 10Gbit/s nätverk testa internt på servern t.ex. med dd kommando som kopierar till NULL eller läser från RAM, bara att googla fram hur.

När det gäller tester så testa t.ex. en RAIDZ2 med 4 diskar mot en med 5 diskar. 4 diskar ger ju 2 datadiskar så optimalt och 5 diskar ger 3 datadiskar så inte optimalt. I vanlig RAID ger ju fler spindlar (diskar) oftast mer prestanda men i detta fallet borde det bli tvärtom att 4 diskar är snabbare än 5.

Permalänk
Medlem
Skrivet av b1ghen:

När det gäller tester så testa t.ex. en RAIDZ2 med 4 diskar mot en med 5 diskar. 4 diskar ger ju 2 datadiskar så optimalt och 5 diskar ger 3 datadiskar så inte optimalt. I vanlig RAID ger ju fler spindlar (diskar) oftast mer prestanda men i detta fallet borde det bli tvärtom att 4 diskar är snabbare än 5.

Nyfiken på varför det blir så.
Har du någon bra förklaring?

Permalänk
Medlem

Kör mirrored vdevz istället. Raid 10
Detta som rekommenderas idag för det mesta ifall du ska köra många och stora diskar

Visa signatur

Citera för svar!

Permalänk
Medlem

Mycket oinformerat svammel om ZFS.. ett tips är att ställa dessa frågor direkt på FreeNAS forum. Ett annat bra sätt är att använda en kompetent kalkylator e.g. https://wintelguy.com/zfs-calc.pl/?raidtype=R1&ndg=2&ng=1&zmd...

Skickades från m.sweclockers.com

Permalänk
Medlem

Jag kör 2st stripade vdevs med raidz2 med 8 diskar vardera. Man förlorar marginellt med utrymme pga "padding", typ beräkning av paritetsdata jämfört med att köra 6 eller 10 diskar. Det är dock verkligen marginellt och jag hade inte bekymrat mig om det.

Jag hade önskat att prestandan, speciellt random iops var högre. Det finns så jäkla många faktorer som påverkar och jag orkar inte felsöka allting. Om du främst lagrar stora filer så kommer det vara bra prestanda. Om du typ jobbar med många bilder, små skrivoperationer samtidigt kommer det inte vara så bra prestanda (i min mening).

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av Trunk:

Frågorna:
Hur mycket extra utrymme försvinner om jag använder åtta stycken 6TB-diskar?
Är prestandaförlusten märkbar?
Hur hade ni gjort? Fler/färre hårddiskar? Annan sorts raid?

98 % av användningen är mediaserver, torrents och backup så en mindre prestandaförlust är inget större bekymmer även om det föstås är tråkigt.

1) Beror på vilken recordsize du använder för att skriva datan till disken. För dina användningsområden är detta närapå irrelevant.
https://www.delphix.com/blog/delphix-engineering/zfs-raidz-st...

2) Om du har 10Gbitsnät kanske den är mätbar, inte märkbar.

3) Du kommer påverkas mer negativt prestandamässigt av att zpoolen blir fylld än av att antalet datadiskar inte är jämnt delbart med en tvåpotens, så dimensionera utrymmet för att du ska ha möjlighet att köpa mer utrymme innan det är 80-90% fullt.