Stora lagringsvolymer

Permalänk
Medlem

Stora lagringsvolymer

Hej

Har bytt raidkort och ska nu börja leta nya diskar. De två gamla servrarna får agera backup tills vidare och består av 8x 4TB samt 12x 4TB. Jag funderar nu på att gå upp till åtta eller 10TB diskar skulle varit klar med detta innan årsskiftet men så kom som vanligt en massa annat i vägen. Nu är det dock dags och det kliar i avtryckarfingret - MEN - så blir jag återigen så där tveksam. Hur ska diskarna formeras?

Nu kör jag Raid6 på två stora uppsättningar och Raid5 på fyra diskar och blir lite kluven om jag vågar köra Raid6 på åtta 10TB diskar. En rebuild borde ta en vecka eller där runt vilket är en lång tid. I och med att jag har ECC ram funderar jag på att ge mig på ZFS igen men tyckte inte FreeNas var bra nog i version 9.2 vilket borde ha varit för 2-3 år sedan om jag minns rätt. Är detta ett bättre alternativ för mig tro?

Permalänk
Skrivet av MsSmith:

Nu kör jag Raid6 på två stora uppsättningar och Raid5 på fyra diskar och blir lite kluven om jag vågar köra Raid6 på åtta 10TB diskar. En rebuild borde ta en vecka eller där runt vilket är en lång tid.

Hmm, svaret på den här frågan beror nog till stor del på vilken workload du har och i vilken utsträckning RAID-funktionen kan konfigureras att fördela lagringens arbetsbelastning mellan nyttolast och rebuild. Samt naturligtvis användarnas/verksamhetens tolerans för försämrad prestanda under en begränsad tid.
Flertalet RAID-kort kan enbart prioritera nyttolast vs. rebuild baserat på hur stor andel av tiden raidkontrollern (inte diskarna själva) ägnar sig åt endera typen av jobb. Detta blir lite trubbigt (det går t ex inte att lova ett visst antal IOPS till nyttolast), men fungerar förvånansvärt bra ändå.

Linux' mjukvaruraid verkar vara lite smartare. Där går det att sätta max- och minvärden för hur många KB/s/disk som ska rebuildas, vilket gör att administratören i alla fall kan styra rebuildprocessen à la "det ska vara klart på måndag morgon, fram tills dess kommer prestandan att vara lägre än normalt".

ZFS (på Solaris) placerar sig någonstans mitt emellan. OBS: Resilverprestanda i OpenZFS (som används i många NAS-OS) var för några år sedan bedrövlig jämfört med ZFS i Solaris och motsvarande RAID/LVM-funktioner. Kan ha blivit bättre, förstås.

Skrivet av MsSmith:

I och med att jag har ECC ram funderar jag på att ge mig på ZFS igen men tyckte inte FreeNas var bra nog i version 9.2 vilket borde ha varit för 2-3 år sedan om jag minns rätt. Är detta ett bättre alternativ för mig tro?

Kanske. ZFS har en massa funktionalitet som normalt sett brukar vara utspridd över lagringsstacken: integritetskontroll, flytt av data över nätverk, hantering av logiska volymer, journalering, viss cachning. Om du bara tänkt använda ZFS som en rak ersättare för den funktion som RAID levererar i din nuvarande lösning är det kanske inte värt krånglet, men om du tänkt använda några av ZFS' andra funktioner kan det vara det.

OBS: Förr i ti'n var resilvering i OpenZFS bedrövligt långsam. Det kan ha blivit bättre, men det är definitivt något att hålla koll på.

Permalänk
Medlem

Hmm många bra resonemang där. Känns inte riktigt som att ZFS är helt redo ännu för min del. Största nackdelen verkar vara (om det stämmer, och jag inte missförstått något) att om man har flera VDEVs i en pool och tappar en VDEV helt så försvinner hela poolen, dvs datan borta. Hade annars varit en fin lösning då jag skulle kunna kombinerat moderkortets SATA portar med kontrollerkortets och haft fler diskar (chassit tar emot tolv 3,5" enheter).

Verkar också vara fördelaktigt att köra Raid6 på fyra diskar istället för Raid1 (tappa två valfria diskar istället för att riskera att tappa antingen 0 och 0 eller 1 och 1) vilket egentligen för tankarna mot att köra två uppsättningar i Raid5 istället (ja jag vet, men girig på data och har backup) i 4x 10TB.

Hade ZFS varit bättre dokumenterat vid problem (vilket var själva anledningen till att jag frångick ZFS för ett par år sedan) så hade jag varit mer lockad att försöka igen nu och kanske gått för VDEVs på fem diskar i Raidz2 men är fortfarande skeptiskt.

Tack för ett bra svar!

Permalänk

Lite OT,men vad gör man idag med så mycket lagringsutrymme? Jag menar det mesta mediaväg streamas ju online. Bortsett från ev spel så vad mer?

Mvh en fundersam snubbe.

Visa signatur

| Asus Z170-A | i5 6600K | ASUS R7 260x | 2*4Gb ddr4 2666 | corsair cx750m | Phanteks eclipse p400 |

Permalänk
99:e percentilen

Du behöver inte köra FreeNAS för att köra ZFS. Jag har precis sparkat igång en filserver med Ubuntu Server och tre diskar i RAIDZ. Du kan ha i princip hur många diskars redundans du vill; dessutom en ersättningsdisk som inte används till något förrän någon disk dör, varpå den automatiskt ersätter den trasiga.

Visa signatur

Skrivet med hjälp av Better SweClockers

Permalänk
Medlem
Skrivet av OpWildChild:

Lite OT,men vad gör man idag med så mycket lagringsutrymme? Jag menar det mesta mediaväg streamas ju online. Bortsett från ev spel så vad mer?

Mvh en fundersam snubbe.

Ja du, det har väl varit en hobby att ha filserver sedan tidigt 2000-tal. Första "seriösa" uppsättningen bestod av 8x 160gb samsung diskar och Windows Server 2003. Mest på skoj egentligen men... ja du vet hur det blir sen. Har en stor musiksamling och samlade på bootlegs av Springsteen och Metallica och redan på den tiden var samlingen uppe i 100 000- talet låtar.

Sedan kom en filmperiod i livet i och med intåget av 720p och 1080p standarden. Föredrog - och föredrar fortfarande - en digital samling framför det fysiska mediumet. Streaming via Netflix och liknande i all ära, men bild och ljudkvaliteten är inte i klass med vad en blu ray kan leverera.

Nu kör jag backuper (fulla avbilder) av alla husens system, företagens klienter etc så det blir en del data.

Till slut, när jag uppgraderar så brukar jag vilja dubbla utrymmet på diskarna så det ter sig logiskt att kliva upp till denna storlek. Dock är tekniken densamma och nu börjar nackdelarna synas.

Skrivet av Alling:

Du behöver inte köra FreeNAS för att köra ZFS. Jag har precis sparkat igång en filserver med Ubuntu Server och tre diskar i RAIDZ. Du kan ha i princip hur många diskars redundans du vill; dessutom en ersättningsdisk som inte används till något förrän någon disk dör, varpå den automatiskt ersätter den trasiga.

Ja detta var på ingång för några år sen. Problematiken har inte varit FreeNas i sig själv tror jag utan dokumentationen runt ZFS och vad som sker när något går fel, exempelvis en disk dör. På den tiden gick det inte att få fram exakt vilken disk det var som kraschade, hur långt en resilver hade kommit eller hur långt en scrubb hade kommit - något som jag verkligen vill veta.

Permalänk
Skrivet av MsSmith:

Största nackdelen verkar vara (om det stämmer, och jag inte missförstått något) att om man har flera VDEVs i en pool och tappar en VDEV helt så försvinner hela poolen, dvs datan borta.

Ja, ungefär. ZFS har ingen mekanism för redundans på pool-nivå. Det kan naturligtvis gå att återställa delar av lagrade data med tredjepartsverktyg eller tålamod, men ZFS kan inte själv återställa poolen till ett konsistent tillstånd.

Skrivet av MsSmith:

Hade annars varit en fin lösning då jag skulle kunna kombinerat moderkortets SATA portar med kontrollerkortets och haft fler diskar (chassit tar emot tolv 3,5" enheter).

Hmm, men det går väl att skapa en vdev av typen raid-z (eller mirror, om man gillar sån't) som innehåller diskar från flera kontrollrar? Visserligen blir det en del bokföringsjobb och manuella handgrepp för att fördela kopior av data över så många diskkontrollrar som möjligt...

Skrivet av MsSmith:

Verkar också vara fördelaktigt att köra Raid6 på fyra diskar istället för Raid1

Ur dataintegritetssynpunkt: ja. Rå skrivprestanda hos en raidsexa blir dock ≈1/3 av skrivprestandan hos en raid10, givet samma diskar. (Cachning, journalering och konsolidering av skrivningar på överliggande lager i stacken kan dock förbättra skrivprestandan hos raid5/6 en hel del, på bekostnad av att pinfärska skrivningar inte hinner hamna på disk vid strömavbrott eller liknande.)

Skrivet av MsSmith:

vilket egentligen för tankarna mot att köra två uppsättningar i Raid5 istället (ja jag vet, men girig på data och har backup) i 4x 10TB.

Två separata uppsättningar med olika data på eller två sammanslagna raidfemmor (antingen i raidkontrollern, dvs en RAID50, eller i ovanliggande logiska volymhantering)?

Permalänk
Medlem
Skrivet av Hieronymus Bosch:

Ja, ungefär. ZFS har ingen mekanism för redundans på pool-nivå. Det kan naturligtvis gå att återställa delar av lagrade data med tredjepartsverktyg eller tålamod, men ZFS kan inte själv återställa poolen till ett konsistent tillstånd.

Lite synd, hade hellre sett att man lägger till och tar bort VDEVs som man känner för och att de hålls separat men det är som det är.

Citat:

Hmm, men det går väl att skapa en vdev av typen raid-z (eller mirror, om man gillar sån't) som innehåller diskar från flera kontrollrar? Visserligen blir det en del bokföringsjobb och manuella handgrepp för att fördela kopior av data över så många diskkontrollrar som möjligt...

Ja men ovanstående bygger på att man kan ha flera VDEVs i en pool utan att tappa dem, nu skulle det vara mer logiskt att köra en stor VDEV på kontrollerkortets åtta diskar och så sex eller sju på moderkortet (eller hur många portar det nu finns).

Citat:

Ur dataintegritetssynpunkt: ja. Rå skrivprestanda hos en raidsexa blir dock ≈1/3 av skrivprestandan hos en raid10, givet samma diskar. (Cachning, journalering och konsolidering av skrivningar på överliggande lager i stacken kan dock förbättra skrivprestandan hos raid5/6 en hel del, på bekostnad av att pinfärska skrivningar inte hinner hamna på disk vid strömavbrott eller liknande.)

Tror du inte att ett gigabitnätverk är en större flaskhals här? Eller är prestandaförlusten så brutal vid arbete direkt på diskarna?

Citat:

Två separata uppsättningar med olika data på eller två sammanslagna raidfemmor (antingen i raidkontrollern, dvs en RAID50, eller i ovanliggande logiska volymhantering)?

Jag tänkte 4x 10TB i raid5 x2, alltså två separata arrayer på samma kontrollerkort. Raid50 känns väldigt skeptiskt måste jag säga i de här diskstorlekarna.

Permalänk
Skrivet av MsSmith:

Lite synd, hade hellre sett att man lägger till och tar bort VDEVs som man känner för och att de hålls separat men det är som det är.

Ja men ovanstående bygger på att man kan ha flera VDEVs i en pool utan att tappa dem, nu skulle det vara mer logiskt att köra en stor VDEV på kontrollerkortets åtta diskar och så sex eller sju på moderkortet (eller hur många portar det nu finns).

Det kan vara så att Linux' LVM skulle passa dig bättre, om jag fattat dina behov rätt.

Skrivet av MsSmith:

Tror du inte att ett gigabitnätverk är en större flaskhals här?

Ja, om workload är någotsånär långa läsningar/skrivningar. Den här gynnaren levererar 340 IOPS (1/seek time+latency) vid random läsning. En RAID0-array med åtta enheter som gör random läsningar kommer att ha en läshastighet på 340 IOPS × 4KB blockstorlek × 8 enheter = 10,650 MB/s, vilket inte saturerar en Gbitlänk på långa vägar. De flesta realistiska workloads kommer, med hjälp av readahead- och cachefunktioner högre upp i stacken, inte att ha några problem att fylla en Gbitlina.

Skrivet av MsSmith:

Jag tänkte 4x 10TB i raid5 x2, alltså två separata arrayer på samma kontrollerkort. Raid50 känns väldigt skeptiskt måste jag säga i de här diskstorlekarna.

Det låter som en lagom avvägning.

Permalänk
Medlem
Skrivet av MsSmith:

Ja detta var på ingång för några år sen. Problematiken har inte varit FreeNas i sig själv tror jag utan dokumentationen runt ZFS och vad som sker när något går fel, exempelvis en disk dör. På den tiden gick det inte att få fram exakt vilken disk det var som kraschade, hur långt en resilver hade kommit eller hur långt en scrubb hade kommit - något som jag verkligen vill veta.

Detta är inget som jag känner igen frän min erfarenhet av ZFS. Har kört det på min NAS i snart 7 år nu. Alla tre sakerna du beskriver fungerar för mig. Dock kör jag inte FreeNAS utan vanliga FreeBSD. Har testat FreeNAS på jobbet, men jag gillade aldrig webb-UIt.

Jag hade nog kört en raidz2 eller raidz3 i ditt fall. En enda stor pool och vdev.

Skickades från m.sweclockers.com