RAID 5 filsystem

Jag har en viss skepsis mot hårdvaru-RAID i allmänhet och RAID5 på bara tre diskar i synnerhet. Femman gör sig bäst på 4-6 diskar och mjukvaru-RAID är oftast lika snabbt och mindre känsligt mot moderkortsbyte t.ex.

Ext4 är väl vad som är populärt just nu, med bra resultat i bänktest och så. Själv kör jag XFS av gammal vana.

Hur kan du vara emot hårdvarruraid? Kanske på futtiga moderkorts kontrollrar med på en påkostad raidkontroller så finns det ingen mjukvara som tar det.

Angande sakerhet och ADAPTEC hardvaru raid, las denna lank
http://marc.info/?l=openbsd-misc&m=125783114503531&w=2
Det ar en kille som sagar ADAPTEC for Linux ordentligt.

En polare som ar IT chef for ett litet foretag berattade for mig om 2 ggr da de forlorat data pga buggar i bios pa hw raid. Jag sjalv foredrar mjukvaruraid, det gar snabbt att patcha om det ar buggar. Att slappa en BIOS ar mera meck. Helst ska ju mjukvaruraid koden vara open source ocksa, sa flera oberoende utvecklare kan patcha.

Hardvaruraid ar pa vag ut. Man kan gora allt det dar i mjukvara nu. Jag skulle salja mitt hw raid kort medan man far pengar for det, och kora mjukvaruraid. Sjalv kor jag ZFS och det ar trevligt och sakert.

Sjävklart säljs alla Dell, HP, etc servrar med hårdvaruraid, eftersom de endast kör Linux/Windows. De servrar som kör Solaris säljs inte med hårdvaruraid. Där är det mjukvaruraid (ZFS) istället som tar andelar i enorm fart. Och ingen tvivlar väl på att SUNs lagringsservrar som kör ZFS inte räcker till stora serverhallar, de piskar ju allt på marknaden i termer av prestanda och pris och funktionalitet och säkerhet.

Min teori är alltså att småningom när BTRFS och andra ZFS liknande filsystem börjar sprida sig, så kommer hårdvaruraid spelat ut sin roll. Vad är hw raid egentligen? Det är lite mjukvara som körs på en dedikerad CPU. Vad skiljer det sig mot ZFS som kör mjukvara direkt på datorns CPU?

Skälet till att vi inte ser fler servrar från HP, Dell, etc som inte kör s/w raid, är för att de inte har tillgång till ZFS eller BTRFS, helt enkelt. När såna filsystem spridit sig, så kommer det sluta säljas h/w raid.

Det är precis som ljudkort, modem, grafikkort, etc - i början är det dedikerade kort, men i takt med att datorerna blir kraftfullare så kan man köra allt i mjukvara, all funk flyttar in i ren mjukvara. Och då dör de dedikerade h/w korten ut. Jag kommer ihåg emulator hw kort till Amiga, den hade en intel CPU för att köra Windows program. Nu kan man göra det i mjukvara, och man behöver inte special hw längre. Det är en trend som alltid varit. Och om Dell/HP/etc ligger efter och inte kör moderna lösningar som ZFS/BTRFS/Hammer/etc så är det deras problem.

Detta är min tes.

EDIT:
Har du läst om undersökningar på CERN? De kollar 3000 hw raid servrar och ser att det är massor med läs/skrivfel som aldrig rapporteras av hw raid kortet. Sysadmin får aldrig reda på att det är fel, eftersom kortet själv inte upptäckt det. Så frågan är hur mycket data du tappat, utan att vetat om det? Hw raidet vet inte att det blivit fel, hur ska du få då reda på det? Det går inte.

Hårdvaru-RAID slukar inte CPU cykler, vilket är signifikant om man har 10+ diskar och en throughput på gigabyte/sec-nivå; speciellt om man kör raid-5/6.

Mjukvaru-RAID saknar dessutom skrivcache, alternativt att dess skrivcache inte är lika tillförlitlig som den hos hårdvaru-RAID. Om systemet crashar (i.e. BSOD/kernel panic) så ryker det som fanns i skrivcachen hos mjukvaru-RAID medan det är något helt separat hos hårdvaru-RAID. För att inte nämna vad som sker vid strömavbrott och om man inte har batteribackup (vilket man inte har för mjukvaru-RAID)...

De flesta problemen folk har med hårdvaru-RAID härstammar från att man försöker använda sig av så billiga kort som möjligt; kort som då saknar skrivcache, batteribackup och ibland till och med en inbyggd processor (d.v.s. att det egentligen är frågan om mjukvaru-RAID).

Här pratas det om CERNs undersökning av massa hårdvaruraid rack. Det blir fel som man aldrig får reda på. På 1TB data med hårdvaruraid så finns det i genomsnitt 3 filer som är fel utan att någon vet det. Som sysadmin skulle jag vara concerned. Hur långt tillbaka har man backups?
http://storagemojo.com/2007/09/19/cerns-data-corruption-resea...

Dagens CPUer är mycket snabba och flerkärnade samt flertrådade. Så detta är inget problem ju snabbare CPUerna blir. Dessutom utvecklas mjukvarualgoritmerna, så t.ex. ZFS kräver endast lite mera CPU än andra filsystem, numera.

Skrivcache är ju ett problem som man måste ta höjd för. Därför slår ZFS av skrivcachen så detta är inte heller ett problem för en modern mjukvaruraid lösning.

Möjligt. Jag tycker ändå att man ska kunna lita på de prylar man köpt. Adaptec är väl ändå hyfsade och inget B-märke? Man måste köpa dyrare prylar? Men var går gränsen? Är kort för 8000kr tillräckligt bra? Eller är det 10000kr? Eller räcker det med 5000kr? Eller, så sparar man in kostnaden och ovissheten för ett kort och kör mjukvaruraid? Därför anser jag att man ska sälja sitt hw raid nu, medan man får pengar för det och hoppa på mjukvaruraid tåget som strax går.

Men nog om hw raid vs mjukvaru raid nu. Du tycker som du vill, jag tycker jag som jag vill. Har man hittat en lösning som passar en bra, så fortsätt att köra det? Varför byta? Helt onödigt.

Jag känner till den undersökningen.

Du har fortfarande kvar faktumet att CPU cykler slukas.

Paritetsberäkning är inte gratis. För 9+ diskar, 64-bitars "ord" och RAID-5 så kan du räkna med 1 cykel per byte för enbart pariteten. Det motsvarar "1+ GHz" för "1+ gigabyte/sec"... under optimala förhållanden. Släng på overhead för sådant runt omkring och du får att ännu fler CPU-cykler slukas.

RAID-6 är ännu långsammare då paritetsräkningen inte längre är enbart att "XOR-a ihop några värden".

ZFS slår inte av skrivcachen om ZFS får tillgång till hela disken.

Den gör endast det i andra fall endast p.g.a. integritetsskäl.

Dessutom är det inte riktigt skrivcachen på diskarna som jag pratar om här utan istället RAM-minnet som sitter på vanliga high-end RAID-kort.

Jag kör mjukvaru-RAID hemma just p.g.a. kostnaderna.

Men för ett medelstort till stort företag så spelar det sällan roll om korten kostar 1000 kr eller 10 000 kr.

ps. ZFS's största problem är att det bara finns till Solaris/BSD. BTRFS's största problem är att det inte är färdigt ännu. Mjukvaru-RAID är idag synonymt med "gammal klassisk RAID-5/6" för den absolut största målgruppen.

Slår ZFS inte av skriv cachen? Intressant. Har du källa på det?

Jag bränner hellre lite cykler och har säkra data, än snabbt och osäkert.

I vilket fall som helst, så tror jag att hw raid är på väg ut. Och man gör allt i mjukvara, småningom. Vi får se vem som får rätt.

@Himpon: Om jag hade haft den kravspec som du har skulle jag kört Linux med mjukvaruraid (mdadm) + lvm + ext4. Distribution väljs efter vad HTPC-mjukvaran trivs bäst med.

Just filsystemet är jag lite osäker på, men barnsjukdomarna i ext4 är väl borta nu?

http://en.wikipedia.org/wiki/ZFS

"When entire disks are added to a ZFS pool, ZFS automatically enables their write cache. This is not done when ZFS only manages discrete slices of the disk, since it doesn't know if other slices are managed by non-write-cache safe filesystems, like UFS."

Bättre källor från Solaris/OpenSolaris kan hittas om så önskas.

Det är för övrigt inte så mycket som att ZFS stänger av skrivcachen som att ZFS inte automatiskt aktiverar den, om ZFS inte får tillgång till hela disken.

Varken du eller jag är tyvärr representativ för "stora företag".

Man får tro vad man vill.

Tack för länken!

EDIT: Här är hårdvaruraid benchad mot ZFS på samma hårdvara. ZFS vinner i benchmarks:
http://storagemojo.com/2006/08/15/zfs-performance-versus-hard...
10% snabbare, lägre latency

Som jag har förstått det, så är dyra Enterprise diskar konstruerade för att inte sättas på och av, hela tiden. De ska vara på 24/7. Medan vanliga konsument diskar är konstruerade för att sättas på och av, och de är inte meningen att de ska vara på 24/7.

Men jag kan ha fel, jag är osäker på detta.

@Himpon: Snapshots och möjligheten att flera filsystem på din raid.

Kort och gott så har du att raidz stryper antalet IOPS till detsamma som till en enda disk istället som för vanlig RAID-5/6 där varje extra disk ökar antalet IOPS. Benchmarken testar inte det.

Enbart det faktumet gör att ZFS inte duger till servrar som är hårt pressad av "många I/Os" (t.ex. databaser).

ps. Vanlig mjukvaru-RAID har inte detta problem. Men vanlig mjukvaru-RAID har då inte heller raidz-s fördelar.

Menar du att ZFS inte duger till databasarbete, pga att du tror att alla konfigurerar sitt ZFS raid så att databasarbete straffas? Är du seriös? Det är som jag säger; "En Dell PC funkar inte till databas arbete, eftersom sånt kräver 4GB RAM, och Dell PC levereras standard med 2GB RAM". Det är bara en fråga om konfiguration och hur du väljer att sätta upp ditt ZFS raid. Ett ZFS raid består av en eller flera grupper av diskar. En enda grupp begränsas av IOPS, men isåfall, adda flera grupper så går du runt det problemet. Ju fler grupper av diskar ditt ZFS raid består av, desto mera IOPS. Du kan få hur många IOPS du vill, med rätt konfiguration. Istället för en enda grupp med många diskar, skapa flera små grupper.

Du kanske inte heller hört talas om SUNs nya lagringsservrar som består av AMD opterons + RAM + ZFS körandes på vanliga 7200 RPM diskar + SSD? De uppnår 250.000 IOPS i extremfall, med extremt låga latencys (under ms) och piskar skiten ur allt. Detta är i sanning extrema värden. En vanlig SAS 15000rpm Enterprise disk uppnår... vad är det? 100 eller 200 IOPS?

ZFS använder SSD som cache på ett finurligt sätt. Du bara addar den till zpool så är det klart. Hur gör andra lösningar? Jag menar alltså att ZFS tillåter dig utnyttja en cache på ett enkelt sätt. Och andra lösningar är antagligen meckiga eller väldigt meckiga. Mao, så är det ZFS som utnyttjar SSD på ett bra sätt, och därför är det ZFS som ger dig fina IOPS. Har du en dålig lösning så kan du få dåliga prestanda ur bra hårdvara. Men ZFS ger bra prestanda ur billiga 7200 rpm diskar.

Hur som helst, att SUNs nya lagringsservrar kan uppnå hysteriska IOPS var mest ett motargument till Weeblie som påstod att ZFS inte kan uppnå höga IOPS, och därför inte duger till t.ex. databaser. Vilket inte verkar stämma.

Ett annat problem som ZFS har, är att ZFS litar på att hårdvaran följer standarder. Vilket inte alltid sker med billiga diskar. Så ibland kan vissa billiga diskar säga till ZFS att de gjort något, men egentligen inte gjort det utan sätter igång med det nu. Då tror ZFS att det är klart och ger nya orders till disken. Och om strömmen går i ett sånt här läge så kan det bli problem.

Samma som t.ex. Linux implementation utav... NFS(?). Den följer inte standarden och uppvisar därför bra prestanda. Nu har SUN också införlivat det som en växel för att avvika standarden på samma sätt som Linux. Folk frågar varför SUNs lösning är långsammare. Vilket beror på att SUN följer standarden och det gör inte Linux.

Ja, din nämnda Dell PC kanske inte fungerar (bra) till databasarbete eftersom 2 GB RAM också är vad det är som maximalt kan installeras.

1. Hur får du tillgång till alla dessa extra S-ATA/SAS portar? Ironiskt nog så blir svaret oftast "med hjälp av RAID-kort"...

2. Hur många diskar har du i varje raidz2-array? 8 (något runt det är det (max) rekommenderade antalet) Hur många arrayer per pool? 6? 48 diskar med samma antal IOPS som ungefär en vanlig 8 diskars RAID-6 array?

Att du stoppar in fler diskar gör inte din ZFS konfiguration snabbare än en motsvarande RAID-5/6 konfiguration. Rättvis jämförelse här ska vara i stil med raidz versus RAID 6+0 eller 5+0. ZFS ligger alltid efter i termer av IOPS (förutom när man som du säger använder sig av L2ARC och en SSD). Och det är negativt.

250 000 IOPS är vad du får när du arbetar mot RAM-minnet/disk-cachar eftersom SLC diskar som Intels X25-E endast når c:a 5 000 IOPS (jämför med SAS-diskar som når runt 200 per styck).

ZFS's förmåga att använda RAM som cache är helt meningslöst i databassammanhang då man mer effektivt kunde ha givit databasservern minnet.

L2ARC är i sig mycket intressant men långt ifrån någon gåva från högre makter. Märk här att många databassystem klarar av att t.ex. placera nycklarna i en separat fil på en SSD och därmed får man även en kraftig prestandaboost med en vanlig hederlig UFS/XFS/EXT+RAID-5/6 kombination.

På min egen hemmaserver somnar mina diskar efter ett tag. Jag struntar i eventuellt extra slitage eftersom jag inte har tänkt att använda diskarna i all tid och evighet. Om jag får fem års felfri nytta av dem är jag nöjd. Får jag inte det så har jag åtminstone garanti på diskarna och får se om det lönade sig med raidz2/raid6.

Men mest troligt är att jag kommer jag uppgradera diskarna innan garantin har gått ut eller att dom går sönder. När man minst anar det är utrymmet fullt och absolut inget går att slänga...

Tråkigt att din tråd förstördes av en massa ZFS tjafs.

Helt rätt och det får vi be om ursäkt för.

Weeblie, vi fortsätter i OpenSolaris tråden.

Att spinna upp och ned mina raid diskar är ett problem för mig. Jag har istället gjort följande.

Jag har kopplat en enda strömbrytare till alla mina raiddiskar. Så kan jag slå på diskarna, eller stänga av dem när jag vill. Normalt är raid diskarna avstängda. Jag har även en stor systemdisk, 1.5TB. Till den tankar jag över allt möjligt från raidet och så fort jag kopierat över, så stänger jag ned raidet. Jag får boota om för att stänga av/sätta på raidet. Så jag har alltså min stora systemdisk som en cache. Och när jag behöver data från raidet, så sätter jag på det och tankar över. Eller kopierar data tillbaka till raidet för lagring. Eftersom systemdisken är så stor, 1.5TB, så behöver jag aldrig sätta på raidet. Det är påslaget typ några timmar per månad, eller så. Resten av tiden är det avstängt. Detta sparar ström, och förlänger livslängden på raid diskarna samt minskar risken att jag tappar raiddata pga jag skriver klantigt kommando, eller strömmen går, blixten slår ned, etc. Skulle man ha en mycket stor systemdisk, typ 6TB, så skulle raidet sällan behöva vara påslaget, typ nån timme per år - endast för att backuppa dina data. Jag jobbar med mina data på systemdisken och när allt är färdigt så backuppar jag det till raidet för permanent lagring. Så slipper jag fragmentering på raidet.

Detta funkar skitbra för mig och jag är toknöjd. Datorn är knäpptyst, eftersom jag har en green systemdisk och mina 8 st raiddiskar är ju aldrig påslagna. Rekommenderas om du bekymrar dig över strömåtgång, buller samt säkerhet