Hårdvaruraid vs ZFS, på hemmabygge?
Diskussionen fortsätter från:
http://www.sweclockers.com/forum/showthread.php?s=&threadid=7...
Ursprungligen inskrivet av emigrating12
All I see is blah blah blah.
5000,- är mycket för ett kort för hemmaanvändning, men hur många portar får du på det kortet? Hur mycket kostar ett icke RAID kontrollerkort med samma antal SAS eller SATA portar? Finns det engång? Ska du jämföra får du fan mig jämföra lika med lika.
Fakta;
[*] mitt 3ware kort är snabbare än din quad core software lösning (~200MB/s write i RAID5 med fyra diskar - samma som jag får i RAID0)
[*] kortet har 24 portar och kostade mig 6500,-
[*] det fungerar oavsett OS och behöver inga nya/extra kunnskaper som en normal Svensson inte redan har
[*] det använder inga CPU cycles på en redan "busy" server
Det viktigaste argumentet ovan är det sista; läs det gärna igen "det använder inga CPU cycles på en redan busy server"... Med andra ord så kommer min SQL DB query eller en av mina 12 virtuella maskiner inte slöas ned på grund av att det händer mycket på filsystemet just nu.
Men iallafall, låt oss hitta ett (eller flera kontrollerkort) som totalt ger mig 24 portar (de sex/åtta på moderkortet räknas ej eftersom de också är i användning). Vad blir priset per port? I mitt fall är det ~270,- - för att ditt argument ska hålla vatten bör du kunna hitta en lösning som kostar minst hälften. Samtidigt som du inte kan köpa 6 stycken 4-portars kort eftersom de inte kommer passa på mitt (eller något) huvudkort.
Det var kostnaden ute av vägen, så då återstår egentligen bara ditt "säkerhets" argument; vilket jag räknar som total bullshit. Mitt kort har som sagt batteribackup och server'n står även på en UPS - det betyder noll "write hole errors" och inga bitar kan bli "flippade" på grund av en spännings spike då UPSen "rensar" elen som tillförs server'n.
Har du andra argument för varför jag ska köra ZFS istället för min HW RAID?
Denna diskussion gäller hemma filserver. När jag säger filserver, så menar jag ett hemmabygge.
Jag kör ett 8 ports SATA kort för 1000kr:
http://www.mullet.se/product.html?product_id=133690
Det blir drygt hundralappen per SATA port. Om man tar 3 såna kort så får man 24 SATA portar, det kostar 3000 kr. Har man redan 6-8 SATA portar på sitt moderkort, så behöver man bara 2 sådana kort, vilket blir ännu billigare. Mindre än halva priset jfrt med ditt RAID kort för 6500kr. Bara ditt RAID kort kostar nästan som en hel hemma filserver, typ.
Hur ofta behöver man 24 diskar i en filserver? En filserver kör vanligtvis 4-5 SATA diskar. Ska man köpa ett HW raid kort för 6000kr till 4 diskar? Blir inte det lite väl dyrt? Varför inte bara använda de 6-8 SATA portarna på sitt moderkort? Så jag förstår ärligt talat inte varför man ska köra hårdvaruraid på ett hemmabygge.
Angående prestandan, sant är att du kan få ut högre prestanda med ett dyrt HW raid kort. Men du blir låst till det kortet, som inte klarar fler än ett visst antal diskar, vill du ha flera diskar måste du köpa ett nytt kort. Om jag köper en bättre CPU så ökar prestandan på min ZFS filserver, och jag kan även adda fler och fler diskar. Jag kan t.ex. köpa en Core i7 för hälften av vad ett raid kort kostar, vilken även ger mycket kraft. Nya versioner av ZFS kommer att ge mig deduplicering, och andra funktioner. Gratis, och ZFS uppgraderas med ett kommando. För att uppgradera HW raid med nya funktioner så måste man köpa ett bättre och ännu dyrare kort.
Du får alltså bättre prestanda med HW raid precis som du påpekat, men jag tror att ZFS prestandan räcker till för ett hemmabygge? Vem behöver mer än 440MB/sek läsning för hemma bygge?
En klen AMD dual core 4000+ med 7 st vanliga SATA 7200 varvs diskar, ger 440MB/läsning och 250MB/skrivning. Ju fler diskar du addar till ZFS, desto snabbare går det. Du får nästan true platter speed.
http://opensolaris.org/jive/thread.jspa?threadID=54481
(Skulle du stoppa in 48 diskar i en Quad core med ZFS, så skriver du mer än 2GB/sek
http://milek.blogspot.com/2006/11/thumper-throughput.html
Men 48 diskar är inte längre ett hemmabygge. Poängen är dock att ZFS skalar uppåt bra, och att man kan få ut bra prestanda samtidigt. Ett HW raid tar stopp, du kan inte adda fler och fler diskar, du måste köpa fler kort istället.)
Det är även sant att ZFS bränner CPU, medan HW raid inte gör det. Där har du fullständigt rätt och jag kan inte säga så mycket om det.
Däremot, så anser jag att den stora poängen med ZFS är mitt "säkerhets" argument. Säkerhet kostar CPU, men det är det värt anser jag. Därför att det händer titt som tätt att bitar flippas i det fördolda. Det beror inte bara på strömspikar, det kan bero på precis vad som helst: buggar i BIOS, dåligt RAM (ECC?), dålig Power Supply - läs detta häpnadsväckande:
http://blogs.sun.com/elowe/entry/zfs_saves_the_day_ta
Så jag tror det inte är optimalt att hoppas man är helt immun mot flippade bitar pga man har en UPS som renar strömmen, eftersom det finns så mycket annat som kan gå fel.
För att inte tala om denna länk:
http://queue.acm.org/detail.cfm?id=1317400
"while disk capacities have been doubling every 12 to 18 months, one thing that’s remaining relatively constant is the bit-error rate on the disk drives, which is about one uncorrectable error every 10 to 20 terabytes.
Now for comparison, take a look at, say, Greenplum’s database software, which is based on Solaris and ZFS. Greenplum has created a data-warehousing appliance consisting of a rack of 10 Thumpers (SunFire x4500s). They can scan data at a rate of one terabyte per minute. That’s a whole different deal. Now if you’re getting an uncorrectable error occurring once every 10 to 20 terabytes, that’s once every 10 to 20 minutes—which is pretty bad, actually.
One of the design principles we set for ZFS was: never, ever trust the underlying hardware. As soon as an application generates data, we generate a checksum for the data while we’re still in the same fault domain where the application generated the data, running on the same CPU and the same memory subsystem. Then we store the data and the checksum separately on disk so that a single failure cannot take them both out."
Så ZFS stora fördel som jag ser det, är inte prestandan eller skalbarheten som den ger. Det är istället datasäkerheten. Dina HW raid kort dubbelkontrollerar inte alla läsningar och skrivningar som sker hela tiden. Det gör ZFS. Antag att du upptäcker silent corruption, när skedde det? Hur långt bak i tiden måste du gå med dina backuper för att återställa datat?
Vad är viktigast? Snabbt och osäkra data, eller hyfsat snabbt och säkra dubbelkontrollerade data?