Raidz eller Raidz2? Vad kör du? Vad föredrar du?

Permalänk
Medlem

Raidz eller Raidz2? Vad kör du? Vad föredrar du?

Hej

Lite kluven, Raidz vs Raidz2.

Tänker bygga en filserver och vill ha säkerhet, men kör jag raidz2 så av 6x 1TB diskar så får jag inte så mycket utrymme kvar, hälften försvinner. Å andra sidan kan 2 diskar paja utan att jag förlorar datan.

Vad föredrar du? Vad kör du? Varför?

Tack

Permalänk
Medlem

Ju fler diskar desto större argument för att använda raidz2. Jag kör själv med 10 (virtuella) diskar på 500 GB vardera och skillnaden i diskförlust (procentuellt sett) blir då inte stor alls.

Fördelen med att använda raidz2 är att du inte har samma behov av att skaffa sig en ny disk så fort som möjligt. Man kan oftast glatt skicka in sin disk på reparation/utbyte och fortfarande sova gott på kvällarna.

ps. I just mitt fall så är det också lite speciellt då jag använder mig av super billiga SATA kontrollers från eBay. Jag vill ogärna att min array ska dyka om en av kontrollerna dör. Då varje kontroller har två diskar ikopplade så gör raidz2 så att jag inte bara kan tappa två diskar och fortfarande ha all data intakt men även om jag tappar en hel kontroller.

Permalänk
Medlem

Jag är på gång att migrera till raidz2 från raidz1. Anledning är främst att jag vill ha högre datasäkerhet och att jag aldrig någonsin kan motivera för mig själv att ha en hotspare-disk i min hemmaserver. Att jag tappar lite plats känns inte så viktigt, jag har ändå så det bör räcka tills det är dags att byta ut diskarna pga hög ålder (garantin har gått ut)

Raidz2 känns som en lagom kompromiss för min del.

Permalänk
Medlem

Re: Raidz eller Raidz2? Vad kör du? Vad föredrar du?

Citat:

Ursprungligen inskrivet av IceDread
Hej

Lite kluven, Raidz vs Raidz2.

Tänker bygga en filserver och vill ha säkerhet, men kör jag raidz2 så av 6x 1TB diskar så får jag inte så mycket utrymme kvar, hälften försvinner. Å andra sidan kan 2 diskar paja utan att jag förlorar datan.

Vad föredrar du? Vad kör du? Varför?

Tack

Kör du raidz2 med 6 stycken 1TB diskar så får du 4 TB lagringsutrymme. Det är i detta fallet alltså en tredjedel som försvinner, inte hälften. Med raidz2 är det alltid två diskar som försvinner till redundansen så hur stor andel av det totala som går åt beror ju på hur många diskar man kör. Å andra sidan, ju fler hårddiskar desto större risk att någon av dem går sönder (och ju större risk att mer än en går sönder). Det är mycket mindre risk att två hårddiskar går sönder samtidigt än att en hårddisk går sönder. Så man har alltså mycket högre säkerhet med raidz2 jämfört med raidz1.

Själv kör jag 5 stycken 1 TB diskar i raidz1. Anledningen var att jag tyckte det blev för lite lagringsutrymme med raidz2. Men hårddiskpriserna har gått ner så numera kan man köpa 6 stycken 1 TB hårddiskar för samma pris som jag betalade för mina 5 diskar i höstas. Med 6 stycken hårddiskar hade jag nog valt raidz2 istället. Å andra sidan har jag nu fyllt alla SATA-kontakter på moderkortet så jag har inte möjlighet att koppla in fler hårddiskar i filservern utan att köpa till kontrollerkort.

Weeblie: Vilket operativsystem kör du och vilka billiga SATA-kontrollerkort är det du använder? Är lite nyfiken eftersom jag är intresserad av om det finns några prisvärda PCIe SATA-kort som funkar bra med OpenSolaris.

EDIT
Fnorken: Hur gör du när du migrerar från raidz1 till raidz2?
Om jag har 5 x 1 TB i raidz1 så skulle jag kunna köpa 6 x 1 TB för raidz2 , flytta över lagringen dit, döda min gamla raidz1 och sedan återanvända de gamla 5x 1 TB till ytterligare en raidz2 och få totalt 7 TB lagringsutrymme i lagringspoolen (6x1 + 5x1 ger 4 + 3 TB i raidz2).

Själv funderar jag på att skaffa en backupserver istället och köra raidz1 på den också. Alltså skaffa 5x1 TB för 4 TB backup. Om jag får backup på hela filservern så känns det inte motiverat att köra raidz2.

Permalänk
Medlem

Re: Re: Raidz eller Raidz2? Vad kör du? Vad föredrar du?

Citat:

Ursprungligen inskrivet av ronnylov
Weeblie: Vilket operativsystem kör du och vilka billiga SATA-kontrollerkort är det du använder? Är lite nyfiken eftersom jag är intresserad av om det finns några prisvärda PCIe SATA-kort som funkar bra med OpenSolaris.

Tekniskt sett kör jag VMware ESXi 4.0 men det mesta av utrymmet är dedikerat till den virtuella NFS/Samba servern som just nu kör FreeBSD 8.0-Current (kompilerad någon gång runt maj; planerad att uppgraderas till den stabila versionen (även om den nuvarande är fullständigt stabil för mig) som planeras att släppas om någon månad). Diskarna är inte riktigt 10 st 500GB diskar utan tre av dem är aningen större (640GB and 1TB) och innehåller dem virtuella system-diskarna (mjukvaru-raid-1 med tre diskar i varje virtuellt system).

SATA-kontrollerkorten är två (egentligen tre men har inte tillräckligt många PCI platser på mitt Asus P5Q Deluxe) kort hittad på eBay och som kör SiI 3114 kretsen. Jag har ett annat bättre PCI-Express kort, men tyvärr är VMware ESXi väldigt kräsen på vilka komponenter som man kan ha.

Tidigare körde jag FreeBSD direkt, utan någon virtualisering, och då fungerar det självklart i princip med all vanlig hårdvara.

Permalänk
Avstängd

När man läser lite utav seriösa sysadmins så rekommenderar alla de raidz2. De säger att om en disk kraschar, så kan det hända att en till disk kraschar när du bytt ut den trasiga disken till en ny. En till disk kan krascha pga det blir mycket stress på diskarna när man försöker återskapa raidet med den nya disken. Och då har 2 diskar kraschat inom kort tid, och det är då kört med raidz1. Detta gäller alla raid-5 också, förstås. Detta händer oftare än man tror, säger de.

Nu i efterhand känner jag mig lite orolig med raidz1 och har funderat på raidz2 lite halvseriöst. Om en disk kraschar, och jag byter ut den till en ny, så kommer jag sitta som på nålar tills raidet återskapats. Tänk om en till disk kraschar under återskapandet?

Permalänk
Medlem

Tack för bra respons och info.

Raidz2 med 6 diskar ser det ut att bli för min del, då bör det vara stabilt och fint.

Tricket nu är att hitta ett moderkort och cpu på låg watt men tillräcklig kraft, samt att det inte får vara någon ful pci i bakgrunden som allt körs på utan det måste vara pcie. Tydligen är vissa moderkort lite kassa där så man måste se upp med vilka kretsar som är på det.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av IceDread
Tack för bra respons och info.

Raidz2 med 6 diskar ser det ut att bli för min del, då bör det vara stabilt och fint.

Tricket nu är att hitta ett moderkort och cpu på låg watt men tillräcklig kraft, samt att det inte får vara någon ful pci i bakgrunden som allt körs på utan det måste vara pcie. Tydligen är vissa moderkort lite kassa där så man måste se upp med vilka kretsar som är på det.

Och plats för RAM, kör på 6 eller 8GB för att vara säker, så slipper du bry dig om du senare drar in fler diskar via något externt DAS-tjosan.

Och kom ihåg att hålla RAIDZ mellan 6 och 8 diskar för optimal prestanda.

Citat:

Från http://forums.freebsd.org/showthread.php?t=3689

The original server setup, using a single 24-drive raidz2 vdev in the storage pool, was not very good. We learnt the hard way that the IOps performance of a raidz vdev is equivalent to that of a single drive. IOW, a 24-drive raidz2 is no faster than a single SATA drive!!

Plus, when you have to replace a drive in the vdev, as we had to, it will thrash all the drives in the raidz vdev ... and thrashing 24 drives 24-hours a day *really* slows things down, usually leading to re-starts of the resilver process. After a week of that, we rebuilt the box using the 3x raidz2 vdevs using 8-drives each. Performance went through the roof after that.

Turns out, the official recommendation from SUN is to use <=10 drives per raidz vdev, preferably 6-8.

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av Neco
Och plats för RAM, kör på 6 eller 8GB för att vara säker, så slipper du bry dig om du senare drar in fler diskar via något externt DAS-tjosan.

Jag har hört att varje minnessticka drar runt 10W. Så det är bättre med 2st 4GB stickor (20W) än 4st 2GB stickor (40W).

EDIT: Din freebsd tråd visar hyfsade "iozone" prestanda för 24 diskar som 3st raidz2:

"Write speeds range from 236 MBytes/sec to 582 MBytes/sec for sequential; and from 242 MBytes/sec to 550 MBytes/sec for random.

Read speeds range from 3.3 GBytes/sec to 5.5 GBytes/sec for sequential; and from 1.8 GBytes/sec to 5.5 GBytes/sec for random."

Permalänk
Medlem

Tackar för infon

Vidare har jag lär mig att ECC för ram kan vara bra för stabiliteten så det är ett krav för moderkortet samt att det måste vara bra kretsar och inte fulköra på dålig gammal pci för då blir det en rejäl buss till flaskhals som gör att man inte kommer över ~30-40 mb/s, måste vara bra kretsar. Sen måste det vara bra AHCI, en del sådan hårdvara kommer med dålig buggig sådan firmware/ hårdvara. JBOD måste givetvis stödjas.

Permalänk
Medlem

Dagens DDR2 och DDR3 minnen drar inte 10 W per sticka, då skulle de ju bli väldigt varma. Jag tror snarare det ligger neråt 1-2 Watt per sticka kanske.

http://www.silentpcreview.com/forums/viewtopic.php?p=370866&s...

Varför måste moderkortet stödja JBOD?
RAIDZ är ju mjukvaruraid och har inget behov av JBOD.

Permalänk
Medlem

Sata controllern måste stödja JBOD, just nu kommer jag inte ihåg orsaken och kan inte heller hitta varför jag har bränt in det i någon minnescell. Kan någon annan berätta varför jag har fått för mig detta?

Dock, gjorde några snabba sökningar och det talas om JBOD mycket ofta samtidigt som ZFS men jag hittade ingen bra förklaring. Här är en av sökningarna.
http://www.opensolaris.org/jive/thread.jspa?messageID=369369&...

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av IceDread
Sata controllern måste stödja JBOD, just nu kommer jag inte ihåg orsaken och kan inte heller hitta varför jag har bränt in det i någon minnescell. Kan någon annan berätta varför jag har fått för mig detta?

Dock, gjorde några snabba sökningar och det talas om JBOD mycket ofta samtidigt som ZFS men jag hittade ingen bra förklaring. Här är en av sökningarna.
http://www.opensolaris.org/jive/thread.jspa?messageID=369369&...

Förstår inte riktigt poängen med JBOD och ZFS, om en disk lägger av i JBOD-konfigen lägger väl hela JBOD-volymen ner? Enda JBOD jag kör har varit med ccd i FreeBSD.

ZFS ser bara en volym som består av X antal diskar via JBOD antar jag... aja, säkert nån som vet

Permalänk
Medlem

Möjligen kan JBOD vara en nödlösning om man typ har 3 stycken 1 TB dskar och två 500 GB så kanske man kan sätta ihop de två 500 GB diskarna så att det ser ut som en 1 TB disk så man kan använda den som en del i RAIDZ. Inget jag skulle våga försöka mig på.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av ronnylov
Möjligen kan JBOD vara en nödlösning om man typ har 3 stycken 1 TB dskar och två 500 GB så kanske man kan sätta ihop de två 500 GB diskarna så att det ser ut som en 1 TB disk så man kan använda den som en del i RAIDZ. Inget jag skulle våga försöka mig på.

Isåfall endast temporärt medans man fixar en extra TB eller bygger helt nytt och behöver lagringsytan som backup under tiden...

Permalänk
Medlem

Diskarna måste kunna ses som en disk , controllern ska kunna hantera diskarna som om de vore en disk, och det är det jag tror är varför alla överallt nämner jbod och skriver om det när man talar om opensolaris och zfs, raidz. Vissa kommandon ska bli möjliga också.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av IceDread
Diskarna måste kunna ses som en disk , controllern ska kunna hantera diskarna som om de vore en disk, och det är det jag tror är varför alla överallt nämner jbod och skriver om det när man talar om opensolaris och zfs, raidz. Vissa kommandon ska bli möjliga också.

Jag tror att du missuppfattat något... JBOD krävs inte för att ZFS skall fungera. Att köra ZFS på en JBOD-volym undergräver i princip hela idén med ZFS och i all synnerhet idén med RAIDZ.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av NakedApe
Jag tror att du missuppfattat något... JBOD krävs inte för att ZFS skall fungera. Att köra ZFS på en JBOD-volym undergräver i princip hela idén med ZFS och i all synnerhet idén med RAIDZ.

Jag ska inte köra jbod på raiden, men som jag uppfattar det, alla som kör opensolaris och zfs behöver jbod stöd på controllern.

http://mail.opensolaris.org/pipermail/zfs-discuss/2009-May/02...
http://osdir.com/ml/solaris.opensolaris.zfs/2006-08/msg00007....
http://markmail.org/message/pegjldblf6vpji3o
http://unix.derkeiler.com/Mailing-Lists/FreeBSD/stable/2008-0...
http://www.opensolaris.org/jive/thread.jspa?messageID=369369&...
Det finns hur många som hellst som talar om zfs och nämner jbod hela tiden..

-- Startade en tråd här, många där som tycks veta en hel del om zfs så får vi se varför jag har fått in det i mitt huvud att jbod är ett måste.
http://www.opensolaris.org/jive/thread.jspa?threadID=107063

Permalänk
Medlem

En vild gissning; alla kontroller som stödjer JBOD, kan köra diskarna i single mode..? Kanske därför dom söker efter JBOD-stöd hos kontrollern?
Alltså, ett raidkort utan JBOD-stöd kan inte köra en ensam disk? Endast 2 eller fler diskar i raid.
Men jag kan nog vara helt fel ute här..

EDIT:

Citat:

Some RAID controllers use JBOD to refer to configuring drives without RAID features. Each drive shows up separately in the OS. This JBOD is not the same as concatenation.

(http://en.wikipedia.org/wiki/Standard_RAID_levels)

Jag är inte helt fel ute även om jag inte var helt rätt heller
Läs stycket under "Concatenation (SPAN)"

Detta får alltså raidkortet att agera som ett enkelt kontrollerkort.
(Tyvärr säljs inte kontrollerkort med mer än 4 portar, mig veterligen.. så man får vackert punga ut med raidkort om man vill ha fler portar.)

Permalänk
Medlem

Jodå det finns 8-diskars SATA-kontrollerkort:
http://www.mullet.se/product.html?product_id=133690
Visserligen stödjer det software raid, men ZFS är ju också en sorts software raid.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av ronnylov
Jodå det finns 8-diskars SATA-kontrollerkort:
http://www.mullet.se/product.html?product_id=133690
Visserligen stödjer det software raid, men ZFS är ju också en sorts software raid.

I stand corrected!
Har aldrig sett rena kontrollerkort som det innan. Lite synd att det är PCI-X dock. Hade gärna sett en version med PCIe. (Annars måste man leta upp moderkort med PCI-X; menar inte att PCI-X är dåligt, det klarar ju uppenbarligen av bandbredden för de 8 diskarna)

Permalänk
Medlem

Det finns ju moderkort som har 8 portar och som kan möta alla krav, endel jobb att kolla upp att AHCI, JBOD, ECC, att bussarna är bra på chipset, etc, finns dock samt hitta det till bra pris.

Angående JBOD
http://www.opensolaris.org/jive/thread.jspa?threadID=107063&t...

Citat:

If your controller supports JBOD, then ZFS has the easiest time
managing and repairing failures because it has full control. On
controllers where JBOD isn't available, sometimes people can create
single-disk RAID0/RAID1 vdevs and export those to ZFS.

Alternately, it's possible to create your zpool on top of some
hardware RAID solution, but in those cases, it's often difficult for
ZFS to repair things if they go wrong.

--eric

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av IceDread
Det finns ju moderkort som har 8 portar och som kan möta alla krav, endel jobb att kolla upp att AHCI, JBOD, ECC, att bussarna är bra på chipset, etc, finns dock samt hitta det till bra pris.

Angående JBOD
http://www.opensolaris.org/jive/thread.jspa?threadID=107063&t...

Fortfarande ingen förklaring till varför...

Enskilda fysiska (disk1, disk2, disk3, disk4) -> JBOD-kontroller smäller ihop alla till en disk -> presentera JBOD-Disk1 till OS't som en enda stor volym, och även ZFS då.

Bygger man sen en raidz av JBOD-Disk1 och 2 andra fysiska diskar så (när en disk blir ledsen i JBOD-arrayen) blir det väl klurigt att veta vilken disk det är i JBOD-arrayen som måste bytas?

Om nu inte ZFS identifierar via kontrollerprat att det är en JBOD-array då, och kan själv säga vilken disk det är... det skulle förklara det

Men fortfarande oklart vad det är för vinst att ha en JBOD-Disk istället för 4 enskilda

Permalänk
Medlem

*Suck.*

För ZFS så ska man fullständigt strunta i om korten/chipsen klarar JBOD/RAID. Det enda som spelar roll här är om operativsystemet kan se diskarna individuellt (och självklart förmågan att boota från dem).

OpenSolaris rekommenderar kort med JBOD stöd eftersom vissa RAID kort annars endast klarar av att köra RAID (med flera diskar).

Nej, mitt tips här är att hitta ett hyfsat moderkort baserat på P45/ICH10 (R eller inte spelar ingen roll) och med ett stort antalt SATA portar från kontrollern i fråga. Om ännu fler diskar behövs så kan man börja överväga extra SATA kontrollerkort (icke-RAID varianter duger utmärkt, då dem oftast är mycket billigare).

Att använda Workstation/Server moderkort med stöd för ECC är intressant, men oftast ack så mycket dyrare.

Permalänk
Medlem

Re: Re: Raidz eller Raidz2? Vad kör du? Vad föredrar du?

Citat:

Ursprungligen inskrivet av ronnylov

Fnorken: Hur gör du när du migrerar från raidz1 till raidz2?
[...]
Om jag får backup på hela filservern så känns det inte motiverat att köra raidz2.

Jag tänkte använda mig av min vän rsync och mellanlagra på annan disk. Eller möjligen tar. Inte så avancerat men jag tror det komner att fungerar. Men det får bli i höst eller när regnet kommer...

Med en fullbackup som är tillgänglig "online" så skulle inte jag heller anse att raidz2 är nödvändigt.

Permalänk
Avstängd

Kör rsync eller zfs send och zfs receive, om du ska mellanlagra. Med zfs send/receive måste du först göra en snapshot, och det är den snapshoten som skickas vidare. Efteråt raderar du snapshoten så är allt som förrut.

Permalänk
Avstängd

raidz3 är på väg. Kommer i build 120 tror jag.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av saddam
raidz3 är på väg. Kommer i build 120 tror jag.

Detta borde innebära att dom kommer rekommendera ungefär 10-12 diskar, mot raidz2'ans rekommenderade 6-8 diskar per pool?

Trevliga nyheter dock, för dom som kommer behöva det

Permalänk
Avstängd

Det är bara företag i skarp drift som lär behöva det. Men jag har upptäckt att jag tror inte jag behöver fler än 5 diskar. Om jag vill expandera så byter jag ut mina 1TB diskar mot 2TB eller 3TB som kommer om ett tag. Det jag försöker säga är att det kanske är onödigt att stoppa in 10-20 små diskar i sin dator. Det är bättre att köra några få stora, och sen byta ut dem mot större än att adda grupper av diskar till sitt ZFS raid, hela tiden. 10-20 små diskar tar upp massa plats, låter mycket och drar ström. Visst, du får högre genomströmning och snabbare och säkrare (om du kör raidz2) - men ändå. Du kan ju inte minska antal diskar i en pool - än så länge.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av saddam
Det är bara företag i skarp drift som lär behöva det. Men jag har upptäckt att jag tror inte jag behöver fler än 5 diskar. Om jag vill expandera så byter jag ut mina 1TB diskar mot 2TB eller 3TB som kommer om ett tag. Det jag försöker säga är att det kanske är onödigt att stoppa in 10-20 små diskar i sin dator. Det är bättre att köra några få stora, och sen byta ut dem mot större än att adda grupper av diskar till sitt ZFS raid, hela tiden. 10-20 små diskar tar upp massa plats, låter mycket och drar ström. Visst, du får högre genomströmning och snabbare och säkrare (om du kör raidz2) - men ändå. Du kan ju inte minska antal diskar i en pool - än så länge.

Hehe, man ska ha hårdvara som klarar av att få igenom all den informationen också
Jag har svårt att se någon privatperson som behöver 10-20 diskar och all den genomströmningen. Säkerheten säger jag inget om, den är högst önskvärd för alla! Synd att inte alla filsystem har samma principer.

Jag tror precis som du att runt 6st diskar är väldigt bra balanserat för en hemanvändare om man ska använda en filserver med ZFS.

-- OffTopic
Nu ska jag studera i 3 år till att börja med, men har redan börjat spåna på ett serverbygge jag ska införskaffa mig när det lider. Chieftec har fina 2x5.25" hotswap fack, som ger 3st 3.5" fack. Ihop med ett 4U rack, med 10st 5.25" (det finns i skrivande stund i Dustin.se's sortiment, minns ej namnet) blir det ett trevligt bygge, som jag tänkte placera i ett kommande garageförråd; slippa installera värme i garagebyggnaden
Hade tänkt använda mig utav 6-8 diskar, och något ZFS-operativ samt bra stöd för virtualisering.

Sen använda mig utan tunna klienter i huset som är kopplade till detta rack med, vid den tidpunkten, bra och beprövad teknik, 10 Gbit eller vad det nu månde vara. En rejäl burk i garaget som jag slipper höra när jag sitter vid datorn (denna burken låter som en bordsfläkt numera, med full folding och dubbla radiatorer..)

Det är min lilla våta dröm ..
-- /OffTopic

EDIT
Chassit är ett Chieftec UNC-410F. 3 795 kr.
Hotswapkassetten är Chieftec 2x5.25" till 3x3,5". 775kr/st. 3-4st ger 9-12 diskar.
(Chassit står inte med i kompabilitetslistan dock, men den måste inte vara komplett antar jag, håller hoppet uppe)
Detta skulle isf landa på "bara" .. 6895kr för 4st kassetter och chassi. "ouch".

EDIT 2
Den mittersta av dessa är det jag tänkt mig.

Och chassit i fråga..