Permalänk

zfs och olika diskar??

Hur är det med zfs och olika diskar (modell och storlekar)

Fungerar det som raid att det helst ska vara lika storlekar och modell för att göra en raid 5a?

Jag har 3 1tb (wd green) diskar och 3 640gb (wd black) diskar som jag ska göra redundanta, vad är bästa setupen?

Är det även rekommenderat att köra systemet på en separat disk?

/ Lars

Permalänk
Avstängd

Kör systemet på en separat disk, typ 40GB IDE disk.

En ZFS raid består av flera vdev, dvs grupper av diskar. Inuti en grupp, om du blandar diskar, så kommer endast den minsta storleken att gälla. Säg att du har 500GB och 640GB disk, då kommer du få en ZFS raid som består av två diskar som båda är 500GB. Du kan blanda IDE och SATA utan problem.

Därför i ditt fall, skapa en ZFS raid med 2 olika grupper. En grupp med 3st 1TB diskar i raidz1 och en grupp med 3st 640GB i raidz1. raidz1 motsvarar raid-5, dvs en disk kan krascha (du förlorar en disk i lagringsutrymme med raid-5, med raid-6 förlorar du två diskar i lagringsutrymme). Du kommer att få 1TB + 1TB + 640GB + 640GB totalt diskutrymme. Och en TB disk kan krascha utan problem, och en 640GB disk kan krascha utan problem.

(Det säkraste är att köra raidz2, därför att om en disk går sönder och du ska reparera raidet, så kan det ta flera timmar innan det är klart. Om en till disk kraschar så är du körd. Med raidz2 (dvs raid-6) så kan ytterligare en disk krascha medan du reparerar raidet - utan problem.)

Permalänk

raidz2 är overkill för mig.
Detta är enbart för backup, så isf skulle originalet och backupen krascha samtidigt vilket känns osannolikt.

Men det är inte något problem att blanda olika diskar i samma group då? Om man bortser från att minsta storleken kan användas?
Tex 5400 med 7200?
Olika märken?
Cachestorlekar?

Permalänk
Avstängd

Det ska normalt inte vara problem att blanda olika diskar.

(Dock, så ZFS är till för server hårdvara som följer standarder. Det finns billiga diskar som inte följer standarder, och då kan det hända vid sällsynta fall, om du har otur, att det blir problem med ZFS. Men normalt är det helt ok att blanda diskar, många gör det. Så kör på och testa ett tag. Sen efter ett tag så kan du ta ZFS raidet i bruk och börja använda det för dina syften)

Permalänk

Ok,

I detta fall tänkte jag isf blanda 3st 1TB WD green 5400 med 1 st samsung spinpoint F3 1TB 7200.

Och sedan bygga ut med fler F3or framöver.

Fungerar detta tror du?

Permalänk
Avstängd

Det kommera att funka.

Hur många grupper (vdev) ska din ZFS raid bestå av? Det är kanske bättre att ha 1TB diskar i en grupp, och 640GB diskar i en annan grupp?

Iofs, kan du skapa en grupp med 4 diskar, och det är 640GB på varje disk i gruppen. Senare kan du ta loss 1TB disken och byta den mot 640GB disk. Sen kan du adda en ny grupp som bara består av 1TB diskar. Men tänk på att du kan inte ändra antalet diskar i en grupp. Du måste lägga till en helt ny grupp.

Alternativet är att du har flera olika ZFS raid nu i början, tills du vet hur du vill ha din permanenta zpool layout. En zpool med bara 640GB diskar, en annan med 1TB diskar.

Själv började jag med 4 diskar 500GB. Sen körde jag istället 5 diskar 1TB. Och nu kör jag 8 diskar 1TB med raidz2. Nu är jag nöjd och kommer inte ändra antalet diskar mera. JAg kommer istället byta ut 1TB diskarna mot 2TB diskar i framtiden när jag behöver mera utrymme.

Permalänk

Det blir isf två grupper.

En med 3 st wd 640gb + en som ska köpas in, alltså 4.

och en pool med 3 wd 1tb + en samsung f3 1tb.

Så kan jag bara plocka ur en disk ur gruppen, peta in en ny (större), rebuilda och köra vidare?
Då med den nackdelen att jag inte får ut mer än minimivärdet i storlek på den nya disken.

Men då på sikt då alla diskar är utbytta i gruppen så vips, då sista disken rebuildat så är gruppen större?

Permalänk
Avstängd

Det kommer funka. Sista disken utbytt -> ny zpool med större storlek.

(Det vore säkrare om du gjorde en enda stor zpool med alla dina 7 diskar och köra raidz2. Sen byta en 640GB i taget mot 1TB.)

Permalänk

Jo förvisso men då skulle så mycket utrymme gå till spillo innan alla är utbytta, vilket kan dröja.

Kanske ska jag skippa de 3 640gb.

En skulle kunna bli systemdisk, en skulle kunna användas i min systemdator som page/scratch disk.
Den sista kan bli prydnad.

Permalänk
Avstängd

Skapa en till zpool med bara de tre 640GB diskarna? Ha den som temp zpool. Så du har tank och tankTemp? Den kan du förstöra sen, utan problem.

Permalänk
Medlem
Citat:

Ursprungligen inskrivet av skrotniklas

En med 3 st wd 640gb + en som ska köpas in, alltså 4.
och en pool med 3 wd 1tb + en samsung f3 1tb.

Eller så använder du zfs på slices. Då skulle du kunna skapa sju stycken lika stora slices på dina sju diskar och använda dem i en vdev. Utrymmet som blir över på de större diskarna använder du till en annan vdev, antingen i samma zpool som den första eller i en helt annan.

Jag har själv inte sysslat med sådant här men det borde fungera, gör lite tester med något virtualiseringsverktyg.

Om det är rätt väg för dig vet jag inte men möjligheten finns och vill du maximera lagringsutrymmet så är den värd att överväga tycker jag.

Jag skickar med en länk som bonus där det demonstreras hur man sätter upp lite olika zpooler bl a på slices http://docs.huihoo.com/opensolaris/solaris-zfs-administration... Det finns säkert bättre dokumentation på Sun om det skulle behövas.

Permalänk
Avstängd

Fnorken, bra påpekande! Precis, Skrotniklas, som Fnorken påpekar ska en zpool bestå utav flera grupper av diskar. En grupp måste inte bestå utav diskar, egentligen. Den kan bestå utav filer, eller slices (dvs partitioner). Så om du har två diskar: 1TB och 500GB disk, så kan du skapa zpool utav 3 delar: en 500GB disk och dela upp din 1TB disk i två partitioner som är på 500GB styck. Då kan du skapa en zpool bestående utav 3st 500GB slices samt diskar. Senare, kan du byta ut en 500GB partition mot en riktig disk.

Så du kan skapa en zpool utav 7st delar: blanda diskar och partitioner. Senare kan du byta en partition mot en disk. Nackdelen med detta, är att om en disk är uppdelad i 3 partitioner, och den disken kraschar så har du blivit av med alla data i de tre partitionerna och din zpool har tappat alla data eftersom du kör raidz1 eller raidz2 (som inte tål förlust utav 3diskar)

Vill man leka, så kan man skapa en zpool utav flera filer. Skapa några tomma 100MB filer med mkfile(?) och sen skapa en zpool utav dem. Sen kan du testa och misshandla zpoolen och se hur säker den. Radera en 100MB fil och se hur zpool återskapar alla data, etc.

Permalänk

Intressant, ska kolla upp detta med slices... tackar!

Permalänk
Medlem

Kom bara ihåg att RAID är inte backup! RAID är redundans!

Ska du ha backup så ska det vara en offline-kopia allra helst offsite.

Permalänk
Medlem

Jag kör ZFS raidz1 med slices på min skrivbordsdator.
Det är dock inte enkelt att konfigurera jämfört med att använda hela diskar. Jag hade en hel del pill innan jag fick det att funka som jag ville.

Här har jag skrivit lite om mina äventyr med slices:
http://www.sweclockers.com/forum/showthread.php?s=&postid=953...

I princip måste man skapa en stor solarispartition och sedan inuti denna partition dela upp disken i slices. Man får trixa lite med fdisk och format innan man kan skapa sina raidz som använder slices.

Själv så ville jag köra zfs mirror mellan slices på två hårddiskar och dessutom använda överblivet utrymme på 3 diskar i en raidz1. Fick ytterligare problem eftersom jag också ville trippelboota windows, opensolaris och linux...

Tricket var alltså att skapa en gemensam solarispartition för allt utrymme på disken man vill använda till ZFS och sedan inuti denna solarispartition dela upp de slices man behöver. Sedan fick jag skapa andra partitioner för windows och Linux och dessutom undvika att Linux misstar solarispartitionen för swaputrymme men det bekymret slipper man ju om man endast ska köra ZFS på diskarna.

Permalänk
Medlem

tänk på att du inte kan uttöka en zfs raid med fler diskar utan att lägga på en pool i taget.. dvs minst 3 diskar om du kör raid5 (raidz). finns inget sätt att grow'a som man gör med mdadm i linux.

Permalänk

Jag har beslutat att skippa mina tre 649gb i servern.

Det blir istället nu 3 st wd green 1TB
samt 6 st samsung f3 1TB.
En 640gb som systemdisk.

Det ger mig 7TB i en raidz2

Några diskar kommer då sitta på ett sata-controllerkort och några på moderkortet men det förutsätter jag att det inte spelar någon roll på zfs.

Permalänk
Avstängd

Klokt val med raidz2. Att somliga diskar sitter på mobo och andra på kontrollerkortet spelar ingen roll. Jag körde så ett tag. Sen satte jag alla diskar på kontrollerkortet. Om du blandar alla diskarna på olika ställen upprepade ggr (mobo, kontrollerkortet, etc) så gör "zpool export" och sen "zpool import" så scannar ZFS igenom alla diskar igen och läser in dem så du får tillbaka din zpool korrekt.

Permalänk
Avstängd
Citat:

Ursprungligen inskrivet av =JoNaZ=
tänk på att du inte kan uttöka en zfs raid med fler diskar utan att lägga på en pool i taget.. dvs minst 3 diskar om du kör raid5 (raidz). finns inget sätt att grow'a som man gör med mdadm i linux.

Det här stämmer inte riktigt. En ZFS raid består av grupper av diskar. Du kan inte ändra antalet diskar inuti en grupp. Men du kan lägga till nya grupper av diskar, dvs du lägger inte "på en pool i taget". Du lägger istället till på en grupp i taget.

En grupp kan bestå av en enda ensam disk (vilket vore dumt, därför att när disken kraschar så har du förlorat hela den gruppen) och då får ZFS raidet problem och tappar data eftersom en grupp är död. En grupp kan bestå av en mirror av två diskar. Eller så kan en grupp bestå av en raidz1 med 3 diskar. etc. En grupp bör alltså ha redundans. Den minsta grupp med redundans som man kan lägga till är en mirror med två diskar.

Som Weeblie påpekat så får man inte mycket IOPS om man bara har en enda grupp. För att få mycket IOPS bör man ha många grupper (många som behöver IOPS kör endast flera mirrors i sin ZFS raid). Eller kör SSD diskar. Därför är det inte bra att ha en enda grupp utav t.ex. 21 diskar i en ZFS raid - man får inte många IOPS. Det är då bättre att ha t.ex. 3 st raidz2 grupper med 7 diskar i varje grupp. Då får man lite IOPS också.

Nån FreeBSD admin berättade att de testade typ 20 diskar i en enda grupp och det blev dåliga prestanda. Sen skapade han istället flera små grupper och fick riktigt grymma prestanda. Kort sagt, ha inte för många diskar i en grupp, ha istället flera små grupper. Man brukar säga typ 6-9 diskar i en raidz2 grupp - har jag för mig. Har man färre diskar än så, kör man raidz1.

Jag själv kör nu 8 diskar i raidz2 och är mycket nöjd. Ska jag adda diskar, så kommer jag adda typ 8 diskar till i raidz2.