Hårdvaruraid vs ZFS, på hemmabygge?

Ronnylov,
Jag vet inte hur man ska få ut mer hastighet över iSCSI, jag har aldrig provat det förr. Hur fungerade iSCSI i Windows klienten? Enkel setup?

Så av dina undersökningar så verkar det som man bör köra CIFS. 90MB/sek över 1Gbps NIC får väl anses som ganska nära vad som är fysiskt möjligt att trycka igenom? Jaja, då vet vi att CIFS går snabbast. Tack för den informationen. Iofs kanske det är möjligt att tweaka men generellt så avråds tweakningar i Solaris. Det ska vara så enkelt som möjligt, och helst bara funka, är tanken. T.ex. kompilerar man inte om kärnan i Solaris. Istället sätter man lite parametrar i... /etc/system tror jag. Det är enklare än att kompilera om hela kärnan. T.ex. kan du byta ut schemaläggare under drift om du vill anpassa Solaris maskinen för rent server arbete. Solaris har fått en nyskriven TCP/IP stack (Fire engine) som tydligen ska vara hysteriskt snabb. Snabbast på marknaden, typ. Så ska man skyffla mycket data så är man i hamn.

Jookeer,
När det gäller ZFS så rekommenderas att den får tillgång till hela disken själv. Det blir allra bäst så. Och helst inga hw raid kort eller nåt sånt. ZFS och disken, inget annat däremellan, typ.

Sen skapar du olika filsystem för dina syften. Det är alltså mindre bra att dela upp disken i olika delar och installera OS i en del och annat i en annan del. Det är inte så man arbetar med ZFS. Man gör olika filsystem istället. OS får ett filsystem. Varje användare får ett varsitt filsystem. etc.

Det rekommenderas starkt att inte dela upp disken i olika delar. Bättre skapa olika filsystem istället. Det är så ZFS är tänkt att funka. Gör du annorlunda så får du inte en optimal lösning. Det är typ som om du stoppar in HW raid kort och sånt. Det blir inte lika bra som det skulle kunna vara.

Angående slices, det låter lite märkligt. Gamla filsystemet UFS har slices. Där slice nr 2 betecknar hela disken. Så om du gör en backup på slice nr 2, så backuppar du hela disken.

ZFS har inga slices. Är du säker på att du inte installerat UFS istället för ZFS? Logga in som root och skriv:
# zpool status
Vad blir utskriften?

5. Ja, gör ZFS av hela disken. Enda gången du inte gör ZFS av hela disken, är om du vill dual boota, och installera t.ex. Windows.

När du har installerat klart OpenSolaris, så kommer hela disken vara ZFS. Och du kommer ha ett filsystem som själva OSet ligger på. Sen kan du skapa filsystem fritt, om du vill. T.ex. en till varje user. Jag har inte brytt mig om att göra det. Alla users ligger på samma filsystem som själva OSet. Du skapar filsystem med zfs create.

Om du vill skapa en ny zpool som heter tank så gör du så, ja:
# zpool create tank c0d0s0
Men i detta fall har du ingen redundans, pga single disk. Så ZFS kan detektera felen, men inte alltid reparera dem.

Bättre använda flera diskar och göra mirror eller raidz1 (en disk kan krascha - motsvarar RAID 5) eller raidz2 (två diskar kan krascha - motsvarar RAID 6):
# zpool create tank raidz1 c0d0s0 c0d1s0 c0d3s0
eller nåt sånt. Läs på om själva zpool kommandot innan du kör igång. Och här finns mera info om att skapa ZFS pooler, som du bör läsa:
http://breden.org.uk/2008/03/08/home-fileserver-zfs-setup/

6. Jag förstår inte frågan riktigt. Du har en zpool för ditt OS, som antagligen heter rpool. Det är systemdisken. rpool består av en enda disk, så om den kraschar så är det fatalt. Det är därför som Ronnylov gjorde en mirror utav rpool.

Sen kan du skapa en zpool som består av flera diskar, dvs ZFS raid, enligt ovan. Den kan då heta tank.

Själv har jag en enda disk för systemet, där kör jag dual boot med WinXP. Så hela disken är inte ZFS. Bara halva. Sen har jag en ZFS raid med 5 st terabyte diskar, som heter tank.

Du bör inte ha flera pooler på en disk. Du kan splitta upp disken i flera delar, och köra ZFS på varje del dvs göra en pool på varje del, men det rekommenderas inte. Bättre att köra ZFS på en hel disk.

Du kan pumpa in data till systemdisken. Själva OSet har ett eget filsystem på systemdisken. Skapa nya filsystem (dvs partitioner) om du vill pumpa in data, så datat hamnar på en egen partition. Det är inte bra att blanda OS och data. Gör nåt i stil med:
rpool# zfs create minaDataHamnarIdettaFilsystemTjoho
Sen tankar du alla data till /rpool/minaDataHamnarIdettaFilsystemTjoho

Jag tror, att det har att göra med att sista "s0" betyder slice 0. Men eftersom du nu inte har några slices (hela din disk är en enda stor ZFS) så blir det bara c0d0. Typ. Kanske.

Jag skulle inte göra så här.

1) 2) Se mitt svar högst upp.

4) Jag tror inte det är möjligt att konvertera NTFS diskar till ZFS. Om det nu vore möjligt, skulle du göra en zpool av en enda disk iom med denna procedur.

5) Inte bra. Om en disk kraschar, så har du förlorat alla data på den disken. Om du gör singlediskar av allting, så får du inget raid. Du har bara ett gäng separata diskar som alla arbetar oberoende av varandra. Typ, du har en C: drive, en D: drive och en annan E: drive. Det är inte bra. Kraschar C: driven så har du förlorat alla dina data på C:. Slå ihop alla tre istället till en enda raid.

Det jag skulle göra, som blir allra enklast i långa loppet, är nog att göra som Nizzarna. Trixa och göra specialknep och sånt, kan strula riktigt ordentligt om man glömt en detalj. Detta är inte Windows, dvs det finns inte alltså massa räddningsprogram att ladda ned. Har datat förlorats, så har det förlorats. Typ. (Det finns antagligen räddningsprogram men det ska man inte räkna med, de kanske kostar multum och så).

Istället; släng upp en ZFS server. Koppla in ett gäng hårddiskar och gör en zpool av allting. Nu har du ZFS raid. Dra igång CIFS på ZFS servern och koppla upp dig mot datorn med dina NTFS disk och kopiera via nätverket. Absolut felsäkrast. Strular något, så har du kvar dina NTFS diskar.

Om det är så att du vill konvertera alla dina NTFS diskar till ZFS så blir det mycket struligare. Då måste du mellanlagra alla dina data på någon disk
A) Låna/köp ett gäng diskar och kopiera alla dina NTFS data dit. Kanske en enda 1.5TB disk räcker?
B) Bygg din ZFS server och gör ett enda ZFS raid (dvs zpool) av alla dina NTFS diskar.
C) Kopiera alla dina data från A) till ZFS raidet. Klart.

Det var så här jag gjorde och det är det allra bästa. Det jobbiga är att få låna alla diskar för mellanlagringen dock. Men kom ihåg, skiter det sig, så kan det skita sig riktigt rejält. Då kanske du blir av med alla dina data utan att kunna få tillbaka dem. Var försiktig. Gör inga komplexa lösningar, utan håll det simpelt.

Om du mellanlagrar alla data, så har du backuper och skiter sig ZFS servern pga nåt fel, så gör det inget. Du har dina backupper kvar. Detta är den säkraste lösningen. Sen när du fått alla dina data till ZFS servern, och allt funkar, så kan du göra dig av med backup diskarna. Men eftersom detta är nytt för dig, så tycker jag definitivt att du ska köra med backup diskar. Det gjorde jag, och det kändes tryggt.

Ronnylov,
Kan du inte prova köra iSCSI över internet och se hur det går? Det vore lite coolt? Då har du en ZFS partition hemma, som du alltid kan koppla upp dig mot, över internet? Kan vara bra att ha ibland om du är i skolan, hos kompis, etc? Du kanske kan ha filmer/MP3 där, och streama över nätet? Docs?

EDIT: emigrating12
Jag vet inte riktigt alla detaljer till varför det är bättre att inte blanda in ett HW raid till ZFS. Men det är nåt i stil med att ZFS måste ha total kontroll över allting själv, för att kunna göra sin magi. Och om du blandar in HW raid, så vet inte riktigt ZFS vad som händer mellan HW raidet och disken. Tror jag. Eller nåt sånt. Om HW raidet schabblar bort något (mot all förmodan) så kan inte ZFS komma in och rädda, för den vet inte riktigt vad som hänt. Typ.

Och om du blandar in HW raid och ZFS, så kommer fortfarande CPU beräkna checksummor och allting, så då gör man dubbla kontroller hela tiden. Ett HW raid är ju mjukvara som gör dubbelkontroller och reparerar och sånt, som kör på en CPU på kontroller kortet. ZFS är samma sak, men det kör på vanliga CPUn. Plus att det är lite mera omfattande och har flera funktioner. Så poängen med ZFS är att den gör av med alla steg emellan CPUn och disken. Inga kontroller kort eller nåt sånt. De bara stör ZFS i dess arbete. SUNs nya storageservrar, som säljs för dyra penningar, har inga HW raid alls. De kör ZFS rakt ut. I såna dyra maskiner spelar inte kostnaden för ett HW raid roll. Men SUN väljer ändå att inte stoppa in HW raid. Trots att Enterprise kunder har råd att betala för ett sånt kort. Men SUN vill inte ha ett sånt kort i maskinen. Den bara stör.

Men det finns folk som kör HW raid och ZFS, och de är nöjda. Jag tror dock inte det är vad som rekommenderas. Jag får intrycket att det är såna som inte riktigt är vana vid ZFS än. De som är vana vid ZFS kör utan HW raid kort. Det blir bäst så.

Bättre då att slänga upp en liten testserver med 3-4 sata diskar och experimentera utan HW raid, tror jag.

Jag själv tycker ZFS är enkelt, men det kanske är för att jag är van vid det.

Först och främst, om du ska lägga alla dina värdefulla data på ZFS, så måste du läsa på. Mycket. Dina data är värdefulla, och om du ska lagra datat på ett annat OS, så bör man veta vad man gör. Vad händer om alla dina data förstörs? Då blir du inte glad? Du har lagt ned mycket tid och jobb på att anskaffa dina data. Då bör du lägga lite tid och jobb på att läsa på först om ZFS och OpenSolaris. Om du inte vill prova ZFS och Apple OS X istället.

Men det viktiga är att dina data är värdefulla. Du bör veta vad du gör innan du byter till ZFS. Skyll inte på mig om dina data förstörs. Om du inte riktigt har tid till att lära dig ZFS, så tycker jag du ska köra HW raid eller mjukraid istället. Dina data är ju så viktiga att du inte vill riskera dem, eller hur?

Jag tycker att du ska experimentera med ZFS ett bra tag innan du ger dig på att konvertera alla dina data. Om du ens ska göra det. Jag vill inte ha på mitt samvete att alla dina data förstörs. Det skulle inte kännas bra, varken för mig eller för dig.

Skaffa 2-3 diskar till OpenSolaris burken och experimentera med dem tills du kan ZFS. Det är det första. Senare kan du avgöra om ZFS är något för dig. Tänk om du kommer på att ZFS inte är något för dig, och du redan konverterat dina data? Då blir det inte kul. Lär dig ZFS först. Om du inte har 2-3 st 20GB diskar över, kanske du kan använda 2-3st USB minnesstickor istället. Eller i värsta fall kan du skapa 2-3 st datafiler ovanpå ZFS, som du kan låtsas vara diskar.

"Diskar, partitioner, slicar, pooler, filsystem, Raidz. Jag har hyfsad koll på Win i detta avseende men i ZFS-världen är ALLT upp-och-ner.

En pool kan innefatta flera diskar?
Bara en pool/disk?
En pool kan ha flera filsystem?
En pool kan vara medlem i en Raidz?"

Angående zpooler, raid, etc. Jag kan inte säga att jag har stenkoll på precis allting, men det är så här jag har uppfattat det. Och jag tror det är korrekt.

För det första, glöm bort slices. De existerar inte. Du har aldrig stött på det begreppet. (De kanske existerar nånstans djupt nere i ZFS hierarkin, men de behövs inte kännas till).

För det andra. En zpool är överst i hierarkin. En zpool är en pöl med data. Det motsvarar allt ditt RAM i burken. Antag att du har 4 st 1GB stickor. De tillsammans ger dig 4GB RAM. "Hur mycket RAM har du?" - 4GB. Men det består av 4 st 1GB stickor. Det är samma sak med zpool. "Hur stor är din zpool?" - 4TB. Men den består av 5 st TB diskar. Du har alltså raidat 5 st diskar, så du får ut 4TB lagringsutrymme. Ditt ZFS raid kan lagra 4TB. Du har ett raidz på 4TB.

Kvar att förklara är nu partitioner och filsystem.

Antag att du har en 4TB zpool nu. Hur ska du lagra dina data där? Ska du inte skapa några kataloger och sånt? För din zpool är helt tom. Det finns t.ex. inga kataloger eller data. Ska du lägga alla dina data i roten på zpool? Det är inte bra. Det är bättre att skapa kataloger. Fast ännu bättre är att skapa filsystem i din 4TB zpool.

Ett Windows raid, där du slagit ihop 3 st 100GB diskar, kommer att heta "C:" eller "D:". Så din "C:" kommer att vara 2 x 100GB = 200GB stor. Eftersom en hel disk går åt till felkorrigering i ett raid.

I ZFS funkar det inte så. Du har slagit ihop 3 st 100GB diskar, och du får en zpool som är 200GB. Den kommer inte heta "C:". Den kommer istället heta t.ex. "tank". Nu kan du skapa "C:" ovanpå tank. Du kan även skapa "D:" ovanpå tank. Du skapar alltså flera partitioner ovanpå tank. Typ:
/tank/C
/tank/D
och du kan kopiera data till /tank/C.

Fast i Unix så heter partitionerna aldrig C:. De kanske heter istället
/tank/video
/tank/musik

Och i Unix så heter det inte partitioner. Det heter filsystem. Så du kommer skapa flera filsystem ovanpå din tank, enligt ovan. Och i ZFS så ändras ett filsystem i storlek, beroende på hur mycket du stoppar in (om du vill). I Windows så är C: en fast storlek. I ZFS så måste inte /video ha en fast storlek. Den kan växa till en viss fördefinierad gräns. Den kan även krympa om du raderar data. En ZFS filsystem är nästan som ett directory, helt enkelt. Sen kan du skapa directories inuti ett filsystem. Typ:
/tank/video/hårdporr
/tank/video/mjukporr

Så du har ett ZFS raid, en zpool som heter tank. Du har ett filsystem (typ som partition C: ) som heter video. Du har flera kataloger/directories i video, där du kan lagra data.

Du kan förstås lagra data direkt ovanpå tank, men det är inte bra. Du kan även lagra data direkt i video, men det är bättre att skapa kataloger.

Du kan även dela upp en disk med fdisk i flera partitioner. Du kan ha en partition med OpenSolaris och en annan med Windows XP och dual boota. Så en partition är en hård uppdelning av en disk, den går från sector X till sector Y, den kan inte ändras i efterhand. (Nåja). Ett filsystem i ZFS är ungefär som en katalog, och bara ligger nånstans i tank, den har inte fasta gränser. I det gamla filssystemet som heter UFS är det inte alls så. Där är ett filsystem precis som C:, den har en fast storlek och går inte att ändra på i efterhand.

En zpool består av flera diskar. Så du har nu ett raid. Ett ZFS raid. Men du måste inte skapa en raid av olika diskar. Du kan istället skapa 3 st 10GB filer och sätta ihop dem till en enda zpool. Det är bra för att experimentera. Eller så kan du sätta ihop ett zpool av 3 st USB stickor. Men det bästa och enklaste är om du får tag på gamla diskar att experimentera med. Skapa zpool, förstöra den, skapa filsystem, etc.

Om du nu har en zpool av 3 st gamla diskar, så kan du även lägga till en grupp av diskar. Du kan lägga till 3 diskar till, så du har nu en zpool som innehåller 6 diskar. Varje grupp bör vara en egen raid.

Det finns även olika typer av ZFS raid. Antag att du har 4 st TB diskar. Då kan du göra ZFS raid av dem. Du kan göra raidz1, det betyder att en disk kan krascha utan att du tappar data. Motsvarar raid-5. Du kan även göra raidz2, det betyder att två diskar kan krascha utan att du tappar data. Motsvarar raid-6. Sen kan du spegla diskar, om du vill. Det passar för systemdisken.

Blev det lite klarare? Läs om "storage pools"
http://en.wikipedia.org/wiki/ZFS

http://www.sun.com/software/solaris/zfs_learning_center.jsp

emigrating12,
ZFS är inte bara ett filsystem. Det är en raid hanterare inbyggd. Traditionellt har du flera lager: Filsystem. Volymhanterare. Raid hanterare. etc? etc? Jag vet inte alla lager.

I ZFS har man tagit bort alla lager och har en enda monolitisk massa. Typ. Det betyder att ZFS har råkoll på allting ända ned till själva disken, och kan därför reparera fel som inte går annars. Finns det flera lager med vattentäta skott däremellan, så kan man inte reparera fel som sträcker sig över flera lager. Taskig förklaring, jag vet. Men läs denna för en bra förklaring, av chefsarkitekten bakom ZFS:
http://blogs.sun.com/bonwick/entry/rampant_layering_violation

Jag har nu kopplat en strömbrytare till mina 5 st Samsung TB diskar.

Jag kopplade alla 5 diskar till en enda molex mha förgreningssladdar. En molex klarar av att driva 5-6 diskar utan problem. Sen klippte jag av molexens röda och gula sladd och lödde dit sladdar. I andra änden av sladdarna lödde jag fast en två polig strömbrytare som klarar av 16A. Det funkar prima.

Jag attachar och detachar ZFS raidet med "zpool import" och "zpool export". Datorn är tyst nu, eftersom endast en enda disk, dvs systemdisken, är igång. Inga jobbiga vibrationer längre (typ en bil på tomgång så rutorna skallrar). Systemdisken är 500GB, så allting cachar jag där. Typ: jag slänger över ett gäng filmer dit och kollar klart på filmerna. Sen slänger jag över en ny laddning dit. Och har en katalog som heter "sparasTillZFSraidet" - där lagrar jag allting som ska över till raidet. 500GB räcker långt som en cache. På så sätt har jag inte raidet igång så ofta i min workstation.

Jag har inte installerat windows drivrutin till mitt 8 portars SATA kort, så Windows kan inte komma åt diskarna av säkerhetsskäl.

För att koppla loss alla diskar: Skriv i OpenSolaris "zpool export" och ZFS raidet detachas. Stäng ned datorn och koppla ifrån strömbrytaren. Vid uppboot så syns inte diskarna längre i BIOS (dvs SATA kortets bios). De existerar inte.

För att koppla in diskarna: Stäng ned datorn. Koppla på strömbrytaren. Sätt på datorn. Diskarna syns nu i BIOS. I opensolaris skrives "zpool import". Klart.

Jag är skitnöjd. Datorn är nu tyst. Det enda som hörs är fläktarna och en tyst hård disk. Resten är passivt kyld.

Jag skrev mera om hur jag fick tyst på min Antec P182 här:
http://www.sweclockers.com/forum/showthread.php?s=&threadid=8...

Jag frågade här om lödningen och sånt, och fick jättebra tips:
http://www.sweclockers.com/forum/showthread.php?s=&threadid=8...

Ronnylov,
Nej jag mountar inte NTFS. NTFS-3G funkar inte bra för mig, jag kör Solaris Express build 105 - det är en annan dist än OpenSolaris. Jag får typ 2MB/sek. Det suger. Istället kör jag FAT32 partition på 120GB eftersom båda kan mounta det. Nåja. Solaris kör inte full hastighet på FAT32, jag får typ 20-30MB/sek eller så.

För den som undrar hur ZFS funkar tillsammans med HW raid. Bob Friesenahn, en av ZFS utvecklarna, tror jag, skriver om ZFS + HW raid kombinationen:

"ZFS will detect corruptions that other filesystems won't notice. If your HW raid passes bad data, then ZFS will detect that but it won't be able to correct defective user data. If ZFS manages the redundancy, then ZFS can detect and correct the bad user data. With recent OpenSolaris there is also the option of setting copies=2 so that corrupted user data can be corrected as long as the ZFS pool itself continues functioning."

Det verkar alltså som att HW raid ställer till det för ZFS. Men jag hörde nåt om att man kan sätta ihop 2 st HW raid arrayer och låta ZFS managera dem, och då kan det funka bra trots HW raid. Eller nåt sånt. Har inte detaljerna.

Här är en händelse då en stor bank får en krasch pga VxFS som strular. Och hur de testar ZFS istället; stressar och kraschar ZFS flera ggr och allt funkar topp notch ändå. Så de byter till ZFS.
http://blogs.sun.com/openomics/entry/fast_reliable_cheap_pick...

Ronnylov,
I mina öron verkar det mycket enklare att bara rycka ut HW raidet och köra helt rent med endast SATA diskarna och inget annat emellan? (Och sälja HW raidet medan man fortfarande får bra betalt för det).

Linux snubbe tycker till om OpenSolaris ZFS Boot Environment:
http://reddevil62-techhead.blogspot.com/2008/12/opensolaris-2...
Dvs, man gör rollback på bitnivå på systemdisken, efter en patch som strulade.