Hårdvaruraid vs ZFS, på hemmabygge?

Det är väl FreeBSD och Open Solaris som är mest lämpade till ZFS lagring, på Linux fins just nu bara en ZFS implementation i Fuse (Filesystem in User Space) som är ganska trög och ligger en bit efter de andra. Open Solaris 2009.6 och FreeBSD 8 RC2 (det kommer en skarp version nu innan jul) har båda relativt nya ZFS implementationer, där Open Solars leder. Det enda du behöver tänka på med ZFS är att processorn är 64-bitar, har 4 gig ram och att chipset för AHCI stödjs av OS. Generellt sett brukar man säga att stödet för hårdvara fördelar sig så här från lågt till högt:

Solaris < Open Solaris < FreeBSD < Linux < Windows

Medans stödet för ZFS fördelar sig på följande sätt från inget till stabilt stöd för produktion:

Windows < Linux < FreeBSD 7.1-7,2 < FreeBSD 7.3, 8 < Open Solaris < Solaris

Man kan debattera vidare om Open Solaris eller Solaris har bästa stödet för ZFS, men Solaris har i alla fall bättre historik i produktion än vad Open Solaris har. Medans nya funktioner först kommer till Open Solaris innan de flyttas ned i Solaris.

Om du skal köra ZFS drar du ingen nytta av ett nytt kontroller-kort med RAID. Tänk också på att 1.5 TB diskar är billigare pr. GB än 2 TB diskar.

Eftersom ZFS har full checksum på alla transaktioner så säger det i från vid varje litet fel som uppkommer. Det som talar mot ZFS är att Ibland blir en ZFS-pool förstörd av hårdvara som inte följer standarder (speciellt externa USB, FW diskar som aldrig borde kört ZFS). Oftast lyckas man att återskapa systemen när detta händer, men det finns exempel på ZFS-system som spontant har dött för att hårdvaran inte har uppfört sig som den skal.

Detta har skapat stora debatter om ZFS skulle behöver liknande verktyg som de man har när man räddar andra system (FSCK chkdsk ol.).
* Should ZFS Have a fsck Tool?
* No, ZFS really doesnt need a fsck

Inlägget gick i väg innan det var färdigskrivet, hoppas inte diskussionen har hunnit så långt under tiden jag ändrade klart det.

En E6750 med 4GB ram klarar utmärkt att leverera full gigabit hastighet från ZFS. Du kommer att kunna köra flera saker på den maskinen samtidigt som ZFS. Skulle tippa att vid hård belastning med flera användare över LAN kommer du att hålla dig under 20% CPU utnyttjande.

HighPoint RocketRAID 2680 har jag inte testat, men de tester jag läst på nätet verkar gilla detta billiga kortet.

Verkar vara lite "overkill" med separat RAID5-kort för ZFS när det duger med ett mobo med 6-8 SATA-portar.

Finns de som rekar max 6 diskar för Raidz1, därutöver rekas Raidz2 (=RAID6).

ECC-RAM rekas oxå.

Se'n borde man ha backup - men då är plånboken tom.

Se'n gäller det att man kan "ratta" sin ZFS, vilket helt klart många har synpunkter på i Linux-forat om ZFS.

Ja, det blir ju lite av ett vägskäl detta. Jag tror om du är intresserad av att köra en egen server, hur ZFS fungerar och lite pill i terminalen så är lösningen för dig att dedicera maskinen till NAS med ZFS.

Tycker du inte att detta låter spännande kanske en mellanlösning är en server med Windows Server 2008 R2 / Ubuntu Server / FreeNAS med vanliga SW-RAID5:ro bra alternativ?

Vill du ha én maskin så har du som du säger inget alternativ annat än Windows och HW Raid (annars försvinner för mycket prestanda till diskarna).

Det är faktiskt upp till dig.

Jag kör opensolaris med zfs raidz1 (5x 1 TB) på en AMD Athlon X2 4850e som jag har klockat ner till 2 GHz. Märker ingen prestandaskillnad jämfört mot när den går i standardhastigheten 2,5 GHz. Gränsen för där jag börjar märka skillnad går för mig vid ca 1,8 GHZ. Men även om jag kör den i typ 1,2 GHz så får jag 50 MB/s i överföringshastighet via gigabitnätverk. Kör jag >1,8 GHz får jag uppemot 90 MB/s. Sedan blir hårddiskarna i min klientdator samt gigabitnätet flaskhals.

Har läst någonstans att man rekommenderar dual core och 64-bit CPU för ZFS. Men fungerar gör det ju även med klenare grejer och även single core och 32-bit ska funka men det funkar inte lika snabbt bara. Ju mer RAM desto bättre men det funkar även med 1 GB RAM.

OpenSolaris verkar vara lite småkinkigt med nätverkskort så jag fick köpa till ett intel PT1000/PRO nätverkskort innan det blev riktigt stabilt och bra. Överhuvudtaget är det småkinkigt med hårdvara så man får kolla runt lite på nätet vad som funkar för andra, eller testa hur datorn funkar med opensolaris LiveCD (så man kan provköra utan att installera något på hårddisken).

Man kan köra mjukvaruraid i Linux också. Det verkar inte ta särskilt mycket kraft. Hårdvaruraid har jag aldrig testat...

Du undrar hur mycket prestanda som ZFS kräver. Jag svarar att med den maskinen du har tilltänkt som ZFS maskin har mer än nog prestanda för att dra ZFS. Det är först när du aktiverar komprimering och kryptering som du kommer att belasta systemet ordentligt.

Sedan att vi nämner att du inte borde köra ZFS med kontrollerkortet spelar ju ingen roll. Tråden handlar ju trots allt inte bara om dig, andra som läser drar ju också nytta av det vi diskuterar här.

Jag förstår inte vad i citatet du saxat från mig som bidrar till din frustration.

Det är CIFS och klienten jag använde då är Windows Vista eller windows 7 64-bit. Blir långsammare om man ansluter med Windows XP eller Linux från samma maskin (ca 40-60 MB/s) till opensolaris-servern. Protokollet heter väl SMB har jag för mig.

Jag har kört prestandatester med FreeBSD 8 RC2 på en AMD X2 5050e med 4GB ram och två WD 10EADS diskar i mirror, testerna är utförda med FTP med jumboframe.

ZFS: skriv 60 MB/s, läs 70 MB/s
ZFS + geli (AES256): skriv 35 MB/s, läs 30MB/s

Detta var bara för att testa hastighet, jag tror inte att det är lämpligt att köra geli och ZFS tillsammans. Kommer att experimentera ytterligare, så fort jag får loss lite fler diskar att elaborera med.

Jag har testat både med och utan jumboframes och det blev inte märkbart snabbare med jumboframes när jag körde mot Vista så jag stängde av jumboframes. Blev en del skillnad också när jag uppgraderade till intel PT1000/PRO PCIe nätverkskort både på servern och klientmaskinen.

Man kan köra samba också på opensolaris men jag kör CIFS-server som är något Sun utvecklat som ingår i opensolaris och är integrerat på bra sätt med ZFS. I princip ställer man om en egenskap på mappen till sharesmb=on och så är den utdelad på nätverket.

Innan när jag körde Linux-server märkte jag också att samba gick snabbare mot Windows Vista jämfört med mot Windows XP. Så skillnaden ligger nog mest hos de olika versionerna av SMB som klienten kör.

Jag fick lite olika hastihet med skriv och läs med Windows XP. Tror skriv mot servern var snabbast med 60 MB/s medans läsa var långsammare, drygt 40 MB/s eller var det tvärtom. Man kan gräva lite i tråden om OpenSolaris 2008.11 där jag redovisat olika testresultat.

Hastigheterna är också när man överför få stora filer på flera GB sekventiellt (videofilmer). Många småfiler går betydligt långsammare.

Jag tror inte det är några stora ändingar mellan ZFS v6 -> v14 som gäller prestanda. Lite snabbare SCRUB i och med version 11 är det enda jag hittar (http://hub.opensolaris.org/bin/view/Community+Group+zfs/11).

FreeNAS har haft lite motgång under hösten och skal forkas:

• Volker Theile som drev FreeNAS projektet har tröttnat på det varierande HW stödet i FreeBSD (och det är endå enligt många bättre än i OpenSolaris) och portar i dessa dagar över FreeNAS funktioinaliteten till Linux, närmare bestämt Debian. Projektet hette från början CoreNAS, men har nu bytt namn till OpenMediaVault. Detta betyder att det inte blir något ZFS för de projekten (om nu inte Oracle ändrar licens på ZFS till GPL).

• http://www.ixsystems.com/ tar över utvecklingen av FreeNAS och skriver vidare på den nuvarande kodbasen och skal uppgradera denna till att vara baserad på FreeBSD 8.

Först då när FreeNAS kör på v.8 skulle jag överväga att bygga en FreeNAS med ZFS. Detta för att ZFS under v.7 var en mycket jobbig process som krävde en del manuellt arbete. Se http://wiki.freebsd.org/ZFSTuningGuide för mer detaljer om vad som skiljer de olika FreeBSD versionerna vad gäller ZFS stöd.

Jag tycker att du borde köra en riktig FreeBSD 8 installation. Du får då större flexibilitet än FreeNAS med tanke på alla andra program och tjänster du kan installera på maskinen. Dessutom så gäller inte de fördelarna som FreeNAS ger med enkel installation och WEBGUI gäller inte i lika stor grad för ZFS där en del operationer i alla fall måste skötas via terminal. Fördelen med FreeNAS som jag ser det är att den är optimerad för att köra från CF kort (mountar systemet som ReadOnly och sparar ändringar på USB minne).

Har inte lusläst tråden, men om nån ville ha siffror på att bygga om en viss ZFS-RAID (raidz1 dvs. "motsv." raid5) så var det såhär på min testburk:

(Rotat i för många burkar på sistone, trött är man också, nu uppdaterad med rätt info!!)

Mobo: MSI K8N-sli (nForce4, 4-SATA-portar)
CPU: AMD 3700+ (single-core, 2.2GHz)
Minne: 2GB (2x1GB) PC3200
OS: FreeNAS 0.7.1
RAID: pool med 4 500GB:are (3st Seagate 7200.11, 1st Maxtor Diamondmax 11)
(Systemdisk: 1x Seagate 7200.10 250GB (PATA, en jag hade över))

1 "sämre begagnad" Western-Digital lade av, ersattes med Maxtorn:
Ganska exakt 60min för att bygga om ("resilvra" som dom kallar det i ZFS).
Detta gjordes en sen kväll när inte datorn gjorde nåt annat (den är samba/lite ftp-server annars).

CPU-last c:a 50% i snitt, minnesanvädningen är inte spec. hög heller (2GB verkar räcka bra).

---

Ung. samma CPU-användning när den kör som vanligt också (40-50%), när den skriver/läser frekvent.

1. nForce2 har bara 2 SATA - så vad kör du mer till femman?
2. Vilken skrivhastighet har du?
3. Var ligger OS:et?

Posta relevanta linjer av din dmesg / lspci här, så kan vi nog ta reda på hur det är med stödet i FreeBSD och OpenSolaris.

Det har egentligen inget med ZFS att göra, själva snacket med hårdvaran sköter operativsystemet. ZFS förlitar sig dock på att drivaren och disken följer de standarder som finns och t.ex. rapporterar i tid när den inte kan läsa (och inte drar ut på tiden och säger "det går bra, ge mig lite mer tid" som nyare WG GP Diskar gör) så att data kan läsas från en annan källa i poolen.

1. och 3. - se min uppdaterade spec.
Jag sorterade igenom mina gamla pryttlar och rörde ihop kartonger och kort.

2. Prel. skrivhastighet c:a 35-60MB/s, det varierar lite under överföring men vet inte varför.
(max läshastighet = vet ej då jag bara kört kopiering, den cappar skrivning på min singeldrive klientburk)
Allt över SMB och min DGL4100 gigabit hemmarouter.

Är det nån som har nåt tips på att bencha FreeNAS så skrik gärna till, t.ex. lokalt till/från disk, nätverk, etc.