Forum Datorer och system Server Tråd Inlägg

ZFS och RAIDZ i produktionsmiljö

1 2
Skriv svar
Permalänk
Medlem
●
Skrivet av Andyreas:

Hej Calle/beh

Låt mig förtydliga lite, alla vms körs på en HP DL380 G7 server, i denna sitter det ett LSI HBA kort med externa portar, dessa portar är kopplade rakt in i ett "dumt" supermicrochassi som endast innehåller en expander till 24 3,5" diskplatser. Så fast det är två fysiska boxar är supermicrochassit egentligen bara en utökning av simpla diskplatser.

Själva OSt som hanterar ZFS arrayn körs som ett vm med 32 GB Ram i vilket HBA kortet är passthruat (svenglish ftw). Lösningen började som en OpenIndiana installation med Napp-IT men slutade som OmniOS med Napp-it.

ZFS arrayn jag skapat och dess share delar jag ut tillbaka till ESXi ssom en vanlig datastore via NFS. Solaris har en bra NFSmotor men det är inte det snabbaste protokollet, dock kompenseras detta mer än tillräckligt av SSD zilen (läscachen).

Just nu har jag 3 datastore som ESXi har tillgång till, en raid1 lösning bestående av 450GB HP HHD diskar i HP servern, en Raid10 Array bestående av 4 st HP 640GB diskar samt datastoren från ZFS. Att clona ett vm från Raid1 lösning till ZFSdatastoren går ca 4ggr så fort som att clona den till Raid10 arrayn.

OmniOS kör vmxnet3 nätverk så delningen tillbaka till ESXi är via 10Gbps.

Gå till inlägget

Intressant! Jag undrar varför ni övergav openIndiana för omniOS? Min server har en setup mycket lik denna (fast med billigare komponenter gissar jag på) och har problem med OpenIndianas nätverksprestanda med vmxnet3 kortet lite därför jag undrar.

Skickades från m.sweclockers.com

Visa signatur

Gaming: Asus P8P67, Intel i5-2500k, Asus 7970 DCII, 8gb ram, 300gb velociraptor
Server: Asus Rampage II, Intel i7-980x, 6970 ref, 30gb ram, SASUC8I + 8st 2tb diskar + 1st 128gb SSD

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Jag verkar ha förargat någon ZFS-gud de senaste dagarna för efter vad som endast kan härledas till ett jordfel i mitt chassi så har mitt kontrollerkort allt för ofta slumpmässigt börjat kasta ut fullt fungerande diskar ut min RAID och en ny lagringslösning kommer att införskaffas.

Vilka operativsystem för kommersiellt bruk har den mest berövade ZFS-implementationen? Installationen kommer att landa på ny hårdvara (Intel Xeon E5, LSI2308, Intel 10GbE och 6G SAS-diskar) och kommer enbart tillhandahålla iSCSI-targets för mitt Hyper-V kluster och mina ESX-labbservrar

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem
●

Hej Wixner

Med kommersiella, menar då du som i att du kan tänka dig att betala? Jag skulle säga Nexenta isåfall, gratis upp till 18TB i icke kommersiellt användande.

Dock skulle jag verkligen rekommendera dig att köra SSD diskar istället för 6G SAS diskar. Om du inte avtalsmässigt måste vara bunden av en viss typ av support från HP/Dell/IBM.

Kufra, anledningen är egentligen främst att i samband med att jag satt upp lösningen så dog rätt mycket av utvecklingen/underhållet av OpenIndiana, projektledaren hoppade av osv och att bygga en långsikt lagringslösning på något som det inte är uppdateringsfokus på kändes fel. Samtidigt gick en av de tidigare ZFS utvecklarna/skaparna över till ett företag som jag tror heter Joyent som står bakom OmniOS, samtidigt som Gea (skaparen av Napp-IT) började ändra fokus till just OmniOS, det var helt enkelt mkt som talade för det.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av Andyreas:

Hej Wixner

Med kommersiella, menar då du som i att du kan tänka dig att betala? Jag skulle säga Nexenta isåfall, gratis upp till 18TB i icke kommersiellt användande.

Dock skulle jag verkligen rekommendera dig att köra SSD diskar istället för 6G SAS diskar. Om du inte avtalsmässigt måste vara bunden av en viss typ av support från HP/Dell/IBM.

Kufra, anledningen är egentligen främst att i samband med att jag satt upp lösningen så dog rätt mycket av utvecklingen/underhållet av OpenIndiana, projektledaren hoppade av osv och att bygga en långsikt lagringslösning på något som det inte är uppdateringsfokus på kändes fel. Samtidigt gick en av de tidigare ZFS utvecklarna/skaparna över till ett företag som jag tror heter Joyent som står bakom OmniOS, samtidigt som Gea (skaparen av Napp-IT) började ändra fokus till just OmniOS, det var helt enkelt mkt som talade för det.

Gå till inlägget

Hej

Nej aneldningen till att det behöver vara ett kommersiellt gångbart operativsystem (opensource eller closed source spelar ingen roll) är att delar av mitt företags IT-miljö kommer att ligga virtualiserat på lagringsytan men även delar av mina privata projekt och bildbibliotek

SSD i all ära, men sådana sjuka överföringshastigheter har jag inte krav på utan en Tier-2 (eller vilken Tier de nu landar på) med SSD Läs- och Skrivcache räcker gott och väl åt mig.

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem
●

Då skulle jag faktiskt rekommenderat just Nexenta. Min tanke kring SSD var prisbilden i dagsläget, en HP 6G Sas disk är i princip lika dyr som en SSDdisk.

Jämför
http://www.dustin.se/product/5010628052/hp-hd-900gb-2-5-6g-10...

med

http://www.dustin.se/product/5010748428/samsung-840-evo-1tb-s...

Kanske missförstod dig angående 6G diskarna dock...

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Andyreas:

Då skulle jag faktiskt rekommenderat just Nexenta. Min tanke kring SSD var prisbilden i dagsläget, en HP 6G Sas disk är i princip lika dyr som en SSDdisk.

Jämför
http://www.dustin.se/product/5010628052/hp-hd-900gb-2-5-6g-10...

med

http://www.dustin.se/product/5010748428/samsung-840-evo-1tb-s...

Kanske missförstod dig angående 6G diskarna dock...

Gå till inlägget

Varför jämnföra äpplen av speciellt dyr sort med päron? Med andra ord varför jämnföra 24/7 företagsdisk med näst intill supportkontrakt med en konsumentdisk? Köp motsvarande disk löst så kostar den hälften av vad ssd:n i exemplet gör om man nu måste ha 2.5 tums annars blir det runt halvering igen

Redigera
Citera flera Citera
Permalänk
Medlem
●

Jag antog kan vile köra på 6G diskar för supportens skull som jag skrev där uppe. Är inte det aktuellt är det i min mening storleken på lagrad data som avgör vad jag skulle gått på. Pratar vi flera TB går ju SSD bort men sannolikt rör det sig inte om det i en företagsmiljö. I min hemmiljö med tusentals .mkv kör jag givetvis gamla hdds men i vår företagsmiljö skulle jag som jag tidigare beskrivet helt gått över till SSD om igen, jag inte varit bunden av avtal.

Poängen är, är du inte bunden till supportavtal öppnas en riktigt kul marknad idag i standard servrar typ HP DL380.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Andyreas:

Hej Calle/beh

Själva OSt som hanterar ZFS arrayn körs som ett vm med 32 GB Ram i vilket HBA kortet är passthruat (svenglish ftw). Lösningen började som en OpenIndiana installation med Napp-IT men slutade som OmniOS med Napp-it.

ZFS arrayn jag skapat och dess share delar jag ut tillbaka till ESXi ssom en vanlig datastore via NFS. Solaris har en bra NFSmotor men det är inte det snabbaste protokollet, dock kompenseras detta mer än tillräckligt av SSD zilen (läscachen).

Gå till inlägget

Okej, det förklarar saken

Skrivet av Andyreas:

Då skulle jag faktiskt rekommenderat just Nexenta. Min tanke kring SSD var prisbilden i dagsläget, en HP 6G Sas disk är i princip lika dyr som en SSDdisk.

Gå till inlägget

Angående SSD och ZFS vet inte hur bra ZFS fungerar direkt på en SSD. Stöd för TRIM verkar ganska nytt hos både FreeBSD och ZoL. Är det någon som har mer information om hur "ssd only pools" fungerar i praktiken? Att ha SSD som ZIL och eller L2ARC är ju inget nytt, men även där borde man ha nytta av TRIM då data skyfflas in och ut hela tiden.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Andyreas:

Hej Wixner
Kufra, anledningen är egentligen främst att i samband med att jag satt upp lösningen så dog rätt mycket av utvecklingen/underhållet av OpenIndiana, projektledaren hoppade av osv och att bygga en långsikt lagringslösning på något som det inte är uppdateringsfokus på kändes fel. Samtidigt gick en av de tidigare ZFS utvecklarna/skaparna över till ett företag som jag tror heter Joyent som står bakom OmniOS, samtidigt som Gea (skaparen av Napp-IT) började ändra fokus till just OmniOS, det var helt enkelt mkt som talade för det.

Gå till inlägget

Tack för infon, gea har man ju sätt i många forum då jag googlat runt men att han bytt fokus mot omniOS är bra att veta, tack!

Skickades från m.sweclockers.com

Visa signatur

Gaming: Asus P8P67, Intel i5-2500k, Asus 7970 DCII, 8gb ram, 300gb velociraptor
Server: Asus Rampage II, Intel i7-980x, 6970 ref, 30gb ram, SASUC8I + 8st 2tb diskar + 1st 128gb SSD

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av beh:

Angående SSD och ZFS vet inte hur bra ZFS fungerar direkt på en SSD. Stöd för TRIM verkar ganska nytt hos både FreeBSD och ZoL. Är det någon som har mer information om hur "ssd only pools" fungerar i praktiken? Att ha SSD som ZIL och eller L2ARC är ju inget nytt, men även där borde man ha nytta av TRIM då data skyfflas in och ut hela tiden.

Gå till inlägget

I vår testmiljö på jobbet har ett system där vi kör en fysisk filserver med ZFS som är kopplad mot 3 ESXi-maskiner via iSCSI direct till de virtuella maskinerna (dvs inga datastores). På ZFS-servern har vi en pool som är uppbyggd av 4 st SSD (OCZ vertex från 2011, tror jag) i RAIDZ. DEnna pool används för alla systempartitioner till samtliga virtuella maskiner (ca 20st). Jag har inga konkreta mätvärden men det märks att systemen körs från SSD. De mekaniska diskarna som har SSD ZIL/L2ARC fungerar ju också bra (vi har det till stora databaser vilket fungerar bra) men det är en tydlig skillnad. Denna uppsättning har körts i över 2 år utan problem på OpenIndiana. Dessvärre var inte jag involverad i uppsättningen av systemet (inte börjat jobba hos den arbetsgivaren ännu) så därför har jag inga mer ingående detaljer om all hårdvara eller konfiguration.

Visa signatur

Efter att ni har läst det här har ni insett att det inte gav något.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Hej,

Nu har jag bekantat mig med Solaris, Napp-IT och RAIDZ och har börjat planera en slask-lagring bestående av SOHO NAS-diskar och jag måste bara fråga:

Hur hanterar RAIDZ strömsparfunktioner och variabel spindelhastighet i diskar som Seagate NAS HDD eller Western Digital RED?

Seagate NAS HDD har också stöd för "felkorrigering" enligt specifikationerna och jag undrar om den kan krocka med ZFS?

Visa signatur

{|XSX|PS3|PS4|}

Redigera
Citera flera Citera
Permalänk
Medlem
●

För det första är det upp till OS, kontroller och disken själv att försätta diskar i viloläge. Om en disk är i viloläge så kommer ZFS att skicka kommandon till drivaren som talar med kontrollen för att väcka den vid första access som gäller enheten i fråga. Jag har för mig att en cache hit inte väcker poolen om registering av senaste åtkomst "noatime" inte är aktiverat.

Det är upp till OS och andra processer att minimera access till ditt array för att det ska förbli i strömsparläge. ZFS bryr sig inte och kommer inte att accessa diskarna i arrayet om det inte är för att det kommer ingående förfrågningar till det.

Sedan har man ju debatten om det är bra för diskarna att spinna upp och ned i från start hela tiden, enligt en undersökning av Google för några år sedan hade antal start/stop cykler mycket större inverkan på om en disk dog än t.ex. arbetstemperatur.

Angående felkorrigeringen så oavsett hur disken hanterar fel så kommer ZFS att kunna detektera om disken av misstag "flippar en bit" så att checksum inte längre stämmer. Dessa properitära system kommunicerar så vitt jag vet inte hosten via SCSI eller ATA kommandon, utan fungerar oberoende av mjukvaran längre upp. ZFS kommer aldrig att droppa en disk ur ett array, utan den fortsätter att läsa på den och tar inte hänsyn till eventuella felmeddelanden som skickas. Detta sker samtidigt som ZFS fortsätter att läsa de sektorer som ger fel från en disk andra ställen och därmed lämna data till applikationen. Problematiken med TLER är om man har en kontroller som tar på sig uppdraget att droppa en disk, detta sker typiskt endast med RAID-kontrollers som kör i JBOD.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av beh:

Sedan har man ju debatten om det är bra för diskarna att spinna upp och ned i från start hela tiden, enligt en undersökning av Google för några år sedan hade antal start/stop cykler mycket större inverkan på om en disk dog än t.ex. arbetstemperatur.
.

Gå till inlägget

Kommer och tänka på "deathstar"-diskarna som funkad så länge dom var igång men där omstart riskerade disken pga felet. För er yngre så pratar jag om en model av ibm:s deskstar som hade fel på smörjningen om jag inte missminner mig.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Här är studien för de som är intresserade: http://static.googleusercontent.com/external_content/untruste...

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av beh:

Här är studien för de som är intresserade: http://static.googleusercontent.com/external_content/untruste...

Gå till inlägget

Självklart är vid intresserade!!

Skickades från m.sweclockers.com

Visa signatur

Gaming: Asus P8P67, Intel i5-2500k, Asus 7970 DCII, 8gb ram, 300gb velociraptor
Server: Asus Rampage II, Intel i7-980x, 6970 ref, 30gb ram, SASUC8I + 8st 2tb diskar + 1st 128gb SSD

Redigera
Citera flera Citera
1 2
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara