OpenSolaris 2009.06 är här!

b134: http://opensolaris.org/jive/thread.jspa?threadID=125446&tstar...

Med tanke på Intels senaste processorer, speciellt de nya XEON-modllerna, som ju har specifika instruktioner för AES; är det någon som vet om, eller när, detta kan komma att nyttjas utav ZFS Crypto? Ifall ZFS Crypto kommer att kunna dra nytta utav dessa nya fina instruktioner så vet i alla fall jag vad för typ av processor jag ska införskaffa nästa gång det blir tal om att uppgradera och aktivera crypto

ronnylov & rastersize: Det är nog bara folk från zfs-discuss på opensolaris.org som kan svara på era intressanta frågor. Men var inte rädda för att sprida svaren här...

Tja,

Rätt ny här (på att skriva inlägg). Men tänkte i alla fall säga att jag testat att leka lite med dedup och compression. För att se skillnaderna i dels hastighet men också grad av vinst.

Kör OpenSolaris 134 på en W3520, 6GB ECC, 2x500GB + 20x2TB diskar.

Skapade en pool med raidz2 på 20x2, och skapade där i tre olika zfs filsystem.

[None] Ett utan vare sig compression eller deduplication.
[Comp] Ett med compression (gzip-9) dvs max compression
[Dedup] Ett med deduplication (sha256, strict) för högsta verifikation

Jag la 8GB på 'None' och kopierade sedan det över till både 'Comp' och 'Dedup' för att se skillnaderna.

[Comp] - 1m29s
[Dedup] - 57s

För att se hur detta skalar sig testade jag lägga runt 800GB på 'None' och uföra testet igen.

[Comp] - 168m26s
[Dedup] - 393m38s

temp/none 34608236329 819688767 31577282969 3% /temp/none
temp/comp 34608236329 819095382 31577282969 3% /temp/comp
temp/dedup 34608236329 819698258 31577282969 3% /temp/dedup

Här kan vi se att 'comp' inte hjälpte mycket. Jag tjänare några ynka MB + att CPUn fick mycket högre load. För dedup blev det ännu värre, jag förlorade på det

MEN, nu kommer det mera problematiska. Att köra en zfs destroy på 'comp' gick rätt så fort. MEN, när jag kör den på dedup så slutade datorn att svara. Och den hänger sig vid "loading ZFS config*". Efter lite sökande på nätet inser jag att detta inte är ett så ovanligt fenomen[1] för dedup och kan ta några dagar för stora partitioner och är också beroende på ram. Och nackdelen för min del är att jag har en stor partition och lite ram, så den får väl stå och köra under påsken för att bli klar.

Någon kanske vet en workaround? Hade helst sluppit rensa alla diskar och skapat om allt.

[1] - http://www.mail-archive.com/zfs-discuss@opensolaris.org/msg34...

Någon som vet när 2010.03 släpps? Har för mig att jag sett 26 mars någonstans.

Puppetfreek:
Känner tyvärr inte till någon workaround. Men om du nu bestämmer dig för att rensa alla diskar och skapa om allt så skulle jag vilja tippsa om att 2 stycken raidz2 vdev:s om 10 stycken diskar ger bättre prestanda än 1 styck raidz2 vdev om 20 diskar. Du "förlorar" ju dock utrymmet utav fyra diskar istället för två. Det är dock helt upp till dig vad du anser vara viktigast. Men jag skulle nog har kört raidz3 med så pass många diskar i en enda vdev.

cny:
Nope har inte hört något men den borde ju komma nu i dagarna.

Såg precis följande tweet av Darren Moffet:

- http://twitter.com/darrenmoffat/status/11104067819

Trevligt må jag säga

Varför skulle riktig data ge högre dedup ratio? Det jag har hittat på internet[1] hittills och mina egna tester har inte fått mig att hoppa jämfota av glädje precis. Har du provat själv?

[1] http://apaton.blogspot.com/2010/02/zfs-compression-vs-dedupli...

Därför att slumpmässig data inte ger många identiska datablock. Programfiler innehåller däremot relativt ofta identiska block (t.ex. runtimes eller init-kod från standardbibliotek, etc). Jag tror däremot inte heller att skillnaden blir så väldigt stor. Dedup är väl snarare framtaget för stora lagringsvolymer där man lagrar data med mycket gemensamma block (t.ex. near-online storage där man lagrar snapshots eller backupkopior) eller volymer där data dupliceras i hög grad (t.ex. vid virtualisering).

Tja igen,

Jag har nu lämnat datorn att stå och tugga (eller vad den nu tänks göra) för att bli färdig. Har sett att vissa fått vänta 4 dygn på att få sina destroy av dedup färdiga (nästa gång får det bli rm -rf ).

Pjta, jag är inte så sugen på att ändra volymen till en mindre. Dels för att jag har den bara som intern lagringsenhet, och när jag körde en dd till arrayen kom jag upp i 700MB/s vilket är betydligt snabbare än mitt nätverk ändå. Men visst håller jag med om att jag hade fått snabbare om jag delat upp det.

Hårdvaran var det inte speciellt mycket strul med, tog par kända billiga kontrollerkort [1] som skall fungera med OpenSolaris. Sedan såg jag bara till att hitta ett modekort som hade stöd för ECC och W-serien (W3520), samt minst 6 sata och två PCI-X. Hittade då faktiskt ett Asus P6T WS Professional som höll alla dessa krav

Och användadet av SSD-disk skulle givetvis boosta upp min hastighet, fast då måste jag skaffa ännu en disk för något som inte gav mig något Och som svar på vad filerna var för något så är det inte random data i alla fall. Och jag förlorade data med dedup i jämförelse med utan Detta kan bero på att jag använda sha256, strict - men det hade ju blivit helt fel om jag inte använt det.

Något med en ssd-disk över kanske har lust att testa? Jag blir bara glad om jag får igång poolen igen - har ju 500gb av data där jag inte vill bli av med helst

[http://www.mullet.se/product.html?product_id=133690]

Du menar att rebuilden skulle ta långtid?

Och visst är det bra med IOPS, fast nu har jag inte så många användare (ensam). Så det är mest bara en dumburk som står och tickar för mig - som ett stort NAS. Visst har den lite kraftigare CPU och så, men det har jag tänkt använda som webmail, firewall, webbserver etc. Och om jag jämför med min andra dator som jag kör bl.a. en 8x1TB raid5 på, med vanlig PCI-portar och en gammal AMD2000+ så tar det runt 20h att köra en resync på alla data (100mb ledigt). Det är väl helt okey eftersom jag forfarande kan accessa datan samtidigt, även om det går i några MB/s. Och jag antar och hoppas att med denna nya dator så kommer jag få lite mer än några MB/s vid eventuella resync/rebuild. Och 500gb data var bara lite testdata jag förde över från min andra filserver, så det kommer mera.

Mmm, ram har jag sett läst är en nyckelfaktor. Egentligen räcker 6GB ram för mig, men det är ju inte världens dyraste att skaffa 6GB till - fast jag ser ingen direkt användning i det än. Visst hade det gått fortare med ZFS och allt, men hitils fungerar det ju mycket snabbare än vad mina andra datorer klarar av att hantera så än så länge behöver jag det inte. Det blir nog senare när jag labbar med olika zones/brandz som det kanske blir mera nödvändigt.

Ha ha ha, alla verkar tro jag har massa porr bara för jag har över mycket diskutrymme

Skulle tippa på att det är (eller en tidigare modell av) RPC-4020 som Sidde har. Det alltså ett helt "vanligt" (19"-rack 4U formfaktor dock) chassi där allt; disk, mobo, nätagg och så vidare; sitter i chassit. Det är ett väldigt attraktivt chassi! Speciellt, enligt mig, den nya med SAS-kontakter istället för SATAII kontakter (får man färre kablar i chassit).

Ska man ha chassit i sin garderob bör man, förutom standard modifikationen där man tejpar för alla hål för att förbättra luftflödet också, dock byta ut fläktarna till 120 mm. De som följer med är inte kända för att vara tysta av sig.

Ha ha ha, yes, jag har också ett Norco för min nya server Jag valde däremot att gå med den gamla lösningen för jag har hört att den nya har lite sämre luftflöde + den har stöd för 20x3.5" + 2x2.5", men medan det äldre har 20x3.5" + 2x3.5" Och jag tycker inte de låter speciellt mycket, om man jämför med allt annat skit som står och går. Jämför jag med mina gamla SAN som överröstar min dammsugare så är allt ljudlöst

Fast min endra filserver har jag faktiskt ett gammalt chieftec JS-1500 och några 4-in-3 så där har jag ändå lyckats få in 20 diskar där med

Det jag hade önskat vore ett thumper-liknande lösning fast endast som ett DAS. Det hade varit schyst!

Tanken är väl att flytta över alla datorer som agerar server åt något till ett rack, så jag blir av med allt och får det samlat i en och samma plats. Men det får bli ett senare projekt

Yes, 20 lösa satakablar Fungerar helt okey. Bara bunta ihop med buntband 4 om 4, så är det okey. Fördelen är att det är billigt och fungerar och finns i 1m längder för billig peng. Jag litar inte riktigt på interna kablar - minns ni PATA-kablarna som torkade och gick sönder? antar liknande kanske händer sata så kör rätt billiga nu (köpte dyra, men de var så stela och fungerar faktiskt sämre än andra).

Mmm, jag har funderat på raidz3. Men sannolikheten är väldigt liten att det kommer behövas.

Jag kör nu på den andra burken:8x500@raid5 + 8x1TB@raid5. Har haft den igång i....2 år, och hitils har inte en enda disk pajat (tvi tvi tvi?). Men när det börjar närma sig 3 år, så blir det dags att byta diskarna ändå så

På tal om massvis med disk, min lilla 8*1.5 TB raidz2 zpool börjar närma sig fullt, och i och med att jag snart flyttar hemifrån till en lägenhet med 100 Mbit/s, så börjar det bli dags att tänka på att uppgradera systemet lite. Jag bytte ut från 4*1 TB + 4*0.5 TB till nuvarande konfiguration för ungefär ett halvår sedan så det känns inte helt värt och ekonomisk riktigt att byta ut alla åtta diskarna till 2 TB diskar istället. Det jag kollar på nu är om det finns något vettigt extern chassi som kan tänkas rymma åtta stycken 3.5" diskar. Till ett vettigt pris då.

Så är det någon som känner till något extern chassi för åtta stycken 3.5" diskar till ett humant pris. Jag är student och kommer som sagt snart att flytta hemifrån så jag har tyvärr inte möjlighet att ösa ut pengar på hårdvara som Sidde och Puppetfreek (;)).

Ptja, är du händig kan du lätt fixa det själv - beroende vad du har för krav på hastighet. Finns ju adapter som konverterar SATA -> eSATA. Så tryck in allt i ett chassi, koppla en nätagg som du får fixa så det går igång utan modekort. Finns också "SATA-hubbar" så kan du ha två sådana i + två SATA->eSATA. Eller så skaffar du bara en billig atom och så har du löst det mesta redan