OpenSolaris 2009.06 är här!

Tänkte bara slänga in ett tipps, kanske så att ni redan känner till det men jag gör det ändå.
Av vad jag kunnat få fram så ser det ut som om att LSI Logic SAS3081E-R skall fungera prima med OSOL 2009.06:
http://www.lsi.com/storage_home/products_home/host_bus_adapte...
http://wordpress.fusetnt.com/tag/lsi-sas3081e-r/
http://opensolaris.org/jive/thread.jspa?messageID=470132&tsta...
http://mail.opensolaris.org/pipermail/zfs-discuss/2010-Januar...

Sista länken går till följande mail/inlägg:

En ganska auktoritär person inom Solaris utvecklandet med andra ord.

Säljs på Dustin home för ~2000 (i alla fall för mig när jag är inloggad som student) heter dock SAS3081E-R-SGL på DH. http://www.dustinhome.se/pd_5010384066.aspx

Sen såg jag också precis det här på /.

http://tech.slashdot.org/story/10/03/31/0141208/Solaris-No-Lo...

Yes, har läst att de rekommenderar <10 diskar i varje grupp. Men vad jag kunnat läsa är det (endast?) pga prestandaskäl. Sannolikheten att två diskar går sönder, är ju oberoende hur jag väljer att dela upp dem i olika grupper. Och tänker vi i värsta fall så kan jag med en stor grupp klara mig med två diskar som går sönder, oberoende av vilka de är. Delar jag upp det i mindre grupper, säg om 10, med raidz2 stämmer även detta. Men då förlorar jag 4TB extra på det. Skall jag istället få kvar samma utrymme så måste jag köra 2x10@raidz vilket medför att jag endast kan tillåta en disk går sönder.

OCH, skulle en disk gå sönder, är jag ju inte den som nödvändigtvis måste ha datorn igång 24/7 som i produktion, utan jag kan ta ner den tills jag fått en ersättningsdisk. Generellt tänkte jag lite så här: Jag kör nu 2st raid5 med 8 diskar i varje på en annan filserver. Jag har ibland fått skapa om raiden, men hitils har ingen disk någonsin gått sönder. Dubblerar jag antalet diskar, dubblerar jag också paririteten (raidz2), så borde det fungera rätt bra.

Jag har iofs inte testat fylla hela poolen för att se hur fort det går mot slutet. Men nu i början på den första TB, så gick det mycket fortare än vad jag själv egentligen behöver.

Jag har tänkt skapa en raidz konfiguration som består av 12 diskar varav 3 ska gå till paritet. (raidz3). Vet du hur mycket prestanda som går förlorad om jag har så många diskar? Mitt krav är att jag kan skriva/läsa från filservern med hastigheter som befinner sig runt 50-70 MB/s

Det bör inte vara några problem.

Dock kan det bero på vilka diskar du väljer. Man säger att varje vdev får samma prestanda som en av de diskar som sitter i den.
Generellt skulle jag idag avråda ifrån Western Digital Green Power diskarna då de har lite lustigheter för sig. Det är så att LLC (Load Level Count) ökar något helt otroligt under alla *nix-varianter (OSOL, Linux, Mac OS X, FreeBSD osv.) på dessa diskarna. Det är numera inte speciellt ovanligt med WD GP diskar som har miljoner i LLC och de är specade för ~300.000.

Jag har inga problem med att läsa i en bit över >80 MB/s ifrån min filserver (en vdev med åtta stycken WD GP diskar i raiz2 vid par2 verifiering där datat läses rakt in i min Mac Pros minne, par2 verifiering "drar" för övrigt sjukt mycket i IO-prestanda, >400 IO/s konstant under verifieringen). Skriva brukar ligga kring 50 MB/s, men då är det min Mac Pros disk som begränsar (en WD Blue) skulle mest troligen kunna skriva något snabbare om jag körde ifrån flera diskar samtidigt.

Tycker du att du får ut för låg hastighet så finns några lösningar (dessa baseras på att det inte är din CPU eller kontrollerkort som begränsar);
1) Lägga till ytterligare en vdev i din zpool. Du bör då få ungefär dubbla prestandan och dessutom dubbel (om det är samma storlek på diskarna i den nya vdev:en) mängd utrymme.
2) Byta ut alla diskarna i vdev:en till en annan modell som är snabbare. Ger nog marginell prestandaökning. Måste vara av samma storlek eller större än vad de tidigare diskarna var.
3) Koppla in en L2-cache disk (det vill säga en SSD). Har nog möjlighet(?) att ge bäst prestanda vid skrivning och med läsning om det är många som vill åt samma fil(er).
4) Köpa mer RAM, det vill säga L1-cache.

Kan säkert ha glömt något och/eller ha fel på något.

Av de alternativen är nog alt. 3) billigast och enklast. Dock är jag osäker på hur mycket bättre prestandan blir. Men för att repetera vad jag skrev ovan: det bör nog inte vara några problem för dig att nå upp till 50-70 MB/s med den konfigurationen.

Edit: Ett alternativ skulle ju annars vara att skaffa fyra diskar till (det vill säga 16 st) och köra två stycken raidz2 vdev:s i samma zpool. Fyra diskar går bort istället för tre men du får bättre prestanda och mer utrymme.

Jag har tänkt mig 8 GB ram minne med en dual processor E8600 på 3 GHz.

Jag undrar fortfarande om man ska köra en vdev med 12 diskar eller om man ska dela upp det! Vad är bäst? =/

Om det kommer 3 TB diskar och man delar upp det i 2 grupper då vill man ju inte köra raidz3 i varje grupp. Men det kanske är samtidigt dumt att köra raidz2 när diskarna är såpass stora volymmässigt.

För mig spelar det ingen roll om hela zpoolen blir dubbelt snabbare. eftersom jag endå har en begränsning i nätverket som är 1 Gbit/s.

Jag har funderat lite! tänker nog göra så här:

Totalt 14 diskar + 1 för Operativsystemet. Jag kommer skapa 2 grupper
som består av raidz3, 7 st i varje grupp. Då har jag raidz3 i båda grupperna.
förlorar 6 diskar! men det kanske är lönsamt när det börjar snart dyka upp 3 TB diskar på marknaden.

Men för att kunna göra det, behöver jag veta om detta kort fungerar i Opensolaris
" PE-124 eSATA II -3Gbps External 4Ports PCIe 8 lane Host Adapter " Är det någon här som har testat?

Sen har jag bara x16 PCIe plats ledigt i datorn. Undrar om ett PCIe x8 passar till PCIe x16 plats.

Vet inget om det kortet, är det så att du redan har sådana kort eller?
Annars tippsade jag om ett x8 som ska (ej provat själv dock) med OSOL. Dock SAS men vad jag förstod av LSIs hemsida så ska SAS->SATAII kablage följa med. Men det bör man nog kolla upp innan man beställer.

PCIe x8/4/1 passar i PCIe x16 sockets. x4/1 passar då också självklart också i x8 och så vidare.

Jag antar att du vill ha raidz3 för att öka säkerheten att du inte tappar din pool, om du investerar så pass mycket pengar på lagringsbiten varför kör du då vanliga sketna icke-ECC minnen? För det går väll inte att köra ECC-minnen till en E8600? Utan ECC-minnen kan du inte vara säker på att du ens lagrar rätt data på din zpool.

Jag har inte köpt hårddiskarna än! Kanske väntar in 3 TB diskar
Men angående ECC-minnen, är det verkligen nödvändigt? Jag ska ju bara ha zpoolen till lagringsplats! Jag tar mycket bilder och filmer med min system kamera visste inte ens om att det kunde bli fel i överföringen pga val av minne! Första gången jag hör att det kan eventuellt finnas sådana problem :S

Är det ett sådant här kort du menar http://www.lycom.com.tw/PE124.htm ? Ofta är alla kort byggda på samma referensdesign så tar man reda på vilka chip som sitter på kortet brukar det gå att få en hum om eventuellt hårdvarustöd.

Det verkar vara ett kort som är skapat för externa disklådor med inbyggda "SATA-port multipliers" tex http://www.lycom.com.tw/ST158PC.htm . Jag vet inte om detta stöds av OpenSolaris med det är en kul teknologi. Visserligen får man lite taskig prestanda när fem diskar delar på en sata-kanal, men i vissa applikationer spelar det ingen roll.

Det är för mig vad jag kallar "falsk trygghet". Om vi jämför de två fallen:

1st Raidz2 à 20 diskar:
Här kan två diskar, vilka som, gå sönder utan att jag förlorar arrayen.

2st Raidz2 à 10 diskar:
Här kan två diskar, vilka som, gå sönder utan att jag förlorar arrayen. Men, här kan också (om jag har "tur"), ytterligare en disk gå sönder, och om jag har ännu mera "tur", ännu en disk gå sönder.

Mitt scenario:
Skulle en disk gå sönder för mig, har jag inga problem att stänga av arrayen tills jag får en ny disk [detta motsvarar ju hotswap]. Sannolikheten att sedan två diskar går sönder innan jag hinner bygga om arrayen anser jag vara rätt liten med tanke på hur snabb CPUn är (bästa är kanske att testa?). Sedan utgår jag lite från gamla erfarenheter; jag har kört raid5 på 8 diskar nu i ...4 år, och hitils har ingen disk gått sönder. Så utgår man från att sannolikheten att 2 diskar skulle gå sönder samtidigt som rätt minimal, speciellt nu också då att en tredje disk går sönder innan jag hinner bygga om arrayen. Så att köra raidz3 för mig blir lite för "onödigt". Och vad jag menade med "falsk trygghet" är att om en disk går sönder, kommer jag inte pressa på arrayen och köra på som tidigare. För mig är scenariot när 1 disk gått sönder då jag börjar angera, inte efter 2 eller 3 diskar havererat. Sedan, har jag märkt att det ofta är känsligare att skriva än att läsa till disk. Så skulle en fallera kan jag antingen stänga av arrayen eller se till att inte skriva till den.

Så, visst ökar "säkerheten" men den lilla säkerhet det ger anser jag inte vara någon säkerhet för mig. Hade jag känt behov av högre säkerhet hade jag nog isåfall hellre kört raidz3.

På min andra filserver har jag en AMD 2000+, 1GB ram och ett 4x gamla 4p SATA-kort. Att återskapa arrayen på 8x500 med raid5 tar runt 18h och runt 36h för 8x1000 raid5. Det som belastas mest är CPUn. I mitt nya fall har jag nu raidz2 på 20x2, dvs 5x mera data än 8TB arrayen. Jag antar att det i "värsta fall" skulle ta 36x5 = 7 dagar att skapa om den. Detta om jag forfarande körde en 2000+. Nu kör jag ju en CPU som motsvarar i7 920, så den borde i alla fall vara lite snabbare, säg kanske dubbelt? Räknar vi sedan med 3.5 dygn att skapa om arrayen anser jag det vara tillräckligt kort tid innan 2 ytterliggare diskar inte hinner haverera.

Saddam: När vi kommer till diskar som har 100TB tror jag vi har lite snabbare diskar, datorer så det kanske inte tar evigheter Förhoppningsvis har vi kanske säkrare media att skriva till Fast 10TBs diskar ligger ju i alla fall inom "en nära framtid".

Nu har äntligen min server blivit stabil, det var med den senaste utgåvan av OS som den ordnade till sig ordentligt.

Jag har bara en sak som stör mig, men det är nog inget med OS.

När jag ska logga in från windows 7 s klagar den första 30 sek att lösenordet är fel, sen går det fint efter en stund.
Det är bara från min dator den gör detta, inte andra w7 datorer men jag kan inte lista ut vad det är som gör att min dator beter sig så...

ronnylov:
jag är lite intresserad av vad din server klarar av, det är väl #3 i din sign? jag har ett asus 780G & amd 5050e liggandes, ganska jämna med dina komponenter. funderar på att ta hem 5st 1TB diskar och 2x1GB DDR2 ECC och försöka mig på att få ihop ett raidz med osol.

är det möjligt att den står å tuggar torrents medan jag streamar HD-material till min htpc till exempel? eller hur ligger dessa komponenter till på prestanda skalan?

(inget gigabit här, använder endast en DIR-615)

Saddam: Ja, det har jag tänkt göra. Just nu verkar det dock som modekortet strular. Datorn bara totalfryser sig vid belastning av någon hårddisk (oavsett om det är från modekortet eller kontrollerkortet). Har testat memtest och det fungerar bra. Samt ett CPU burn test, och inge fel där. Men så fort jag försöker bara scanna igenom sektorer eller något likannde på en disk så fryser den sig, oavsett om jag kör windows 7, ubuntu eller opensolaris. Kollar jag sedan i bios så står CPU temp på 0 grader, vilket inte verkar så lovande. Så skall skicka in det på reperation. Tills dess är servern nere, men jag skall se vad som händer om jag fyller den med 30TB och sedan raderar en disk och trycker in den igen och scrubbar. Förhoppningsvis borde det gå inom 1-2 dygn