Filserverbygge: Ubuntu server, ZFS och truecrypt

Hm.. Kan man inte bara kryptera diskarna, var för sig då givetvis? Krypterar en hel disk, mountar den i TC och använder den mountade enheten som disk i ZFS-poolen? Upprepa för varje disk. Då krypterar man ju själva disken, som är statisk vad gäller det maximala utrymmet. Är en disk på 2 TB så är den på 2 TB, punkt. Den kommer inte växa. Må så vara att ZFS-poolen växer senare då man tillför fler diskar, men då krypteringen sköts på lagret under, mot disken så att säga, så är det inget ZFS vet om.

Vidare får jag fortfarande intrycket att ZFS under Linux inte rekommenderas på grund utav att folk just av den anledningen för att det inte har fungerat tillfredsställande tidigare. Nu kan man ju köra det i kerneln, jag vet inte om det är just anledningen dock. Men jag får intrycket, inte bara här på SweC utan även på andra forum, att man inte rekommenderar det just för att det "inte är säkert", men när man ber om en utförlig förklaring så kommer inget. Många säger emot utan att ha konkreta anledningar till att stödja sitt argument. Jag var inne på det lite tidigare i tråden också. Ja, det var säkert jättedåligt tidigare. De flesta saker brukar vara det i början xD

Men då många personer som sagt inte kan försvara sina påståenden med argument så får jag intrycket utav att det mer stämpeln som ligger kvar och gror än att det just är jättedåligt att använda. Vad säger folket, har jag fel i mina argument? Kom gärna med kritik i sådana fall, det är trots allt därför vi frågar andra. Man vill höra deras åsikter.

håller med om att detta måste vara den bästa lösningen. kan ju även tillägga att man kan köra VirtualBox i Solaris om man vill virtualisera eller köra Solaris Containers/Zones för att skapa flera virtuella instanser av OSet.

Kommentarer.
LSI SAS kortet du har, är mycket bra. Funkar perfekt under Solaris och FreeBSD och är faktiskt det som Oracle själva använder, har jag för mig - lite osäker på det. Men, en IBM M1015 är faktiskt också ett LSI kort som kallas LSI 9220-8i med annat namn än LSI och IBM kortet kan man köpa för $90 från Ebay (vilket jag gjort). Man flashar om det till "IT-mode". Många kör det med ZFS och BSD eller Solaris/OpenSolaris.
http://www.servethehome.com/ibm-m1015-part-1-started-lsi-9220...

Om man ska vara petnoga så bör man använda t.ex. 4 eller 8 diskar för lagring, vilket innebär att om du kör raidz2 så bör du ha 8 diskar + 2 = 10 diskar totalt. Skälet är att ZFS gillar när det har 8 diskar för lagring pga ZFS lagrar 8 bytes i taget (eller nåt sånt). Om du kör 8 diskars raidz2, så betyder det att du kör 6 diskar för lagring + 2 diskar för redundans. När ZFS ska lagra data, så måste datat delas på 6, och då blir det halva bytes som lagras på olika diskar. Det går jämnt upp om ZFS får 8 diskar för lagring. Ska du köra raidz3 så kan du använda 8 diskar + 3 för redundans = 11 diskar totalt. Då lagras data snyggt på alla diskar och det går jämnt upp.

Det har precis släppts Ivy Bridge Xeon versioner av cpuerna, de kallas "v2" på slutet. Så du kan sikta på en E3-1235v2. Det går att uppgradera BIOS på det moderkortet till v2.0 så det stödjer Ivy Bridge Xeon cpuer. Om inte moderkortet redan levereras med BIOS v2.0 så måste du ha en vanlig SandyBridge Xeon för att kunna uppgradera BIOS, sen byter du till en Ivy Bridge xeon cpu.

Se till att minnena är obuffrade. Kör du registrerade RAM minnen, så kommer det inte att funka med ditt moderkort.

Vill du köra kryptering så är det enklaste att köra Solaris 11, som har inbyggd kryptering. S11 har dock en ZFS version som är modernast, så den är inte kompatibel med FreeBSD eller Linux ZFS versioner. Mao, om du skapar en ZFS raid med S11, och sen försöker byta till FreeBSD så kommer det inte funka att importera ditt ZFS raid.

Använd inte deduplication, du måste ha mer än 1GB RAM för varje TB disk. Men slå gärna på komprimering, det funkar klockrent och kan ofta öka prestandan betydligt i praktiken. Det går snabbare att läsa in 100KB och packa upp det i RAM, än att läsa in 200KB.

Jag skulle undvika Linux med ZFS, och istället köra FreeBSD eller en helt öppen OpenSolaris fork, som t.ex. Illumian som är Solaris kernel men med Debian user land, och Debian pakethantering. Eller OpenIndiana som är pure OpenSolaris fork - men helt öppen och community drivet
http://trochejen.blogspot.se/2012/02/illumian-debian-like-dis...

SSD diskar som skriv och läs cache är helt onödigt för en hemanvändare. Man är poweruser om man använder det, eller kör ett företag.

Du kan även köra FreeBSD/Solaris helt virtualiserat i ESXi, och sen göra pass through till LSI kortet och accessa diskarna direkt. Många gör det framgångsrikt, här är en how-to och en megatråd med många success stories:
http://hardforum.com/showthread.php?t=1573272

Kommentarer.
...
Använd inte deduplication, du måste ha mer än 1GB RAM för varje TB disk. Men slå gärna på komprimering, det funkar klockrent och kan ofta öka prestandan betydligt i praktiken. Det går snabbare att läsa in 100KB och packa upp det i RAM, än att läsa in 200KB.
...

Och sedan har jag sett lite frågor angående rebuild time. Jag har ett raidz2 set på 20x2TB, vilket är fyllt till ~70%. När jag bytt en disk, ligger rebuild timen på ~15h, dvs, inte speciellt jättedåligt med tanke på diskens hastighet. CPUn arbetar, men ingen jättehög load - minns dock inte hur hög den var. Tror flaskhalsen är mina gamla kontrollerkort.

Flaskhalsen är hur mycket IOPS du har, dvs hur många vdevs du har. Om du t.ex. har 20 st diskar i en enda vdev, så kommer det ta lång tid. Har du många vdevs, t.ex. många speglar, så kommer det gå snabbt.

"Scrubbing is an approximately random IOPS task. Mirrors parallelize random
IO much better than raid."

Tja,

Jo, det känner jag till. Men detta är 20 st på 1enraidz2, dvs en vdev. Så, även om det går långsammare, är det ju inte tider som det ofta spekulerats om tidigare (dagar/veckovis), utan snarare några timmar längre.

Tiderna som pratades om, gäller om du har stora diskar, typ >4TB och dessutom aktivitet på servern. Om man jobbar mycket mot servern samtidigt så funkar inte den konfiguen i produktion. Men sitter man hemma så kanske man inte bryr sig om det tar lång tid.

Det var nån som byggde om en 20 diskars raidz2 till två vdevs och fick mycket högre prestanda. Själv skulle jag kört raidz3 om jag haft 20 diskar. Fast helst, flera vdevs. Rekommendationen från Oracle/SUN är ju att man undviker större vdevs än 15 diskar.

Jag skulle rekomendera att du köra FreeBSD och geli för kryptering. Betydligt kraftfullare än truecrypt och enklare att sköta med plus att zfs är klart mer mogen på FreeBSD än linux (i alla fall var då jag kollade några månader sedan). En sak som tål att tänka på är vart du ska lägga geli krypteringen. Direkt på disken och sedan köra RAIDZx ovanpå eller först RAIDZx och geli kryptering på den. Finns argument för båda och bör fungera ungefär lika bra i båda fallen.

Problem med FreeBSD är hårdvarustöd. Den är betydligt kinkigare än linux men du får ett klart bättre OS så det är värt att kolla upp om saker stöds innan man köper.

Tja,

Lite nyfiken och intresserad vad du menar med betydligt kraftfullare? Inte så insatt i just Geli, men vad är det som gör Geli betydligt kraftfullare än Truecrypt? Tänker du på userland vs kernel? Eller är det några features du menade?

Det är bättre integrerat i systemet men framför allt möjlighet att fixa så att du bootar från en USB sticka som du sedan tar bort. Utan den är absolut allt på datorn krypterat och går inte bevisa att det finns något på den.

Jag kör truecrypt på windows och det är jätte bra men om du har FreeBSD är geli klart bättre val.

Sitter du med diskar >4TB, så kommer det ta längre tid oavsett vilket konfig man kör med. T.ex. en mirror, tar ju längre tid att fylla om det är 4TB diskar man kör med än 2TB, förutsatt att diskarnas hastighet är någolunda densamma och man fyllt båda till samma procent. Men visst har du rätt i att det jag satt upp hemma inte är en produktionsserver - då hade jag kör flera mindre vdevs, och tittat på raid 10/50/60 beroende på kraven. Och kansk även funderat på någon form av SSD för snabba upp write/read.

Jo, visst hade jag fått högre prestanda, men inte SÅ mycket när det kommer till själva scrubbingen. Diskarna jag har är inte de snabbaste, och om jag ligger på runt 70% av max prestanda hos disken vid scrubbingen, tycker jag det är ett bra pris att betala. Skillnad hade ju varit om det tagit dagar - då hade jag känt en större risk med det hela, och framför allt känt av hastighetsskillnaderna. Och visst tar random read längre tid, men inget jag märkt av när jag använt servern till streaming/filserver för 1 person Och ja, rekommendationen ligger väl oftast på runt max 10-diskar, men det är ju som sagt tänkt till produktionsservrar.

Ahh, då förstår jag vad du menar. Jag förstod det som att du rekommenderade Geli över TrueCrypt, och då därför också rekommenderade FreeBSD.
Och du kan skapa liknande bootdisk med TrueCrypt med deras rescue disk om jag inte minns fel.

Har du provat att ta ut en disk och reparera raidet och se hur lång tid det tar? Kanske kan vara nyttigt att veta?