Filserverbygge: Ubuntu server, ZFS och truecrypt

Tips förresten; det stämmer att du inte kan öka antalet diskar i en vdev, MEN du kan byta ut diskarna till större diskar, och på så sätt öka storleken. Jag byter själv ut 1,5TB'are mot 3TB'are, och när sista disken byts ut så fördubblas storleken. Sen kan du förstås lägga till fler vdevs i en zpool om nu 3-4TB diskar inte skulle räcka till.

hur lång rebuildtime har du på varje disk?

Går att fjärrstyra de allra flesta datorer remote, som har intelprocessor, med hjälp av vPro. Hört att de ska vara rätt buggigt dock, men går fortfarande.
Så IPMI lär fortfarande vara att föredra.

Det har jag inte tänkt så noga på, det tar ju några timmar så jag har satt på det på kvällen och sen gått och lagt mig helt enkelt. Jag har för mig dock att det bara skrivs så mycket till disken som det var på den gamla disken, så det beror på hur mycket filer man har lagrat.

Visst kan man det, men då fördubblas både antal SATA-portar som behövs, strömbehov, 3,5"-platser osv. För min del har jag bara plats för 6 diskar, så att kunna byta ut dom och expandera på så sätt är suveränt, iallafall tills man tar sig för att uppgradera chassit, och investera i SATA-kontroller osv.

Hårdvarukompatibiliteten är det inget problem med, servern har rullat Linux-RAID i flera år utan problem. Det verkar som att det är nåt problem med minnesallokering, men jag har inte hittat varken några raka svar, eller lösning/workaround, bara att andra haft liknande problem.

Från Wikipedia:

ZFS can not fully protect the user's data when using a hardware RAID controller, as it is not able to perform the automatic self-healing unless it controls the redundancy of the disks and data. ZFS prefers direct, exclusive access to the disks, with nothing in between that interferes. If the user insists on using hardware-level RAID, the controller should be configured as JBOD mode (i.e. turn off RAID-functionality) for ZFS to be able to guarantee data integrity. Note that hardware RAID configured as JBOD may still detach disks that do not respond in time; and as such may require TLER/CCTL/ERC-enabled disks to prevent drive dropouts. These limitations do not apply when using a non-RAID controller, which is the preferred method of supplying disks to ZFS.

Du kan använda flera mindre controllers också. 3st 2-portars skulle nog inte kosta en alltför stor summa pengar (med lite flyt 2000-2500kr). Och då har du dessutom en port över till systemdiskar, om du skulle önska det. Beroende på konfigurationen har du kanske även redundans om ett kontrollerkort skulle fallera.
Men visst är man inne och pillar lite på mer energiförbrukning då också..

Hej Fastidious mfl!

Och tack för en mycket intressant tråd!

Jag vill åstadkomma i princip samma sak vill presentera mitt serverupplägg: http://drdata.blogg.se/. Där skriver jag att jag ska använda mig software RAID, LVM mm. Anledningen till dessa val är att det är beprövad teknik som används "överallt".

Ursprungligt upplägg:
- Två 60 GB SSD med

• EFI bootpartition om 100 MB per disk

• speglad rootpartition om 10 GB (RAID 1, /dev/md0)

• en swappartition om 8 GB per disk

• resterande utrymme blir en speglad Flashcache (RAID 1, /dev/md1)

- 4x2 TB datadisk (RAID 5, /dev/md2 och LVM)

Varför EFI-boot? Ingen som helst anledning förutom att om jag vill ha möjligheten till ACPI, försätta servern i viloläge och övervakning på diskarna (smartmontools). Då verkar man få EFI på köpet. När man installerar OS på en speglad volym, så får man också frågan om man vill kunna starta servern i "degraded mode". Det är ju klart att man vill! Men jag får inte till det med att starta servern från den kopierade bootpartitionen. Kanske någon här har djupare kunskaper om detta.

Backup är ju ett måste och snapshots med LVM för dagliga förändringar är ju inte alls dumt. Tyvärr upptäckte jag också samtidigt att en snapshot i LVM blir lika stor som filsystemet oavsett datamängd. Dvs ett filsystem på en TB med 35 MB filer på får en snapshot på samma storlek (1 TB). Det blir ju ohållbart på en hemserver med 4 TB "rådisk" om man vill ha en backuphistorik. Tillbaks till ritbordet... Jag ville egentligen inte använda ZFS på Linux eftersom det i skrivande stund är version 0.6. Och precis som andra har skrivit här, så verkar det vara tunnsått med erfarenheter kring kombinationen ZFS och Ubuntu. Och de flesta hänvisar direkt eller indirekt till FreeBSD. Varför skulle den kombinationen fungera bättre? Initiala tester jag gjort med Ubuntu/ZFS ser bra ut tycker jag.

Jag gillar LVM och jag gillar ZFS. I jämförelse, så ger dock LVM intryck att vara något till åren. Det är absolut inget fel på LVM men för en privatperson med en något mer ansträngd budget än ett företag eller myndighet och önskemål om backupmöjligheter, så är LVM inte tillfyllest.

Nytt upplägg:
- Två 60 GB SSD med

• EFI bootpartition om 100 MB per disk

• speglad rootpartition om 10 GB (RAID 1, /dev/md0)

• en swappartition om 8 GB per disk

• en ZIL-partition om 4 GB per disk (ZFS speglar denna)

• resterande utrymme blir ZFS-cache

- 4x2 TB datadisk (ZFS, raidz varav en hot spare)

En tanke som har slagit mig efter att ha sökt på Internet efter hur att konfigurera "den bästa" hemservern är att de allra flesta verkar använda "out-of-the-box"-tekniken som finns tillgänglig under installationen av tex Ubuntu, dvs software RAID och/eller LVM. Och man tar en gammal hårddisk där OS får ligga, skapar en stor RAID5-blaffa av datadiskarna och formatterar denna. Jag tycker att det är lite obetänksamt men det är kanske ett tillräckligt bra upplägg. Själv vill jag ha åtminstone en replika på mitt digitala material. Det är anledningen till att jag tittar på DRBD. Men LVM:s bulkighet gör att jag väljer bort den kombinationen till förmån för ZFS. Och ZFS-send/-receive ger samma möjligheter.

Mvh
Davor

en kommentar ang. ditt projekt är att ZFS vill a direkttillgång till diskarna. att nyttja samma diskar för system och cache är alltså inte "rätt" sätt att gå tillväga. detta för att ZFS förutsätter direkttillgång till diskarna och allt vad det innebär. du bör alltså köra systemet på speglade diskar, två spelade SSD till ZIL samt en/flera enskilda SSD till L2ARC.

jag vet att denna lösningen blir dyrare än det du föreslagit, men tänkte bara kolla så att du är medveten om det.

Ni har inte prövat köra Debian med FreeBSD kerneln då? Debian kFreeBSD finns med FreeBSD 9 kerneln. Debian med FreeBSD kernel ger väl det bästa av båda världar?

Tack för din kommentar, Linuxprofessor.

Nej, jag var inte medveten om detta så jag kände mig tvungen att kolla upp detta lite mer. Jag har kommit fram till följande; ZFS behöver inte ha direkt tillgång till diskarna. Om ZFS har det så "tar den över" dessa och använder hårddiskarnas interna cache för eget bruk. Det finns fördelar med detta. ZFS har inga problem med att använda enstaka slices/partitioner så länge dessa inte används eller är låsta av tex OS el dyl. Inte heller för ZIL och/eller L2ARC.

Om möjligt, och det är ju inga större problem idag, så ska man köra systemet och ZIL på speglade diskar. Precis som du skriver. Oracle rekommenderar/tycker att det räcker med en ZIL som i storlek är hälften av det installerade fysiska minnet. Att dedikera SSD-diskar till ZIL och L2ARC hör till en enterpriselösning. I mitt fall så motsvarar 2x60GB SSD i spegel 120 GB RAM eller mer. I min lilla hemserver med 8 GB minne så blir den rekommenderade konfigurationen lite väl i överkant. Det skulle verkligen vara riktigt kul att få bygga en enterpriselösning men jag tror att partitioner för både ZIL och cache får duga.

Men det blir lite mer spännande nu; jag befinner mig ju också i den "knipan" att jag har beställt pryttlarna i en nätshop och nu när en hårddisk rapporterar felet "184 End-to-End error" och nätshopen tar tre arbetsdagar plus en helg att prestera en förbetald posttalong för retur. Kanske jag får en ersättningsdisk till helgen.

Och så är det ju en kostnadsfråga...

Mvh
Davor

Nej. Jag visste inte att den kombon fanns. Spännande! Har du någon bra länk att rekommendera?

Mvh
Davor

Finns ju infon på debians hemsida http://www.debian.org/ports/kfreebsd-gnu/ samt google.

Mycket möjligt, jag har inte prövat det själv. Men verkar lovande för folk som är intresserade av ZFS och är vana vid Debian/Ubuntu.

Jag har aldrig haft några problem med ZFS på Ubuntu. Haft 2 linuxburkar med ZFS på, hunnit med flera versioner av Ubuntu och uppdateringar av ZFS.
Aldrig stött på några problem.

Låter som du haft andra problem med hårdvaran eller annan mjukvara snarare än ZFS.

Bättre multiplattformstöd? Nu har du nog blandat ihop något, t.o.m min mormors brödrost har stöd för PPTP.

Det är ju det som är nackdelen med OpenVPN är ju att det har dåligt stöd out of the box på det mesta.

förstår hur du tänker ang. kostnad. ska jag va ärlig så är mitt eget system en extrem overkill

Skickades från m.sweclockers.com

En sådan där metaforisk brödrost.
PPTP har ju ett större plattform stöd än OpenVPN vad det jag försökte poängtera. Inte tvärt om.

Har läst en del om att folk på forumet köpt IBM M1015 kontrollerkort (LSI chip) och flashat om de till "IT-mode" vilket gör att det fungerar som en ren HBA och inte har något raidstöd längre.

Ska tydligen gå att hitta för ~600kr på ebay.

Kommentarer.
LSI SAS kortet du har, är mycket bra. Funkar perfekt under Solaris och FreeBSD och är faktiskt det som Oracle själva använder, har jag för mig - lite osäker på det. Men, en IBM M1015 är faktiskt också ett LSI kort som kallas LSI 9220-8i med annat namn än LSI och IBM kortet kan man köpa för $90 från Ebay (vilket jag gjort). Man flashar om det till "IT-mode". Många kör det med ZFS och BSD eller Solaris/OpenSolaris.
http://www.servethehome.com/ibm-m1015-part-1-started-lsi-9220...

Om man ska vara petnoga så bör man använda t.ex. 4 eller 8 diskar för lagring, vilket innebär att om du kör raidz2 så bör du ha 8 diskar + 2 = 10 diskar totalt. Skälet är att ZFS gillar när det har 8 diskar för lagring pga ZFS lagrar 8 bytes i taget (eller nåt sånt). Om du kör 8 diskars raidz2, så betyder det att du kör 6 diskar för lagring + 2 diskar för redundans. När ZFS ska lagra data, så måste datat delas på 6, och då blir det halva bytes som lagras på olika diskar. Det går jämnt upp om ZFS får 8 diskar för lagring. Ska du köra raidz3 så kan du använda 8 diskar + 3 för redundans = 11 diskar totalt. Då lagras data snyggt på alla diskar och det går jämnt upp.

Det har precis släppts Ivy Bridge Xeon versioner av cpuerna, de kallas "v2" på slutet. Så du kan sikta på en E3-1235v2. Det går att uppgradera BIOS på det moderkortet till v2.0 så det stödjer Ivy Bridge Xeon cpuer. Om inte moderkortet redan levereras med BIOS v2.0 så måste du ha en vanlig SandyBridge Xeon för att kunna uppgradera BIOS, sen byter du till en Ivy Bridge xeon cpu.

Se till att minnena är obuffrade. Kör du registrerade RAM minnen, så kommer det inte att funka med ditt moderkort.

Vill du köra kryptering så är det enklaste att köra Solaris 11, som har inbyggd kryptering. S11 har dock en ZFS version som är modernast, så den är inte kompatibel med FreeBSD eller Linux ZFS versioner. Mao, om du skapar en ZFS raid med S11, och sen försöker byta till FreeBSD så kommer det inte funka att importera ditt ZFS raid.

Använd inte deduplication, du måste ha mer än 1GB RAM för varje TB disk. Men slå gärna på komprimering, det funkar klockrent och kan ofta öka prestandan betydligt i praktiken. Det går snabbare att läsa in 100KB och packa upp det i RAM, än att läsa in 200KB.

Jag skulle undvika Linux med ZFS, och istället köra FreeBSD eller en helt öppen OpenSolaris fork, som t.ex. Illumian som är Solaris kernel men med Debian user land, och Debian pakethantering. Eller OpenIndiana som är pure OpenSolaris fork - men helt öppen och community drivet
http://trochejen.blogspot.se/2012/02/illumian-debian-like-dis...

SSD diskar som skriv och läs cache är helt onödigt för en hemanvändare. Man är poweruser om man använder det, eller kör ett företag.

Du kan även köra FreeBSD/Solaris helt virtualiserat i ESXi, och sen göra pass through till LSI kortet och accessa diskarna direkt. Många gör det framgångsrikt, här är en how-to och en megatråd med många success stories:
http://hardforum.com/showthread.php?t=1573272

Vet inte. Jag tror att alla de senaste moderkorten är v2.0 av BIOS, men du kanske får en äldre mammabräda?

Ok, men ZFS på linux vet jag inte så mycket om. Läs på och se vilken ZFS lösning som verkar stabilast. Här får du nog fråga någon annan än mig.

Har kört ZFS på linux 3+ år kanske? Haft 2 olika servrar och har fungerat väldigt bra, kört både ZFS-FUSE (rätt sölig prestanda) och ZFSonlinux, (väldigt bra fart). Bara kört på ubuntu och när jag hoppat mellan distar så har jag ominstallerat hela OSet.
fungerat väldigt smidigt att bara importera zfs volymen efter ominstallation.
Versions uppgraderingar av ZFS har inte heller varit något problem.

Det enda som bråkat är att ZFS volymen inte alltid monterars ordentligt under vissa versioner av ubuntu. Men man löser det enkelt med ett script som avmonterar för att sedan montera volumen igen.