Hur fixar man ROBUST och PORTABEL lagring för sitt hemma nätverk?

För mitt hemma nätverk behöver jag NAS funktionalitet det vill säga lagriing, olika server roller som web servrar, plex, git, amazon glazier med mera. Jag behöver hjälp med att planera mitt system sådant att jag kan ha en väldigt robust och portabel "storage pool". Med robust och portabel menar jag:

1. Klara av att en disk dör (RAID5 tex)
2. Helst oberoende av OS
3. Det ska gå att migrera diskarna till ny hårdvara om kontrollerkort eller moderkort dör.

Hur gör man i en professionell miljö för att ha robust och portabel/migrerbar lagring? Jag tänker mig att man i serverhallar fullständigt har separerat lagring och andra server funktioner. Det vill säga man har lagring på ett ställe med någon servermjukvara som tillhandahåller data till andra servrar. Är detta något man kan göra i sitt hemma nätverk på ett smidigt sätt? Hur gör man?

Låt mig ge ett exempel på ett system som INTE uppfyller mina krav. Jag har för närvarande 4 WD Red 3TB kopplat till SATA på mitt moderkort. Jag har sedan Windows 2012 Server installerat på en SSD och har skapat en Storage pool med thin provisioning. Jag är nu beroende av Windows 2012 server för all framtid för att kunna komma åt informationen på mina diskar. O andra sidan är jag oberoende av hårdvaran om moderkortet skulle dö. Jag vill nu köra en LAMP server parallellt med min Windows Server (bland annat) och vill att dessa två ska komma åt mitt data på "lika villkor".

Mina tankar går i riktning mot ett dedikerat RAID-kort och virtualisering. Men det skulle vara fantastiskt att få lite råd från folk med faktisk erfarenhet!

Jag gillar Synology OS, och jag överväger allvarligt en DS1513+ eller ett hemmabygge med DSM. Den täcker de flesta av mina faktiska behov (plex, git, lamp) men saknar t.ex. crashplan och glacier. Det är ju säkert saker som kommer, men är en del av anledningen till att jag började titta på alternativ och sedan skapade denna tråd. En annan anledniing är prestanda vid transcoding till multipla enheter.

Om jag istället skulle skapa en egen NAS med t.ex. ZFS så förmodar jag att jag skulle formattera med ZFS på min LAMP server och sedan dela ut via SAMBA till min Windows Server. Men finns det inget sätt som ger båda operativ tillgång till mina dsikar på lika villkor (förutsatt att dem är virtualiserade)?

Om jag köper en dedikerad RAID-kontroller kan jag låta EXSi skapa en volym av min RAID-array och göra den tillgänglig via iSCSI till hela nätverket? Detta skulle ju kunna inkludera andra virtual machines på samma dator i så fall.

Kollar på dina filmer nu. Danke.

Min fråga är mer om man inte kan får iSCSI utan något OS (via EXSi) och sedan lägga sin NAS mjukvara ovanpå iSCSI. Anledningen skulle vara att jag vill ha flera server mjukvaror för att göra olika saker, men som har tillgång till samma storage pool.

Från dina videos och det jag läst nu på förmiddagen så ser jag följande fördelar med ZFS:

1. Block level checksums garanterar data integritet (detta är unikt och finns inte i något annat filsystem).
2. Med RaidZ kan jag blanda hårddisk storlekar och ändå få en disks redundans (liknar andra varianter av software raid och Storage Pools i Windows 2012 Server.)
3. Snapshots inbyggd i filsystemet (wow, denna var en överraskning!)

Snapshots gör verkligen ZFS intressant, speciellt om det går att kombinera med "Previous Versions" i Windows. Och så verkar fallet. Jag känner inte till att detta går på något annat sätt. T.ex. så har Synology visserligen previous versions, men jag tror inte att det är kopplat direkt så man kan komma åt dem genom Right click\Previous Versions. Med detta skulle jag kunna bygga följande system:

Godtyckligt MB + CPU + RAM (undivk raid kontroller)

Tre virtual machines:
1. FreeBSD dist med ZFS för ren filserver (ren passthrough genom EXSi). Filaccess via CIFS, iSCSI (ej bestämt)
2. LAMP för web etc
3. Windows 2012 server

Jag kan nu lägga GIT, plex, och vad jag mer behöver på Linux servern eller Windows utifrån vad jag känner för tillfället.

Robusthet står ZFS för. Portabilitet uppnås så tillvida att jag är oberoende av hårdvaran, men hårddiskarna är knutna till ett ZFS kapabelt OS (i dagsläget endast FreeBSD varianter?) Det är fortfarande en bättre lösning för mig än att använda Windows Server 2012 Storage Pools.

Fråga: Varför har du flashat om raid-kortet? Går det inte bara att stänga av raid funktionen i BIOS?

En följdfråga som jag nu måste ta reda på är hur man kan automatisera offsite backup så att man får med ZFS snapshots. Jag förmodar att om jag kopierar filer med t.ex. crashplan så kopieras endast "live" versionen och inga snapshots. Det vill säga att, om jag mot förmodan skulle förlora mina hårddiskar, så skulle alla snapshots också gå förlorade.

Så om man hade en kompis med en ZFS maskin så skulle man kunna göra offsite backup hos varandra, med intakt versions historik. Kanske kommer det också ZFS stöd hos diverse cloud företag i framtiden om det finns intresse.

Länkar denna tråd till andra som läser detta och blir sugna på ZFS:

http://hardforum.com/showthread.php?t=1573272

Det är en genomgång av OpenSolaris baserad operativ. Visserligen är den första posten från slutet av 2010, men diskussionen fortgår än och är nu på över 100 sidor.

Edit: 288 sidor, 5758 posts i skrivande stund

Två frågor till?

1. Köpte du ett separat RAID-kort? Varför?

2. Kan du använda ILO4 på servern. Får inte klarhet i om det kostar extra, har begränsad funktionalitet eller vad.

Jag står nu i valet mellan ett Supermicro X10SL7-F uATX moderkort och Microserver Gen8. Båda kommer utrustas med en Intel Xeon E3-1220v3 och 16GB ECC. Efter PSU och chassi borde priset bli liknande för båda lösningar. Båda har KVM via ethernet, förutsatt att man får använda ILO på HP'n. Båda har 2 x 1Gb NIC så jag kan köra en router på servern eller NIC teaming.

Skillnaden som jag ser det är att Supermicro har fler SATA ports via dess inbygga 8-ports LSI2308 SAS controller, men samtidigt kommer den bli betydligt mer skrymmande. Jag är verkligen inte nöjd med utbudet av NAS chassin för hemmabruk, de är alla fula och skrymmande. Här skiner HP Microserver Gen8 verkligen!

Hmm, jag ser nu att Intel Xeon E3-1220v3 har en TDP på 80W och Microservern har ett max på 45W, så det ser ut som jag får hitta en annan (och kanske dyrare) processor till den.

Tack för alla svar.

Det kommer bli Supermicro kortet om jag kan hitta ett grymt NAS chassi för uATX. Tror det blir billigare totalt sett. Annars blir det Microserver Gen8 + IBM 1015/LSI 9220-8I.

Jag kommer också utvärdera OmniOS + nappit, NexentaStore Community Edition samt FreeNAS, i min labbmiljö innan beslutshammaren faller. Kan återkomma med lite erfarenheter efterhand.

Det kortet är väldigt speciellt, men nog inte intressant för mina behov. Jag behöver framförallt minne (för ZFS och VM's), inte CPU power. Sen är jag orolig för att Marvel kretsarna ställer till problem för ESXi, men det går ju att kolla upp såklart. Strömförbrukningen är ett stort plus dock.

Får kontra med denna video om ZFS: http://www.youtube.com/watch?v=0oJ0vlzeJio

Det invaliderar inte fördelarna med SnapRAID, men det är en riktigt bra video som kommer sälja dig på ett "modernt" filsystem som t.ex. ZFS