Virtualisering och lagring

Det är många som gör exakt så du tänkt; köra OpenIndiana virtuellt på en ESXi server. Här finns en megastor tråd om det, med how-to:
http://hardforum.com/showthread.php?t=1573272

Jag rekommenderar inte att virtualisera någon sorts lagringsserver då det läggs på massa overhead i virtualiseringen. Kör istället esxi på ett usb minne eller något gammalt du har liggandes och sen fixa en ensamstående FreeNAS med iSCSI eller openindiana om du föredrar det. Virtualisera _ALDRIG_ SAN/NAS.

ZFS är ett FILSYSTEM, precis som NTFS/FAT32/ext4/hfs/osv. Klassisk kryptering skyddar hårddisken från att flyttas till en annan dator då man sparar nyckeln i ett TPM chip.

CIFS/SMB är det protokollet du kommer använda för att komma åt diskarna via nätverket och troligtvis är det där du bestämmer hur du vill göra med authentikeringen.

Körde typ nästan samma rigg som du och försökte få freeNas att tuffa bra. Dock även med dedikerad hårdvara så verkar just att separera NAs från resten vara grejen. Med juste kontroller till naset får du lätt upp hastigheter över 500Mbit CIFS, NFS 800Mbit !! utan jumbo frames (i mitt fall P4 HT PCI-e 512MB ram och några intel GBit Nic). Sen ESXi för resten av godis fabrken. I mitt PfSense, W2003, W2008RC2 och lekstugan med testinstalltioner. Så separera naset till nån avdankad hårdvara är klart det bästa

Jag var i samma sits som dig förut. Jobbar själv som virtualiserings-konsult, så jag ville gärna köra ESXi samt en fläskig NAS.
Men eftersom jag bor relativt trångt och inte ville ha 2 maskiner så slutade det med att jag installerade Ubuntu som grundOS, stoppade in 7st 2TB diskar som jag kör ZFS på. (bootar på en separat disk).
(i3-2100T, 8GB ram.)
Sedan kör jag virtualiseringen via Vmware Workstation i Ubuntu... Inte optimalt kanske, men mina VMs idlar mest bara ändå.

Testade VirtualBox, men gillade inte nätverkshanteringen i det.. Så det blev workstation.

Någon ovan här var verklingen imponerad på 800Mbit, jag skulle säga att köra allt i ett ger dig även bättre prestanda än att ha en separat NAS.

såhär ser mina resultat ut på ZFS disken som alla VMs ligger på.

Raidz2:

root@NASDISK:~# dd if=/dev/zero of=/nasdisk/zerofile.000 bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 36.046 s, 291 MB/s

root@NASDISK:~# dd if=/nasdisk/zerofile.000 of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 32.6235 s, 321 MB/s

Och då har jag inte använt mig av 4k alignment, eftersom det var typ omöjligt på den tiden jag började köra ZFS på linux. Med 4k alignment så kommer siffrorna klättra upp ett bit till.

Valde bort FreeBSD/Solaris eftersom jag ville ha tillgång till en del applikationer som inte finns där, som tex Vmware Workstation.

Stödjer inte ESX(i) att du presenterar de fysiska diskarna direkt till en VM? (kör bara ESX(I) på jobbet så där är det bara sanvolymer som gäller). Hemma blev det Hyper-V och den fixar det

SKickar du fram fysiska diskar till VM och låter den hantera ZFS själv så har du inte många procent tapp mot att köra på en fysisk burk

Skulle inte oroa mig så mycket för overheaden i dagsläget, mera hur man har det med nätverkskort, nas/san bör ju ha dedikerat iallafall

Jag skulle ha kört på en sådan lösning du är inne på. Skaffa ett IBM M1015 HBA och presentera det direkt för din virtuella NAS.
Hardforum tråden är kanonbra, finns även många andra bra trådar i Data Storage kategorin på hardforum.

Endast Solaris 11 stödjer krypterad ZFS. Det görs genom, nåt i stil med att du skapar en nyckel som lagras som fil. Sen kommer du åt nyckeln genom att ge ett lösenord. Eller nåt sånt. Kommer inte ihåg. "Darren Moffat" är programmeraren som gjort zfs krypto (tror jag), och han har en blogg där han pratar mera om sånt. OpenIndinana stödjer inte ZFS krypto.

Det finns folk som virtualiserar SAN/NAS med framgång, om du tittar i den hardforum tråden så ser du. Själv vill jag inte virtualisera, men det finns många som gör så utan problem.

Jag skulle rekommendera att köra esxi.
Skickar vidare ett kontrollerkort (såsom IBM M1015) till Freebsd, så kan du köra zfs och GELI (kryptering) och du får near-native hasitghet i zfs.

För att fortsätta på saddams inlägg så introducerades ZFS Crypto i ZFSv30. Här är Darren Moffats introduktion till att använda det: https://blogs.oracle.com/darren/entr...ypto_in_oracle

Oracles manual: http://docs.oracle.com/cd/E23824_01/...448/gkkih.html

Dock verkar det ju endast finnas i Solaris 11 tyvärr, så vi som kör annat får väll vänta ett tag (innan det kommer och innan, i alla fall, jag vågar lita på implementationen).

Du får ursäkta om det lät argt, det var absolut inte menat. Svenska är inte mitt modersmål =)

Övriga frågor har svarats bra i tråden redan

Undrar lite vad syftet med din virtualisering är. Det finns flera vägar att gå naturligtvis den komplicerade och den lätta. Man kan alltid lägga in massor av olika värderingar i sin uppsättning. Tidigare körde jag en ren Debian "server" installation och började virtualisera på denna. Funka ok.

Nas delen körde jag då i Debian hosten och de andra burkarna som guests på burken. Om du vill ha en ensam burk för allt är det vägen att gå med ett bra grund os och bra virtualiseringsmjukvara.

Senare däremot ville jag ha en ren virtualiseringsmiljö. Valet föll då klart på ESXi då de administrativa funktionerna är klart bättre för min labb miljö. Proxmox funka rätt bra den med men inte lika nice på de virtuella nätverksswitchar jag ville skapa.

Beslutet att köra på separat NAS var prestanda samt lättare att skapa fristående backupper och versionshantering av de virtuella miljöerna.

Vad det gäller strömförbrukning är ju det klart fysikens lagar som gäller :-) där är det ju bara idle förbrukningen som du kan räkna som förlust jämfört med en burk och den är ju helt knuten till vilken hårdvara du använder. Ett NAS på ett Atom moderkort med 4 diskar tar inte mycket mer än just diskarna effektförbrukning och några watt till. (rätt bra flås även utan dedikerad RAID kontroller i FreeNas) En motsvarande PERC 4 (LSI) 2 kanalig SAS/SATA får du annars billigt på Ebay

Troligen så kommer det dyka upp någon sorts kryptering i opensource implementationerna av ZFS. Efterfrågan finns så det är nog bara en tidsfråga. Men om kryptering i "opensource ZFS" respektive "Oracle ZFS" blir kompatibla med varandra är det nog ingen som vet eftersom man inte längre, aktivt, delar någon ZFS-källkod.

Om jag förstår det rätt så kör du alltså raid-z2 i host-operativet, och alltså inte virtualiserat som TS undrade om? Om du kör virtualiserat så ser siffrorna trevliga ut.

Jag kör själv raid-5 på fakeraid i Windows, med hela raidvolymen TrueCrypt:ad, och får liknande (aningen högre) resultat (med i5 650 med AES-NI), men vill hellre köra raid-z (så jag slipper beroendet av Intel ICHxR-chipset och risken för write holes etc). Raid-z i Windows verkar vara att glömma, och då återstår för min del bara virtualiserad FreeNAS med iSCSI (förutsatt att jag kan fortsätta använda TrueCrypt på något vis).

Den intressanta frågan är ju då hur stor prestandaförlust virtualiserad FreeNAS med iSCSI egentligen har? Hälften? I så fall är det ändå ok för mig, då mitt hemmanätverk maxar ut på 1 gbit (får strax över 100 MB/s både till och från servern i dagsläget) och hälften av min nuvarande prestanda ändå blir en god bit över 100 MB/s...

Tillägg: Jag kan iofs förutse responsen på detta: "Det är väl bara att testa?", men det är inte så "bara" tyvärr eftersom jag har rätt mycket data på min raid-5-volym som jag inte har plats att backa undan till 100%.

ZFS versionerna kommer nog inte bli kompatibla alls. Huvuddelen av ZFS utvecklarna har hoppat av Oracle och joinat Delphix (bla en av zfs skaparna Matt Ahrens). Men ZFS kommer ha versionsnummer på zpoolen i framtiden säger delphix, så det kommer inte vara skadligt att importera en zpool in i olika OS.

Varför krångla till det?
Att köra en nas virituellt för att ansluta diskar över iscsi är ju som att gå över ån sju gånger för att hämta vatten (när du har vatten i kranen hemma).

Jag har slutat rekommendera esxi+nas, jag rekommenderar istället att man installerar linux, tex ubuntu. lägger till stöd för zfs(zfsonlinux.com) och sedan installerar valfri applikation för att virtualisera med. Smäll på truecrypt om du så känner för det. Om inte annat så lär kryptering för ZFS dyka upp om ett tag på linuxgrenen.

Men du har ändå problem, det går inte att 'konvertera' diskar till zfs. Diskarna kommer tömmas på innehåll när du skapar din första pool.
Så kan du inte spara undan allt du vill ha kvar får du antingen köpa nya diskar för ZFS eller så får du ge upp planera tills vidare.

Jo, jag är medveten om att host-operativ -> iscsi -> freenas-> raid-z -> zfs -> virtuell maskin -> host-operativ -> lagringsenhet bör innebära en hel del overheadförluster (och potentiellt ännu värre om det är en virtuell maskin som ska ansluta till iscsi).

Anledningen till krånglet är just att zfs inte finns till Windows, och jag har så många anledningar att köra Windows som host-operativ att jag inte ens orkar rada upp dem (varav en stor är att jag inte känner mig tillräckligt hemma i Linux).

Jo, jag kommer vara tvungen att skuffa undan all data om jag eventuellt tar steget över till raid-z, och då får jag skyffla över till jobbet i omgångar medelst extern disk, men det vill jag förstås inte göra bara för att testa utan då ska det vara definitivt.

Tänkte bara om någon hade en indikation på hur stor prestandaförlust det kan bli...

Jadu, tyvärr är jag ledig i morgon... annars hade jag åkt till jobbet och testat. Blir ju nyfiken själv eftersom jag tycker att det låter som en sådan fenomenalt dålig idé. Möjligt att jag kan testa på onsdag.

Om inte annat så kommer ju ReFS med nästa release av Windows server 2012, det ska vara mer eller mindre Microsofts egen version av ZFS. Det släpps någon gång mellan i höst fram till början på 2013.

Förresten, har du kollat så att du kan installera ESXi på din nuvarande HW då, så att du inte sitter där med långnäsa när ESXi inte hittar några hårddiskar i alls

Att köra virtualiserat via ESXi, eller köra bare metal är tydligen inte vidare stor prestandaskillnad. Kanske 5%, dvs inget du märker. Spelar roll om du får 80MB/sec eller 75MB/sec? Det är många som kör virtualiserat, om det gick långsamt eller var instabilt så skulle folk inte köra så. Det finns flera fördelar att köra virtualiserat, t.ex. att du kan flytta med dig dina OS till en annan dator, du slipper ominstallera allting. Jag föreslår att du testar att köra ESXi och ser om det funkar tillräckligt bra (vilket det nog gör)