Virtualisering och lagring

Det är många som gör exakt så du tänkt; köra OpenIndiana virtuellt på en ESXi server. Här finns en megastor tråd om det, med how-to:
http://hardforum.com/showthread.php?t=1573272

Jag rekommenderar inte att virtualisera någon sorts lagringsserver då det läggs på massa overhead i virtualiseringen. Kör istället esxi på ett usb minne eller något gammalt du har liggandes och sen fixa en ensamstående FreeNAS med iSCSI eller openindiana om du föredrar det. Virtualisera _ALDRIG_ SAN/NAS.

ZFS är ett FILSYSTEM, precis som NTFS/FAT32/ext4/hfs/osv. Klassisk kryptering skyddar hårddisken från att flyttas till en annan dator då man sparar nyckeln i ett TPM chip.

CIFS/SMB är det protokollet du kommer använda för att komma åt diskarna via nätverket och troligtvis är det där du bestämmer hur du vill göra med authentikeringen.

Körde typ nästan samma rigg som du och försökte få freeNas att tuffa bra. Dock även med dedikerad hårdvara så verkar just att separera NAs från resten vara grejen. Med juste kontroller till naset får du lätt upp hastigheter över 500Mbit CIFS, NFS 800Mbit !! utan jumbo frames (i mitt fall P4 HT PCI-e 512MB ram och några intel GBit Nic). Sen ESXi för resten av godis fabrken. I mitt PfSense, W2003, W2008RC2 och lekstugan med testinstalltioner. Så separera naset till nån avdankad hårdvara är klart det bästa

Jag var i samma sits som dig förut. Jobbar själv som virtualiserings-konsult, så jag ville gärna köra ESXi samt en fläskig NAS.
Men eftersom jag bor relativt trångt och inte ville ha 2 maskiner så slutade det med att jag installerade Ubuntu som grundOS, stoppade in 7st 2TB diskar som jag kör ZFS på. (bootar på en separat disk).
(i3-2100T, 8GB ram.)
Sedan kör jag virtualiseringen via Vmware Workstation i Ubuntu... Inte optimalt kanske, men mina VMs idlar mest bara ändå.

Testade VirtualBox, men gillade inte nätverkshanteringen i det.. Så det blev workstation.

Någon ovan här var verklingen imponerad på 800Mbit, jag skulle säga att köra allt i ett ger dig även bättre prestanda än att ha en separat NAS.

såhär ser mina resultat ut på ZFS disken som alla VMs ligger på.

Raidz2:

root@NASDISK:~# dd if=/dev/zero of=/nasdisk/zerofile.000 bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 36.046 s, 291 MB/s

root@NASDISK:~# dd if=/nasdisk/zerofile.000 of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 32.6235 s, 321 MB/s

Och då har jag inte använt mig av 4k alignment, eftersom det var typ omöjligt på den tiden jag började köra ZFS på linux. Med 4k alignment så kommer siffrorna klättra upp ett bit till.

Valde bort FreeBSD/Solaris eftersom jag ville ha tillgång till en del applikationer som inte finns där, som tex Vmware Workstation.

Skulle inte oroa mig så mycket för overheaden i dagsläget, mera hur man har det med nätverkskort, nas/san bör ju ha dedikerat iallafall

Endast Solaris 11 stödjer krypterad ZFS. Det görs genom, nåt i stil med att du skapar en nyckel som lagras som fil. Sen kommer du åt nyckeln genom att ge ett lösenord. Eller nåt sånt. Kommer inte ihåg. "Darren Moffat" är programmeraren som gjort zfs krypto (tror jag), och han har en blogg där han pratar mera om sånt. OpenIndinana stödjer inte ZFS krypto.

Det finns folk som virtualiserar SAN/NAS med framgång, om du tittar i den hardforum tråden så ser du. Själv vill jag inte virtualisera, men det finns många som gör så utan problem.

Jag skulle rekommendera att köra esxi.
Skickar vidare ett kontrollerkort (såsom IBM M1015) till Freebsd, så kan du köra zfs och GELI (kryptering) och du får near-native hasitghet i zfs.

För att fortsätta på saddams inlägg så introducerades ZFS Crypto i ZFSv30. Här är Darren Moffats introduktion till att använda det: https://blogs.oracle.com/darren/entry/introducing_zfs_crypto_...

Oracles manual: http://docs.oracle.com/cd/E23824_01/html/821-1448/gkkih.html

Dock verkar det ju endast finnas i Solaris 11 tyvärr, så vi som kör annat får väll vänta ett tag (innan det kommer och innan, i alla fall, jag vågar lita på implementationen).

Du får ursäkta om det lät argt, det var absolut inte menat. Svenska är inte mitt modersmål

Övriga frågor har svarats bra i tråden redan

Undrar lite vad syftet med din virtualisering är. Det finns flera vägar att gå naturligtvis den komplicerade och den lätta. Man kan alltid lägga in massor av olika värderingar i sin uppsättning. Tidigare körde jag en ren Debian "server" installation och började virtualisera på denna. Funka ok.

Nas delen körde jag då i Debian hosten och de andra burkarna som guests på burken. Om du vill ha en ensam burk för allt är det vägen att gå med ett bra grund os och bra virtualiseringsmjukvara.

Senare däremot ville jag ha en ren virtualiseringsmiljö. Valet föll då klart på ESXi då de administrativa funktionerna är klart bättre för min labb miljö. Proxmox funka rätt bra den med men inte lika nice på de virtuella nätverksswitchar jag ville skapa.

Beslutet att köra på separat NAS var prestanda samt lättare att skapa fristående backupper och versionshantering av de virtuella miljöerna.

Vad det gäller strömförbrukning är ju det klart fysikens lagar som gäller där är det ju bara idle förbrukningen som du kan räkna som förlust jämfört med en burk och den är ju helt knuten till vilken hårdvara du använder. Ett NAS på ett Atom moderkort med 4 diskar tar inte mycket mer än just diskarna effektförbrukning och några watt till. (rätt bra flås även utan dedikerad RAID kontroller i FreeNas) En motsvarande PERC 4 (LSI) 2 kanalig SAS/SATA får du annars billigt på Ebay

Troligen så kommer det dyka upp någon sorts kryptering i opensource implementationerna av ZFS. Efterfrågan finns så det är nog bara en tidsfråga. Men om kryptering i "opensource ZFS" respektive "Oracle ZFS" blir kompatibla med varandra är det nog ingen som vet eftersom man inte längre, aktivt, delar någon ZFS-källkod.

ZFS versionerna kommer nog inte bli kompatibla alls. Huvuddelen av ZFS utvecklarna har hoppat av Oracle och joinat Delphix (bla en av zfs skaparna Matt Ahrens). Men ZFS kommer ha versionsnummer på zpoolen i framtiden säger delphix, så det kommer inte vara skadligt att importera en zpool in i olika OS.

Varför krångla till det?
Att köra en nas virituellt för att ansluta diskar över iscsi är ju som att gå över ån sju gånger för att hämta vatten (när du har vatten i kranen hemma).

Jag har slutat rekommendera esxi+nas, jag rekommenderar istället att man installerar linux, tex ubuntu. lägger till stöd för zfs(zfsonlinux.com) och sedan installerar valfri applikation för att virtualisera med. Smäll på truecrypt om du så känner för det. Om inte annat så lär kryptering för ZFS dyka upp om ett tag på linuxgrenen.

Men du har ändå problem, det går inte att 'konvertera' diskar till zfs. Diskarna kommer tömmas på innehåll när du skapar din första pool.
Så kan du inte spara undan allt du vill ha kvar får du antingen köpa nya diskar för ZFS eller så får du ge upp planera tills vidare.

Att köra virtualiserat via ESXi, eller köra bare metal är tydligen inte vidare stor prestandaskillnad. Kanske 5%, dvs inget du märker. Spelar roll om du får 80MB/sec eller 75MB/sec? Det är många som kör virtualiserat, om det gick långsamt eller var instabilt så skulle folk inte köra så. Det finns flera fördelar att köra virtualiserat, t.ex. att du kan flytta med dig dina OS till en annan dator, du slipper ominstallera allting. Jag föreslår att du testar att köra ESXi och ser om det funkar tillräckligt bra (vilket det nog gör)