Virtualisering och lagring

Trädvy Permalänk
Medlem
Plats
Haninge
Registrerad
Jun 2003

Virtualisering och lagring

Hej!

Jag funderar på att bygga ut min virtualiseringsserver så att den kan fungera som en NAS också. Men jag vet inte riktigt hur jag ska organisera det hela. Jag är rätt (nästan helt) färsk på detta område.

Är det alls en bra idé att skapa en virtuell maskin med OpenIndiana i botten, och bunta ihop fyra stycken hårddiskar (antar att man behöver någon sorts kontrollerkort?) på 2TB i ZFS och sedan köra alla övriga virtuella maskinerna från dessa 8TB? Eller är det bättre att köra alla virtuella maskiner från en separat hårddisk? Eller bör man ha NAS-delen separat från virtualiseringsdelen, det vill säga att man har NAS:en i en egen låda?

Sen har jag en fråga angående ZFS också. Skulle det gå att på något smidigt sätt kryptera alla 8TB? Hur fungerar sådan kryptering? Måste man skriva in någon nyckel eller så för att komma åt datan?

Servern består av en fyrkärning Intel-processor och 24GB RAM och har stöd för VT-x, VT-d och AES-NI.

Kan hända att jag återkommer med fler frågor på ämnet i denna tråd.

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008

Det är många som gör exakt så du tänkt; köra OpenIndiana virtuellt på en ESXi server. Här finns en megastor tråd om det, med how-to:
http://hardforum.com/showthread.php?t=1573272

Trädvy Permalänk
Medlem
Plats
Kållered
Registrerad
Mar 2012

Jag rekommenderar inte att virtualisera någon sorts lagringsserver då det läggs på massa overhead i virtualiseringen. Kör istället esxi på ett usb minne eller något gammalt du har liggandes och sen fixa en ensamstående FreeNAS med iSCSI eller openindiana om du föredrar det. Virtualisera _ALDRIG_ SAN/NAS.

ZFS är ett FILSYSTEM, precis som NTFS/FAT32/ext4/hfs/osv. Klassisk kryptering skyddar hårddisken från att flyttas till en annan dator då man sparar nyckeln i ett TPM chip.

CIFS/SMB är det protokollet du kommer använda för att komma åt diskarna via nätverket och troligtvis är det där du bestämmer hur du vill göra med authentikeringen.

Trädvy Permalänk
Medlem
Plats
Haninge
Registrerad
Jun 2003
Skrivet av MIST_:

Jag rekommenderar inte att virtualisera någon sorts lagringsserver då det läggs på massa overhead i virtualiseringen. Kör istället esxi på ett usb minne eller något gammalt du har liggandes och sen fixa en ensamstående FreeNAS med iSCSI eller openindiana om du föredrar det. Virtualisera _ALDRIG_ SAN/NAS.

ZFS är ett FILSYSTEM, precis som NTFS/FAT32/ext4/hfs/osv. Klassisk kryptering skyddar hårddisken från att flyttas till en annan dator då man sparar nyckeln i ett TPM chip.

CIFS/SMB är det protokollet du kommer använda för att komma åt diskarna via nätverket och troligtvis är det där du bestämmer hur du vill göra med authentikeringen.

Varför den bryska tonen?

Vad jag har läst är det en hel del som virtualiserar sin NAS. Har också läst att det inte är en bra idé att göra detta, det var därför jag frågade.

Vidare har jag aldrig antytt att ZFS är något annat än ett filsystem bland alla andra. Vad jag vet har ZFS inbyggt stöd för hårdvaruaccelererad kryptering om processorn har stöd för AES-NI, men jag kan ha fel.

Cifs/SMB har jag ingen nytta av då jag inte har någon Windows-dator.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Registrerad
Maj 2012

Körde typ nästan samma rigg som du och försökte få freeNas att tuffa bra. Dock även med dedikerad hårdvara så verkar just att separera NAs från resten vara grejen. Med juste kontroller till naset får du lätt upp hastigheter över 500Mbit CIFS, NFS 800Mbit !! utan jumbo frames (i mitt fall P4 HT PCI-e 512MB ram och några intel GBit Nic). Sen ESXi för resten av godis fabrken. I mitt PfSense, W2003, W2008RC2 och lekstugan med testinstalltioner. Så separera naset till nån avdankad hårdvara är klart det bästa

NZXT Phantom, I7 930, Corsair 16Gb 1600Mhz ,Gigabyte GTX680, Corsair TX 750w, OCZ Agillity 60GB x2 Stripe, Western Digital 2GB black, BenQ XL2410T, Samsung SyncMaster 2494HS, Roccat Kone+, Razer Lycosa, Logitec G13, Tritton AX51

Trädvy Permalänk
Medlem
Plats
Haninge
Registrerad
Jun 2003

Två av anledningarna till att jag vill köra allt på en maskin är att jag bor trångt och inte vill betala överdrivet höga elräkningar.

Annars hade jag gärna kört en separat NAS.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Närmaste router
Registrerad
Jul 2001

Jag var i samma sits som dig förut. Jobbar själv som virtualiserings-konsult, så jag ville gärna köra ESXi samt en fläskig NAS.
Men eftersom jag bor relativt trångt och inte ville ha 2 maskiner så slutade det med att jag installerade Ubuntu som grundOS, stoppade in 7st 2TB diskar som jag kör ZFS på. (bootar på en separat disk).
(i3-2100T, 8GB ram.)
Sedan kör jag virtualiseringen via Vmware Workstation i Ubuntu... Inte optimalt kanske, men mina VMs idlar mest bara ändå.

Testade VirtualBox, men gillade inte nätverkshanteringen i det.. Så det blev workstation.

Någon ovan här var verklingen imponerad på 800Mbit, jag skulle säga att köra allt i ett ger dig även bättre prestanda än att ha en separat NAS.

såhär ser mina resultat ut på ZFS disken som alla VMs ligger på.

Raidz2:

root@NASDISK:~# dd if=/dev/zero of=/nasdisk/zerofile.000 bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 36.046 s, 291 MB/s

root@NASDISK:~# dd if=/nasdisk/zerofile.000 of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 32.6235 s, 321 MB/s

Och då har jag inte använt mig av 4k alignment, eftersom det var typ omöjligt på den tiden jag började köra ZFS på linux. Med 4k alignment så kommer siffrorna klättra upp ett bit till.

Valde bort FreeBSD/Solaris eftersom jag ville ha tillgång till en del applikationer som inte finns där, som tex Vmware Workstation.

"Datorn har ju fan mer dragningskraft än jorden. Skulle jag ramla skulle jag hamna i datorstolen & inte på golvet."

Trädvy Permalänk
Medlem
Plats
127.0.0.1
Registrerad
Jun 2004

Stödjer inte ESX(i) att du presenterar de fysiska diskarna direkt till en VM? (kör bara ESX(I) på jobbet så där är det bara sanvolymer som gäller). Hemma blev det Hyper-V och den fixar det

SKickar du fram fysiska diskar till VM och låter den hantera ZFS själv så har du inte många procent tapp mot att köra på en fysisk burk

Arbetsdator: HFX Mini. Core-i5 2405S, Radeon 6570, Asus P8P67-M . Skärm: Dell 2407
HTPC: HFX Classic, E8500, Radeon 3450, P5K/EPU, Floppydtv-s2
Hyper-V Server: E6750 8GB minne 2X3TB Raid1 samt 2X1TB raid 1

Trädvy Permalänk
Medlem
Plats
Varberg
Registrerad
Aug 2009

Skulle inte oroa mig så mycket för overheaden i dagsläget, mera hur man har det med nätverkskort, nas/san bör ju ha dedikerat iallafall

ASUS P9X79 | RX 580 | Corsair DDR3 XMS3 8x8Gb | Intel I7 3820 | 2x Samsung 840 Pro 256Gb + 1 Intel 520 256 + 1 Crucial M500 256Gb
DELL XPS 15 | I7 | 512GB | 16GB ram | 4K EYEFINITY

Trädvy Permalänk
Medlem
Plats
Haninge
Registrerad
Jun 2003
Skrivet av mats42:

Stödjer inte ESX(i) att du presenterar de fysiska diskarna direkt till en VM? (kör bara ESX(I) på jobbet så där är det bara sanvolymer som gäller). Hemma blev det Hyper-V och den fixar det

SKickar du fram fysiska diskar till VM och låter den hantera ZFS själv så har du inte många procent tapp mot att köra på en fysisk burk

ESXi har stöd för detta (kör på detta vis nu). Men om man använder passthrough kan man tilldela VM hela kontrollerkortet och alla diskar som hör dit.

Skrivet av orig_rejser:

Skulle inte oroa mig så mycket för overheaden i dagsläget, mera hur man har det med nätverkskort, nas/san bör ju ha dedikerat iallafall

Servern har två Intel NICs (utöver de som finns på moderkortet) var av ett är menat för passthrough till min NAS-VM.

Skickades från m.sweclockers.com

Trädvy Permalänk
Medlem
Plats
Uppsala
Registrerad
Jul 2001

Jag skulle ha kört på en sådan lösning du är inne på. Skaffa ett IBM M1015 HBA och presentera det direkt för din virtuella NAS.
Hardforum tråden är kanonbra, finns även många andra bra trådar i Data Storage kategorin på hardforum.

Intel Core i7 3770k @ 4.4GHz | Asus Maximus V Formula | 16GB Kingston HyperX DDR3 2133MHz | EVGA GeForce GTX 980ti SC+ | Supermicro Xeon-D 1528 | Asus MG279Q, Dell U2515H

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008

Endast Solaris 11 stödjer krypterad ZFS. Det görs genom, nåt i stil med att du skapar en nyckel som lagras som fil. Sen kommer du åt nyckeln genom att ge ett lösenord. Eller nåt sånt. Kommer inte ihåg. "Darren Moffat" är programmeraren som gjort zfs krypto (tror jag), och han har en blogg där han pratar mera om sånt. OpenIndinana stödjer inte ZFS krypto.

Det finns folk som virtualiserar SAN/NAS med framgång, om du tittar i den hardforum tråden så ser du. Själv vill jag inte virtualisera, men det finns många som gör så utan problem.

Trädvy Permalänk
Medlem
Plats
Köping
Registrerad
Feb 2003

Jag skulle rekommendera att köra esxi.
Skickar vidare ett kontrollerkort (såsom IBM M1015) till Freebsd, så kan du köra zfs och GELI (kryptering) och du får near-native hasitghet i zfs.

Inget är omöjligt, bara det att det omöjliga tar lite längre tid

Trädvy Permalänk
Medlem
Plats
Göteborg (CTH)
Registrerad
Nov 2003

För att fortsätta på saddams inlägg så introducerades ZFS Crypto i ZFSv30. Här är Darren Moffats introduktion till att använda det: https://blogs.oracle.com/darren/entry/introducing_zfs_crypto_...

Oracles manual: http://docs.oracle.com/cd/E23824_01/html/821-1448/gkkih.html

Dock verkar det ju endast finnas i Solaris 11 tyvärr, så vi som kör annat får väll vänta ett tag (innan det kommer och innan, i alla fall, jag vågar lita på implementationen).

Trädvy Permalänk
Medlem
Plats
Kållered
Registrerad
Mar 2012
Skrivet av Santrium:

Varför den bryska tonen?

Vad jag har läst är det en hel del som virtualiserar sin NAS. Har också läst att det inte är en bra idé att göra detta, det var därför jag frågade.

Vidare har jag aldrig antytt att ZFS är något annat än ett filsystem bland alla andra. Vad jag vet har ZFS inbyggt stöd för hårdvaruaccelererad kryptering om processorn har stöd för AES-NI, men jag kan ha fel.

Cifs/SMB har jag ingen nytta av då jag inte har någon Windows-dator.

Skickades från m.sweclockers.com

Du får ursäkta om det lät argt, det var absolut inte menat. Svenska är inte mitt modersmål

Övriga frågor har svarats bra i tråden redan

Trädvy Permalänk
Medlem
Registrerad
Maj 2012

Undrar lite vad syftet med din virtualisering är. Det finns flera vägar att gå naturligtvis den komplicerade och den lätta. Man kan alltid lägga in massor av olika värderingar i sin uppsättning. Tidigare körde jag en ren Debian "server" installation och började virtualisera på denna. Funka ok.

Nas delen körde jag då i Debian hosten och de andra burkarna som guests på burken. Om du vill ha en ensam burk för allt är det vägen att gå med ett bra grund os och bra virtualiseringsmjukvara.

Senare däremot ville jag ha en ren virtualiseringsmiljö. Valet föll då klart på ESXi då de administrativa funktionerna är klart bättre för min labb miljö. Proxmox funka rätt bra den med men inte lika nice på de virtuella nätverksswitchar jag ville skapa.

Beslutet att köra på separat NAS var prestanda samt lättare att skapa fristående backupper och versionshantering av de virtuella miljöerna.

Vad det gäller strömförbrukning är ju det klart fysikens lagar som gäller där är det ju bara idle förbrukningen som du kan räkna som förlust jämfört med en burk och den är ju helt knuten till vilken hårdvara du använder. Ett NAS på ett Atom moderkort med 4 diskar tar inte mycket mer än just diskarna effektförbrukning och några watt till. (rätt bra flås även utan dedikerad RAID kontroller i FreeNas) En motsvarande PERC 4 (LSI) 2 kanalig SAS/SATA får du annars billigt på Ebay

NZXT Phantom, I7 930, Corsair 16Gb 1600Mhz ,Gigabyte GTX680, Corsair TX 750w, OCZ Agillity 60GB x2 Stripe, Western Digital 2GB black, BenQ XL2410T, Samsung SyncMaster 2494HS, Roccat Kone+, Razer Lycosa, Logitec G13, Tritton AX51

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Dec 2008
Skrivet av rastersize:

Dock verkar det ju endast finnas i Solaris 11 tyvärr, så vi som kör annat får väll vänta ett tag (innan det kommer och innan, i alla fall, jag vågar lita på implementationen).

Troligen så kommer det dyka upp någon sorts kryptering i opensource implementationerna av ZFS. Efterfrågan finns så det är nog bara en tidsfråga. Men om kryptering i "opensource ZFS" respektive "Oracle ZFS" blir kompatibla med varandra är det nog ingen som vet eftersom man inte längre, aktivt, delar någon ZFS-källkod.

Trädvy Permalänk
Medlem
Plats
Skellefteå
Registrerad
Okt 2008
Skrivet av JZ0NiC:

... Ubuntu som grundOS, stoppade in 7st 2TB diskar som jag kör ZFS på. (bootar på en separat disk).
...
såhär ser mina resultat ut på ZFS disken som alla VMs ligger på.

Raidz2:

root@NASDISK:~# dd if=/dev/zero of=/nasdisk/zerofile.000 bs=1M count=10000
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 36.046 s, 291 MB/s

root@NASDISK:~# dd if=/nasdisk/zerofile.000 of=/dev/null bs=1M
10000+0 records in
10000+0 records out
10485760000 bytes (10 GB) copied, 32.6235 s, 321 MB/s

...

Om jag förstår det rätt så kör du alltså raid-z2 i host-operativet, och alltså inte virtualiserat som TS undrade om? Om du kör virtualiserat så ser siffrorna trevliga ut.

Jag kör själv raid-5 på fakeraid i Windows, med hela raidvolymen TrueCrypt:ad, och får liknande (aningen högre) resultat (med i5 650 med AES-NI), men vill hellre köra raid-z (så jag slipper beroendet av Intel ICHxR-chipset och risken för write holes etc). Raid-z i Windows verkar vara att glömma, och då återstår för min del bara virtualiserad FreeNAS med iSCSI (förutsatt att jag kan fortsätta använda TrueCrypt på något vis).

Den intressanta frågan är ju då hur stor prestandaförlust virtualiserad FreeNAS med iSCSI egentligen har? Hälften? I så fall är det ändå ok för mig, då mitt hemmanätverk maxar ut på 1 gbit (får strax över 100 MB/s både till och från servern i dagsläget) och hälften av min nuvarande prestanda ändå blir en god bit över 100 MB/s...

Tillägg: Jag kan iofs förutse responsen på detta: "Det är väl bara att testa?", men det är inte så "bara" tyvärr eftersom jag har rätt mycket data på min raid-5-volym som jag inte har plats att backa undan till 100%.

1800X, 1080 SLI, 4K

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av Fnorken:

Troligen så kommer det dyka upp någon sorts kryptering i opensource implementationerna av ZFS. Efterfrågan finns så det är nog bara en tidsfråga. Men om kryptering i "opensource ZFS" respektive "Oracle ZFS" blir kompatibla med varandra är det nog ingen som vet eftersom man inte längre, aktivt, delar någon ZFS-källkod.

ZFS versionerna kommer nog inte bli kompatibla alls. Huvuddelen av ZFS utvecklarna har hoppat av Oracle och joinat Delphix (bla en av zfs skaparna Matt Ahrens). Men ZFS kommer ha versionsnummer på zpoolen i framtiden säger delphix, så det kommer inte vara skadligt att importera en zpool in i olika OS.

Trädvy Permalänk
Medlem
Plats
Närmaste router
Registrerad
Jul 2001
Skrivet av backfeed:

Om jag förstår det rätt så kör du alltså raid-z2 i host-operativet, och alltså inte virtualiserat som TS undrade om? Om du kör virtualiserat så ser siffrorna trevliga ut.

Jag kör själv raid-5 på fakeraid i Windows, med hela raidvolymen TrueCrypt:ad, och får liknande (aningen högre) resultat (med i5 650 med AES-NI), men vill hellre köra raid-z (så jag slipper beroendet av Intel ICHxR-chipset och risken för write holes etc). Raid-z i Windows verkar vara att glömma, och då återstår för min del bara virtualiserad FreeNAS med iSCSI (förutsatt att jag kan fortsätta använda TrueCrypt på något vis).

Den intressanta frågan är ju då hur stor prestandaförlust virtualiserad FreeNAS med iSCSI egentligen har? Hälften? I så fall är det ändå ok för mig, då mitt hemmanätverk maxar ut på 1 gbit (får strax över 100 MB/s både till och från servern i dagsläget) och hälften av min nuvarande prestanda ändå blir en god bit över 100 MB/s...

Tillägg: Jag kan iofs förutse responsen på detta: "Det är väl bara att testa?", men det är inte så "bara" tyvärr eftersom jag har rätt mycket data på min raid-5-volym som jag inte har plats att backa undan till 100%.

Varför krångla till det?
Att köra en nas virituellt för att ansluta diskar över iscsi är ju som att gå över ån sju gånger för att hämta vatten (när du har vatten i kranen hemma).

Jag har slutat rekommendera esxi+nas, jag rekommenderar istället att man installerar linux, tex ubuntu. lägger till stöd för zfs(zfsonlinux.com) och sedan installerar valfri applikation för att virtualisera med. Smäll på truecrypt om du så känner för det. Om inte annat så lär kryptering för ZFS dyka upp om ett tag på linuxgrenen.

Men du har ändå problem, det går inte att 'konvertera' diskar till zfs. Diskarna kommer tömmas på innehåll när du skapar din första pool.
Så kan du inte spara undan allt du vill ha kvar får du antingen köpa nya diskar för ZFS eller så får du ge upp planera tills vidare.

"Datorn har ju fan mer dragningskraft än jorden. Skulle jag ramla skulle jag hamna i datorstolen & inte på golvet."

Trädvy Permalänk
Medlem
Plats
Skellefteå
Registrerad
Okt 2008
Skrivet av JZ0NiC:

Varför krångla till det?
Att köra en nas virituellt för att ansluta diskar över iscsi är ju som att gå över ån sju gånger för att hämta vatten (när du har vatten i kranen hemma).

Jag har slutat rekommendera esxi+nas, jag rekommenderar istället att man installerar linux, tex ubuntu. lägger till stöd för zfs(zfsonlinux.com) och sedan installerar valfri applikation för att virtualisera med. Smäll på truecrypt om du så känner för det. Om inte annat så lär kryptering för ZFS dyka upp om ett tag på linuxgrenen.

Men du har ändå problem, det går inte att 'konvertera' diskar till zfs. Diskarna kommer tömmas på innehåll när du skapar din första pool.
Så kan du inte spara undan allt du vill ha kvar får du antingen köpa nya diskar för ZFS eller så får du ge upp planera tills vidare.

Jo, jag är medveten om att host-operativ -> iscsi -> freenas-> raid-z -> zfs -> virtuell maskin -> host-operativ -> lagringsenhet bör innebära en hel del overheadförluster (och potentiellt ännu värre om det är en virtuell maskin som ska ansluta till iscsi).

Anledningen till krånglet är just att zfs inte finns till Windows, och jag har så många anledningar att köra Windows som host-operativ att jag inte ens orkar rada upp dem (varav en stor är att jag inte känner mig tillräckligt hemma i Linux).

Jo, jag kommer vara tvungen att skuffa undan all data om jag eventuellt tar steget över till raid-z, och då får jag skyffla över till jobbet i omgångar medelst extern disk, men det vill jag förstås inte göra bara för att testa utan då ska det vara definitivt.

Tänkte bara om någon hade en indikation på hur stor prestandaförlust det kan bli...

1800X, 1080 SLI, 4K

Trädvy Permalänk
Medlem
Plats
Närmaste router
Registrerad
Jul 2001

Jadu, tyvärr är jag ledig i morgon... annars hade jag åkt till jobbet och testat. Blir ju nyfiken själv eftersom jag tycker att det låter som en sådan fenomenalt dålig idé. Möjligt att jag kan testa på onsdag.

Om inte annat så kommer ju ReFS med nästa release av Windows server 2012, det ska vara mer eller mindre Microsofts egen version av ZFS. Det släpps någon gång mellan i höst fram till början på 2013.

Förresten, har du kollat så att du kan installera ESXi på din nuvarande HW då, så att du inte sitter där med långnäsa när ESXi inte hittar några hårddiskar i alls

"Datorn har ju fan mer dragningskraft än jorden. Skulle jag ramla skulle jag hamna i datorstolen & inte på golvet."

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008

Att köra virtualiserat via ESXi, eller köra bare metal är tydligen inte vidare stor prestandaskillnad. Kanske 5%, dvs inget du märker. Spelar roll om du får 80MB/sec eller 75MB/sec? Det är många som kör virtualiserat, om det gick långsamt eller var instabilt så skulle folk inte köra så. Det finns flera fördelar att köra virtualiserat, t.ex. att du kan flytta med dig dina OS till en annan dator, du slipper ominstallera allting. Jag föreslår att du testar att köra ESXi och ser om det funkar tillräckligt bra (vilket det nog gör)