Ny ESX Datastore - bygga egen NAS

Permalänk
Skrivet av Danne:

@knorrrhane & @moron Ok då är jag med

Vad för backuplösningar finns det för Fifo? Tänker även här på något i stil med Veeam som nyttjar sig av snapshots.

Eftersom att SmartOS använder sig av ZFS så kan man använda sig av den inbyggda snapshot-funktionen i ZFS. Fungerar väldigt bra! Du har en VM på varje zone så det är väldigt enkelt att ta en snapshot av en zon. Du kan också göra en back-up via FiFo vilket gör att du kan ta bort en zone/VM och installera den senare.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem

@enoch85: Om du kör plex så kan jag rekommendera ett litet program som heter rar2fs. Den låter en mounta en rar fil eller mapp som innehåller flera rar filer (kan utan problem montera hela filträdet), så att de arkiverade filerna beter sig som om de redan var uppackade.
Plex tog för länge sedan bort stödet för att läsa nerpackade filer och vad jag vet så har de inte lagt in det igen.
Prestandamässigt så är det väldigt lättdrivet, kan ha problem ifall du har hårt komprimerade filer men inga delade rar arkiv brukar ha någon komprimering alls.

Permalänk
Inaktiv
Skrivet av pris:

@enoch85: Om du kör plex så kan jag rekommendera ett litet program som heter rar2fs. Den låter en mounta en rar fil eller mapp som innehåller flera rar filer (kan utan problem montera hela filträdet), så att de arkiverade filerna beter sig som om de redan var uppackade.
Plex tog för länge sedan bort stödet för att läsa nerpackade filer och vad jag vet så har de inte lagt in det igen.
Prestandamässigt så är det väldigt lättdrivet, kan ha problem ifall du har hårt komprimerade filer men inga delade rar arkiv brukar ha någon komprimering alls.

Är det inte lättare att köra dedup på hela volymen?..

Permalänk
Medlem

@pris: Tack för tipset, men jag packar upp automatiskt när filen/filerna är klara. Har överdrivet med utrymme så det är lugnt just nu.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Skrivet av enoch85:

Märker du någon stor skillnad mellan ESXi och SmartOS? Känns inte aktuellt att byta ut ESXi för små skillnader, sen vet jag inte hur stabilt SmartOS är heller - har aldrig hört talas om det.

Hejhej,

Nu har jag äntligen haft tid till att installera om servern med SmartOS och så passade jag på att byta chassi (X-Case X248-C6 LCD) och installera en Samsung SM863 120GB SSD som SLOG.

Jag gillar SmartOS mer och mer allteftersom jag lär mig hur det fungerar. Än så länge så använder jag bara CLI och det fungerar bra! Det jag har gjort är att installera två Ubuntu VMs, en som Plex-server och en som samba-server, samt en Windows VM. Ubuntu VMs ligger på samma 64 GB SATA DOM som SmartOS är installerat på medan disken till Windows VMen ligger på min tank-pool. Ni ser hur det ser ut
i screenshoten där jag markerat Windows-disken i gult.

För att få en benchmark så körde jag CrystalDiskMark och fick detta (här ser ni också upplägget på mina 2 zpools, zones ligger på SATA DOM och tank är mina 3 diskar i raidz1):

http://imgur.com/a/GSIhb

Responsen på mina VMs är mycket bättre än i ESXi, även när jag körde datastore i ESXi på en SSD. Prestandan är så klart mycket bättre än det jag hade tidigare med iSCSI eftersom att disken ligger rätt på zpoolen.

Så långt så gillar jag verkligen SmartOS så tror det kommer bli bra!

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem
Skrivet av knorrrhane:

Responsen på mina VMs är mycket bättre än i ESXi, även när jag körde datastore i ESXi på en SSD. Prestandan är så klart mycket bättre än det jag hade tidigare med iSCSI eftersom att disken ligger rätt på zpoolen.

Så långt så gillar jag verkligen SmartOS så tror det kommer bli bra!

Nyfiken på ditt resultat. Får man fråga om du körde med hårdvara som är med på vmwares HCL?

Permalänk
Skrivet av Danne:

Nyfiken på ditt resultat. Får man fråga om du körde med hårdvara som är med på vmwares HCL?

Gick in och kollade lite snabbt men mitt moderkort gick inte att hitta. När jag installerade ESXi 5.1 för första gången för länge sedan så fick jag lägga in drivrutinerna för nätverkskortet på moderkortet manuellt men med senaste 5.1 uppdateringen så behövdes inte det.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem

Ah ok så pass gammal version alltså. Hade varit intressant att jämföra med en nyare tex 6.0 eller 6.5.

Permalänk
Skrivet av Danne:

Ah ok så pass gammal version alltså. Hade varit intressant att jämföra med en nyare tex 6.0 eller 6.5.

Eftersom att ESXi 5.5 och uppåt inte är gratis så blev det så.

Oavsett så tycker jag inte det är optimalt att köra ESXi om man vill ha ZFS så det är mest därför jag testar SmartOS.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem
Skrivet av knorrrhane:

Eftersom att ESXi 5.5 och uppåt inte är gratis så blev det så.

Oavsett så tycker jag inte det är optimalt att köra ESXi om man vill ha ZFS så det är mest därför jag testar SmartOS.

Du kan köra ESXi Free utan problem, Finns 6.5 att tanka ner.

Aldrig kört ZFS ihop med ESXi så det kan jag inte svara på. Föredrar att lägga det på hårdavaran.

Permalänk

@Danne: Menar du att du föredrar hårdvaru-RAID eller att du föredrar ZFS direkt på diskarna? Givetvis så är det dumt att köra ZFS på diskar i en VM med vmdisks, då missar man poängen. Det är det jag gillar med SmartOS eftersom det är OpenSolaris i grunden så ZFS finns inbyggt.

En annan fördel som jag ser nu efter att ha kört det ett tag är att det finns LX-zoner där du kan köra Linux i princip som en zone vilket betyder "bare metal performance" som det heter. Fungerar väldigt bra!

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk

@enoch85: bara en fråga, kör du VPSer med linux? I så fall kan jag verkligen rekommendera SmartOS då de har LX-zoner där du får väldigt bra prestanda. Du kan också montera in ZFS dataset med LOFS direkt i en LX-zone så inget NFS inblandat, fungerar kanon!

Du kan också, på lik linje som ESXi, göra dina egna images så om du t.ex. installerar allt du behöver på en zone så exporterar du den och när du skall göra en ny använder du den som bas och ger den en ny ip-adress.

Visa signatur

Moderkort: ASUS ROG MAXIMUS X CODE CPU: i7 8700K @ 4.8 GHz Kylare: Phanteks PH-TC14PE Svart Minnen: Corsair Vengence LPX 4x8 GB GPU: Asus GeForce GTX 980 TI med EVGA Hybrid cooler PSU: Corsair AX 850W 80+ Gold Lagring: Samsung 960 EVO 500GB M.2 + 2 x 2 TB WD Green RAID0 Chassi: NZXT H2 Svart OS: Windows 10

Permalänk
Medlem
Skrivet av knorrrhane:

@Danne: Menar du att du föredrar hårdvaru-RAID eller att du föredrar ZFS direkt på diskarna? Givetvis så är det dumt att köra ZFS på diskar i en VM med vmdisks, då missar man poängen. Det är det jag gillar med SmartOS eftersom det är OpenSolaris i grunden så ZFS finns inbyggt.

En annan fördel som jag ser nu efter att ha kört det ett tag är att det finns LX-zoner där du kan köra Linux i princip som en zone vilket betyder "bare metal performance" som det heter. Fungerar väldigt bra!

Precis hårdvaru-RAID. Bara skapa en volym och lägg alla VMs där, Känns som en väldigt robust lösning.

Permalänk
Medlem
Skrivet av knorrrhane:

@enoch85: bara en fråga, kör du VPSer med linux? I så fall kan jag verkligen rekommendera SmartOS då de har LX-zoner där du får väldigt bra prestanda. Du kan också montera in ZFS dataset med LOFS direkt i en LX-zone så inget NFS inblandat, fungerar kanon!

Du kan också, på lik linje som ESXi, göra dina egna images så om du t.ex. installerar allt du behöver på en zone så exporterar du den och när du skall göra en ny använder du den som bas och ger den en ny ip-adress.

Tack, men har hela mitt system uppsatt kring ESXi nu med Veeam och annat. Känns som att jag håller mig till det.

Prestandan är inte ultra-super-bra, men jag får iaf 270 MB/s Write på mina VMs över NFS. Jag nöjer mig med det tillsvidare.

Och btw, aldrig hårdvaruraid på ZFS.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av knorrrhane:

@enoch85: bara en fråga, kör du VPSer med linux? I så fall kan jag verkligen rekommendera SmartOS då de har LX-zoner där du får väldigt bra prestanda. Du kan också montera in ZFS dataset med LOFS direkt i en LX-zone så inget NFS inblandat, fungerar kanon!

Du kan också, på lik linje som ESXi, göra dina egna images så om du t.ex. installerar allt du behöver på en zone så exporterar du den och när du skall göra en ny använder du den som bas och ger den en ny ip-adress.

Skrivet av enoch85:

Tack, men har hela mitt system uppsatt kring ESXi nu med Veeam och annat. Känns som att jag håller mig till det.

Prestandan är inte ultra-super-bra, men jag får iaf 270 MB/s Write på mina VMs över NFS. Jag nöjer mig med det tillsvidare.

Och btw, aldrig hårdvaruraid på ZFS.

En liten notis : Finns en användare på reddit som har bänkat prestandan lite med bl.a ESXi 6.5 och kom fram till att prestandan är nästan identisk som att köra direkt på metallen.

Edit med källan dårå : https://www.reddit.com/r/homelab/comments/5ifl1r/ran_some_ben...

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem
Skrivet av backspace:

En liten notis : Finns en användare på reddit som har bänkat prestandan lite med bl.a ESXi 6.5 och kom fram till att prestandan är nästan identisk som att köra direkt på metallen.

Intressant, har du länk? Är detta över NFS med ZFS?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av backspace:

En liten notis : Finns en användare på reddit som har bänkat prestandan lite med bl.a ESXi 6.5 och kom fram till att prestandan är nästan identisk som att köra direkt på metallen.

Edit med källan dårå : https://www.reddit.com/r/homelab/comments/5ifl1r/ran_some_ben...

Japp det har hänt en hel del på senare tid som påverkar prestandan

Permalänk
Medlem

@Danne: Ja, det är faktiskt ganska spännande det här. Nu är ju de där siffrorna jag grävde fram "bara" en privatperson som suttit och testat men om man ska bara strunta i allt det logiska och bara gå på känslor (eftersom känslor är så bra när man skall argumentera) så känns det riktigt bra att man t.o.m kan få ut högre prestanda än att köra direkt på metallen.

För intresseklubben : Jag går och hämtar lite kaffe nu och surfar vidare.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem
Skrivet av backspace:

@Danne: Ja, det är faktiskt ganska spännande det här. Nu är ju de där siffrorna jag grävde fram "bara" en privatperson som suttit och testat men om man ska bara strunta i allt det logiska och bara gå på känslor (eftersom känslor är så bra när man skall argumentera) så känns det riktigt bra att man t.o.m kan få ut högre prestanda än att köra direkt på metallen.

För intresseklubben : Jag går och hämtar lite kaffe nu och surfar vidare.

Ska själva uppgradera inom kort är det tänkt sen får vi se