Funderar på ESXi-server. Hårdvara och allmänna råd

2012-08-18, 21:59

#1

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Hej alla och förlåt för ett långt inlägg!

Jag går i tankarna att skaffa en allt-i-ett server med ESXi och har en del funderingar, dels angående hårdvara, men även själva konfigurationen. Har själv ingen tidigare erfarenhet av virtualisering och känner att det hade varit praktiskt och kul att lära sig. Jag kommer i den här tråden försöka gå igenom, så tydligt som möjligt, vilken hårdvara jag kollat på och hur jag tänkt att det ska fungera. Jag börjar med en gång:

Användningsområden

Filserver
Server för orderhanteringssystem
FTP
VPN
Spelserver typ minecraft, CS osv.
Torrent
Något att leka med. Testa/meka
Kanske webbserver
Ev. router

Tänker mig att servern ska fungera för runt 10-personer, både lokalt men även från en internetuppkoppling. Orderhanteringssysemet kommer använda något windows-operativ och inte vara särskilt krävande. Uppkopplingen kommer vara en 100/100 lina. Som jag har förstått det är det inte så krävande grejer förutom spelservrarna som kan ta en del. Jag vill ha en tillräckligt snabb server för att kunna ha en hel del VMs igång permanent samtidigt som jag kan labba ordentligt med tillfälliga och möjligt hyfsat resurskrävande VMs. En stor fråga är alltså: kommer hårdvaran räcka? Eller behöver man LGA2011 eller till och med dubbla sockets?

Hårdvara

Moderkort: Supermicro X9SCM
Processor: Xeon E3-1270v2
Minne: 4*Kingston 4GB
Raidkort: IBM M1015
SSD: Samsung 830 128GB
Hårddiskar: 4*Western Digital RE4 2B

Allt verkar landa på åtminstone 15 tusen (med chassi, nätagg osv). Det jag är mest orolig för är nog om processorn kommer räcka till. Skulle också vilja köra på mer RAM men jag har inte hittat några vettigt prissatta 8GB o-reg pinnar. Tänker att jag fortsätter med att berätta hur jag tänkt få ihop allt:

Så, hur har jag tänkt mig?

ESXi installerat på ett USB-minne.
VMs ligger på SSDn.
Passthrough på raidkortet (flashat med IT-firmware) till en VM för ZFS med Open Indiana och Napp-it. Raidz1 på de fyra WD-diskarna.
Open Indiana VMen delar ut utrymmet till resterande VMs. Hit skrivs och läses alla torrents, rippade filmer, foton osv osv.

Så... Har jäg tänkt någorlunda rätt. Finns det bättre lösningar och räcker hårdvaran? Undrar även hur man brukar göra när man kör virtualiserat. Kör man all tjänster på olika VMs? (torrent på en helt egen, FTP på en helt egen, VPN osv.) eller brukar man försöka baka ihop dem?

Hoppas detta kan leda till en intressant diskussion och jag uppskattar all hjälp jag kan få!
//Petter

Anmäl

Citera

Gilla

2012-08-18, 22:44

#2

M79

Medlem

Plats: Stora Skedvi

Registrerad: aug 2009

Citat:

Ursprungligen inskrivet av petterg

Hej alla och förlåt för ett långt inlägg!

Jag går i tankarna att skaffa en allt-i-ett server med ESXi och har en del funderingar, dels angående hårdvara, men även själva konfigurationen. Har själv ingen tidigare erfarenhet av virtualisering och känner att det hade varit praktiskt och kul att lära sig. Jag kommer i den här tråden försöka gå igenom, så tydligt som möjligt, vilken hårdvara jag kollat på och hur jag tänkt att det ska fungera. Jag börjar med en gång:

Användningsområden

Filserver
Server för orderhanteringssystem
FTP
VPN
Spelserver typ minecraft, CS osv.
Torrent
Något att leka med. Testa/meka
Kanske webbserver
Ev. router

Tänker mig att servern ska fungera för runt 10-personer, både lokalt men även från en internetuppkoppling. Orderhanteringssysemet kommer använda något windows-operativ och inte vara särskilt krävande. Uppkopplingen kommer vara en 100/100 lina. Som jag har förstått det är det inte så krävande grejer förutom spelservrarna som kan ta en del. Jag vill ha en tillräckligt snabb server för att kunna ha en hel del VMs igång permanent samtidigt som jag kan labba ordentligt med tillfälliga och möjligt hyfsat resurskrävande VMs. En stor fråga är alltså: kommer hårdvaran räcka? Eller behöver man LGA2011 eller till och med dubbla sockets?

Hårdvara

Moderkort: Supermicro X9SCM
Processor: Xeon E3-1270v2
Minne: 4*Kingston 4GB
Raidkort: IBM M1015
SSD: Samsung 830 128GB
Hårddiskar: 4*Western Digital RE4 2B

Allt verkar landa på åtminstone 15 tusen (med chassi, nätagg osv). Det jag är mest orolig för är nog om processorn kommer räcka till. Skulle också vilja köra på mer RAM men jag har inte hittat några vettigt prissatta 8GB o-reg pinnar. Tänker att jag fortsätter med att berätta hur jag tänkt få ihop allt:

Så, hur har jag tänkt mig?

ESXi installerat på ett USB-minne.
VMs ligger på SSDn.
Passthrough på raidkortet (flashat med IT-firmware) till en VM för ZFS med Open Indiana och Napp-it. Raidz1 på de fyra WD-diskarna.
Open Indiana VMen delar ut utrymmet till resterande VMs. Hit skrivs och läses alla torrents, rippade filmer, foton osv osv.

Så... Har jäg tänkt någorlunda rätt. Finns det bättre lösningar och räcker hårdvaran? Undrar även hur man brukar göra när man kör virtualiserat. Kör man all tjänster på olika VMs? (torrent på en helt egen, FTP på en helt egen, VPN osv.) eller brukar man försöka baka ihop dem?

Hoppas detta kan leda till en intressant diskussion och jag uppskattar all hjälp jag kan få!
//Petter

Hejsan!

Jag hade nog kört med 2st QC, kanske även försöka hitta ett moderkort som stödjer 2 fyskiska processorer och 6 kärnor vardera.

__________________
CITERA, CITERA OCH ÅTER CITERA FÖR ATT FÅ SVAR!

Anmäl

Citera

Gilla

2012-08-19, 03:38

#3

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Rent generellt så är dagens cpuer kraftiga och räcker längre än man tror. Den springande punkten är alltid RAM om man pratar virtualisering. Så jag skulle satsa på 32GB, helt klart, eftersom du verkar vilja köra många VMs. Gör en uppskattning och se om 16GB räcker, men generellt är det alltid RAM som tar slut först, inte cpu.

Om du ska köra många cpu tunga saker samtidigt så kanske du vill ha bättre cpu. Då är nog AMD billigast, det finns 8-12 core AMD cpuer som är billiga och stödjer ECC. Men om du kör oftast bara någon/några VMs igång så räcker cpun du valt ut.

När man virtualiserar på företag, så kan man stoppa in många VMs på en server. Oftast så idlar ju bara en VM, och arbetar sällan, så ibland stoppar man in många VMs i en server. Och då är det RAM som tar slut först, och därför är 512GB RAMs servrar populära för virtualisering. Även 1TB RAM servrar är populära för virtualisering. Men det är en trade off, ett företag vill inte stoppa in för många VMs på en server, för vad händer om den servern kraschar? Så företag kör ofta flera mindre servrar, än en enda stor server.

Om du ska köra OpenIndiana och ZFS virtuellt med IBM M1015 så kan du läsa denna megatråd:
http://hardforum.com/showthread.php?t=1573272

Ska du köra många VMs samtidigt så kommer mirrors ge bättre prestanda än en raidz1. Och en ZIL kommer ge bättre prestanda om du skriver mycket, en ZIL gör så att allt inte fryser medan du skriver synkrona filer, t.ex databaser eller NFS.

Anmäl

Citera

Gilla

2012-08-19, 07:15

#4

linuxprofessor

Medlem

Plats: Kalmar

Registrerad: jan 2011

Citat:

Ursprungligen inskrivet av M79

Hejsan!

Jag hade nog kört med 2st QC, kanske även försöka hitta ett moderkort som stödjer 2 fyskiska processorer och 6 kärnor vardera.

tänk på att ESXi inte har stöd för mer än en fysisk CPU i "gratisversionen"

__________________
Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Anmäl

Citera

Gilla

2012-08-19, 11:38

#5

Yuong

Medlem

Plats: Örebro

Registrerad: sep 2007

Du kommer klara dig på en CPU, se till å ha fläskigt med minne bara... För du har väll inte tänkt å ha 10-20 virtuella serverar å köra dem på fullt fräs?

det drar iväg när man börjar labba! tro mig. Pratat med MS teknikerna på jobbet när dem deployar virtuella maskiner.

__________________
Guides, tips & ticks in Powershell
Kamera: Nikon D700,D800
Optik:Nikkor 24-70mm f/2.8, Nikkor 70-200 f/2.8 VR, Sigma 50mm f/1.4, 500m f/4 VR

Anmäl

Citera

Gilla

2012-08-19, 12:04

#6

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Citat:

Ursprungligen inskrivet av Yuong

Du kommer klara dig på en CPU, se till å ha fläskigt med minne bara... För du har väll inte tänkt å ha 10-20 virtuella serverar å köra dem på fullt fräs?

det drar iväg när man börjar labba! tro mig. Pratat med MS teknikerna på jobbet när dem deployar virtuella maskiner.

Vad drar iväg? RAM? Cpu?

Anmäl

Citera

Gilla

2012-08-19, 12:19

#7

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Tack så mycket för alla svar

Citat:

Ursprungligen inskrivet av M79

Hejsan!

Jag hade nog kört med 2st QC, kanske även försöka hitta ett moderkort som stödjer 2 fyskiska processorer och 6 kärnor vardera.

Citat:

Ursprungligen inskrivet av linuxprofessor

tänk på att ESXi inte har stöd för mer än en fysisk CPU i "gratisversionen"

Citat:

Ursprungligen inskrivet av saddam

Rent generellt så är dagens cpuer kraftiga och räcker längre än man tror. Den springande punkten är alltid RAM om man pratar virtualisering. Så jag skulle satsa på 32GB, helt klart, eftersom du verkar vilja köra många VMs. Gör en uppskattning och se om 16GB räcker, men generellt är det alltid RAM som tar slut först, inte cpu.

Citat:

Ursprungligen inskrivet av Yuong

Du kommer klara dig på en CPU, se till å ha fläskigt med minne bara... För du har väll inte tänkt å ha 10-20 virtuella serverar å köra dem på fullt fräs?

det drar iväg när man börjar labba! tro mig. Pratat med MS teknikerna på jobbet när dem deployar virtuella maskiner.

Då verkar det som att det får bli en CPU. Blir väldigt dyrt annars, hårdvaran och en licenskostnad på det är nog en orimlig kostnad. Men om en CPU räcker så kör jag på det. Funkar E3-1270v2? bra och billigt moderkort med LGA1155-sockeln som även är microATX vilket skulle vara smidigt.

Citat:

Ursprungligen inskrivet av saddam

Om du ska köra OpenIndiana och ZFS virtuellt med IBM M1015 så kan du läsa denna megatråd:
http://hardforum.com/showthread.php?t=1573272

Ska du köra många VMs samtidigt så kommer mirrors ge bättre prestanda än en raidz1. Och en ZIL kommer ge bättre prestanda om du skriver mycket, en ZIL gör så att allt inte fryser medan du skriver synkrona filer, t.ex databaser eller NFS.

Tack för länken, ska försöka läsa igenom allt! Om jag kör spegling så får jag mindre utrymme, eller hur? 4 mot 5,5TB kanske går att motivera, men det känns trist när hårddiskar är så dyra. ZIL är något jag lägger på en snabb disk, utöver min raidz? och som även den behöver redundans?

Anmäl

Citera

Gilla

2012-08-19, 23:09

#8

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Du får mindre utrymme med spegling, ja. Men du får mer IOPS. Det du vill ha, är IOPS (googla på IOPS). Du är inte intresserad av bandbredd. Speciellt om du kör många VMs samtidigt så behöver du många IOPS. Kör du bara några enstaka VMs samtidigt, så går det nog bra med raidz som ger lägre IOPS.

Kör utan ZIL först och se om prestandan räcker till. ZIL är något du kan lägga till och ta bort när du vill utan problem. Om du vill ha ZIL, så behöver den inte vara större än typ 16 GB eller så. Skälet är att när RAM börjar fyllas upp, så skrivs det ned på ZIL, och eftersom du inte har mer än typ 16GB RAM, så behöver inte ZIL vara vidare stort. Så om du köper en 64GB SSD, så kan du ha en liten partition med ZIL, och resten med L2ARC. Läs på wikipedia om ZFS, för mer info. Tänk på att en SSD som används som cache, måste vara snabb med många IOPS.

Anmäl

Citera

Gilla

2012-08-20, 00:04

#9

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Citat:

Ursprungligen inskrivet av saddam

Du får mindre utrymme med spegling, ja. Men du får mer IOPS. Det du vill ha, är IOPS (googla på IOPS). Du är inte intresserad av bandbredd. Speciellt om du kör många VMs samtidigt så behöver du många IOPS. Kör du bara några enstaka VMs samtidigt, så går det nog bra med raidz som ger lägre IOPS.

Kör utan ZIL först och se om prestandan räcker till. ZIL är något du kan lägga till och ta bort när du vill utan problem. Om du vill ha ZIL, så behöver den inte vara större än typ 16 GB eller så. Skälet är att när RAM börjar fyllas upp, så skrivs det ned på ZIL, och eftersom du inte har mer än typ 16GB RAM, så behöver inte ZIL vara vidare stort. Så om du köper en 64GB SSD, så kan du ha en liten partition med ZIL, och resten med L2ARC. Läs på wikipedia om ZFS, för mer info. Tänk på att en SSD som används som cache, måste vara snabb med många IOPS.

Tjenare. Jag ser att många brukar använda zpoolen som datastore till andra VMs. Måste man göra det? rent spontant känns det som att det vore bättre med en/ett par SSDs för datastore, för att sedan använda zpoolen till endast filer och torrents. Skulle detta kräva fler IOPS än vad en raidz klarar?

Någon skriver att raidz är olämpligt för diskar större än 1TB och att raidz1 och raidz2 mår bättre av ett udda antal diskar medan raidz2 helst ska ha jämnt antal och fler än 6st. Detta betyder alltså att jag bör skaffa 6st diskar eller n*2 fler och sedan köra raidz2 istället för z1?

Anmäl

Citera

Gilla

2012-08-20, 21:50

#10

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Många använder zpoolen som datastore, pga de har många och stora VMs som inte får plats på en SSD. Men en SSD ger ju många fler IOPS än en raidz, så SSD är ju mycket bättre. Du kanske borde köra mirror så du inte förlorar allt om SSDn kraschar? Raidz är ju säkrare än en ensam SSD.

Om du har stora diskar så tar det lång tid att reparera ett raid om en disk kraschar. I värsta fall kan det kanske ta en vecka med stora 4TB diskar och zpoolen används under tiden. Så om du har raidz1 och en disk kraschar så kommer ditt raid vara utsatt under en hel vecka, och den risken vill du inte ta. Bättre med raidz2 om du har stora diskar, dvs 2TB eller större. Du kan ju byta ut en disk mot en större, och om du gör detta för alla diskar i raidet, så kommer du i framtiden kanske ha 6TB diskar, så många kör raidz2.

Folk säger att du bör ha 4 eller 8 diskar som lagring. Om du har raidz1, så bör du ha 4+1 = 5 diskar. Eller 8 + 1 = 9 diskar.
Om du har raidz2, så bör du ha 4 + 2 = 6 diskar. Eller 8 + 2 = 10 diskar.
Om du har raidz3 så bör du ha 4 + 3 = 7 diskar. Eller 8 + 3 = 11 diskar.
Skälet till detta, är att ZFS lagrar data jämnt upp om du har 4 eller 8 diskar för lagring. Annars kommer lagringen styckas upp och det blir inte hela stripes. Själv tycker jag detta inte är viktigt, jag kör raidz2 med 8 diskar och det funkar fint.

Anmäl

Citera

Gilla (1)

2012-08-20, 22:22

#11

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Citat:

Ursprungligen inskrivet av saddam

Många använder zpoolen som datastore, pga de har många och stora VMs som inte får plats på en SSD. Men en SSD ger ju många fler IOPS än en raidz, så SSD är ju mycket bättre. Du kanske borde köra mirror så du inte förlorar allt om SSDn kraschar? Raidz är ju säkrare än en ensam SSD.

Om du har stora diskar så tar det lång tid att reparera ett raid om en disk kraschar. I värsta fall kan det kanske ta en vecka med stora 4TB diskar och zpoolen används under tiden. Så om du har raidz1 och en disk kraschar så kommer ditt raid vara utsatt under en hel vecka, och den risken vill du inte ta. Bättre med raidz2 om du har stora diskar, dvs 2TB eller större. Du kan ju byta ut en disk mot en större, och om du gör detta för alla diskar i raidet, så kommer du i framtiden kanske ha 6TB diskar, så många kör raidz2.

Folk säger att du bör ha 4 eller 8 diskar som lagring. Om du har raidz1, så bör du ha 4+1 = 5 diskar. Eller 8 + 1 = 9 diskar.
Om du har raidz2, så bör du ha 4 + 2 = 6 diskar. Eller 8 + 2 = 10 diskar.
Om du har raidz3 så bör du ha 4 + 3 = 7 diskar. Eller 8 + 3 = 11 diskar.
Skälet till detta, är att ZFS lagrar data jämnt upp om du har 4 eller 8 diskar för lagring. Annars kommer lagringen styckas upp och det blir inte hela stripes. Själv tycker jag detta inte är viktigt, jag kör raidz2 med 8 diskar och det funkar fint.

Okej, tack så mycket. Jag får helt enkelt se vad pengarna räcker till. Speglade SSDer som datastore låter som något som skulle passa mig. Med delarna nu, dvs. E3-1270v2, 32GB ram, 6st diskar, SSD osv. verkar bygget gå på över 21tusen.

Anmäl

Citera

Gilla

2012-08-21, 20:34

#12

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Måste du ha en E3-1270v2? Man brukar aldrig ha problem med cpu prestanda, det är RAM som tar slut först. Om du verkligen behöver mycket cpu prestanda, så är det nog bättre att satsa på många cores, än några få högt klockade cores. T.ex. AMD har billiga många core cpuer. 12 core och sånt.
http://www.servethehome.com/amd-opte...n-alternative/

Anmäl

Citera

Gilla

2012-08-23, 15:24

#13

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Citat:

Ursprungligen inskrivet av saddam

Måste du ha en E3-1270v2? Man brukar aldrig ha problem med cpu prestanda, det är RAM som tar slut först. Om du verkligen behöver mycket cpu prestanda, så är det nog bättre att satsa på många cores, än några få högt klockade cores. T.ex. AMD har billiga många core cpuer. 12 core och sånt.
http://www.servethehome.com/amd-opte...n-alternative/

Det råkade bara vara så att det moderkortet hade LGA1155-socketen och verkade bra. microATX lockar, samtidigt som det ska fungera bra i ESXi men självklart kan jag köra på vilken processor som helst som möter kraven och inte är för dyr. Xeon E3 verkade väldigt prisvärt tack vare billigt moderkort.

EDIT: Har inte hittat någon bra lösning för en speglad datastore. Är det ett till raidkort som gäller?

Senast redigerad av petterg 2012-08-23 klockan 18:49.

Anmäl

Citera

Gilla

2012-08-23, 22:03

#14

Skynet-IRC

Medlem

Registrerad: apr 2012

man kommer rätt långt med 1 Cpu . tänk bara på att ha mycket med ram

sen på min burk hade jag tur med att port 5 på moderkortet inte registrerades med alla sata portarna på moderkortet .
tack vare det så ar jag 4 av de 5 portarna till min openfiler vm och sen raid kortet med 8 portar till en annan vm för tillfället .

Senast redigerad av Skynet-IRC 2012-08-23 klockan 22:08.

Anmäl

Citera

Gilla

2012-08-24, 00:47

#15

Yuong

Medlem

Plats: Örebro

Registrerad: sep 2007

Citat:

Ursprungligen inskrivet av saddam

Måste du ha en E3-1270v2? Man brukar aldrig ha problem med cpu prestanda, det är RAM som tar slut först. Om du verkligen behöver mycket cpu prestanda, så är det nog bättre att satsa på många cores, än några få högt klockade cores. T.ex. AMD har billiga många core cpuer. 12 core och sånt.
http://www.servethehome.com/amd-opte...n-alternative/

Exakt så jag tänkte med... fläska på med minne! det tar slut i princip på en gång. AMD är kanske inte bäst på mainstream cpuer nu men de har bra cpuer till server världen...

__________________
Guides, tips & ticks in Powershell
Kamera: Nikon D700,D800
Optik:Nikkor 24-70mm f/2.8, Nikkor 70-200 f/2.8 VR, Sigma 50mm f/1.4, 500m f/4 VR

Anmäl

Citera

Gilla

2012-08-24, 14:19

#16

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Citat:

Ursprungligen inskrivet av petterg

EDIT: Har inte hittat någon bra lösning för en speglad datastore. Är det ett till raidkort som gäller?

Jag fattar inte. Vad är problemed med speglad datastore? Hur många diskar vill du ha? Vad har du för HBA?

Anmäl

Citera

Gilla

2012-08-24, 20:35

#17

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Citat:

Ursprungligen inskrivet av Skynet-IRC

man kommer rätt långt med 1 Cpu . tänk bara på att ha mycket med ram

sen på min burk hade jag tur med att port 5 på moderkortet inte registrerades med alla sata portarna på moderkortet .
tack vare det så ar jag 4 av de 5 portarna till min openfiler vm och sen raid kortet med 8 portar till en annan vm för tillfället .

Citat:

Ursprungligen inskrivet av Yuong

Exakt så jag tänkte med... fläska på med minne! det tar slut i princip på en gång. AMD är kanske inte bäst på mainstream cpuer nu men de har bra cpuer till server världen...

32GB minne får det bli. Ang. processor så kanske en E3-1230v2 räcker? då blir det inte särskilt dyrt.

Citat:

Ursprungligen inskrivet av saddam

Jag fattar inte. Vad är problemed med speglad datastore? Hur många diskar vill du ha? Vad har du för HBA?

Tänker som så att, om man kör passthrough på m1015'en, så kommer jag använda moderkortets portar till datastore och då kan jag inte få någon hårvaruraid?

Anmäl

Citera

Gilla

2012-08-25, 11:49

#18

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Citat:

Ursprungligen inskrivet av petterg

32GB minne får det bli. Ang. processor så kanske en E3-1230v2 räcker? då blir det inte särskilt dyrt.

Den cpun borde räcka, om du inte kör tunga saker hela tiden.

Citat:

Tänker som så att, om man kör passthrough på m1015'en, så kommer jag använda moderkortets portar till datastore och då kan jag inte få någon hårvaruraid?

Jag har för mig att det var så här:
Om du kör passthorugh på M1015 så kommer du bygga ett ZFS raid som styrs utav M1015. Din datastore kommer att ligga på ZFS raidet. Eftersom du kör ZFS, så behöver du inget hårdvaruraid. Så du använder inte moderkortets portar till nånting.

Men jag kanske har uppfattat det fel?

Anmäl

Citera

Gilla

2012-08-25, 14:25

#19

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Citat:

Ursprungligen inskrivet av saddam

Den cpun borde räcka, om du inte kör tunga saker hela tiden.

Jag har för mig att det var så här:
Om du kör passthorugh på M1015 så kommer du bygga ett ZFS raid som styrs utav M1015. Din datastore kommer att ligga på ZFS raidet. Eftersom du kör ZFS, så behöver du inget hårdvaruraid. Så du använder inte moderkortets portar till nånting.

Men jag kanske har uppfattat det fel?

Jo precis men det var det jag tänkte undvika pga. för få IOPS. Dessutom måste väl ZFS-maskinen ligga på någon datastore?

Anmäl

Citera

Gilla

2012-08-25, 14:33

#20

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Citat:

Ursprungligen inskrivet av petterg

Jo precis men det var det jag tänkte undvika pga. för få IOPS. Dessutom måste väl ZFS-maskinen ligga på någon datastore?

Själva ZFS maskinen behöver inte mycket IOPS, eftersom det mesta av själva OSet är cachat i RAM. Det är inte ofta som den maskinen ska läsa från disk.

M1015 används för att lägga ett raid där som man sen lägger datastore på, och alla VMs ligger på datastoret. Om du inte vill använda raid, så kan du testa att koppla in två speglade SSD till M1015 som du använder som datastore. SSD ger ju alltid högre IOPS än ett raid.

Men kommer du skriva och läsa ofta från VMs då? Om det är vanlig arbetsbelastning du ska ha, så räcker nog ett raid bra. Det är många som kör med ett raid utan problem. Om du ska läsa och skriva många små filer ofta, så bör du ha SSD eller ett raid bestående av många speglade hårddiskar. Du kanske bör testa med ett raid först och se om antalet IOPS du får ut, räcker till? Det är ju många som kör så, och det går bra.

Anmäl

Citera

Gilla

2012-08-25, 15:13

#21

petterg

Medlem

Plats: stockholm

Registrerad: mar 2007

Citat:

Ursprungligen inskrivet av saddam

Själva ZFS maskinen behöver inte mycket IOPS, eftersom det mesta av själva OSet är cachat i RAM. Det är inte ofta som den maskinen ska läsa från disk.

M1015 används för att lägga ett raid där som man sen lägger datastore på, och alla VMs ligger på datastoret. Om du inte vill använda raid, så kan du testa att koppla in två speglade SSD till M1015 som du använder som datastore. SSD ger ju alltid högre IOPS än ett raid.

Men kommer du skriva och läsa ofta från VMs då? Om det är vanlig arbetsbelastning du ska ha, så räcker nog ett raid bra. Det är många som kör med ett raid utan problem. Om du ska läsa och skriva många små filer ofta, så bör du ha SSD eller ett raid bestående av många speglade hårddiskar. Du kanske bör testa med ett raid först och se om antalet IOPS du får ut, räcker till? Det är ju många som kör så, och det går bra.

Jo men ZFS-maskinen kan väl inte ligga på sin egna NFS share datastore? Så en disk utöver raidkortet kommer väl behövas och då blir det svårt med ordentlig redundans för den då ESXi inte stödjer mjukvaruraid?

Anmäl

Citera

Gilla

2012-08-25, 15:24

#22

ninnuam

Medlem

Plats: Osby, Skåne

Registrerad: jun 2002

Citat:

Ursprungligen inskrivet av linuxprofessor

tänk på att ESXi inte har stöd för mer än en fysisk CPU i "gratisversionen"

Jodå, ESXi har visst stöd för fler än en fysisk CPU i "gratisversionen".

__________________
Oh dear! Not the dirt-people!
Debian | VMWare | Windows 8 Enterprise (jaa, tänka sej att jag kör det här "skitet")
"If they're going to pirate somebody, we want it to be us rather than somebody else." -- Microsoft Business Group President Jeff Raikes

Anmäl

Citera

Gilla

2012-08-26, 03:13

#23

TommyToad

Medlem

Plats: Stockholm

Registrerad: nov 2001

Citat:

Ursprungligen inskrivet av petterg

Jo men ZFS-maskinen kan väl inte ligga på sin egna NFS share datastore? Så en disk utöver raidkortet kommer väl behövas och då blir det svårt med ordentlig redundans för den då ESXi inte stödjer mjukvaruraid?

Du har helt rätt. Om du kör passthrough på ditt SAS/RAID-kort till en VM så måste den VM:en ligga på en egen datastore. Jag har för mig att det går att knussla in den på ett usb-minne men citera mig inte angående det. SJälv så kör jag datastore för OpenIndiana på en SSD på moderkortets sata och skickar vidare mitt SAS-kort till OI som sedan delar ut datastore för resterande VM:s. Utom dom som skriver jätteofta och smått (loggar och dylikt), dom får också ligga på SSD.

Citat:

Ursprungligen inskrivet av ninnuam

Jodå, ESXi har visst stöd för fler än en fysisk CPU i "gratisversionen".

Hur fixar man en sådan licens? Sist jag pratade med vmware (drygt en månad sedan) så fick man fortfarande bara köra en fysisk CPU med oändligt antal kärnor/trådar. Innan man matar in sin licens så får man dock köra obegränsat men det funkar bara i 60 dagar.

__________________
Argaste

Anmäl

Citera

Gilla

2012-08-26, 08:13

#24

ninnuam

Medlem

Plats: Osby, Skåne

Registrerad: jun 2002

Citat:

Ursprungligen inskrivet av TommyToad

text...

Hur fixar man en sådan licens? Sist jag pratade med vmware (drygt en månad sedan) så fick man fortfarande bara köra en fysisk CPU med oändligt antal kärnor/trådar. Innan man matar in sin licens så får man dock köra obegränsat men det funkar bara i 60 dagar.

Den begränsning du tänker på är antagligen att man i v5 bara kan använda 8GB vRAM/CPU men du kan tydligen fortfarande köra upp till 4 fysiska CPUs. Sen kör jag själv med ett DP system här hemma.

Men det verkar faktiskt vara en heldel förvirring kring hur den nya licensen ser ut vad gäller CPU, vRAM, vCPU.

__________________
Oh dear! Not the dirt-people!
Debian | VMWare | Windows 8 Enterprise (jaa, tänka sej att jag kör det här "skitet")
"If they're going to pirate somebody, we want it to be us rather than somebody else." -- Microsoft Business Group President Jeff Raikes

Anmäl

Citera

Gilla

2012-08-26, 08:34

#25

BasseBaba

Medlem

Registrerad: aug 2002

Citat:

Ursprungligen inskrivet av ninnuam

Den begränsning du tänker på är antagligen att man i v5 bara kan använda 8GB vRAM/CPU men du kan tydligen fortfarande köra upp till 4 fysiska CPUs. Sen kör jag själv med ett DP system här hemma.

Men det verkar faktiskt vara en heldel förvirring kring hur den nya licensen ser ut vad gäller CPU, vRAM, vCPU.

Ändrade dom det inte till 32GB?
http://datacenteroverlords.com/2011/...ow-with-32-gb/

Anmäl

Citera

Gilla

2012-08-26, 08:46

#26

ninnuam

Medlem

Plats: Osby, Skåne

Registrerad: jun 2002

Citat:

Ursprungligen inskrivet av BasseBaba

Ändrade dom det inte till 32GB?
http://datacenteroverlords.com/2011/...ow-with-32-gb/

Hah, du det hade jag helt förträngt

Tack för du påminner mej!

__________________
Oh dear! Not the dirt-people!
Debian | VMWare | Windows 8 Enterprise (jaa, tänka sej att jag kör det här "skitet")
"If they're going to pirate somebody, we want it to be us rather than somebody else." -- Microsoft Business Group President Jeff Raikes

Anmäl

Citera

Gilla

2012-08-26, 08:54

#27

BasseBaba

Medlem

Registrerad: aug 2002

Citat:

Ursprungligen inskrivet av ninnuam

Hah, du det hade jag helt förträngt

Tack för du påminner mej!

Hehe inga problem, tänkte bara att det hade varit lite dumt att inte meddela TS om det fortfarande bara var 8GB, då det skulle vara relativt onödigt att stoppa in 32 gig minne i hans bygge.
Men detta verkar ju inte vara ett problem längre

Anmäl

Citera

Gilla

2012-08-26, 12:18

#28

TommyToad

Medlem

Plats: Stockholm

Registrerad: nov 2001

Citat:

Ursprungligen inskrivet av ninnuam

Den begränsning du tänker på är antagligen att man i v5 bara kan använda 8GB vRAM/CPU men du kan tydligen fortfarande köra upp till 4 fysiska CPUs. Sen kör jag själv med ett DP system här hemma.

Men det verkar faktiskt vara en heldel förvirring kring hur den nya licensen ser ut vad gäller CPU, vRAM, vCPU.

"Product: VMware vSphere 5 Hypervisor Licensed for 1 physical CPUs (unlimited cores per CPU)
License Key: 0J214-xxxxxxxxxxxxxxxxxxxxxxxx
Expires: Never

Product Features:
Up to 32 GB of memory
Up to 8-way virtual SMP"

__________________
Argaste

Anmäl

Citera

Gilla

2012-08-26, 13:14

#29

saddam

Medlem

Plats: Sthlm

Registrerad: nov 2008

Citat:

Ursprungligen inskrivet av TommyToad

Du har helt rätt. Om du kör passthrough på ditt SAS/RAID-kort till en VM så måste den VM:en ligga på en egen datastore. Jag har för mig att det går att knussla in den på ett usb-minne men citera mig inte angående det.

Jo, jag tror det är många som kör själva OSet på ett USB minne, nu när du nämner det. Här är en fet how-to, hur man kör ZFS via ESXi och NFS:
http://hardforum.com/showthread.php?t=1573272

Anmäl

Citera

Gilla

2012-08-26, 21:04

#30

TommyToad

Medlem

Plats: Stockholm

Registrerad: nov 2001

Citat:

Ursprungligen inskrivet av saddam

Jo, jag tror det är många som kör själva OSet på ett USB minne, nu när du nämner det. Här är en fet how-to, hur man kör ZFS via ESXi och NFS:
http://hardforum.com/showthread.php?t=1573272

I den där guiden så lägger man datastore på två stycken speglade SSD. Att själva ESXI installeras på ett usbminne har vi redan kommit fram till, problemet är vart första maskinen ska installeras.

__________________
Argaste

Anmäl

Citera

Gilla