Funderar på ESXi-server. Hårdvara och allmänna råd

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007

Funderar på ESXi-server. Hårdvara och allmänna råd

Hej alla och förlåt för ett långt inlägg! Jag går i tankarna att skaffa en allt-i-ett server med ESXi och har en del funderingar, dels angående hårdvara, men även själva konfigurationen. Har själv ingen tidigare erfarenhet av virtualisering och känner att det hade varit praktiskt och kul att lära sig. Jag kommer i den här tråden försöka gå igenom, så tydligt som möjligt, vilken hårdvara jag kollat på och hur jag tänkt att det ska fungera. Jag börjar med en gång:

Användningsområden

  • Filserver

  • Server för orderhanteringssystem

  • FTP

  • VPN

  • Spelserver typ minecraft, CS osv.

  • Torrent

  • Något att leka med. Testa/meka

  • Kanske webbserver

  • Ev. router

Tänker mig att servern ska fungera för runt 10-personer, både lokalt men även från en internetuppkoppling. Orderhanteringssysemet kommer använda något windows-operativ och inte vara särskilt krävande. Uppkopplingen kommer vara en 100/100 lina. Som jag har förstått det är det inte så krävande grejer förutom spelservrarna som kan ta en del. Jag vill ha en tillräckligt snabb server för att kunna ha en hel del VMs igång permanent samtidigt som jag kan labba ordentligt med tillfälliga och möjligt hyfsat resurskrävande VMs. En stor fråga är alltså: kommer hårdvaran räcka? Eller behöver man LGA2011 eller till och med dubbla sockets?

Hårdvara

Allt verkar landa på åtminstone 15 tusen (med chassi, nätagg osv). Det jag är mest orolig för är nog om processorn kommer räcka till. Skulle också vilja köra på mer RAM men jag har inte hittat några vettigt prissatta 8GB o-reg pinnar. Tänker att jag fortsätter med att berätta hur jag tänkt få ihop allt:

Så, hur har jag tänkt mig?

  • ESXi installerat på ett USB-minne.

  • VMs ligger på SSDn.

  • Passthrough på raidkortet (flashat med IT-firmware) till en VM för ZFS med Open Indiana och Napp-it. Raidz1 på de fyra WD-diskarna.

  • Open Indiana VMen delar ut utrymmet till resterande VMs. Hit skrivs och läses alla torrents, rippade filmer, foton osv osv.

Så... Har jäg tänkt någorlunda rätt. Finns det bättre lösningar och räcker hårdvaran? Undrar även hur man brukar göra när man kör virtualiserat. Kör man all tjänster på olika VMs? (torrent på en helt egen, FTP på en helt egen, VPN osv.) eller brukar man försöka baka ihop dem?

Hoppas detta kan leda till en intressant diskussion och jag uppskattar all hjälp jag kan få!
//Petter

Trädvy Permalänk
Medlem
Registrerad
Aug 2009
Skrivet av petterg:

Hej alla och förlåt för ett långt inlägg! Jag går i tankarna att skaffa en allt-i-ett server med ESXi och har en del funderingar, dels angående hårdvara, men även själva konfigurationen. Har själv ingen tidigare erfarenhet av virtualisering och känner att det hade varit praktiskt och kul att lära sig. Jag kommer i den här tråden försöka gå igenom, så tydligt som möjligt, vilken hårdvara jag kollat på och hur jag tänkt att det ska fungera. Jag börjar med en gång:

Användningsområden

  • Filserver

  • Server för orderhanteringssystem

  • FTP

  • VPN

  • Spelserver typ minecraft, CS osv.

  • Torrent

  • Något att leka med. Testa/meka

  • Kanske webbserver

  • Ev. router

Tänker mig att servern ska fungera för runt 10-personer, både lokalt men även från en internetuppkoppling. Orderhanteringssysemet kommer använda något windows-operativ och inte vara särskilt krävande. Uppkopplingen kommer vara en 100/100 lina. Som jag har förstått det är det inte så krävande grejer förutom spelservrarna som kan ta en del. Jag vill ha en tillräckligt snabb server för att kunna ha en hel del VMs igång permanent samtidigt som jag kan labba ordentligt med tillfälliga och möjligt hyfsat resurskrävande VMs. En stor fråga är alltså: kommer hårdvaran räcka? Eller behöver man LGA2011 eller till och med dubbla sockets?

Hårdvara

Allt verkar landa på åtminstone 15 tusen (med chassi, nätagg osv). Det jag är mest orolig för är nog om processorn kommer räcka till. Skulle också vilja köra på mer RAM men jag har inte hittat några vettigt prissatta 8GB o-reg pinnar. Tänker att jag fortsätter med att berätta hur jag tänkt få ihop allt:

Så, hur har jag tänkt mig?

  • ESXi installerat på ett USB-minne.

  • VMs ligger på SSDn.

  • Passthrough på raidkortet (flashat med IT-firmware) till en VM för ZFS med Open Indiana och Napp-it. Raidz1 på de fyra WD-diskarna.

  • Open Indiana VMen delar ut utrymmet till resterande VMs. Hit skrivs och läses alla torrents, rippade filmer, foton osv osv.

Så... Har jäg tänkt någorlunda rätt. Finns det bättre lösningar och räcker hårdvaran? Undrar även hur man brukar göra när man kör virtualiserat. Kör man all tjänster på olika VMs? (torrent på en helt egen, FTP på en helt egen, VPN osv.) eller brukar man försöka baka ihop dem?

Hoppas detta kan leda till en intressant diskussion och jag uppskattar all hjälp jag kan få!
//Petter

Hejsan!

Jag hade nog kört med 2st QC, kanske även försöka hitta ett moderkort som stödjer 2 fyskiska processorer och 6 kärnor vardera.

98-365: MTA: Windows Server Administration Fundamentals
98-366: MTA: Networking Fundamentals
98-367: MTA: Security Fundamentals

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008

Rent generellt så är dagens cpuer kraftiga och räcker längre än man tror. Den springande punkten är alltid RAM om man pratar virtualisering. Så jag skulle satsa på 32GB, helt klart, eftersom du verkar vilja köra många VMs. Gör en uppskattning och se om 16GB räcker, men generellt är det alltid RAM som tar slut först, inte cpu.

Om du ska köra många cpu tunga saker samtidigt så kanske du vill ha bättre cpu. Då är nog AMD billigast, det finns 8-12 core AMD cpuer som är billiga och stödjer ECC. Men om du kör oftast bara någon/några VMs igång så räcker cpun du valt ut.

När man virtualiserar på företag, så kan man stoppa in många VMs på en server. Oftast så idlar ju bara en VM, och arbetar sällan, så ibland stoppar man in många VMs i en server. Och då är det RAM som tar slut först, och därför är 512GB RAMs servrar populära för virtualisering. Även 1TB RAM servrar är populära för virtualisering. Men det är en trade off, ett företag vill inte stoppa in för många VMs på en server, för vad händer om den servern kraschar? Så företag kör ofta flera mindre servrar, än en enda stor server.

Om du ska köra OpenIndiana och ZFS virtuellt med IBM M1015 så kan du läsa denna megatråd:
http://hardforum.com/showthread.php?t=1573272

Ska du köra många VMs samtidigt så kommer mirrors ge bättre prestanda än en raidz1. Och en ZIL kommer ge bättre prestanda om du skriver mycket, en ZIL gör så att allt inte fryser medan du skriver synkrona filer, t.ex databaser eller NFS.

Trädvy Permalänk
Medlem
Plats
Kalmar
Registrerad
Jan 2011
Skrivet av M79:

Hejsan!

Jag hade nog kört med 2st QC, kanske även försöka hitta ett moderkort som stödjer 2 fyskiska processorer och 6 kärnor vardera.

tänk på att ESXi inte har stöd för mer än en fysisk CPU i "gratisversionen"

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Sep 2007

Du kommer klara dig på en CPU, se till å ha fläskigt med minne bara... För du har väll inte tänkt å ha 10-20 virtuella serverar å köra dem på fullt fräs? det drar iväg när man börjar labba! tro mig. Pratat med MS teknikerna på jobbet när dem deployar virtuella maskiner.

Kamera: D800
Optik:Nikkor 24-70mm f/2.8, Nikkor 70-200 f/2.8 VR, Sigma 50mm f/1.4, 500m f/4 VR

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av Yuong:

Du kommer klara dig på en CPU, se till å ha fläskigt med minne bara... För du har väll inte tänkt å ha 10-20 virtuella serverar å köra dem på fullt fräs? det drar iväg när man börjar labba! tro mig. Pratat med MS teknikerna på jobbet när dem deployar virtuella maskiner.

Vad drar iväg? RAM? Cpu?

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007

Tack så mycket för alla svar

Skrivet av M79:

Hejsan!

Jag hade nog kört med 2st QC, kanske även försöka hitta ett moderkort som stödjer 2 fyskiska processorer och 6 kärnor vardera.

Skrivet av linuxprofessor:

tänk på att ESXi inte har stöd för mer än en fysisk CPU i "gratisversionen"

Skrivet av saddam:

Rent generellt så är dagens cpuer kraftiga och räcker längre än man tror. Den springande punkten är alltid RAM om man pratar virtualisering. Så jag skulle satsa på 32GB, helt klart, eftersom du verkar vilja köra många VMs. Gör en uppskattning och se om 16GB räcker, men generellt är det alltid RAM som tar slut först, inte cpu.

Skrivet av Yuong:

Du kommer klara dig på en CPU, se till å ha fläskigt med minne bara... För du har väll inte tänkt å ha 10-20 virtuella serverar å köra dem på fullt fräs? det drar iväg när man börjar labba! tro mig. Pratat med MS teknikerna på jobbet när dem deployar virtuella maskiner.

Då verkar det som att det får bli en CPU. Blir väldigt dyrt annars, hårdvaran och en licenskostnad på det är nog en orimlig kostnad. Men om en CPU räcker så kör jag på det. Funkar E3-1270v2? bra och billigt moderkort med LGA1155-sockeln som även är microATX vilket skulle vara smidigt.

Skrivet av saddam:

Om du ska köra OpenIndiana och ZFS virtuellt med IBM M1015 så kan du läsa denna megatråd:
http://hardforum.com/showthread.php?t=1573272

Ska du köra många VMs samtidigt så kommer mirrors ge bättre prestanda än en raidz1. Och en ZIL kommer ge bättre prestanda om du skriver mycket, en ZIL gör så att allt inte fryser medan du skriver synkrona filer, t.ex databaser eller NFS.

Tack för länken, ska försöka läsa igenom allt! Om jag kör spegling så får jag mindre utrymme, eller hur? 4 mot 5,5TB kanske går att motivera, men det känns trist när hårddiskar är så dyra. ZIL är något jag lägger på en snabb disk, utöver min raidz? och som även den behöver redundans?

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008

Du får mindre utrymme med spegling, ja. Men du får mer IOPS. Det du vill ha, är IOPS (googla på IOPS). Du är inte intresserad av bandbredd. Speciellt om du kör många VMs samtidigt så behöver du många IOPS. Kör du bara några enstaka VMs samtidigt, så går det nog bra med raidz som ger lägre IOPS.

Kör utan ZIL först och se om prestandan räcker till. ZIL är något du kan lägga till och ta bort när du vill utan problem. Om du vill ha ZIL, så behöver den inte vara större än typ 16 GB eller så. Skälet är att när RAM börjar fyllas upp, så skrivs det ned på ZIL, och eftersom du inte har mer än typ 16GB RAM, så behöver inte ZIL vara vidare stort. Så om du köper en 64GB SSD, så kan du ha en liten partition med ZIL, och resten med L2ARC. Läs på wikipedia om ZFS, för mer info. Tänk på att en SSD som används som cache, måste vara snabb med många IOPS.

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007
Skrivet av saddam:

Du får mindre utrymme med spegling, ja. Men du får mer IOPS. Det du vill ha, är IOPS (googla på IOPS). Du är inte intresserad av bandbredd. Speciellt om du kör många VMs samtidigt så behöver du många IOPS. Kör du bara några enstaka VMs samtidigt, så går det nog bra med raidz som ger lägre IOPS.

Kör utan ZIL först och se om prestandan räcker till. ZIL är något du kan lägga till och ta bort när du vill utan problem. Om du vill ha ZIL, så behöver den inte vara större än typ 16 GB eller så. Skälet är att när RAM börjar fyllas upp, så skrivs det ned på ZIL, och eftersom du inte har mer än typ 16GB RAM, så behöver inte ZIL vara vidare stort. Så om du köper en 64GB SSD, så kan du ha en liten partition med ZIL, och resten med L2ARC. Läs på wikipedia om ZFS, för mer info. Tänk på att en SSD som används som cache, måste vara snabb med många IOPS.

Tjenare. Jag ser att många brukar använda zpoolen som datastore till andra VMs. Måste man göra det? rent spontant känns det som att det vore bättre med en/ett par SSDs för datastore, för att sedan använda zpoolen till endast filer och torrents. Skulle detta kräva fler IOPS än vad en raidz klarar?

Någon skriver att raidz är olämpligt för diskar större än 1TB och att raidz1 och raidz2 mår bättre av ett udda antal diskar medan raidz2 helst ska ha jämnt antal och fler än 6st. Detta betyder alltså att jag bör skaffa 6st diskar eller n*2 fler och sedan köra raidz2 istället för z1?

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008

Många använder zpoolen som datastore, pga de har många och stora VMs som inte får plats på en SSD. Men en SSD ger ju många fler IOPS än en raidz, så SSD är ju mycket bättre. Du kanske borde köra mirror så du inte förlorar allt om SSDn kraschar? Raidz är ju säkrare än en ensam SSD.

Om du har stora diskar så tar det lång tid att reparera ett raid om en disk kraschar. I värsta fall kan det kanske ta en vecka med stora 4TB diskar och zpoolen används under tiden. Så om du har raidz1 och en disk kraschar så kommer ditt raid vara utsatt under en hel vecka, och den risken vill du inte ta. Bättre med raidz2 om du har stora diskar, dvs 2TB eller större. Du kan ju byta ut en disk mot en större, och om du gör detta för alla diskar i raidet, så kommer du i framtiden kanske ha 6TB diskar, så många kör raidz2.

Folk säger att du bör ha 4 eller 8 diskar som lagring. Om du har raidz1, så bör du ha 4+1 = 5 diskar. Eller 8 + 1 = 9 diskar.
Om du har raidz2, så bör du ha 4 + 2 = 6 diskar. Eller 8 + 2 = 10 diskar.
Om du har raidz3 så bör du ha 4 + 3 = 7 diskar. Eller 8 + 3 = 11 diskar.
Skälet till detta, är att ZFS lagrar data jämnt upp om du har 4 eller 8 diskar för lagring. Annars kommer lagringen styckas upp och det blir inte hela stripes. Själv tycker jag detta inte är viktigt, jag kör raidz2 med 8 diskar och det funkar fint.

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007
Skrivet av saddam:

Många använder zpoolen som datastore, pga de har många och stora VMs som inte får plats på en SSD. Men en SSD ger ju många fler IOPS än en raidz, så SSD är ju mycket bättre. Du kanske borde köra mirror så du inte förlorar allt om SSDn kraschar? Raidz är ju säkrare än en ensam SSD.

Om du har stora diskar så tar det lång tid att reparera ett raid om en disk kraschar. I värsta fall kan det kanske ta en vecka med stora 4TB diskar och zpoolen används under tiden. Så om du har raidz1 och en disk kraschar så kommer ditt raid vara utsatt under en hel vecka, och den risken vill du inte ta. Bättre med raidz2 om du har stora diskar, dvs 2TB eller större. Du kan ju byta ut en disk mot en större, och om du gör detta för alla diskar i raidet, så kommer du i framtiden kanske ha 6TB diskar, så många kör raidz2.

Folk säger att du bör ha 4 eller 8 diskar som lagring. Om du har raidz1, så bör du ha 4+1 = 5 diskar. Eller 8 + 1 = 9 diskar.
Om du har raidz2, så bör du ha 4 + 2 = 6 diskar. Eller 8 + 2 = 10 diskar.
Om du har raidz3 så bör du ha 4 + 3 = 7 diskar. Eller 8 + 3 = 11 diskar.
Skälet till detta, är att ZFS lagrar data jämnt upp om du har 4 eller 8 diskar för lagring. Annars kommer lagringen styckas upp och det blir inte hela stripes. Själv tycker jag detta inte är viktigt, jag kör raidz2 med 8 diskar och det funkar fint.

Okej, tack så mycket. Jag får helt enkelt se vad pengarna räcker till. Speglade SSDer som datastore låter som något som skulle passa mig. Med delarna nu, dvs. E3-1270v2, 32GB ram, 6st diskar, SSD osv. verkar bygget gå på över 21tusen.

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008

Måste du ha en E3-1270v2? Man brukar aldrig ha problem med cpu prestanda, det är RAM som tar slut först. Om du verkligen behöver mycket cpu prestanda, så är det nog bättre att satsa på många cores, än några få högt klockade cores. T.ex. AMD har billiga många core cpuer. 12 core och sånt.
http://www.servethehome.com/amd-opteron-6128-multisocket-plat...

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007
Skrivet av saddam:

Måste du ha en E3-1270v2? Man brukar aldrig ha problem med cpu prestanda, det är RAM som tar slut först. Om du verkligen behöver mycket cpu prestanda, så är det nog bättre att satsa på många cores, än några få högt klockade cores. T.ex. AMD har billiga många core cpuer. 12 core och sånt.
http://www.servethehome.com/amd-opteron-6128-multisocket-plat...

Det råkade bara vara så att det moderkortet hade LGA1155-socketen och verkade bra. microATX lockar, samtidigt som det ska fungera bra i ESXi men självklart kan jag köra på vilken processor som helst som möter kraven och inte är för dyr. Xeon E3 verkade väldigt prisvärt tack vare billigt moderkort.

EDIT: Har inte hittat någon bra lösning för en speglad datastore. Är det ett till raidkort som gäller?

Trädvy Permalänk
Medlem
Plats
127.0.0.1
Registrerad
Apr 2012

man kommer rätt långt med 1 Cpu . tänk bara på att ha mycket med ram

sen på min burk hade jag tur med att port 5 på moderkortet inte registrerades med alla sata portarna på moderkortet .
tack vare det så ar jag 4 av de 5 portarna till min openfiler vm och sen raid kortet med 8 portar till en annan vm för tillfället .

Game : Asus P8Z77-V Pro | Intel i7 3770k 4,3ghz OC | EVGA 1070 Founders | 16GB 2133mhz Corsair
Esxi 6.0 : ASRock 970 Extreeme 4 | AMD FX-8120 | 24GB RAM |NetXtreme II 1GB Dual Nic | Intel sasuc8i Raid 8P

Trädvy Permalänk
Medlem
Plats
Örebro
Registrerad
Sep 2007
Skrivet av saddam:

Måste du ha en E3-1270v2? Man brukar aldrig ha problem med cpu prestanda, det är RAM som tar slut först. Om du verkligen behöver mycket cpu prestanda, så är det nog bättre att satsa på många cores, än några få högt klockade cores. T.ex. AMD har billiga många core cpuer. 12 core och sånt.
http://www.servethehome.com/amd-opteron-6128-multisocket-plat...

Exakt så jag tänkte med... fläska på med minne! det tar slut i princip på en gång. AMD är kanske inte bäst på mainstream cpuer nu men de har bra cpuer till server världen...

Kamera: D800
Optik:Nikkor 24-70mm f/2.8, Nikkor 70-200 f/2.8 VR, Sigma 50mm f/1.4, 500m f/4 VR

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av petterg:

EDIT: Har inte hittat någon bra lösning för en speglad datastore. Är det ett till raidkort som gäller?

Jag fattar inte. Vad är problemed med speglad datastore? Hur många diskar vill du ha? Vad har du för HBA?

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007
Skrivet av Skynet-IRC:

man kommer rätt långt med 1 Cpu . tänk bara på att ha mycket med ram

sen på min burk hade jag tur med att port 5 på moderkortet inte registrerades med alla sata portarna på moderkortet .
tack vare det så ar jag 4 av de 5 portarna till min openfiler vm och sen raid kortet med 8 portar till en annan vm för tillfället .

Skrivet av Yuong:

Exakt så jag tänkte med... fläska på med minne! det tar slut i princip på en gång. AMD är kanske inte bäst på mainstream cpuer nu men de har bra cpuer till server världen...

32GB minne får det bli. Ang. processor så kanske en E3-1230v2 räcker? då blir det inte särskilt dyrt.

Skrivet av saddam:

Jag fattar inte. Vad är problemed med speglad datastore? Hur många diskar vill du ha? Vad har du för HBA?

Tänker som så att, om man kör passthrough på m1015'en, så kommer jag använda moderkortets portar till datastore och då kan jag inte få någon hårvaruraid?

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av petterg:

32GB minne får det bli. Ang. processor så kanske en E3-1230v2 räcker? då blir det inte särskilt dyrt.

Den cpun borde räcka, om du inte kör tunga saker hela tiden.

Citat:

Tänker som så att, om man kör passthrough på m1015'en, så kommer jag använda moderkortets portar till datastore och då kan jag inte få någon hårvaruraid?

Jag har för mig att det var så här:
Om du kör passthorugh på M1015 så kommer du bygga ett ZFS raid som styrs utav M1015. Din datastore kommer att ligga på ZFS raidet. Eftersom du kör ZFS, så behöver du inget hårdvaruraid. Så du använder inte moderkortets portar till nånting.

Men jag kanske har uppfattat det fel?

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007
Skrivet av saddam:

Den cpun borde räcka, om du inte kör tunga saker hela tiden.

Jag har för mig att det var så här:
Om du kör passthorugh på M1015 så kommer du bygga ett ZFS raid som styrs utav M1015. Din datastore kommer att ligga på ZFS raidet. Eftersom du kör ZFS, så behöver du inget hårdvaruraid. Så du använder inte moderkortets portar till nånting.

Men jag kanske har uppfattat det fel?

Jo precis men det var det jag tänkte undvika pga. för få IOPS. Dessutom måste väl ZFS-maskinen ligga på någon datastore?

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av petterg:

Jo precis men det var det jag tänkte undvika pga. för få IOPS. Dessutom måste väl ZFS-maskinen ligga på någon datastore?

Själva ZFS maskinen behöver inte mycket IOPS, eftersom det mesta av själva OSet är cachat i RAM. Det är inte ofta som den maskinen ska läsa från disk.

M1015 används för att lägga ett raid där som man sen lägger datastore på, och alla VMs ligger på datastoret. Om du inte vill använda raid, så kan du testa att koppla in två speglade SSD till M1015 som du använder som datastore. SSD ger ju alltid högre IOPS än ett raid.

Men kommer du skriva och läsa ofta från VMs då? Om det är vanlig arbetsbelastning du ska ha, så räcker nog ett raid bra. Det är många som kör med ett raid utan problem. Om du ska läsa och skriva många små filer ofta, så bör du ha SSD eller ett raid bestående av många speglade hårddiskar. Du kanske bör testa med ett raid först och se om antalet IOPS du får ut, räcker till? Det är ju många som kör så, och det går bra.

Trädvy Permalänk
Medlem
Plats
stockholm
Registrerad
Mar 2007
Skrivet av saddam:

Själva ZFS maskinen behöver inte mycket IOPS, eftersom det mesta av själva OSet är cachat i RAM. Det är inte ofta som den maskinen ska läsa från disk.

M1015 används för att lägga ett raid där som man sen lägger datastore på, och alla VMs ligger på datastoret. Om du inte vill använda raid, så kan du testa att koppla in två speglade SSD till M1015 som du använder som datastore. SSD ger ju alltid högre IOPS än ett raid.

Men kommer du skriva och läsa ofta från VMs då? Om det är vanlig arbetsbelastning du ska ha, så räcker nog ett raid bra. Det är många som kör med ett raid utan problem. Om du ska läsa och skriva många små filer ofta, så bör du ha SSD eller ett raid bestående av många speglade hårddiskar. Du kanske bör testa med ett raid först och se om antalet IOPS du får ut, räcker till? Det är ju många som kör så, och det går bra.

Jo men ZFS-maskinen kan väl inte ligga på sin egna NFS share datastore? Så en disk utöver raidkortet kommer väl behövas och då blir det svårt med ordentlig redundans för den då ESXi inte stödjer mjukvaruraid?

Trädvy Permalänk
Medlem
Plats
Killeberg, Skåne
Registrerad
Jun 2002
Skrivet av linuxprofessor:

tänk på att ESXi inte har stöd för mer än en fysisk CPU i "gratisversionen"

Jodå, ESXi har visst stöd för fler än en fysisk CPU i "gratisversionen".

[ASUS 27" PB278Q][i7 4930k][Sabertooth X79][4x4GB Vengeance LP][MSi GTX1080 Gaming X][BeQuiet PowerZone 750W][256GB Samsung 840 pro][400GB Intel 910][2x500GB WD RE3][Logitech G710+][NI Komplete Audio 6 w/Sennheiser Momentum Over-Ear][Axiom25][Corsair Air540][Windows 10 Pro]
"If they're going to pirate somebody, we want it to be us rather than somebody else." -- Microsoft Business Group President Jeff Raikes

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Nov 2001
Skrivet av petterg:

Jo men ZFS-maskinen kan väl inte ligga på sin egna NFS share datastore? Så en disk utöver raidkortet kommer väl behövas och då blir det svårt med ordentlig redundans för den då ESXi inte stödjer mjukvaruraid?

Du har helt rätt. Om du kör passthrough på ditt SAS/RAID-kort till en VM så måste den VM:en ligga på en egen datastore. Jag har för mig att det går att knussla in den på ett usb-minne men citera mig inte angående det. SJälv så kör jag datastore för OpenIndiana på en SSD på moderkortets sata och skickar vidare mitt SAS-kort till OI som sedan delar ut datastore för resterande VM:s. Utom dom som skriver jätteofta och smått (loggar och dylikt), dom får också ligga på SSD.

Skrivet av ninnuam:

Jodå, ESXi har visst stöd för fler än en fysisk CPU i "gratisversionen".

Hur fixar man en sådan licens? Sist jag pratade med vmware (drygt en månad sedan) så fick man fortfarande bara köra en fysisk CPU med oändligt antal kärnor/trådar. Innan man matar in sin licens så får man dock köra obegränsat men det funkar bara i 60 dagar.

Argaste

Trädvy Permalänk
Medlem
Plats
Killeberg, Skåne
Registrerad
Jun 2002
Skrivet av TommyToad:

text...

Hur fixar man en sådan licens? Sist jag pratade med vmware (drygt en månad sedan) så fick man fortfarande bara köra en fysisk CPU med oändligt antal kärnor/trådar. Innan man matar in sin licens så får man dock köra obegränsat men det funkar bara i 60 dagar.

Den begränsning du tänker på är antagligen att man i v5 bara kan använda 8GB vRAM/CPU men du kan tydligen fortfarande köra upp till 4 fysiska CPUs. Sen kör jag själv med ett DP system här hemma.

Men det verkar faktiskt vara en heldel förvirring kring hur den nya licensen ser ut vad gäller CPU, vRAM, vCPU.

[ASUS 27" PB278Q][i7 4930k][Sabertooth X79][4x4GB Vengeance LP][MSi GTX1080 Gaming X][BeQuiet PowerZone 750W][256GB Samsung 840 pro][400GB Intel 910][2x500GB WD RE3][Logitech G710+][NI Komplete Audio 6 w/Sennheiser Momentum Over-Ear][Axiom25][Corsair Air540][Windows 10 Pro]
"If they're going to pirate somebody, we want it to be us rather than somebody else." -- Microsoft Business Group President Jeff Raikes

Trädvy Permalänk
Medlem
Registrerad
Aug 2002
Skrivet av ninnuam:

Den begränsning du tänker på är antagligen att man i v5 bara kan använda 8GB vRAM/CPU men du kan tydligen fortfarande köra upp till 4 fysiska CPUs. Sen kör jag själv med ett DP system här hemma.

Men det verkar faktiskt vara en heldel förvirring kring hur den nya licensen ser ut vad gäller CPU, vRAM, vCPU.

Ändrade dom det inte till 32GB?
http://datacenteroverlords.com/2011/08/03/free-esxi-5-vsphere...

Trädvy Permalänk
Medlem
Plats
Killeberg, Skåne
Registrerad
Jun 2002
Skrivet av BasseBaba:

Hah, du det hade jag helt förträngt Tack för du påminner mej!

[ASUS 27" PB278Q][i7 4930k][Sabertooth X79][4x4GB Vengeance LP][MSi GTX1080 Gaming X][BeQuiet PowerZone 750W][256GB Samsung 840 pro][400GB Intel 910][2x500GB WD RE3][Logitech G710+][NI Komplete Audio 6 w/Sennheiser Momentum Over-Ear][Axiom25][Corsair Air540][Windows 10 Pro]
"If they're going to pirate somebody, we want it to be us rather than somebody else." -- Microsoft Business Group President Jeff Raikes

Trädvy Permalänk
Medlem
Registrerad
Aug 2002
Skrivet av ninnuam:

Hah, du det hade jag helt förträngt Tack för du påminner mej!

Hehe inga problem, tänkte bara att det hade varit lite dumt att inte meddela TS om det fortfarande bara var 8GB, då det skulle vara relativt onödigt att stoppa in 32 gig minne i hans bygge.
Men detta verkar ju inte vara ett problem längre

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Nov 2001
Skrivet av ninnuam:

Den begränsning du tänker på är antagligen att man i v5 bara kan använda 8GB vRAM/CPU men du kan tydligen fortfarande köra upp till 4 fysiska CPUs. Sen kör jag själv med ett DP system här hemma.

Men det verkar faktiskt vara en heldel förvirring kring hur den nya licensen ser ut vad gäller CPU, vRAM, vCPU.

"Product: VMware vSphere 5 Hypervisor Licensed for 1 physical CPUs (unlimited cores per CPU)
License Key: 0J214-xxxxxxxxxxxxxxxxxxxxxxxx
Expires: Never

Product Features:
Up to 32 GB of memory
Up to 8-way virtual SMP"

Argaste

Trädvy Permalänk
Avstängd
Plats
Sthlm
Registrerad
Nov 2008
Skrivet av TommyToad:

Du har helt rätt. Om du kör passthrough på ditt SAS/RAID-kort till en VM så måste den VM:en ligga på en egen datastore. Jag har för mig att det går att knussla in den på ett usb-minne men citera mig inte angående det.

Jo, jag tror det är många som kör själva OSet på ett USB minne, nu när du nämner det. Här är en fet how-to, hur man kör ZFS via ESXi och NFS:
http://hardforum.com/showthread.php?t=1573272

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Nov 2001
Skrivet av saddam:

Jo, jag tror det är många som kör själva OSet på ett USB minne, nu när du nämner det. Här är en fet how-to, hur man kör ZFS via ESXi och NFS:
http://hardforum.com/showthread.php?t=1573272

I den där guiden så lägger man datastore på två stycken speglade SSD. Att själva ESXI installeras på ett usbminne har vi redan kommit fram till, problemet är vart första maskinen ska installeras.

Argaste