Medioker diskprestanda ESXi

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Sep 2008

Medioker diskprestanda ESXi

Hej!

Jag har i dagarna experimenterat med ESXi för att kunna utnyttja min servers resurser lite bättre. Servern i fråga har en AMD Phenom II x4 955, 8 GB RAM och ett Gigabyte 990-XA-UD3 så prestandan när jag kört både CentOS och Windows Server 2008 R2 native på systemet har varit helt ok. Nu har jag dock sprungit på ett problem efter att ha fått ordning på ESXi och det handlar om att jag får rätt så medioker diskprestanda både när det kommer till read och write i Windows Server 2008 R2.

Jag skapade en ny datastore med en 2 TB disk som lades till i Windows-maskinens VM, efter lite pillande så lyckades jag få disken att kännas igen av Windows och kunde formatera utrymmet till NTFS. Det funkar helt ok, men jag kommer inte över 33 MB/s vid filöverföringar över nätverket (SFTP). När jag kört Windows direkt på samma hårdvara kommer jag ganska lätt upp i hastigheter över 50-60 MB/s över Internet. Det är ingen flaskhals över Internet heller då jag testat att köra internt på mitt nätverk (med samma resultat, 33 MB/s som högst) och även att byta tillbaka tillbaka till att köra Windows Server 2008 R2 native igen. Har jag konfigurerat något fel, beror det på hårdvaran eller är det helt enkelt något som inter står rätt till med ESXi?

Intel i5 750 @ 3,6 GHz | ASUS P7P55D EVO | 4x2 GB G.Skill Ripjaws @ 1715 MHz - 7,8,8,24 | Gigabyte HD7950 @ 1200/1700 MHz | Corsair HX750 | Asus Xonar D1 | Intel 330 120 GB | 1 TB Seagate 7200.12 + 1 TB Samsung F1 + 500 GB Samsung F1

Trädvy Permalänk
Medlem
Plats
Uppsala
Registrerad
Jul 2001

Hur ser belastningen ut i ESXi resp den virtuella gästen?
Får du bättre fart över SMB/CIFS alternativt okrypterad FTP?
Vad har du för nätverkskort?

Intel Core i7 3770k @ 4.4GHz | Asus Maximus V Formula | 16GB Kingston HyperX DDR3 2133MHz | EVGA GeForce GTX 980ti SC+ | Supermicro Xeon-D 1528 | Asus MG279Q, Dell U2515H

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Sep 2008
Skrivet av Calle:

Hur ser belastningen ut i ESXi resp den virtuella gästen?
Får du bättre fart över SMB/CIFS alternativt okrypterad FTP?
Vad har du för nätverkskort?

Är tyvärr väldigt grön på ESXi men ska försöka tillhandahålla så mycket vettig info som möjligt.

Ingen skillnad över okypterad FTP och enligt vad jag kan se så är hastigheterna på diskarna helt normala, inget som spökar när man för över filer internt mellan diskarna. Känns inte som att problemet ligger i diskarna och hanteringen av dem utan känns som att det är nätverksrelaterat, vilket jag inte trodde att det var tidigare. Sitter i dagsläget på ett Intel PRO/1000 MT Dual (PCI-X, inte PCI-E) som sitter i en PCI-slot. Samma kort orkar med hastigheter på runt 890 Mb/s under WS 2008 R2 ut mot Internet och hastigheterna verkar vara relativt normala under ESXi i nuläget, ska göra lite test för att se hur hastigheterna ser ut direkt mellan två datorer. Valde "E1000" som adapter under installationen av gästen, kan det ha någon inverkan?

Känns dock som att det kan vara mer relaterat till själva FTP-mjukvaran nu när jag ser hur det ligger till med den interna diskprestandan. Pillade lite med "Internal transfer buffer size" och "Socket buffer size" och lyckades kräma ut 8 extra MB/s så nu ligger totala hastigheten stabilt på 41 MB/s. Dock är det en bra bit från de 70-80 MB/s som jag är van vid. Hörde något om att jumbo-frames inte stöds av ESXi, är det något som kan påverka eller är det något jag fått om bakfoten?

Intel i5 750 @ 3,6 GHz | ASUS P7P55D EVO | 4x2 GB G.Skill Ripjaws @ 1715 MHz - 7,8,8,24 | Gigabyte HD7950 @ 1200/1700 MHz | Corsair HX750 | Asus Xonar D1 | Intel 330 120 GB | 1 TB Seagate 7200.12 + 1 TB Samsung F1 + 500 GB Samsung F1

Trädvy Permalänk
Medlem
Plats
Stenungsund
Registrerad
Okt 2007

Har du installerat Vmware-tools på dina guests?

Jumboframes aktiverar du på din vSwitch, men E1000 stöder inte detta, så du måste in med Vmware-tools och byta interface till VMXNET3 på dina guests

i7 2600K - ASRock P67 Extreme 6 - 8GB Vengeance - GTX 560ti OC - Vertex 3 120
-> http://lamslagen.com
-> Telia Smart - Inte så smart

Trädvy Permalänk
Medlem
Plats
Uppsala
Registrerad
Jul 2001

Som aztekk skrev, se till att installera VMWare Tools om du inte gjort det och gör ett försök med VMXNET3 och se om det ger dig bättre prestanda.

Det bör inte vara några problem att fylla ett gigabitsnöre om diskarna i båda ändarna är fräscha.

Intel Core i7 3770k @ 4.4GHz | Asus Maximus V Formula | 16GB Kingston HyperX DDR3 2133MHz | EVGA GeForce GTX 980ti SC+ | Supermicro Xeon-D 1528 | Asus MG279Q, Dell U2515H

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Sep 2008

VMWare tools installerade jag det första jag gjorde. Bytte till VMXNET3 nu och testade även att slå på jumbo-frames nu och kommer inte högre än 44 MB/s, alltså en liten förbättring men fortfarande inte helt bra. Är medveten om att jag inte har den fräckaste disken i servern, men den orkar med 90 MB/s i alla fall. Kan inte riktigt sätta fingret på var problemet ligger men hastigheten ut mot Internet verkar stämma relativt bra med vad det varit förut, skulle dock behöva testa internt på mitt LAN hur hastigheterna ligger till där (alltså med något som inte använder sig av FTP).

EDIT: Nu börjar det likna något Körde på okrypterad FTP igen bara för att testa och nu sprang hastigheterna iväg mot 100 MB/s över LAN och 80 MB/s över Internet. Då har vi alltså hittat boven i dramat. Konstigt att det beter sig så här när hastigheterna var normala i WS 2008 R2 även med kryptering. Då är frågan om det finns en bra lösning på det här med nuvarande mjukvaran eller om det blir till att leta någon alternativ lösning på mitt nya problem.

Känns i alla fall betryggande att man inte förlorar någon prestanda i form av låg read/write genom att virtualisera!

Intel i5 750 @ 3,6 GHz | ASUS P7P55D EVO | 4x2 GB G.Skill Ripjaws @ 1715 MHz - 7,8,8,24 | Gigabyte HD7950 @ 1200/1700 MHz | Corsair HX750 | Asus Xonar D1 | Intel 330 120 GB | 1 TB Seagate 7200.12 + 1 TB Samsung F1 + 500 GB Samsung F1

Trädvy Permalänk
Medlem
Registrerad
Aug 2002

Hur ser processorbelastningen ut på host:en respektive gästen när du kör krypterat då? Hur många vCPU/vCores har gästen fått sig tilldelad? Man ska förvisso inte ha mer än vad som behövs men det kanske hjälper om den är tungt lastad en kärna får ägna sig åt att kryptera medan den andra skyfflar data.

i5-2500k @ 4.2GHz | ASUS P8Z68V/GEN3 | 4x4GB Kingston DDR3-1333 | ASUS GeForce GTX 1070 Dual OC | Intel 520 480GB | WD Black 3TB | Noctua NH-U12P SE2 | Fractal Design ARC | Be-Quiet Straight Power BQT E9 CM 680W | LG BH08LS20 | ASUS Xonar Essence STX

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Sep 2008
Skrivet av Micke O:

Hur ser processorbelastningen ut på host:en respektive gästen när du kör krypterat då? Hur många vCPU/vCores har gästen fått sig tilldelad? Man ska förvisso inte ha mer än vad som behövs men det kanske hjälper om den är tungt lastad en kärna får ägna sig åt att kryptera medan den andra skyfflar data.

Först och främst skulle jag vilja tacka för alla hjälpsamma svar jag fått!

I nuläget har jag tilldelat den aktuella gästen fyra kärnor och processorbelastningen går sällan över 25 % för hela systemet, så det borde inte vara där problemet ligger. Har testat lite olika krypteringsgrad, allt från 1024 till 4096 bitars RSA-kryptering utan någon vidare framgång. Lite orelaterat sprang jag på ett konstigt problem med VMXNET3-adaptern och WS 2008 R2:s RSA VPN-tunnel där hela servern tappade anslutning till Internet när man stängt ner sin VPN-session. Det löstes enklast genom att köra E1000-adaptern igen, vilken nu verkar ge helt ok hastigheter med en vanlig FTP-anslutning (ca 5% långsammare än med VMXNET3). Ska testa vidare med fler FTP-lösningar på egen hand, men om ni har några fler förslag, tveka inte!

Intel i5 750 @ 3,6 GHz | ASUS P7P55D EVO | 4x2 GB G.Skill Ripjaws @ 1715 MHz - 7,8,8,24 | Gigabyte HD7950 @ 1200/1700 MHz | Corsair HX750 | Asus Xonar D1 | Intel 330 120 GB | 1 TB Seagate 7200.12 + 1 TB Samsung F1 + 500 GB Samsung F1

Trädvy Permalänk
Medlem
Registrerad
Aug 2002
Skrivet av kattzor:

Först och främst skulle jag vilja tacka för alla hjälpsamma svar jag fått!

I nuläget har jag tilldelat den aktuella gästen fyra kärnor och processorbelastningen går sällan över 25 % för hela systemet, så det borde inte vara där problemet ligger. Har testat lite olika krypteringsgrad, allt från 1024 till 4096 bitars RSA-kryptering utan någon vidare framgång. Lite orelaterat sprang jag på ett konstigt problem med VMXNET3-adaptern och WS 2008 R2:s RSA VPN-tunnel där hela servern tappade anslutning till Internet när man stängt ner sin VPN-session. Det löstes enklast genom att köra E1000-adaptern igen, vilken nu verkar ge helt ok hastigheter med en vanlig FTP-anslutning (ca 5% långsammare än med VMXNET3). Ska testa vidare med fler FTP-lösningar på egen hand, men om ni har några fler förslag, tveka inte!

Hmm, kan det vara där problemet ligger? Man ska alltså enligt tumregeln INTE dela ut flera kärnor per VM än vad VMen lastar 100% under mer än korta peakar. Det är totalt bortkastat eftersom det går åt kraft till att schedulera vilken kärna som ska göra vad osv. Ingen regel utan undantag och det finns säkert specifika scenarior där detta inte stämmer.

i5-2500k @ 4.2GHz | ASUS P8Z68V/GEN3 | 4x4GB Kingston DDR3-1333 | ASUS GeForce GTX 1070 Dual OC | Intel 520 480GB | WD Black 3TB | Noctua NH-U12P SE2 | Fractal Design ARC | Be-Quiet Straight Power BQT E9 CM 680W | LG BH08LS20 | ASUS Xonar Essence STX

Trädvy Permalänk
Medlem
Plats
Göteborg
Registrerad
Sep 2008
Skrivet av Micke O:

Hmm, kan det vara där problemet ligger? Man ska alltså enligt tumregeln INTE dela ut flera kärnor per VM än vad VMen lastar 100% under mer än korta peakar. Det är totalt bortkastat eftersom det går åt kraft till att schedulera vilken kärna som ska göra vad osv. Ingen regel utan undantag och det finns säkert specifika scenarior där detta inte stämmer.

Ska testas senare idag, är som sagt öppen för allehanda förslag som kan förbättra prestandan vid filöverföringar. Vid överföringar från flera datorer samtidigt kommer jag upp i runt 50 MB/s som max med kryptering. I övrigt tycker jag att det rullar på alldeles utmärkt under ESXi

Intel i5 750 @ 3,6 GHz | ASUS P7P55D EVO | 4x2 GB G.Skill Ripjaws @ 1715 MHz - 7,8,8,24 | Gigabyte HD7950 @ 1200/1700 MHz | Corsair HX750 | Asus Xonar D1 | Intel 330 120 GB | 1 TB Seagate 7200.12 + 1 TB Samsung F1 + 500 GB Samsung F1