Medioker diskprestanda ESXi

Permalänk
Medlem

Medioker diskprestanda ESXi

Hej!

Jag har i dagarna experimenterat med ESXi för att kunna utnyttja min servers resurser lite bättre. Servern i fråga har en AMD Phenom II x4 955, 8 GB RAM och ett Gigabyte 990-XA-UD3 så prestandan när jag kört både CentOS och Windows Server 2008 R2 native på systemet har varit helt ok. Nu har jag dock sprungit på ett problem efter att ha fått ordning på ESXi och det handlar om att jag får rätt så medioker diskprestanda både när det kommer till read och write i Windows Server 2008 R2.

Jag skapade en ny datastore med en 2 TB disk som lades till i Windows-maskinens VM, efter lite pillande så lyckades jag få disken att kännas igen av Windows och kunde formatera utrymmet till NTFS. Det funkar helt ok, men jag kommer inte över 33 MB/s vid filöverföringar över nätverket (SFTP). När jag kört Windows direkt på samma hårdvara kommer jag ganska lätt upp i hastigheter över 50-60 MB/s över Internet. Det är ingen flaskhals över Internet heller då jag testat att köra internt på mitt nätverk (med samma resultat, 33 MB/s som högst) och även att byta tillbaka tillbaka till att köra Windows Server 2008 R2 native igen. Har jag konfigurerat något fel, beror det på hårdvaran eller är det helt enkelt något som inter står rätt till med ESXi?

Permalänk
Medlem

Hur ser belastningen ut i ESXi resp den virtuella gästen?
Får du bättre fart över SMB/CIFS alternativt okrypterad FTP?
Vad har du för nätverkskort?

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem
Skrivet av Calle:

Hur ser belastningen ut i ESXi resp den virtuella gästen?
Får du bättre fart över SMB/CIFS alternativt okrypterad FTP?
Vad har du för nätverkskort?

Är tyvärr väldigt grön på ESXi men ska försöka tillhandahålla så mycket vettig info som möjligt.

Ingen skillnad över okypterad FTP och enligt vad jag kan se så är hastigheterna på diskarna helt normala, inget som spökar när man för över filer internt mellan diskarna. Känns inte som att problemet ligger i diskarna och hanteringen av dem utan känns som att det är nätverksrelaterat, vilket jag inte trodde att det var tidigare. Sitter i dagsläget på ett Intel PRO/1000 MT Dual (PCI-X, inte PCI-E) som sitter i en PCI-slot. Samma kort orkar med hastigheter på runt 890 Mb/s under WS 2008 R2 ut mot Internet och hastigheterna verkar vara relativt normala under ESXi i nuläget, ska göra lite test för att se hur hastigheterna ser ut direkt mellan två datorer. Valde "E1000" som adapter under installationen av gästen, kan det ha någon inverkan?

Känns dock som att det kan vara mer relaterat till själva FTP-mjukvaran nu när jag ser hur det ligger till med den interna diskprestandan. Pillade lite med "Internal transfer buffer size" och "Socket buffer size" och lyckades kräma ut 8 extra MB/s så nu ligger totala hastigheten stabilt på 41 MB/s. Dock är det en bra bit från de 70-80 MB/s som jag är van vid. Hörde något om att jumbo-frames inte stöds av ESXi, är det något som kan påverka eller är det något jag fått om bakfoten?

Permalänk
Medlem

Har du installerat Vmware-tools på dina guests?

Jumboframes aktiverar du på din vSwitch, men E1000 stöder inte detta, så du måste in med Vmware-tools och byta interface till VMXNET3 på dina guests

Visa signatur

- none -

Permalänk
Medlem

Som aztekk skrev, se till att installera VMWare Tools om du inte gjort det och gör ett försök med VMXNET3 och se om det ger dig bättre prestanda.

Det bör inte vara några problem att fylla ett gigabitsnöre om diskarna i båda ändarna är fräscha.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem

VMWare tools installerade jag det första jag gjorde. Bytte till VMXNET3 nu och testade även att slå på jumbo-frames nu och kommer inte högre än 44 MB/s, alltså en liten förbättring men fortfarande inte helt bra. Är medveten om att jag inte har den fräckaste disken i servern, men den orkar med 90 MB/s i alla fall. Kan inte riktigt sätta fingret på var problemet ligger men hastigheten ut mot Internet verkar stämma relativt bra med vad det varit förut, skulle dock behöva testa internt på mitt LAN hur hastigheterna ligger till där (alltså med något som inte använder sig av FTP).

EDIT: Nu börjar det likna något Körde på okrypterad FTP igen bara för att testa och nu sprang hastigheterna iväg mot 100 MB/s över LAN och 80 MB/s över Internet. Då har vi alltså hittat boven i dramat. Konstigt att det beter sig så här när hastigheterna var normala i WS 2008 R2 även med kryptering. Då är frågan om det finns en bra lösning på det här med nuvarande mjukvaran eller om det blir till att leta någon alternativ lösning på mitt nya problem.

Känns i alla fall betryggande att man inte förlorar någon prestanda i form av låg read/write genom att virtualisera!

Permalänk
Medlem

Hur ser processorbelastningen ut på host:en respektive gästen när du kör krypterat då? Hur många vCPU/vCores har gästen fått sig tilldelad? Man ska förvisso inte ha mer än vad som behövs men det kanske hjälper om den är tungt lastad en kärna får ägna sig åt att kryptera medan den andra skyfflar data.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Micke O:

Hur ser processorbelastningen ut på host:en respektive gästen när du kör krypterat då? Hur många vCPU/vCores har gästen fått sig tilldelad? Man ska förvisso inte ha mer än vad som behövs men det kanske hjälper om den är tungt lastad en kärna får ägna sig åt att kryptera medan den andra skyfflar data.

Först och främst skulle jag vilja tacka för alla hjälpsamma svar jag fått!

I nuläget har jag tilldelat den aktuella gästen fyra kärnor och processorbelastningen går sällan över 25 % för hela systemet, så det borde inte vara där problemet ligger. Har testat lite olika krypteringsgrad, allt från 1024 till 4096 bitars RSA-kryptering utan någon vidare framgång. Lite orelaterat sprang jag på ett konstigt problem med VMXNET3-adaptern och WS 2008 R2:s RSA VPN-tunnel där hela servern tappade anslutning till Internet när man stängt ner sin VPN-session. Det löstes enklast genom att köra E1000-adaptern igen, vilken nu verkar ge helt ok hastigheter med en vanlig FTP-anslutning (ca 5% långsammare än med VMXNET3). Ska testa vidare med fler FTP-lösningar på egen hand, men om ni har några fler förslag, tveka inte!

Permalänk
Medlem
Skrivet av megamats:

Först och främst skulle jag vilja tacka för alla hjälpsamma svar jag fått!

I nuläget har jag tilldelat den aktuella gästen fyra kärnor och processorbelastningen går sällan över 25 % för hela systemet, så det borde inte vara där problemet ligger. Har testat lite olika krypteringsgrad, allt från 1024 till 4096 bitars RSA-kryptering utan någon vidare framgång. Lite orelaterat sprang jag på ett konstigt problem med VMXNET3-adaptern och WS 2008 R2:s RSA VPN-tunnel där hela servern tappade anslutning till Internet när man stängt ner sin VPN-session. Det löstes enklast genom att köra E1000-adaptern igen, vilken nu verkar ge helt ok hastigheter med en vanlig FTP-anslutning (ca 5% långsammare än med VMXNET3). Ska testa vidare med fler FTP-lösningar på egen hand, men om ni har några fler förslag, tveka inte!

Hmm, kan det vara där problemet ligger? Man ska alltså enligt tumregeln INTE dela ut flera kärnor per VM än vad VMen lastar 100% under mer än korta peakar. Det är totalt bortkastat eftersom det går åt kraft till att schedulera vilken kärna som ska göra vad osv. Ingen regel utan undantag och det finns säkert specifika scenarior där detta inte stämmer.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Micke O:

Hmm, kan det vara där problemet ligger? Man ska alltså enligt tumregeln INTE dela ut flera kärnor per VM än vad VMen lastar 100% under mer än korta peakar. Det är totalt bortkastat eftersom det går åt kraft till att schedulera vilken kärna som ska göra vad osv. Ingen regel utan undantag och det finns säkert specifika scenarior där detta inte stämmer.

Ska testas senare idag, är som sagt öppen för allehanda förslag som kan förbättra prestandan vid filöverföringar. Vid överföringar från flera datorer samtidigt kommer jag upp i runt 50 MB/s som max med kryptering. I övrigt tycker jag att det rullar på alldeles utmärkt under ESXi