KÖPRÅD server för ESXI

Permalänk

KÖPRÅD server för ESXI

Hej,

Är i behov av en eller två servrar som skall kunna köra ESXI med 20 anslutningar på samma gång och cirka 40 virtuella maskiner igång samtidigt.

I dagsläget sitter jag på två st servrar med följande specs:

S1200SP
Intel(R) Xeon(R) CPU E3-1240 v5 @ 3.50GHz
64gb ram
4 x 500GB SSD

Med ovanstående specs fungerar allting okej men vissa gånger kan det upplevas segt.

Finns det någon mer robust Dell server för ca 20-30k som skulle kunna erbjuda mycket bättre prestanda?
Servern skall endast användas i utbildningssyfte.

Permalänk
Skrivet av Behappypro:

Med ovanstående specs fungerar allting okej men vissa gånger kan det upplevas segt.

Med en övertilldelning på 5:1 i virtuella kontra fysiska kärnor är jag inte förvånad. Har inte konkreta modelltips, men vad som helst med fler och nyare kärnor vore ju en förbättring; alternativt om du hittar en extra likadan maskin, så har du minskat övertilldelningen rejält. Din budget verkar ju inte oöverkomlig, om man säger så - särskilt inte om du är ett företag och kan dra av momsen, eller om du kan återanvända diskarna från dina förra servrar.

Permalänk
Skrivet av Det Otroliga Åbäket:

Med en övertilldelning på 5:1 i virtuella kontra fysiska kärnor är jag inte förvånad. Har inte konkreta modelltips, men vad som helst med fler och nyare kärnor vore ju en förbättring; alternativt om du hittar en extra likadan maskin, så har du minskat övertilldelningen rejält. Din budget verkar ju inte oöverkomlig, om man säger så - särskilt inte om du är ett företag och kan dra av momsen, eller om du kan återanvända diskarna från dina förra servrar.

Tack för svar. Vad anser du är en rimlig tilldelning på kärnor? Har hittat processorer med allt från 18-32 kärnor.

Permalänk
Skrivet av Behappypro:

Tack för svar. Vad anser du är en rimlig tilldelning på kärnor? Har hittat processorer med allt från 18-32 kärnor.

Det beror ju på vad folk gör på de virtuella maskinerna och i vilken utsträckning du vill att upplevelsen alltid ska vara bra kontra hur ofta dina fysiska servrar överbelastas. Poängen med en virtualiseringsmiljö är (förutom förenklad management) att du utnyttjar det faktum att inte alla maskiner använder alla tilldelade resurser samtidigt för att hålla nere kostnaden. Om de virtuella maskinerna faktiskt behöver de resurser de kan få, så är det bara förenklad management kvar som argument för lösningen, men där behöver du ju helt enkelt logga och analysera hur användningsmönstren för maskinerna ser ut under högtryck och göra en kvalificerad gissning om hur mycket resurser du har råd att investera i kontra hur ofta du använder dem fullt ut. Behöver användarna en perfekt upplevelse eller räcker det att det går bra 80% av arbetstiden, etc?

Vad du kan göra för att få,en uppfattning är att under en normal arbetsdag se på (eller hellre logga) Host CPU usage för varje VM och se hur många av dem - och hur ofta - som använder mer än "sin andel" av de fysiskt tillgängliga resurserna: Säg för enkelhets skull att din host har 4 kärnor à 2000 MHz. Då har alla virtuella maskiner på hosten strax under 8000 MHz att dela på. Hade du haft 8 VM:ar med 2 vCPU var, använder en VM "mer än sin rättvisa andel" om den konsumerar mer än 8000/(8*2)=500 MHz. Om flera maskiner försöker göra det samtidigt betyder det att du behöver skala upp antalet tillgängliga fysiska CPU i motsvarande grad. Denna metod faller platt om du faktiskt går i taket på använda hostresurser.

En annan metod - som kanske är svår att genomföra - är att som experiment stänga av VM:ar (eller migrera dem till annan fysisk host) tills de maskiner som är kvar på hosten känns bra. Då vet du empiriskt hur stor övertilldelning (om någon) du ska satsa på. CPU-priserna kommer sedan leda dig till ett val vad gäller antal kärnor kontra antal fysiska maskiner. Du får just nu ofta mer för pengarna med AMD-processorer, då du ofta får plats med fler kärnor i en ensam processorsockel, så du slipper köpa multiprocessormoderkort vilka ofta är dyrare om du inte behöver alla funktioner de kommer med i form av fler minnesplatser och PCIe-banor.

Kan inte grundskolematte innan jag fått kaffe.
Permalänk
Skrivet av Det Otroliga Åbäket:

Det beror ju på vad folk gör på de virtuella maskinerna och i vilken utsträckning du vill att upplevelsen alltid ska vara bra kontra hur ofta dina fysiska servrar överbelastas. Poängen med en virtualiseringsmiljö är (förutom förenklad management) att du utnyttjar det faktum att inte alla maskiner använder alla tilldelade resurser samtidigt för att hålla nere kostnaden. Om de virtuella maskinerna faktiskt behöver de resurser de kan få, så är det bara förenklad management kvar som argument för lösningen, men där behöver du ju helt enkelt logga och analysera hur användningsmönstren för maskinerna ser ut under högtryck och göra en kvalificerad gissning om hur mycket resurser du har råd att investera i kontra hur ofta du använder dem fullt ut. Behöver användarna en perfekt upplevelse eller räcker det att det går bra 80% av arbetstiden, etc?

Vad du kan göra för att få,en uppfattning är att under en normal arbetsdag se på (eller hellre logga) Host CPU usage för varje VM och se hur många av dem - och hur ofta - som använder mer än "sin andel" av de fysiskt tillgängliga resurserna: Säg för enkelhets skull att din host har 4 kärnor à 2000 MHz. Då har alla virtuella maskiner på hosten strax under 16000 MHz att dela på. Hade du haft 8 VM:ar med 2 vCPU var, använder en VM "mer än sin rättvisa andel" om den konsumerar mer än 16000/(8*2)=1000 MHz. Om flera maskiner försöker göra det samtidigt betyder det att du behöver skala upp antalet tillgängliga fysiska CPU i motsvarande grad. Denna metod faller platt om du faktiskt går i taket på använda hostresurser.

En annan metod - som kanske är svår att genomföra - är att som experiment stänga av VM:ar (eller migrera dem till annan fysisk host) tills de maskiner som är kvar på hosten känns bra. Då vet du empiriskt hur stor övertilldelning (om någon) du ska satsa på. CPU-priserna kommer sedan leda dig till ett val vad gäller antal kärnor kontra antal fysiska maskiner. Du får just nu ofta mer för pengarna med AMD-processorer, då du ofta får plats med fler kärnor i en ensam processorsockel, så du slipper köpa multiprocessormoderkort vilka ofta är dyrare om du inte behöver alla funktioner de kommer med i form av fler minnesplatser och PCIe-banor.

Väldigt tacksam över ditt utförliga svar. Det är så att dessa VM används av elever där de labbar på att konfigurera AD och DHCP på en server och sedan har de två klienter kopplade till den servern. Så sammanlagt har varje elev 1 Windows 2016 server med Active Directory och DHCP igång och två Windows 10 klienter. Så inga tunga resurser där egentligen. Mesta av jobbet görs på Windows 2016 servern där de gör sin konfiguration sen har de klienterna till att testa att det fungerar.

Detta upplägg har fungerat hyffsat bra men i vissa fall fryser sig vm eller laggar. Detta irriterar eleverna självklart och jag tänkte uppgradera till ett system som skall kännas så smooth som möjligt. Sen vet jag inte om detta är möjligt om man har 20 anslutningar samtidigt men jag har försökt ha så många SSD som möjligt så skrivtiden blir lägre och så mycket RAM som kortet klarar av för att stödja alla VM. Jag sitter och tänker på att köpa en helt ny board med en ganska biffig CPU eftersom budget finns för det. Om det sen är overkill kanske det är men man är lite mer framtidssäker tänker jag. Detta har jag kollat på:

Core i9 Extreme Edition 10980XE 3GHz LGA2066 Socket Processor
WS X299 SAGE/10G SSI CEB Moderkort

Dessa komponenter hade funkat bra för en workstation men om det är relevant för en server är jag lite osäker på. Vad tycker du?

Permalänk
Skrivet av Behappypro:

Väldigt tacksam över ditt utförliga svar. Det är så att dessa VM används av elever där de labbar på att konfigurera AD och DHCP på en server och sedan har de två klienter kopplade till den servern. Så sammanlagt har varje elev 1 Windows 2016 server med Active Directory och DHCP igång och två Windows 10 klienter. Så inga tunga resurser där egentligen. Mesta av jobbet görs på Windows 2016 servern där de gör sin konfiguration sen har de klienterna till att testa att det fungerar.

Detta upplägg har fungerat hyffsat bra men i vissa fall fryser sig vm eller laggar. Detta irriterar eleverna självklart och jag tänkte uppgradera till ett system som skall kännas så smooth som möjligt. Sen vet jag inte om detta är möjligt om man har 20 anslutningar samtidigt men jag har försökt ha så många SSD som möjligt så skrivtiden blir lägre och så mycket RAM som kortet klarar av för att stödja alla VM. Jag sitter och tänker på att köpa en helt ny board med en ganska biffig CPU eftersom budget finns för det. Om det sen är overkill kanske det är men man är lite mer framtidssäker tänker jag. Detta har jag kollat på:

Core i9 Extreme Edition 10980XE 3GHz LGA2066 Socket Processor
WS X299 SAGE/10G SSI CEB Moderkort

Dessa komponenter hade funkat bra för en workstation men om det är relevant för en server är jag lite osäker på. Vad tycker du?

Jag är inte riktigt kompis med tanken på att köra servrar (eller för den delen workstations) på konsument-CPU:er: Intel envisas ju fortfarande med att stänga av stöd för ECC-minne i allt annat än sina Xeons, exempelvis, vilket innebär att du riskerar svårfelsökta problem: totalt oacceptabelt i mina ögon.

Hellre då ta något som kanske är en smula lägre klockat men där tillförlitligheten är högre. En 24-kärnig Epyc-processor får du för ~11kkr plus moms, så väldigt liknande pengar som i9:an du hänvisade till. Xeon Gold med samma antal kärnor och liknande klockfrekvens som i9:an blir betydligt dyrare, men Xeon Silver ligger inte jättelångt från din prisbild.

Permalänk
Medlem

GGSP har bra grejer och bra priser.

Här har du en fin maskin och bra pris och framtida expansion utan problem.

https://ggsp.se/supermicro/9060-supermicro-sc848-4u-24x35-72-core-xeon-384gb-lsi-9340-8i-12g-4x1400w.html

Visa signatur

Intel i5 12600K | 128 GB DDR4 3600 Mhz
ASUS TUF Z690-PLUS D4 | ASUS TUF VG32VQ 32" 1440p
XFX 6900 XT Merc 319 Black Limited
HP ProLiant DL380p Gen8 | HP MicroServer Gen 8 |
Mikrotik 10 GbE Networking

Permalänk
Medlem

Röstar också på GGSP, och personligen gillar jag HP, typ DL380 G8/G9. Men är du inkörd på Dell, så förstår jag om du vill fortsätta med det.

Lycka till!

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Hedersmedlem
Skrivet av Det Otroliga Åbäket:

Jag är inte riktigt kompis med tanken på att köra servrar (eller för den delen workstations) på konsument-CPU:er: Intel envisas ju fortfarande med att stänga av stöd för ECC-minne i allt annat än sina Xeons, exempelvis, vilket innebär att du riskerar svårfelsökta problem: totalt oacceptabelt i mina ögon.

Beror ju helt och hållet på vad du vill göra. I det generella fallet håller jag med dig, men I det här fallet handlar det om en utbildnings- och labbmiljö. Någon enstaka bitflip i en sådan miljö skadar inte mer än i en typisk PC.

Permalänk
Hedersmedlem
Skrivet av Behappypro:

Hej,

Är i behov av en eller två servrar som skall kunna köra ESXI med 20 anslutningar på samma gång och cirka 40 virtuella maskiner igång samtidigt.

I dagsläget sitter jag på två st servrar med följande specs:

S1200SP
Intel(R) Xeon(R) CPU E3-1240 v5 @ 3.50GHz
64gb ram
4 x 500GB SSD

Med ovanstående specs fungerar allting okej men vissa gånger kan det upplevas segt.

Finns det någon mer robust Dell server för ca 20-30k som skulle kunna erbjuda mycket bättre prestanda?
Servern skall endast användas i utbildningssyfte.

Har du någon uppfattning om vad det är du slår i taket på, om det är CPU eller något annat?

Hur konfigurerar du dina virtuella maskiner i form av antal vCPU och RAM? Med tanke på hur din hårdvara ser ut och vad du ska göra så rekommenderar jag 2 vCPU per VM. Färre än så kommer bli segt p.g.a. för lite CPU-resurser, fler CPU-kärnor behövs inte för syftet. Risken med att tilldela för många CPU-kärnor till maskinerna är att en VM kan dra mer CPU-kärnor än man behöver, och även att CPU:n med många CPU-kärnor paradoxalt nog kör långsammare p.g.a. "priority inversion".

Låter du eleverna själva bygga VM:ar eller får de färdiga som de ska styra bara? Har VM:arna åtkomst till Internet? (Behövs ju oftast inte i ett sådant scenario, och man slipper strul med Windows Update).

Oavsett skulle jag säga att det smartaste i din situation, när det handlar om att fixa en billig server för utbildning, är att titta på begagnad serverhårdvara. Finns ofta mycket roligt man kan få tag på väldigt billigt.

Permalänk
Hedersmedlem
Skrivet av Behappypro:

Mesta av jobbet görs på Windows 2016 servern där de gör sin konfiguration sen har de klienterna till att testa att det fungerar.

Kör du Desktop Experience på servern?

Kan slå ett slag för att gå över till att köra Windwos Server utan desktop (har hetat "Core" tidigare). Då har du en server mindre att köra ett GUI på, med mindre resursförbrukning som resultat. Dessutom lär du eleverna från början att det här är det normala och rekommenderade sättet att köra en AD/DNS-server idag på Windows.

Permalänk
Skrivet av IceKey:

GGSP har bra grejer och bra priser.

Här har du en fin maskin och bra pris och framtida expansion utan problem.

https://ggsp.se/supermicro/9060-supermicro-sc848-4u-24x35-72-core-xeon-384gb-lsi-9340-8i-12g-4x1400w.html

Skrivet av enoch85:

Röstar också på GGSP, och personligen gillar jag HP, typ DL380 G8/G9. Men är du inkörd på Dell, så förstår jag om du vill fortsätta med det.

Lycka till!

Tack för tips. Länken som bifogades såg väldigt lovande ut. Tyvärr så är ggsp inte upphandlat och vi får därför inte handla därifrån. För det mesta så är det nytt som gäller från Advania eller Dustin

Permalänk
Skrivet av pv2b:

Har du någon uppfattning om vad det är du slår i taket på, om det är CPU eller något annat?

Hur konfigurerar du dina virtuella maskiner i form av antal vCPU och RAM? Med tanke på hur din hårdvara ser ut och vad du ska göra så rekommenderar jag 2 vCPU per VM. Färre än så kommer bli segt p.g.a. för lite CPU-resurser, fler CPU-kärnor behövs inte för syftet. Risken med att tilldela för många CPU-kärnor till maskinerna är att en VM kan dra mer CPU-kärnor än man behöver, och även att CPU:n med många CPU-kärnor paradoxalt nog kör långsammare p.g.a. "priority inversion".

Låter du eleverna själva bygga VM:ar eller får de färdiga som de ska styra bara? Har VM:arna åtkomst till Internet? (Behövs ju oftast inte i ett sådant scenario, och man slipper strul med Windows Update).

Oavsett skulle jag säga att det smartaste i din situation, när det handlar om att fixa en billig server för utbildning, är att titta på begagnad serverhårdvara. Finns ofta mycket roligt man kan få tag på väldigt billigt.

Efter att ha övervakat servern under en vanlig dag så kan jag säga att det som slår i taket är definitivt ramminnet. Med endast 64 gb så kommer det upp i 100% om alla har sina maskiner igång samtidigt och labbar. Men CPU kan också följa strax efter med tanke på att det endast är 4 fysiska kärnor och alla sitter med 2 vcpu per vm.

Permalänk
Skrivet av enoch85:

Röstar också på GGSP, och personligen gillar jag HP, typ DL380 G8/G9. Men är du inkörd på Dell, så förstår jag om du vill fortsätta med det.

Lycka till!

Efter lite research har jag kommit fram till slutsatsen att en traditionell server är inget vi bör satsa på då mesta av pengarna går till hot swap diskar, ECC minnen, dubbla AC OSV. Allt detta som är kritiskt för att ha en 100% uptime är inte nödvändigt för oss att betala för. Jag tänker pengarna bör istället gå till snabba Datacenter diskar, mycket ram, bra kort och CPU med mycket kräm.

Permalänk
Skrivet av Det Otroliga Åbäket:

Jag är inte riktigt kompis med tanken på att köra servrar (eller för den delen workstations) på konsument-CPU:er: Intel envisas ju fortfarande med att stänga av stöd för ECC-minne i allt annat än sina Xeons, exempelvis, vilket innebär att du riskerar svårfelsökta problem: totalt oacceptabelt i mina ögon.

Hellre då ta något som kanske är en smula lägre klockat men där tillförlitligheten är högre. En 24-kärnig Epyc-processor får du för ~11kkr plus moms, så väldigt liknande pengar som i9:an du hänvisade till. Xeon Gold med samma antal kärnor och liknande klockfrekvens som i9:an blir betydligt dyrare, men Xeon Silver ligger inte jättelångt från din prisbild.

Lyckas inte hitta något liknande AMD Epyc som du nämner i lager hos exempelvis Dustin. Samt ett kort som kan fungera tillsammans.

Hittade dessa nedan som skulle kunna fungera, här har man även möjligheten och köra dubbel propp om det behövs:

https://www.dustin.se/product/5011167225/z11pr-d16
https://www.dustin.se/product/5011150763/xeon-silver-4216

Permalänk
Hedersmedlem
Skrivet av Behappypro:

Efter att ha övervakat servern under en vanlig dag så kan jag säga att det som slår i taket är definitivt ramminnet. Med endast 64 gb så kommer det upp i 100% om alla har sina maskiner igång samtidigt och labbar. Men CPU kan också följa strax efter med tanke på att det endast är 4 fysiska kärnor och alla sitter med 2 vcpu per vm.

Hur mycket RAM tilldelar du VM:arna då? Tilldelar du 3 GB per VM så borde du ju rymmas inom tillgängligt RAM utan problem även utan att du använder någon av de "fancy" funktionerna för minnes-överprovisionering. Det borde ju också räcka och bli över för labbens syfte.

Du borde t.o.m. klara dig på bara 2 GB RAM per VM. (1 GB om du går över till att köra Server Core på servern).

Permalänk
Medlem

Är det inte ett alternativ att behålla de två befintliga burkarna och bara flytta över arbetsbördan till en ny server för att lasta de andra mindre? Det känns ju inte som om du måste ha jättemycket mer prestanda på den nya burken om du bara behöver flytta över en del av lasten dit. Sen skadar det ju inte att försöka ha lite mer minne på dem om du ska köra desktop experience på allt, men av erfarenhet vet jag ju att det är lite enklare att arbeta med om man har DE på servrarna också snarare än att installera verktygen på en annan burk (men i ärlighetens namn hade det ju varit ett bättre sätt att lära ut eftersom det är så det förmodligen kommer att se ut när man jobbar med det i praktiken)

Permalänk
Skrivet av pv2b:

Hur mycket RAM tilldelar du VM:arna då? Tilldelar du 3 GB per VM så borde du ju rymmas inom tillgängligt RAM utan problem även utan att du använder någon av de "fancy" funktionerna för minnes-överprovisionering. Det borde ju också räcka och bli över för labbens syfte.

Du borde t.o.m. klara dig på bara 2 GB RAM per VM. (1 GB om du går över till att köra Server Core på servern).

Vi har kört med det traditionella 4gb ram per vm. Om de verkligen behöver 4gb det är diskutabelt.
Kan testa med 3gb i fortsättningen och se om det blir någon tydlig skillnad.

Permalänk
Skrivet av Icetec:

Är det inte ett alternativ att behålla de två befintliga burkarna och bara flytta över arbetsbördan till en ny server för att lasta de andra mindre? Det känns ju inte som om du måste ha jättemycket mer prestanda på den nya burken om du bara behöver flytta över en del av lasten dit. Sen skadar det ju inte att försöka ha lite mer minne på dem om du ska köra desktop experience på allt, men av erfarenhet vet jag ju att det är lite enklare att arbeta med om man har DE på servrarna också snarare än att installera verktygen på en annan burk (men i ärlighetens namn hade det ju varit ett bättre sätt att lära ut eftersom det är så det förmodligen kommer att se ut när man jobbar med det i praktiken)

I dagsläget har jag nattat ut dessa två servrar publikt mot internet då jag fick två publika adresser från nätverksägaren och jag tror inte jag kommer få en tredje. Så jag vill helst satsa på en biffig server eller två medioker för att använda den strukturen jag satt upp.

Permalänk
Medlem
Skrivet av Behappypro:

I dagsläget har jag nattat ut dessa två servrar publikt mot internet då jag fick två publika adresser från nätverksägaren och jag tror inte jag kommer få en tredje. Så jag vill helst satsa på en biffig server eller två medioker för att använda den strukturen jag satt upp.

Jag förstår. Nu vet jag ju inte vilka resurser som finns i form av licenser eller licenspengar, men om du kan klustra hostarna till ett stort datacenter med vsphere så kan det ju göras åtkomligt från internet via en enskild IP-adress men det kanske kostar mer än det smakar. Ett annat alternativ om man vill behålla de andra maskinerna är ju även att sätta upp en VPN-gateway på en av IP-adresserna och sen komma åt VMarna på deras interna adresser.

Eller att byta ut dem mot en enskild stor maskin som kan ta över hela lasten då, så klart. Tänkte bara komma med lite alternativ

Permalänk
Skrivet av pv2b:

Beror ju helt och hållet på vad du vill göra. I det generella fallet håller jag med dig, men I det här fallet handlar det om en utbildnings- och labbmiljö. Någon enstaka bitflip i en sådan miljö skadar inte mer än i en typisk PC.

Helt sant - men för olyckligt placerade "enstaka bitflips" - eller för minneskretsar som är/blir dåliga - är ECC-minne skillnaden mellan att få en varning från datorns övervakningskrets och att få en plötslig PSOD.
I fall man skulle få multipla bitflips är ECC skillnaden mellan att ha fått en plötslig PSOD och inte riktigt veta varför, kontra att veta med hyfsad säkerhet vad som hände och vilken del i servern man behöver byta.

Permalänk
Skrivet av Behappypro:

Nej, det är nog ett av de stora problemen just nu: Du kan ha budgeten klar men helt enkelt inte få grejerna du behöver. Har inget särskilt att anmärka om Xeon Silver mer än att den naturligtvis är lite lägre klockad än Gold. För det här ändamålet skulle jag tro det totala antalet kärnor är viktigare för användarupplevelsen än några hundra MHz hit eller dit.

Permalänk
Medlem
Skrivet av Behappypro:

Efter lite research har jag kommit fram till slutsatsen att en traditionell server är inget vi bör satsa på då mesta av pengarna går till hot swap diskar, ECC minnen, dubbla AC OSV. Allt detta som är kritiskt för att ha en 100% uptime är inte nödvändigt för oss att betala för. Jag tänker pengarna bör istället gå till snabba Datacenter diskar, mycket ram, bra kort och CPU med mycket kräm.

Jag skulle vilja påstå att det är billigare i längden då ni får ett komplett system med minimalt underhåll. Det är inte så dyrt att slå till på t.ex. en HP DL380 G9: https://azaleait.se/sv/artiklar/hpe-proliant-dl380-g9-e5-2609...

Då har ni något att växa i dessutom.

Att bygga något eget funkar säkert, men frågan är hur länge innan det smäller? Har själv byggt egna system och fått "precis det jag vill ha", men sedan den dagen jag gick över till traditionell server ser jag inte tillbaka. Det är 100% värt det.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se