Stor virtualiseringsmiljö - Tips uppskattas

Permalänk
Medlem

Jag jobbar själv i ett labb, ska det endast användas i labbmiljö kan man spara mycket pengar på att inte köpa enterprice saker.

Viktigt att tänka på är att köpa MÅNGA diskar istället för några få. Du kommer få samma prestanda om du köper 2st 7200rpm diskar istället för 1 15k SAS disk. Du sparar pengar, får mer lagring och och du får högre IOPS vilket är viktigt i en vmware miljö.

Hp DL360 och sedan köra vmware på ett SD kort fungerar klockrent det kör vi i våran skarpa miljö och fungerar som det ska.

Ett hyffsat billigt SAN är HP MSA 2040.

Visa signatur

https://hackernet.se - Wiki med inriktning open source och nätverk.

Permalänk
Medlem
Skrivet av tjossanmannen:

Svårt att köra MS skollicenser då det ska köras esxi på samtliga, som han specar.

Inte svårt alls. Kräver bara lite omtänk på virtualiseringshostarna:)
Behovet är ju egentligen att tillhadahålla en virtualiseringsplattform för utbildning i installation av windowsmiljöer. Därmed kan det riktiga kravet bara vara att den ska stödja sena windowsversioner och det fixar båda produkterna.

Bakänden på storage påverkas inte alls, dvs storagespaces och HBA mot disklådor. Frontend på storage tror jag påverkas då jag inte tror att Esx fixar Smb-3 och Rdma så man får antagligen köra Iscsi istället. Det är inte riktigt lika snabbt dock.

Visa signatur

Arbetsdator: HFX Mini. Ryzen 3600, GTX1650. Skärmar: Dell 2415

Permalänk
Medlem

Hur fungerar rättigheter på virtuella maskiner i hyper-v? Kunde inte lista ut det i min hyper-v server. I vmware med vcenter är det inte problem. Här vill man ju tilldela varje elev 3 maskiner som den har rätt att fjärrstyra och starta om. Annars blir det nog kaos.

Permalänk
Medlem
Skrivet av jocke92:

Hur fungerar rättigheter på virtuella maskiner i hyper-v? Kunde inte lista ut det i min hyper-v server. I vmware med vcenter är det inte problem. Här vill man ju tilldela varje elev 3 maskiner som den har rätt att fjärrstyra och starta om. Annars blir det nog kaos.

Om man inte kör datacenter licenser på Windows VM:arna så TROR jag att dom är licensmässigt "bundna" till enskilda hostar, dvs man får inte köra vMotion oftare än en gång per halvår - men det är vad jag hört, det är inte mitt expertområde.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Micke O:

Om man inte kör datacenter licenser på Windows VM:arna så TROR jag att dom är licensmässigt "bundna" till enskilda hostar, dvs man får inte köra vMotion oftare än en gång per halvår - men det är vad jag hört, det är inte mitt expertområde.

Jag pratade inte om licenser, jag menar så att eleverna inte startar om varandras maskiner eller tilldelar dem massa resurser

Permalänk
Medlem

Något ingen påpekat är att du valt ett rack med glasdörr, det fungerar inte så bra med mycket värmeutveckling. Byt till ett rack med perforerade dörrar fram och bak.

När det gäller resten så finns det så många vägar att gå att det är svårt att välja, men generellt kan jag säga att man i de flesta fall enligt min erfarenhet får slut på RAM och disk I/O innan man ens kommer i närheten av att behöva mer CPU. Så lägg krutet på lagringen säger jag och se till att enkelt kunna uppgradera RAM senare vid behov (köp större men färre minnesmoduler så det finns lediga platser att bygga ut med)

Permalänk
Medlem

Själv hade jag bara låtit varje elev köra labbarna på sina klientmaskiner istället med hyper-v/virtualbox och sparat på den där halvmiljonen. Fungerade ypperligt de 2 åren jag pluggade Microsoft-produkter.

Visa signatur

pfSense: GA-J1900N-D3V Quad-core Celeron 2GHz, Samsung 4GB, pfSense 2.2.2@USB
ESXi: i5 3470S, Gigabyte GA-B75N, Corsair XMS3 16GB, Intel PRO/1000 VT Quad GbE, Streacom F7C, ESXi@USB
Campfire Audio Lyra II, HiFiMAN HE-400, Yamaha EPH-100, Audioengine D1, FiiO E10

Permalänk
Medlem
Skrivet av jocke92:

Jag pratade inte om licenser, jag menar så att eleverna inte startar om varandras maskiner eller tilldelar dem massa resurser

Aaah, du tänker sååå... Det får man väl nästan förutsätta att det går att styra upp på liknande sätt eftersom "alla" hojtar om att MS är ikapp VMware

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av jocke92:

Hur fungerar rättigheter på virtuella maskiner i hyper-v? Kunde inte lista ut det i min hyper-v server. I vmware med vcenter är det inte problem. Här vill man ju tilldela varje elev 3 maskiner som den har rätt att fjärrstyra och starta om. Annars blir det nog kaos.

Jodå den funktionen finns men den ligger i Virtual Machine manager som är motsvarigheten till Vcenter/Vsphere.

Angående licenserna så är det också helt rätt att man behöver datacenter för att få flytta VM:s fritt och det gäller oavsett vilken virtualiseringsplattform man kör på. Dvs det kvittar lika om man kör Hyper-V eller ESXi. Ska man flytta en VM som ligger ovanpå så är det datacenter som gäller. Har man inte datacenter krävs en licens per host som VM kan ligga på. (Ms licensregler är en snårskog så här rekommenderas att ni tar kontakt med en licenssäljare eller MS direrkt för att få raka besked om vad som gäller för skolor)

Visa signatur

Arbetsdator: HFX Mini. Ryzen 3600, GTX1650. Skärmar: Dell 2415

Permalänk

Jobbar som datacentertekniker så är bortskämd med enterpriselösningar till vardags men kanske kan bidra lite ändå. Exakt vilken hårdvara du ska ha har jag dålig koll på så kommer lista väldigt generella råd.
Din bottleneck med 100 maskiner som samtidigt ska installeras kommer till 99% vara disk.
Om du envisas med att köra en centraliserad lösning istället för ett gäng "feta" workstations med hyperv så bör du se till att antingen ha många spindlar (diskarmar) för att få ut bra IOPS eller få till en bra lösning med SSD (tiering eller någon form av större cache).
Eftersom alla kommer ha i stort sett identisk data (windows server och workstation) så kan en dedup vara något du bör leta efter i din lösning. Med en dedup bör du kunna ha ganska liten mängd utrymme, vilket vidare talar för ssd (om du föredrar mekaniska diskar kan du köpa många små billiga istället).
Om du väljer någon form av dedup så tänk på att det ofta är per volym och inte per aggregat/raidgrupp/vad det nu kallas i din lösning. En stor volym är alltså att föredra framför flera mindre.
Att köpa ett SAN är givetvis en bra lösning men det kommer bli väldigt dyrt och "coola" funktioner som dedup,tiering etc kostar ofta extra.

Personligen tycker jag att esxi är helt fel här eftersom windows erbjuder egentligen alla ovan nämnda funktioner i hyperv (storage tiering, vdi dedup (dessa i storage spaces), skollicenser, "hårdvaruoberoende" etc). Esxi är en bättre hypervisor än hyperv på många punkter men just för små billiga miljöer erbjuder MS väldigt mycket.

Har dålig koll på hårdvara (särskilt för små miljöer) och designar aldrig labbmiljöer i jobbet så ta ovan med en nypa salt..

Visa signatur

Jag kan data!

Permalänk
Medlem

Jag skulle rekommendera dig att göra lite research angående diskarna och NAS:et innan du väljer dem. Jag benchmarka nyligen ett Synology NAS RS10613xs+ med 7.2k diskar över iscsi och det var fullständigt katastrofalt dåligt när det gäller random write iops/mbs.

Någon nämnde IBM Storwize v3700 och jag skulle rekommendera det också. Jag kör en sådan låda med 8 st 10krpm diskar i raid 5 över sas hba mot fyra hyper-v hostar och det fungerar riktigt bra. Jag gjorde även samma benchmark mot v3700an över iscsi och det blev ca 50 gånger snabbare på random write iops/mbs än Synologyn, och då var v3700 billigare!

Slutordet blir, om du skall köra central lagring SAN eller NAS så köp bra diskar. Jag rekommenderar även att köra sas hba istället för iscsi.

Permalänk
Medlem
Skrivet av Andarv:

Jag skulle rekommendera dig att göra lite research angående diskarna och NAS:et innan du väljer dem. Jag benchmarka nyligen ett Synology NAS RS10613xs+ med 7.2k diskar över iscsi och det var fullständigt katastrofalt dåligt när det gäller random write iops/mbs.

Någon nämnde IBM Storwize v3700 och jag skulle rekommendera det också. Jag kör en sådan låda med 8 st 10krpm diskar i raid 5 över sas hba mot fyra hyper-v hostar och det fungerar riktigt bra. Jag gjorde även samma benchmark mot v3700an över iscsi och det blev ca 50 gånger snabbare på random write iops/mbs än Synologyn, och då var v3700 billigare!

Slutordet blir, om du skall köra central lagring SAN eller NAS så köp bra diskar. Jag rekommenderar även att köra sas hba istället för iscsi.

Hur många GbE körde du över och vad var det för switch? Var den avsedd för iSCSI (har fått för mig att det är något som skiljer med såna switchar)?

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk

FreeNAS med ISCSI

Sätt upp några burkar med konsumenthårdvara med fokus på diskar och nätverk. Installera Freenas och dela ut iscsi-enheter till dina Windowsmaskiner.

Då får du fart på lagringen som räcker till utan svårighet och till väldigt rimliga pengar.

Visa signatur

MVH
Anders Hansson

Permalänk
Medlem

När jag gick en Windows Server 2008 R2 utbildning så körde vi servern och win7 klient i vmware workshop på en C2D 3Ghz cpu med 4GB Ram, och det funkade relativt bra. Flask halsen var i stort sett minnet i burkarna, så de gick ej att köra server + 2 klienter.

Men det beror alldeles på vad det är för utbildning och sedan om det är en YH utbildning på en skola som inte får gå i vinst på bidragen så finns det ibland mycket pengar över. Där jag läste nätverk köpte de in ASA brandväggar och wireless kontrollers för typ 250.000:-

Min poäng är dock att ni skulle nog kunna köpa in i5 quad datorer med typ 8-12 GB Minne och köra server och virtuell utbildning på för eleverna ist för att köpa en virtualiserings mijlö och leverera resurser via den.

Permalänk

SAN behöver inte vara dyrt. Du kan sätta upp en billig SAN själv, med Oracle Solaris / OpenSolaris distro (SmartOS, OmniOS, etc) och ZFS. ZFS gillar även SSD diskar. Det finns många som sätter upp ZFS baserade SAN och kör tunga laster på dem. Men det blir ytterligare en sak att supporta.

Med ett tungt SAN så kan man köra alla diskar från ZFS servern så alla virtuella maskiner saknar diskar. T.ex. satte Oracle upp ett SAN där de servade typ 10.000 samtidiga användare som kunde logga in samtidigt under en mässa. Då har du alla diskar på en enda SAN server (eller två SAN servrar). Och om du kör SSD och ZeusRAM så får du grymma IOPS, flera 100,000 är inga problem.
http://nex7.blogspot.se/2012/09/sub-1k-8-tb-home-san-can-i-do...

Permalänk
Medlem
Skrivet av MichaelJackson:

SAN behöver inte vara dyrt. Du kan sätta upp en billig SAN själv, med Oracle Solaris / OpenSolaris distro (SmartOS, OmniOS, etc) och ZFS. ZFS gillar även SSD diskar. Det finns många som sätter upp ZFS baserade SAN och kör tunga laster på dem. Men det blir ytterligare en sak att supporta.

Med ett tungt SAN så kan man köra alla diskar från ZFS servern så alla virtuella maskiner saknar diskar. T.ex. satte Oracle upp ett SAN där de servade typ 10.000 samtidiga användare som kunde logga in samtidigt under en mässa. Då har du alla diskar på en enda SAN server (eller två SAN servrar). Och om du kör SSD och ZeusRAM så får du grymma IOPS, flera 100,000 är inga problem.
http://nex7.blogspot.se/2012/09/sub-1k-8-tb-home-san-can-i-do...

Med tanke på frågeställningen betvivlar jag att TS är i målgruppen för en sån lösning (no offense).

Ja, det verkar ju asgrymt, 10.000 användare som inte kan jobba när ett enda SAN är singel point of failure

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Skrivet av Micke O:

Med tanke på frågeställningen betvivlar jag att TS är i målgruppen för en sån lösning (no offense).

Ja, det verkar ju asgrymt, 10.000 användare som inte kan jobba när ett enda SAN är singel point of failure

Du sa det först

Mitt förslag är att ta kontakt med en leverantör som tar fram ett eller flera förslag på lösning, baserat på det underlag ni tar fram.

Visa signatur

Workstation: Intel Core i5-10400 | Gigabyte B460M DS3H | 16GB DDR4 | Geforce GTX1660 SUPER 6GB |
Server: Dell R730xd | Intel Xeon E5-2640 | 64GB DDR3 ECC RAM | Dell VMware vSphere ESXi 6.5
NAS: Synology 212J 2x4TB, Synology 218play 2x4TB | MSMCP CCNA1

Permalänk
Medlem

Utöver allt annat så har du valt ett för litet rackskåp. Det är bara bilden som är 42U, priset är för 12U. DL580 är 4U, så du får in dem, men inte NAS och switchar.

Visa signatur

i7-10700K + Corsair H90 | Z490 | 64GB | RTX3080 | SSD 3*512GB + 500GB + 128GB | HDD 3TB | Phanteks P400S | TUF 750W | 31.5"+27"+24" | Corsair K95 RGB | Logitech G902 | Sennheiser RS 175

Permalänk
Medlem

Ja det finns massor att säga om ditt val av hårdvara, för mycket för att gå genom allt.

Mitt råd är som flera andras, gå igenom det nogrannt och återkom sedan Att ta hjälp av en konsult eller en åtminstone en säljare som gör en vettig behovsanalys åt dig är en bra start om du själv saknar erfarenhet.

Men ett par råd kan jag ge dig: Mer minne, mindre CPU och köp riktigt lagring.
Du lägger fokus på helt fel saker, köp hellre 3 mindre maskiner med 2 CPU i varje, bygg ut med en ny maskin när/om det blir aktuellt.

Samt en fråga: Vad har du för budget för ditt projekt?

Visa signatur

Fd. "Redbull" här på forumet.