ESXi-whitebox: VT-d, SR-IOV, LSI 3008, Intel X550, FreeNAS, pfSense, AD samt Exchange

Permalänk
Medlem

ESXi-whitebox: VT-d, SR-IOV, LSI 3008, Intel X550, FreeNAS, pfSense, AD samt Exchange

Hej alla Sweclockare!

Hård- och mjukvarutvecklingen går gladeligen framåt och det börjar bli dags att ersätta den gamla ESXi-servern med en ny!

Planen är en whitebox med stöd för SR-IOV. Nyttan med SR-IOV är (som jag har förstått det) möjligheten att dela ut virtuella instanser av fysisk hårdvara, i det här fallet ett NIC (nätverkskort), till virtuella maskiner och eftersom virtualiseringen sker i hårdvaran så är belastningen på CPU:n försumbar. Detta tänkte jag utnyttja så gott det går i en allt-i-ett-maskin.

ESXi:s datastore ska ligga på en NFS-volym som är utdelad från en virtuell instans av FreeNAS. Latens samt överföringshastigheten bör vara fullgod med ett dedikerat X550 (10GbE). Detta upplägg har fördelen att en säkerhetskopiering av datastore kan göras väldigt snabbt och enkelt med hjälp av ZFS-replikering. Replikeringen kommer att ske över VPN till en annan geografisk plats.

Dessutom vill jag nyttja SR-IOV för pfSense. PfSense ska ha ett eget fysiskt NIC för WAN men ett virtuellt NIC för LAN som ska delas med alla virtuella maskiner samt en switch i det fysiska nätverket.

Utöver dessa två maskiner så kommer det köras ett antal instanser av Windows Server 2012 med bla. AD, CA, Sharepoint och Exchange 2013. Dessutom tillkommer det ett par Linux-instanser och en eller två Windows-pro-klienter med 8.1 och 10.

För att åstadkomma ovanstående har jag tittat på lite olika hårdvara. Framförallt på Intels senaste Xeon-D plattform. Tyvärr är den till stor del begränsad av sin fysiska storlek (miniITX). Den senaste generationen är dessutom mycket svår att få tag på och därför lutar det mot en Xeon E3 v5 (Skylake) baserad lösning. Förslag på hårdvara är följande:

CPU: E3-1245 v5
Moderkort: X11SSH-CTF
Lagring: Intel 750 400GB (datastore)
PSU: Seasonic 400W (passivt kylt)

Dessutom tillkommer en NVME M.2 128GB SSD som ESXi-boot-volym samt 64 GB ECC RAM och 4-6 st 7200 RPM SATA-diskar i ett Fractal Design R4.

Så nu vänder jag mig till er. Förhoppningsvis kommer det här att uppfylla mina krav och önskemål prestandamässigt i kombination med en låg ljudvolym och energiförbrukning. Vad tror ni?

Visa signatur

[ 3.6GHz EM64T | 2GB DDR2 533MHz | 2x160GB 8MB | 256MB X850XT PE | Audigy2 ZS | 24" TFT | GigaWorks 7.1 | DVD+/-RW DL ]
[ 2.2GHz Northwood | 1 GB RDRAM | GF4 Tit 4600 | 1x80 2x120 1x250 | 19" Trinitron | 18,1" TFT ]
[ Börja om från början... Formatera om på nytt! ]

Permalänk
Medlem

ESXI boot volym på SSD är överkill. Kör USB, eller om du vill ha mycket bättre sataDOM. 10G NIC'et har inte support i FN än, men bör komma rätt snart.

Utöver det är det ju fin hårdvara, Xeon-D hade varit bättre dock

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av moron:

ESXI boot volym på SSD är överkill. Kör USB, eller om du vill ha mycket bättre sataDOM. 10G NIC'et har inte support i FN än, men bör komma rätt snart.

Utöver det är det ju fin hårdvara, Xeon-D hade varit bättre dock

Ja det enklaste hade ju varit att köra på en USB-sticka, och det är det som jag har gjort hitintills, men trots dyra högkvalitativa stickor så har jag haft diverse problem som lett till oförutsedd nedtid! SATADOM är som du säger ett fullgott alternativ. Tänkte dock utnyttja möjligheten med en NVME SSD för en eventuell snabb Host Cache (~ESXi-swap). Det blir en drygt en femhundring extra för en billig 128GB variant och det är småpotatis i sammanhanget. Vad jag har förstått så ska det vara möjligt att boota från en sådan, samt att ha en VM på, vilket i det här fallet innebär en FreeNAS-instans.

Estimeringen av strömförbrukningen landar på runt 200 watt, därmed borde ett platinum klassat 400 watts nätaggregat vara fullt tillräckligt. Är det någon som har använt PSUn för dygnet-runt-drift tidigare? Seasonic har under lång tid hållt en hög kvalitet och den kommer dessutom med sju års garanti. Är det någon som ser några problem med att använda den? Självklart kommer det att köras flera stora chassi-fläktar på ett lågt varvtal för att hålla värmeutvecklingen nere.

Angående Xeon-D vs Xeon-E3v5: Xeon-D är riktigt häftig! Många kärnor ihop med hög energieffektivitet. Men enligt min erfarenhet så är det oftast en hög enkeltrådsprestanda som är önskvärd. Ska man in och pilla själv med en ny VM eller göra en hel del konfigurationsändringar i en annan VM så är det en hög IPC och klockfrekvens inklusive turbo-boost som är avgörande för upplevelsen. Med 10-20 VMs på nuvarande server så ligger CPUn mestadels under 10% användning. Slutsaten är att CPUn räcker till. 64 GB RAM bör också räcka i åtminstone tre år.

Avsaknaden av drivrutiner i FreeBSD kan enligt tidigare erfarenheter vara ett rejält hinder. Men jag räknar med att den hårdvaran jag köper in ska stödjas inom en snar framtid. Men det är klart. Det finns ju inga garantier...

Edit:
LSI 3008 verkar tyvärr inte vara helt stabilt ännu
Intel 750 SSD verkar ha problem med Pass-through

Visa signatur

[ 3.6GHz EM64T | 2GB DDR2 533MHz | 2x160GB 8MB | 256MB X850XT PE | Audigy2 ZS | 24" TFT | GigaWorks 7.1 | DVD+/-RW DL ]
[ 2.2GHz Northwood | 1 GB RDRAM | GF4 Tit 4600 | 1x80 2x120 1x250 | 19" Trinitron | 18,1" TFT ]
[ Börja om från början... Formatera om på nytt! ]

Permalänk
Medlem

@Nixus: Ja men då är det bara att köra! Rapportera gärna om vad för skillnader på prestanda vart host-cache ligger - inte provat det själv, men låter ju logiskt

Men du ska ju inte köra 750 i passthrough, utan som Datastore? Eller vill du köra den som en pool i FN sen dela tillbaka till ESXi?

Visa signatur

En server här, några servrar där.

Permalänk
Medlem

Det är önskan att köra just esxi och gratis som ger den här typen av frankensteinlösningar istället för mer moderna hyper-converged lösningar?

Permalänk
Medlem
Skrivet av aluser:

Det är önskan att köra just esxi och gratis som ger den här typen av frankensteinlösningar istället för mer moderna hyper-converged lösningar?

Avd. sluten fråga.

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av Nixus:

//
Angående Xeon-D vs Xeon-E3v5: Xeon-D är riktigt häftig! Många kärnor ihop med hög energieffektivitet. Men enligt min erfarenhet så är det oftast en hög enkeltrådsprestanda som är önskvärd. Ska man in och pilla själv med en ny VM eller göra en hel del konfigurationsändringar i en annan VM så är det en hög IPC och klockfrekvens inklusive turbo-boost som är avgörande för upplevelsen. Med 10-20 VMs på nuvarande server så ligger CPUn mestadels under 10% användning. Slutsaten är att CPUn räcker till. 64 GB RAM bör också räcka i åtminstone tre år.
//

Jag är villig att motsäga mig detta. Väldigt få maskiner som lämpar sig för virtualisering utnyttjar CPU till den grad att högre klockfrekvens och IPC skulle vara avgörande. Jag garanterar (såvida inte du bestämmer dig för att virtualisera en HPC-plattform ) att det är antalet IOPS eller mängden RAM som kommer vara den första flaskhalsen i ditt system.

Visa signatur

{|XSX|PS3|PS4|}

Permalänk
Medlem
Skrivet av moron:

@Nixus: Ja men då är det bara att köra! Rapportera gärna om vad för skillnader på prestanda vart host-cache ligger - inte provat det själv, men låter ju logiskt

Men du ska ju inte köra 750 i passthrough, utan som Datastore? Eller vill du köra den som en pool i FN sen dela tillbaka till ESXi?

Host cache är väl i princip den sista funktionen som aktiveras när minnet tryter (efter minneskomprimering mfl). Så troligen kommer det inte att aktiveras (eftersom jag inte planerar att överdimensionera antalet VMs). Är det vanligt att överdimensionera? Är det ett bra sätt att spara in pengar på RAM? Får se, det kanske blir att jag testar ändå. Det vore definitivt intressant att se hur bra det fungerar i praktiken!

Japp, en Intel 750 400 GB NVME i pass-through till FreeNAS (ZFS) som i sin tur delar ut den till sin egna ESXi-host via NFS. Sync aktiverat såklart. Hoppas på god prestanda. Det jag vill åstadkomma här är hyfsad enkel ZFS-replication till en annan ort. Antar att de virtuella maskinerna behöver vara avstängda för att det ska fungera (i synnerhet Exchange samt AD)?

Skrivet av aluser:

Det är önskan att köra just esxi och gratis som ger den här typen av frankensteinlösningar istället för mer moderna hyper-converged lösningar?

Haha ja du! Det är väl spännande att försöka hitta en smidig, snabb, fysiskt liten lösning till en låg kostnad. Totalkostnaden bör hamna på under 30000 kr. Och samtidigt vara tillräcklig i tre år framåt. Har du några förslag på andra lösningar? Har kollat in Proxmox och Hyper-V. Båda är intressanta men det totala intrycket är att ESXi med free-licens är den mest prisvärda och stabila lösningen. Har även kollat lite granna på Xenserver, bhyve etc men inte hittat något som känns perfekt. Men jag hoppas verkligen på bhyve i framtiden! Gärna inbyggd i FreeNAS 10

Skrivet av Wixner:

Jag är villig att motsäga mig detta. Väldigt få maskiner som lämpar sig för virtualisering utnyttjar CPU till den grad att högre klockfrekvens och IPC skulle vara avgörande. Jag garanterar (såvida inte du bestämmer dig för att virtualisera en HPC-plattform ) att det är antalet IOPS eller mängden RAM som kommer vara den första flaskhalsen i ditt system.

Hahaha! Men kanske specifikt för just det här ändamålet då Det är mestadels e-post (10-15 st användare), backup och filserver som gäller. Arbetet är utspritt över hela dygnet så det uppstår väldigt sällan några direkt parallella processorkrävande situationer. Men när det väl ska uppdateras/installeras/göras andra stora ändringar så märks det direkt skillnad på 2 GHz eller det dubbla!

Visa signatur

[ 3.6GHz EM64T | 2GB DDR2 533MHz | 2x160GB 8MB | 256MB X850XT PE | Audigy2 ZS | 24" TFT | GigaWorks 7.1 | DVD+/-RW DL ]
[ 2.2GHz Northwood | 1 GB RDRAM | GF4 Tit 4600 | 1x80 2x120 1x250 | 19" Trinitron | 18,1" TFT ]
[ Börja om från början... Formatera om på nytt! ]

Permalänk
Medlem
Skrivet av Nixus:

Host cache är väl i princip den sista funktionen som aktiveras när minnet tryter (efter minneskomprimering mfl). Så troligen kommer det inte att aktiveras (eftersom jag inte planerar att överdimensionera antalet VMs). Är det vanligt att överdimensionera? Är det ett bra sätt att spara in pengar på RAM? Får se, det kanske blir att jag testar ändå. Det vore definitivt intressant att se hur bra det fungerar i praktiken!

Japp, en Intel 750 400 GB NVME i pass-through till FreeNAS (ZFS) som i sin tur delar ut den till sin egna ESXi-host via NFS. Sync aktiverat såklart. Hoppas på god prestanda. Det jag vill åstadkomma här är hyfsad enkel ZFS-replication till en annan ort. Antar att de virtuella maskinerna behöver vara avstängda för att det ska fungera (i synnerhet Exchange samt AD)?

Ah ok... går över ån för vatten, så att säga

Visa signatur

En server här, några servrar där.

Permalänk
Medlem

Vad slutade det med att du beställde? Och lyckades du confa upp servern som du tänkte dig?

Anledningen till att jag frågar är att jag är i precis samma sits du är/var i, dvs att jag är på jakt efter en server med en liknande setup i åtanke, och Xeon D ligger just nu överst på listan. Just nu ser min inköpslista ut som följande: http://www.prisjakt.nu/list.php?l=3025060&view=l, kompletterat med 3x4TB WD Red-diskar samt ett LSI 9260-8i-kort. Tänkte köpa delarna från lite överallt runtom i Europa för att få ner slutkostnaden. Har redan en liten 120GB SSD som får agera boot disk tills vidare.

Fastnade för Xeon D för dess ökade prestanda när det kommer till virtualisering, det inbyggda X550-NICet, samt dess extremt höga energieffektivitet. Har du sett någon större fördel med E3 som jag missat?

Visa signatur

Supermicro X10SDV-6C-TLN4F m. Xeon-D 1528 | Crucial 64GB 2400MHz ECC | Silverstone DS380B | Corsair SF450 450W | HDD

Permalänk
Medlem
Skrivet av ddaniel91:

Vad slutade det med att du beställde? Och lyckades du confa upp servern som du tänkte dig?

Anledningen till att jag frågar är att jag är i precis samma sits du är/var i, dvs att jag är på jakt efter en server med en liknande setup i åtanke, och Xeon D ligger just nu överst på listan. Just nu ser min inköpslista ut som följande: http://www.prisjakt.nu/list.php?l=3025060&view=l, kompletterat med 3x4TB WD Red-diskar samt ett LSI 9260-8i-kort. Tänkte köpa delarna från lite överallt runtom i Europa för att få ner slutkostnaden. Har redan en liten 120GB SSD som får agera boot disk tills vidare.

Fastnade för Xeon D för dess ökade prestanda när det kommer till virtualisering, det inbyggda X550-NICet, samt dess extremt höga energieffektivitet. Har du sett någon större fördel med E3 som jag missat?

Hej ursäkta ett väldigt sent svar! Var tvungen att lägga detta på is ett tag så grejerna är fortfarande inte beställda, men nu börjar det närma sig Projektet ser dock lite annorlunda ut!

Min gissning är att strömförbrukningen i idle är hyfsat likvärdig mellan Xeon D (Broadwell) och E3 1200v5 (Skylake) och eftersom det ej kommer att behövas mer än 64GB RAM och att det dessutom finns krav på hög enkeltrådsprestanda så blir E3 1200v5 optimalt.

Planen är nu att använda FreeNAS och bhyve för virtualiseringen. Det innebär att pass-through av LSI-3008 inte längre behövs (Intels inbyggda SATA är fullt tillräckligt). För att spara en slant väljs även 10Gbit NICs bort. Det finns inget behov av att flytta stora mängder data mellan fysiska system. Dessutom innebär virtualiserade nätverkskort färre steg i migreringar av VMs till en annan fysisk host. Prestandan kan i och försäg bli tillfälligt lidande vid stora överföringar mellan interna VMs. Å andra sidan innebär avsaknaden av LSI3008/Intel X550 att strömförbrukningen blir lägre.

Här är ett spännande projekt som tar sig an problemet med prestanda i virtualiserade nätverk:
Artikel: Virtual device passthrough for high speed VM networking
Projektet på Github

Det hade varit kul att leka lite med SR-IOV men nu känns det faktiskt inte nödvändigt längre.

Har du byggt ditt system ännu? Hur är fläktkurvan på Xeon D under hög belastning - blir den högljudd?

Förövrigt så rekommenderar jag att du lägger till en disk och kör med 4st diskar i RAID-Z2 eftersom återuppbyggnaden av data efter en disk-krasch kan leda till förlusten av ytterligare en disk och därmed all data!

Visa signatur

[ 3.6GHz EM64T | 2GB DDR2 533MHz | 2x160GB 8MB | 256MB X850XT PE | Audigy2 ZS | 24" TFT | GigaWorks 7.1 | DVD+/-RW DL ]
[ 2.2GHz Northwood | 1 GB RDRAM | GF4 Tit 4600 | 1x80 2x120 1x250 | 19" Trinitron | 18,1" TFT ]
[ Börja om från början... Formatera om på nytt! ]

Permalänk
Medlem

En fråga.

Är detta privat eller företag?

Permalänk
Medlem

@Danne: Företag.

Visa signatur

[ 3.6GHz EM64T | 2GB DDR2 533MHz | 2x160GB 8MB | 256MB X850XT PE | Audigy2 ZS | 24" TFT | GigaWorks 7.1 | DVD+/-RW DL ]
[ 2.2GHz Northwood | 1 GB RDRAM | GF4 Tit 4600 | 1x80 2x120 1x250 | 19" Trinitron | 18,1" TFT ]
[ Börja om från början... Formatera om på nytt! ]

Permalänk
Medlem
Skrivet av Nixus:

Då hade jag inte kört på den här lösningen för fem öre kan jag säga direkt.
Jag hade sett till att få en bra deal med någon tillverkare tex HP,Dell,Fujitsu
och valt något bra komplett med SAN och backup lösning
Samt se till att få 3-5års garanti på platsen på prylarna
Det kommer ni att tjäna på.

Jag vet att folk på swec gillar att MulleMecka men man får så sjukt mycket problem när något väl börjar strula när man kör på lite "shady" hårdvara.

Permalänk
Vila i frid
Skrivet av Nixus:

64 GB ECC RAM

Räkna med att VMware kontaktar dig om du kör "free" ESXI med 64 GB interminne. En Essentials-licens som får köra mer än 32 GB ram kostar dock bara 468 euro + obligatoriska förstaårssupporten på 61 euro.

<edit>MulleMecka, det är ju det som är tjusning. Möjligen olämpligt för ett företag, men för privatpersoner - en utmaning! Tänk så mycket extrakunskap och djup man fått av att jäklas med Mulle!</edit>

Permalänk
Medlem
Skrivet av hasenfrasen:

MulleMecka, det är ju det som är tjusning. Möjligen olämpligt för ett företag, men för privatpersoner - en utmaning! Tänk så mycket extrakunskap och djup man fått av att jäklas med Mulle!

Ja det är jättebra att lära sig något nytt.
Men inte med system som ska sättas i produktion och är menad för seriös drift.
Detta kommer som sagt bara komma tillbaka och bita honom.

Permalänk
Medlem

Behövs verkligen prestandan hos Intel 750? Vore det inte bättre och billigare med två st vanliga 480 GB SSD som speglas?

I övrigt så är jag böjd att hålla med @Danne, jag skulle personligen ha valt en färdig lösning för produktion, men det beror ju också på vad det är för verksamhet och vad kraven är såklart.

Permalänk
Medlem
Skrivet av hasenfrasen:

Räkna med att VMware kontaktar dig om du kör "free" ESXI med 64 GB interminne. En Essentials-licens som får köra mer än 32 GB ram kostar dock bara 468 euro + obligatoriska förstaårssupporten på 61 euro.

Nja de kommer inte att kontakta dem för att de kör en free esxi med 64GB internminne. Däremot så är det avtalsbrott att köra företagsservers på en esxi free hypervisor.

I esxi 6.0 så är i princip alla limitations borta och det är bara antal CPU du kan presentera till VM's som är max 8st. antal CPU och antal minne är obegränsat.

http://www.vmware.com/products/vsphere-hypervisor/gettingstar...

@nixus
Om du ska köra 64GB internminne så se till så att du nyttjar de kanaler som finns i de nyare arkitekturerna.

Annars tappas en del prestanda.

Vad gäller whiteboxlösning för företag är nått jag inte skulle rekommendera.

Bättre att köpa en riktig lösning för att undvika problem och då kan även garanti och suppport köpas till.

Man kan ha tur men när saker och ting går sönder är det INTE roligt.

//Tobias

Visa signatur

..:: Workstation ::.. ..:: Asus P8Z77-v LX ::.. ..:: MSI GTX1060 6GB ::.. ..:: i5 3450 Ivy Bridge /w Antec KÜHLER H2O 620 Sluten Vattenkylning ::.. ..:: Corsair 16GB DDR3 600MHz/CL9/VENG ::.. ..:: NoName 650W ::.. ..:: Dell 24" 2408WFP ::.. ..:: Server ::.. ..:: AMD ..:: FX-8320 ::.. ..:: 16GB ::.. ..:: XFX HD6450 ::.. ..::250GB SSD Samsung 840 EVO::.. ..:: 3x 2TB wd black ::.. ..:: VCP6-DCV ::.. ..:: vmware esxi 6.7 ::..

Permalänk
Vila i frid
Skrivet av tjossanmannen:

Nja de kommer inte att kontakta dem för att de kör en free esxi med 64GB internminne.

Jag vet att de kommer att (iaf försöka) kontakta systemets ägare. En kunds server fick mer minne och licensändringen tänktes inte på i det läget - men fick hjälp att komma ihåg via epost från VMware. Hur? VMware vet tydligen rätt ingående vad deras servers används till.

Permalänk
Medlem

Du kanske är grym på detta, jag vet inte. Men jag avråder alla att virtualisera routern såvida du inte har stenkoll på hur allt ska sättas upp med virtualiseringen. Detsamma gäller egentligen också FreeNAS.

Med routern hamnar man i jobbiga hönan-och-ägget-situationer så fort man måste starta om servern eller routern.
Med FreeNAS gäller det att dela fysisk åtkomst till diskarna samt ge den tillräckligt med minne för att inte lura ZFS (filsystemet).

Är det bara router och filserver så blir det inte ens dyrare med separat hårdvara, och då köra pfSense och FreeNAS rent på varsin burk.

Visa signatur
Permalänk
Medlem

Jag kan flika in här, för jag kör nänligen både FreeNAS och min router på min ESXI som VMs. Jag kan nog säga att jag ångrar router beslutet en hel del idag. Det är ganska tråkigt att inte ha fungerade internet när servern krånglar, nu har den itne gjort det på väldigt länge dock(1 år ca). Men jag hade definitivt byggt egen hårdvara för router om jag hade gjort om det idag. När det gäller FreeNAS så fungerar det bra för mig kör Passthrough till min controller på moderkortet och har givit den 20GB ram just nu. Det i sig är nog overkill men testar lite olika för att se hur det fungerar. Men det är ganska omständigt att köra FreeNAS på en VM också faktiskt, mycket som ska klaffa. Jag kollar själv just nu på en ny lösning för den också. Typ en egen maskin helt.

Visa signatur

Gaming:[Asus Dark Hero X570]-[AMD R9 5950X]-[G.Skill TridentZ 3600Mhz 32GB]-[Asus Strix RTX 3090]-[Samsung 980PRO 2TB]-[Lian Li O11]:.
unRAID:[Supermicro X10SL7-F]-[Intel Xeon 1240L V3]-[32GB ECC]-[nVidia P2000]-[40TB WD Re + 500GB Curcial MX100]:.

Permalänk
Medlem
Skrivet av Danne:

Då hade jag inte kört på den här lösningen för fem öre kan jag säga direkt.
Jag hade sett till att få en bra deal med någon tillverkare tex HP,Dell,Fujitsu
och valt något bra komplett med SAN och backup lösning
Samt se till att få 3-5års garanti på platsen på prylarna
Det kommer ni att tjäna på.

Jag vet att folk på swec gillar att MulleMecka men man får så sjukt mycket problem när något väl börjar strula när man kör på lite "shady" hårdvara.

Tack för input Danne, det har körts liknande lösningar i över sex år som fungerat bra. Inte utan problem såklart men utan utmaningar inga lärdomar! Hårdvaran som kommer användas här är högkvalitativa produkter från stora tillverkare med garanti. Det finns offline-backup/redundans i systemen och nertid är acceptabelt upp till ett par dygn utan att det blir kritiskt.

Skrivet av hasenfrasen:

Räkna med att VMware kontaktar dig om du kör "free" ESXI med 64 GB interminne. En Essentials-licens som får köra mer än 32 GB ram kostar dock bara 468 euro + obligatoriska förstaårssupporten på 61 euro.

<edit>MulleMecka, det är ju det som är tjusning. Möjligen olämpligt för ett företag, men för privatpersoner - en utmaning! Tänk så mycket extrakunskap och djup man fått av att jäklas med Mulle!</edit>

Som jag har förstått det så är kraven på maximal minnesmängd etc för ESXi "free" ändrade sedan någon version tillbaks. Men som sagt, ESXi är lagt på is, bhyve är framtiden.

Skrivet av Danne:

Ja det är jättebra att lära sig något nytt.
Men inte med system som ska sättas i produktion och är menad för seriös drift.
Detta kommer som sagt bara komma tillbaka och bita honom.

Se tidigare svar.

Skrivet av miklon:

Behövs verkligen prestandan hos Intel 750? Vore det inte bättre och billigare med två st vanliga 480 GB SSD som speglas?

I övrigt så är jag böjd att hålla med @Danne, jag skulle personligen ha valt en färdig lösning för produktion, men det beror ju också på vad det är för verksamhet och vad kraven är såklart.

Intel 750 har även inbyggd "ström-backup". Totalt är det 8 SATA-portar (c236) som behövs till snurrande diskar.

Skrivet av tjossanmannen:

Nja de kommer inte att kontakta dem för att de kör en free esxi med 64GB internminne. Däremot så är det avtalsbrott att köra företagsservers på en esxi free hypervisor.

I esxi 6.0 så är i princip alla limitations borta och det är bara antal CPU du kan presentera till VM's som är max 8st. antal CPU och antal minne är obegränsat.

http://www.vmware.com/products/vsphere-hypervisor/gettingstar...

@nixus
Om du ska köra 64GB internminne så se till så att du nyttjar de kanaler som finns i de nyare arkitekturerna.

Annars tappas en del prestanda.

Vad gäller whiteboxlösning för företag är nått jag inte skulle rekommendera.

Bättre att köpa en riktig lösning för att undvika problem och då kan även garanti och suppport köpas till.

Man kan ha tur men när saker och ting går sönder är det INTE roligt.

//Tobias

Planen är att ersätta ESXi med bhyve.

Jovisst hårddiskar, IPMI-funktionalitet, RAM, UPSer etc. Allt går sönder. Men det tas även höjd för detta iochmed backup och redundans.

Skrivet av hasenfrasen:

Jag vet att de kommer att (iaf försöka) kontakta systemets ägare. En kunds server fick mer minne och licensändringen tänktes inte på i det läget - men fick hjälp att komma ihåg via epost från VMware. Hur? VMware vet tydligen rätt ingående vad deras servers används till.

Har hört talas om detta men det har inte hänt mig och jag vet inte hur vanligt det är. Men som sagt tidigare, bhyve ersätter ESXi. De ska bli skönt att slippa licens-djungeln!

Skrivet av Usling:

Du kanske är grym på detta, jag vet inte. Men jag avråder alla att virtualisera routern såvida du inte har stenkoll på hur allt ska sättas upp med virtualiseringen. Detsamma gäller egentligen också FreeNAS.

Med routern hamnar man i jobbiga hönan-och-ägget-situationer så fort man måste starta om servern eller routern.
Med FreeNAS gäller det att dela fysisk åtkomst till diskarna samt ge den tillräckligt med minne för att inte lura ZFS (filsystemet).

Är det bara router och filserver så blir det inte ens dyrare med separat hårdvara, och då köra pfSense och FreeNAS rent på varsin burk.

Det finns en separat fysisk router/brandvägg (pfSense), ytterligare en kommer att virtualiseras för att primärt användas när den första strular.

FreeNAS får 64 GB DDR4 ECC att leka med. Räknar med att kunna följa best-practice, TB-hårddisk/GB-RAM.

Hönan-och-ägget-situationer har tidigare varit ett problem men kommer slippa det nu!

Skrivet av AquaRelliux:

Jag kan flika in här, för jag kör nänligen både FreeNAS och min router på min ESXI som VMs. Jag kan nog säga att jag ångrar router beslutet en hel del idag. Det är ganska tråkigt att inte ha fungerade internet när servern krånglar, nu har den itne gjort det på väldigt länge dock(1 år ca). Men jag hade definitivt byggt egen hårdvara för router om jag hade gjort om det idag. När det gäller FreeNAS så fungerar det bra för mig kör Passthrough till min controller på moderkortet och har givit den 20GB ram just nu. Det i sig är nog overkill men testar lite olika för att se hur det fungerar. Men det är ganska omständigt att köra FreeNAS på en VM också faktiskt, mycket som ska klaffa. Jag kollar själv just nu på en ny lösning för den också. Typ en egen maskin helt.

Virtualiserat FreeNAS problemfritt i fyra år! Det är ju alltid en avvägning för hur konvergerad lösning man vill ha, men om man har möjlighet att ha routern/brandväggen separat så är det prio 1

Visa signatur

[ 3.6GHz EM64T | 2GB DDR2 533MHz | 2x160GB 8MB | 256MB X850XT PE | Audigy2 ZS | 24" TFT | GigaWorks 7.1 | DVD+/-RW DL ]
[ 2.2GHz Northwood | 1 GB RDRAM | GF4 Tit 4600 | 1x80 2x120 1x250 | 19" Trinitron | 18,1" TFT ]
[ Börja om från början... Formatera om på nytt! ]

Permalänk
Medlem
Skrivet av Nixus:

Tack för input Danne, det har körts liknande lösningar i över sex år som fungerat bra. Inte utan problem såklart men utan utmaningar inga lärdomar! Hårdvaran som kommer användas här är högkvalitativa produkter från stora tillverkare med garanti. Det finns offline-backup/redundans i systemen och nertid är acceptabelt upp till ett par dygn utan att det blir kritiskt.

Jag vet många hemmalösningar som fungerat i 10år utan problem. Det handlar inte om det.
Det är så mycket mer än att det bara ska "fungera"

Nertid på ett par dygn är väldigt ovanligt måste jag säga på företag. Aldrig stött på något företag på 10år som skulle gå med på att deras IT-drift är nere så pass länge.

Ja det är ju upp till var och en att sätta upp system som dom själva känner för men det är absolut inget jag hade kört i seriös drift på ett företag.

Permalänk
Medlem

Nu et jag inte vilket frontend du behöver och så, men kolla på Proxmox och pve-zsync, tycker det verkar intressant.
Hur funkar nfs share med 750'n? Får du ut vad du hoppades?

Visa signatur

En server här, några servrar där.

Permalänk
Medlem
Skrivet av Nixus:

Hej ursäkta ett väldigt sent svar! Var tvungen att lägga detta på is ett tag så grejerna är fortfarande inte beställda, men nu börjar det närma sig Projektet ser dock lite annorlunda ut!

Min gissning är att strömförbrukningen i idle är hyfsat likvärdig mellan Xeon D (Broadwell) och E3 1200v5 (Skylake) och eftersom det ej kommer att behövas mer än 64GB RAM och att det dessutom finns krav på hög enkeltrådsprestanda så blir E3 1200v5 optimalt.

Planen är nu att använda FreeNAS och bhyve för virtualiseringen. Det innebär att pass-through av LSI-3008 inte längre behövs (Intels inbyggda SATA är fullt tillräckligt). För att spara en slant väljs även 10Gbit NICs bort. Det finns inget behov av att flytta stora mängder data mellan fysiska system. Dessutom innebär virtualiserade nätverkskort färre steg i migreringar av VMs till en annan fysisk host. Prestandan kan i och försäg bli tillfälligt lidande vid stora överföringar mellan interna VMs. Å andra sidan innebär avsaknaden av LSI3008/Intel X550 att strömförbrukningen blir lägre.

Här är ett spännande projekt som tar sig an problemet med prestanda i virtualiserade nätverk:
Artikel: Virtual device passthrough for high speed VM networking
Projektet på Github

Det hade varit kul att leka lite med SR-IOV men nu känns det faktiskt inte nödvändigt längre.

Har du byggt ditt system ännu? Hur är fläktkurvan på Xeon D under hög belastning - blir den högljudd?

Förövrigt så rekommenderar jag att du lägger till en disk och kör med 4st diskar i RAID-Z2 eftersom återuppbyggnaden av data efter en disk-krasch kan leda till förlusten av ytterligare en disk och därmed all data!

Dold text

Kul att få svar!

Jag har inte beställt något än, men hoppas kunna lägga en order nu under sommaren. Står fortfarande i valet och kvalet om det ska vara en E3 eller Xeon-D.

Strömförbrukningen skiljer sig lite grand faktiskt, åtminstone om man ska tro Anandtech som jämför med E3 v3, men det känns ändå som en acceptabel skillnad. Men eftersom jag, till skillnad från dig, inte lär behöva någon särskilt bra entrådprestanda kändes det som att Xeon-Ds övriga "fördelar" vägde upp den aningen högre prislappen. Är faktiskt till och med inne på att vänta på nästa generation Atom "Denverton" mest på grund av QuickAssist, men det känns som lite väl snål prestanda.

Framförallt är jag sugen på att ha 10Gb NIC för att kunna koppla ihop olika framtida serverdelar. I dagsläget tillåter budgeten enbart en enhet, men hade varit skoj att t.ex. koppla in en workstation i andra änden på en 10Gb-port och låta dem agera som ett NUMA-system.

Är också inne på Z2, men just nu är det lagringsutrymme som prioriteras och därmed får det bli Z1. Kommer att ha en off-site-backup dessutom som jag kan återställa diskarna från om allt skulle skita sig.

Skrivet av Usling:

Du kanske är grym på detta, jag vet inte. Men jag avråder alla att virtualisera routern såvida du inte har stenkoll på hur allt ska sättas upp med virtualiseringen. Detsamma gäller egentligen också FreeNAS.

Med routern hamnar man i jobbiga hönan-och-ägget-situationer så fort man måste starta om servern eller routern.
Med FreeNAS gäller det att dela fysisk åtkomst till diskarna samt ge den tillräckligt med minne för att inte lura ZFS (filsystemet).

Är det bara router och filserver så blir det inte ens dyrare med separat hårdvara, och då köra pfSense och FreeNAS rent på varsin burk.

Skrivet av AquaRelliux:

Jag kan flika in här, för jag kör nänligen både FreeNAS och min router på min ESXI som VMs. Jag kan nog säga att jag ångrar router beslutet en hel del idag. Det är ganska tråkigt att inte ha fungerade internet när servern krånglar, nu har den itne gjort det på väldigt länge dock(1 år ca). Men jag hade definitivt byggt egen hårdvara för router om jag hade gjort om det idag. När det gäller FreeNAS så fungerar det bra för mig kör Passthrough till min controller på moderkortet och har givit den 20GB ram just nu. Det i sig är nog overkill men testar lite olika för att se hur det fungerar. Men det är ganska omständigt att köra FreeNAS på en VM också faktiskt, mycket som ska klaffa. Jag kollar själv just nu på en ny lösning för den också. Typ en egen maskin helt.

Jag som är på väg in i detta, vad är det för för problem ni menar kan uppstå med att ha en virtualiserad router? Jag har arbetat en del med virtualisering tidigare, men inte just med en router som VM. Vad är det man bör vara försiktig med och tänka på?

Visa signatur

Supermicro X10SDV-6C-TLN4F m. Xeon-D 1528 | Crucial 64GB 2400MHz ECC | Silverstone DS380B | Corsair SF450 450W | HDD

Permalänk
Medlem
Skrivet av ddaniel91:

Jag som är på väg in i detta, vad är det för för problem ni menar kan uppstå med att ha en virtualiserad router? Jag har arbetat en del med virtualisering tidigare, men inte just med en router som VM. Vad är det man bör vara försiktig med och tänka på?

Jag kan beskriva mina erfarenheter. Jag körde XenServer i grunden och pfSense (router) på det plus några andra virtuella maskiner.

- Vid varje omstart så går ju routern ner. När du sen startar upp allt så måste hypervisorn och IPMI (om sånt finns) ha fast ip eftersom de annars inte kommer få nåt. Övriga VMs får startas manuellt först när routern är startad, annars får de ju ingen ip och då kanske massa automatiska processer inte funkar som de ska. Så när behöver servern då startas om? Jo varje gång man ska uppdatera XenServer. Eller andra anledningar som uppstår pga att det var en hemmaserver i mitt fall, t.ex strömavbrott.

- I pfSense (som använde FreeBSD 9's kernel när jag körde) fanns en bugg som uppstod när man virtualiserade under Xen. Nämligen massa packetdrops. Den tappade så många paket att jag knappt kom ut på internet. Fick stänga av nån slags TX. Eftersom de virtuella nätverkskorten ändrade namn vid varje omstart så fick jag manuellt stänga av TX varje gång servern starta annars funka inte saker. Jag gav pfSense direkt åtkomst till nätverkskortet via VT-d men det hjälpte inte. Buggen är troligen fixad i FreeBSD 10 men jag har inte testat. Och även med TX avstängt tappar den massa fler paket än normalt.

Dessa två saker tillsammans ledde till ett jävla meck varje gång servern startades om och det pallar jag inte med, speciellt inte om andra är beroende av nätverket samtidigt. Sen tillkommer wifi på det. Det måste kontrolleras att det funkar i pfSense/FreeBSD. Ett tips är väl annars en Ubiquiti wifi accesspunkt.

Och då har jag inte nämnt allt annat som rör virtualisering mer generellt. Nämligen att det är svårt och dyrt att välja hårdvara som funkar med allt, installation och konfiguration av allt (t.ex det interna virtualiserade nätverket, eller utdelning av hårdvara med VT-d till både FreeNAS och pfSense), att hålla allt uppdaterat, att jiddra med virtualbox (alternativt SSH) eftersom XenCenter (kontrollermjukvaran) bara funka i windows och jag bara kör linux. Det får man ju räkna med ändå men tillsammans med routerproblemen vart det för komplext och för irriterande och utan några direkta fördelar.

Visa signatur
Permalänk
Medlem
Skrivet av Nixus:

Hej alla Sweclockare!

Hård- och mjukvarutvecklingen går gladeligen framåt och det börjar bli dags att ersätta den gamla ESXi-servern med en ny!

Planen är en whitebox med stöd för SR-IOV. Nyttan med SR-IOV är (som jag har förstått det) möjligheten att dela ut virtuella instanser av fysisk hårdvara, i det här fallet ett NIC (nätverkskort), till virtuella maskiner och eftersom virtualiseringen sker i hårdvaran så är belastningen på CPU:n försumbar. Detta tänkte jag utnyttja så gott det går i en allt-i-ett-maskin.

ESXi:s datastore ska ligga på en NFS-volym som är utdelad från en virtuell instans av FreeNAS. Latens samt överföringshastigheten bör vara fullgod med ett dedikerat X550 (10GbE). Detta upplägg har fördelen att en säkerhetskopiering av datastore kan göras väldigt snabbt och enkelt med hjälp av ZFS-replikering. Replikeringen kommer att ske över VPN till en annan geografisk plats.

Dessutom vill jag nyttja SR-IOV för pfSense. PfSense ska ha ett eget fysiskt NIC för WAN men ett virtuellt NIC för LAN som ska delas med alla virtuella maskiner samt en switch i det fysiska nätverket.

Utöver dessa två maskiner så kommer det köras ett antal instanser av Windows Server 2012 med bla. AD, CA, Sharepoint och Exchange 2013. Dessutom tillkommer det ett par Linux-instanser och en eller två Windows-pro-klienter med 8.1 och 10.

För att åstadkomma ovanstående har jag tittat på lite olika hårdvara. Framförallt på Intels senaste Xeon-D plattform. Tyvärr är den till stor del begränsad av sin fysiska storlek (miniITX). Den senaste generationen är dessutom mycket svår att få tag på och därför lutar det mot en Xeon E3 v5 (Skylake) baserad lösning. Förslag på hårdvara är följande:

CPU: E3-1245 v5
Moderkort: X11SSH-CTF
Lagring: Intel 750 400GB (datastore)
PSU: Seasonic 400W (passivt kylt)

Dessutom tillkommer en NVME M.2 128GB SSD som ESXi-boot-volym samt 64 GB ECC RAM och 4-6 st 7200 RPM SATA-diskar i ett Fractal Design R4.

Så nu vänder jag mig till er. Förhoppningsvis kommer det här att uppfylla mina krav och önskemål prestandamässigt i kombination med en låg ljudvolym och energiförbrukning. Vad tror ni?

Jag kör själv Supermicro i min filserver och är väldigt nöjd, både med ljudnivå och driftsäkerhet så det kan jag verkligen rekommendera
Inga issues under 4 år (förvisso idlar den mest) men det är verkligen skönt att ha ngt som bara tuffar på.

Visa signatur

WS: R7 5800X, 32GB, Suprim X 3080, Acer X38P+Acer XB271HU
FS: HPE ML110 Gen10 Xeon Silver, Qnap TS-h973AX ~100TB
NW: Fortigate, Ruckus, Zyxel XS1930HP 10Gb

Permalänk
Medlem
Skrivet av Usling:

Jag kan beskriva mina erfarenheter. Jag körde XenServer i grunden och pfSense (router) på det plus några andra virtuella maskiner.

- Vid varje omstart så går ju routern ner. När du sen startar upp allt så måste hypervisorn och IPMI (om sånt finns) ha fast ip eftersom de annars inte kommer få nåt. Övriga VMs får startas manuellt först när routern är startad, annars får de ju ingen ip och då kanske massa automatiska processer inte funkar som de ska. Så när behöver servern då startas om? Jo varje gång man ska uppdatera XenServer. Eller andra anledningar som uppstår pga att det var en hemmaserver i mitt fall, t.ex strömavbrott.

- I pfSense (som använde FreeBSD 9's kernel när jag körde) fanns en bugg som uppstod när man virtualiserade under Xen. Nämligen massa packetdrops. Den tappade så många paket att jag knappt kom ut på internet. Fick stänga av nån slags TX. Eftersom de virtuella nätverkskorten ändrade namn vid varje omstart så fick jag manuellt stänga av TX varje gång servern starta annars funka inte saker. Jag gav pfSense direkt åtkomst till nätverkskortet via VT-d men det hjälpte inte. Buggen är troligen fixad i FreeBSD 10 men jag har inte testat. Och även med TX avstängt tappar den massa fler paket än normalt.

Dessa två saker tillsammans ledde till ett jävla meck varje gång servern startades om och det pallar jag inte med, speciellt inte om andra är beroende av nätverket samtidigt. Sen tillkommer wifi på det. Det måste kontrolleras att det funkar i pfSense/FreeBSD. Ett tips är väl annars en Ubiquiti wifi accesspunkt.

Och då har jag inte nämnt allt annat som rör virtualisering mer generellt. Nämligen att det är svårt och dyrt att välja hårdvara som funkar med allt, installation och konfiguration av allt (t.ex det interna virtualiserade nätverket, eller utdelning av hårdvara med VT-d till både FreeNAS och pfSense), att hålla allt uppdaterat, att jiddra med virtualbox (alternativt SSH) eftersom XenCenter (kontrollermjukvaran) bara funka i windows och jag bara kör linux. Det får man ju räkna med ändå men tillsammans med routerproblemen vart det för komplext och för irriterande och utan några direkta fördelar.

Jag håller med om att det låter som ganska tråkiga problem att ha med sin router. Nu vet jag inte hur Xen funkar, men kan man inte ställa in vilka VMs som ska startas först och med hur mycket fördröjning? För isf kunde man väl helt enkelt sätta PfSense som första och sedan vänta, säg, 5 min innan uppstart av resterande? På så sätt borde man kommit runt de problemen. Däremot låter det riktigt trist att lida av paketförluster konstant, särskilt om det inte ens finns en fix/workaround.

Inte helt avskräckt än

Visa signatur

Supermicro X10SDV-6C-TLN4F m. Xeon-D 1528 | Crucial 64GB 2400MHz ECC | Silverstone DS380B | Corsair SF450 450W | HDD

Permalänk
Medlem

Några inflikningar från en sysadmin,

Jag gissar att detta är en dev miljö och inget som kommer gå i produktion? Jag får vibbar av att detta är ett homelab som du tar på ditt eget företag?

Köp en riktig server. Har du den i en företagsmiljö så vill du inte supporta något hemmameck. Support, garanti och tillgänglighet är A och O här, dör moderkortet så vill du inte riva ut det, dra igång ett garantiärende och vänta en vecka eller 2 innan nytt anländer, du vill dra iväg ett samtal och få det levererat och med rätt supportavtal installerat på 1-2 dagar.

Esxi free och proxmox free går rakt ut i en företagsmiljö, du undkommer den stora nackdelen med esxi free om du kör ZFS replikering på snapshots till en remote server, nämligen RO API. Proxmox free ger dig inte tillgång till proxmox repos och blir därmed obrukbart. Några andra backuper än ZFS replikering kommer du dock inte ha, vilket inte är att rekommendera, med Esxi kan du köra backuper av hela maskiner via t.ex veeam, vilket blir smidigare att återställa än individuella filer ur en ZFS snapshot. Du kan påbörja återställning av en hel maskin på ett par minuter med t.ex veeam. ZFS snapshot är definitivt att rekommendera men livrem och hängslen behövs i företagsmiljöer. När du designar backuplösning måste du ha retention i åtanke. Hur många ZFSsnapshots får du plats med i din backupstorage? hur långt bak vill du kunna gå? din router behöver inte dagliga backuper men den SQL databas som utvecklas mot behöver definitivt det.

Ur ett företagsperspektiv är tid pengar, det är värt de extra kostnaderna att hålla nertid till minimum. Ska du ändå köra på ZFS replikering så testa att göra en backuprestore från snapshot och dokumentera noggrant hela proceduren. När du väl behöver göra det skarpt så ligger miljön nere och att svinga i mörkret är mindre roligt.

Kan miljön ligga nere en vecka eller 2 så kör på bara.

Angående virtuell brandvägg, beror helt på vad den ska användas till. Jag kör själv en virtuell pfSense hemma i proxmox, hade dock inte använt den som huvudbrandvägg i en företagsmiljö.

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Permalänk
Medlem
Skrivet av ddaniel91:

Jag håller med om att det låter som ganska tråkiga problem att ha med sin router. Nu vet jag inte hur Xen funkar, men kan man inte ställa in vilka VMs som ska startas först och med hur mycket fördröjning? För isf kunde man väl helt enkelt sätta PfSense som första och sedan vänta, säg, 5 min innan uppstart av resterande? På så sätt borde man kommit runt de problemen. Däremot låter det riktigt trist att lida av paketförluster konstant, särskilt om det inte ens finns en fix/workaround.

Inte helt avskräckt än

Du kan i esxi (och i alla hypervisors) sätta boot ordning och startup delay.

typ
VM1 router
VM2 AD 3 min efter VM1
VM3 SQL server 5 min efter VM2.
VM4 test klient 5 min efter VM3.

osv osv.

Vid nedstängning stänger dom av i motsatt ordning.

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA