Forum Datorer och system Server Tråd Inlägg

HA med FreeNAS och VMware?

1
Skriv svar
Permalänk
Medlem
●

HA med FreeNAS och VMware?

Tjena,

Har i dagsläget 2 st DL380 G8 i mitt rack, en med VMware ESXi 6.5 och en annan med FreeNAS 11.2 som är lagringsserver (DYI SAN) över NFS. Då jag har en del plats kvar så funderar jag nu på att köpa en likadan uppsättning för att få failover och kunna maintaina utan nertid osv osv.

Är det någon som kör HA med ovanstående förut? Det jag tänker är alltså "by-the-book" HA där man kan ta ner en host helt och allting flyter på precis som förut.

Tack för svar!

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●

Ser inget konstigt med detta uppsättning att få till HA, Men utgår på att du har riktigt licens på vmware, alltså ingen gratis licens(annars blir det lite svårt att få till).
Hur ser det ut på nät sidan?

Senast redigerat
Visa signatur

// Tomtenisse
VCP-DCV 2024, VMware Certified Specialist - vSphere with Tanzu 2023, VCP-AM 2023, Kubernetes Protection with Cohesity, Cohesity Certified Data Protection Implementation, Cohesity Certified Installation, Specialist - Implementation Engineer, Elastic Cloud Storage (ECS), Specialist - Systems Administrator, Elastic Cloud Storage (ECS)

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av tomtenisse:

Ser inget konstigt med detta uppsättning att få till HA, Men utgår på att du har riktigt licens på vmware, alltså ingen gratis licens(annars blir det lite svårt att få till).
Hur ser det ut på nät sidan?

Gå till inlägget

Yes, riktig licens.

Beror på hur du menar med nätsidan. Utifrån ser det ut typ såhär:

Internet:
Internet --> OPNsense <--[10 GBe VLAN via SPF+]--> Nginx Reverse Proxy <--[10 GBe VLAN via SPF+, samma kabel]--> Backend VM (här körs tjänsten)

Storage:
VMware Server <--10 GBe SPF+ DAC --> FreeNAS

Jag har 2 st 10 GBe NIC lediga på varje server så jag tänkte man kunde koppla in en till SPF+ på vardera sida och koppla ihop allt. Är dock lite osäker på hur jag ska koppla det. Att skaffa en switch kostar skjortan och jag lär inte behöva mer än totalt 4 hostar (VMware + FreeNAS) ändå.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●

@enoch85: Tja tips på switch mikrotik släppte en liten variant för ett tag sen kommer även en 8 portars snart. Mikrotik

Visa signatur

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Redigera
Citera flera Citera
Permalänk
Medlem
●

Problemet är storage, du kommer behöva ändra från NFS till något som är distribuerat, typ Ceph eller GlusterFS (jag har ingen rekommendation).

Eller missförstår jag, och du vill ha två burkar som VM-hosts och en som Storage? Eller ha tre identiska och köra kombinerad compute+storage? (Hyper-converged som det så fint heter)

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Avstängd
●

En mycket enklare (och bättre) setup skulle vara att köra med 2 aktiva servrar och två som är standby med replikering. Ett cluster är knappast värt mödan och besväret när det krånglar för att det skulle vara värt. Dessutom borde du köra allt med ESXi eller valfri hypervisor.

Visa signatur

NUC med Hackintosh • ThinkPad Bärbar

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av Joulester:

@enoch85: Tja tips på switch mikrotik släppte en liten variant för ett tag sen kommer även en 8 portars snart. Mikrotik

Gå till inlägget

Jag har redan en 16 portars varav 4 st 10 GBe. 1 GBe är inte intressant ö.h.t. i detta fallet. Men tack för tipset!

Skrivet av moron:

Problemet är storage, du kommer behöva ändra från NFS till något som är distribuerat, typ Ceph eller GlusterFS (jag har ingen rekommendation).

Eller missförstår jag, och du vill ha två burkar som VM-hosts och en som Storage? Eller ha tre identiska och köra kombinerad compute+storage? (Hyper-converged som det så fint heter)

Gå till inlägget

Alternativ 1:
2-3 VMware ESXi hostar och och 1 storage

Alternativ 2:
2 VMware ESXi hostar och 2 storage

Jag vill ha ZFS, så tänkte köra på FreeNAS annars få det va, typ.

Skrivet av gdmllj:

En mycket enklare (och bättre) setup skulle vara att köra med 2 aktiva servrar och två som är standby med replikering. Ett cluster är knappast värt mödan och besväret när det krånglar för att det skulle vara värt. Dessutom borde du köra allt med ESXi eller valfri hypervisor.

Gå till inlägget

Vill ha ZFS som sagt. Kör redan ESXi som hypervisor.

Hur pass säkert är det med replikering då? Blir inte det bara en kopia av just den sekundens "replikering"? Det är inte det jag vill ha. Jag vill ha seamless.

Med 26 servrar (VMs) så känns replikering spontant inte som ett alternativ. Om någon laddar upp en fil på något av mina moln och jag har replikerat innan det sker... Sen har vi databaser osv osv, njaae.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av enoch85:

Jag har redan en 16 portars varav 4 st 10 GBe. 1 GBe är inte intressant ö.h.t. i detta fallet. Men tack för tipset!

Alternativ 1:
2-3 VMware ESXi hostar och och 1 storage

Alternativ 2:
2 VMware ESXi hostar och 2 storage

Jag vill ha ZFS, så tänkte köra på FreeNAS annars få det va, typ.

Vill ha ZFS som sagt. Kör redan ESXi som hypervisor.

Hur pass säkert är det med replikering då? Blir inte det bara en kopia av just den sekundens "replikering"? Det är inte det jag vill ha. Jag vill ha seamless.

Med 26 servrar (VMs) så känns replikering spontant inte som ett alternativ. Om någon laddar upp en fil på något av mina moln och jag har replikerat innan det sker... Sen har vi databaser osv osv, njaae.

Gå till inlägget

Det finns inte HA för ZFS utan fulhack, du kan prova detta om du vill - https://github.com/ewwhite/zfs-ha/wiki - men utöver det är det kommersiella produkter som kostar mer än du nog vill betala.

Replikering blir precis det, en spegling av den sekunden, så om du kör var 5'e sekund har du just det. ZFS är inte byggt för detta, så du kan lika gärna släppa den ideen av att ha det i HA (förutsatt att du vill köra Freenas också).

Ditt bästa alternativ är att köra flera compute-noder i HA sen en shared storage typ ZFS över NFS och hoppas att inget händer

Med t.ex. Proxmox kan du köra replikering och flytta noder för att göra planjobb och annat, men återställning vid ett fel är manuellt.

Visa signatur

En server här, några servrar där.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av enoch85:

Jag har redan en 16 portars varav 4 st 10 GBe. 1 GBe är inte intressant ö.h.t. i detta fallet. Men tack för tipset!

Alternativ 1:
2-3 VMware ESXi hostar och och 1 storage

Alternativ 2:
2 VMware ESXi hostar och 2 storage

Jag vill ha ZFS, så tänkte köra på FreeNAS annars få det va, typ.

Vill ha ZFS som sagt. Kör redan ESXi som hypervisor.

Hur pass säkert är det med replikering då? Blir inte det bara en kopia av just den sekundens "replikering"? Det är inte det jag vill ha. Jag vill ha seamless.

Med 26 servrar (VMs) så känns replikering spontant inte som ett alternativ. Om någon laddar upp en fil på något av mina moln och jag har replikerat innan det sker... Sen har vi databaser osv osv, njaae.

Gå till inlägget

Sätt upp en ESXi till och se till att du kan göra live migrations bara så är det massor vunnet för att pyssla om järnet för VM:arna.

Jag skulle däremot lagt all krut på storage-lösningen för att göra den ordentligt redundant (förutsätter att alla VM's har sina diskar på din storage-lösning). Klustrad och med mirroring. Har inte läst om FreeNAS har den möjligtheten men ärligt talat så kommer inte FreeNAS upp på tal ens när jag tittat på storage-lösningar utan då är det t ex vSAN, S2D, HP StorageWorks eller liknande som är till för just redundans.
Personligen skulle jag inte kört vidare med FreeNAS vid uppsättning av redundant storage.
Din storage är det viktigaste. Nästan allt annat kan man fixa till skapligt enkelt.

Gällande replikering så finns det olika typer. Det finns en variant där man har en replika av VM-konfen samt vad som finns i minnet men själva disken ligger på storage och replikeras inte där utan det sköts av storage-lösningen.

Visa signatur

🟢 Main: R9 9900X3D | Strix B850-I | 64GB | RX9070 | Samsung C49RG9
🔵 unRaid: Ryzen5 2700X | B450M DS3H | 32GB
🟠 Tfn: Google Pixel 7 Lime Green

-:| @ eller citera för svar |:-

Redigera
Citera flera Citera
Permalänk
Avstängd
●
Skrivet av moron:

Det finns inte HA för ZFS utan fulhack, du kan prova detta om du vill - https://github.com/ewwhite/zfs-ha/wiki - men utöver det är det kommersiella produkter som kostar mer än du nog vill betala.

Replikering blir precis det, en spegling av den sekunden, så om du kör var 5'e sekund har du just det. ZFS är inte byggt för detta, så du kan lika gärna släppa den ideen av att ha det i HA (förutsatt att du vill köra Freenas också).

Ditt bästa alternativ är att köra flera compute-noder i HA sen en shared storage typ ZFS över NFS och hoppas att inget händer

Med t.ex. Proxmox kan du köra replikering och flytta noder för att göra planjobb och annat, men återställning vid ett fel är manuellt.

Gå till inlägget

Håller med och jag skulle själv kört med replikering. Vill TS inte det är det ju bara att sätta upp ett kluster bland alla maskiner, då måste filservern vara en VM också. Men det är knappast värt bekymmret med ett kluster för 4 servrar imo.

Visa signatur

NUC med Hackintosh • ThinkPad Bärbar

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av gdmllj:

Håller med och jag skulle själv kört med replikering. Vill TS inte det är det ju bara att sätta upp ett kluster bland alla maskiner, då måste filservern vara en VM också. Men det är knappast värt bekymmret med ett kluster för 4 servrar imo.

Gå till inlägget

Läs vad han skriver. Han har 26 VMar, och funderar på att köra dem på upp till 4st hostar.

Vad är det för problem med att sätta upp ett HA-Kluster i VMware om han har licenser? vSphere är ju byggt för det.

@TS
Se till att din lagring är så redundant som möjligt, det kommer vara din SPOF. Vi kör med 2st synkront replikerade Datacore noder i våran drift på jobb men det kanske är lite overkill eftersom du snackar om Freenas

Hursomhelst, HA i VMware och säkra upp ditt SAN så kan du ta ner Esxi hostarna för underhåll, lastbalansera m.m.
Se bara till att CPUerna i dina hostar är vMotion kompatibla (ur samma cpu familj) annars kan du inte migrera VMarna i drift.
Eller jo förresten, du kan köra enhanced vMotion och börja maska funktioner på de nya CPUerna , men det vill man kanske inte.

Har du några specifika frågor, PMa så ska jag försöka hjälpa dig.

Lycka till!

Visa signatur

__________________
Stationär: | NZXT H510 Flow | Corsair RM850x | MSI MAG B850 TOMAHAWK | RYZEN 7 9700X | 32GB 6400Mhz CL32 DDR5 | ASUS Radeon RX 9070XT | 1TB Seagate FireCuda 530 + 1TB Kingston KC3000 | LG 27" 165Hz 1440P Nano IPS | Bärbar: MacBook Pro 14"

NAS: Synology DS1815+ 8X 4TB WD RED
Server: Esxi 6.5 | i5 4690K | 32GB DDR3 | 1TB SSD + iSCSI SATA [/B]

Redigera
Citera flera Citera
Permalänk
Medlem
●

BTW,

Är det Owncloud Enoch ?

Visa signatur

__________________
Stationär: | NZXT H510 Flow | Corsair RM850x | MSI MAG B850 TOMAHAWK | RYZEN 7 9700X | 32GB 6400Mhz CL32 DDR5 | ASUS Radeon RX 9070XT | 1TB Seagate FireCuda 530 + 1TB Kingston KC3000 | LG 27" 165Hz 1440P Nano IPS | Bärbar: MacBook Pro 14"

NAS: Synology DS1815+ 8X 4TB WD RED
Server: Esxi 6.5 | i5 4690K | 32GB DDR3 | 1TB SSD + iSCSI SATA [/B]

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av moron:

Det finns inte HA för ZFS utan fulhack, du kan prova detta om du vill - https://github.com/ewwhite/zfs-ha/wiki - men utöver det är det kommersiella produkter som kostar mer än du nog vill betala.

Gå till inlägget

Bästa läsningen på länge, tack för den länken!

Skrivet av AxF:

Läs vad han skriver. Han har 26 VMar, och funderar på att köra dem på upp till 4st hostar.

Vad är det för problem med att sätta upp ett HA-Kluster i VMware om han har licenser? vSphere är ju byggt för det.

@TS
Se till att din lagring är så redundant som möjligt, det kommer vara din SPOF. Vi kör med 2st synkront replikerade Datacore noder i våran drift på jobb men det kanske är lite overkill eftersom du snackar om Freenas

Hursomhelst, HA i VMware och säkra upp ditt SAN så kan du ta ner Esxi hostarna för underhåll, lastbalansera m.m.
Se bara till att CPUerna i dina hostar är vMotion kompatibla (ur samma cpu familj) annars kan du inte migrera VMarna i drift.
Eller jo förresten, du kan köra enhanced vMotion och börja maska funktioner på de nya CPUerna , men det vill man kanske inte.

Har du några specifika frågor, PMa så ska jag försöka hjälpa dig.

Lycka till!

Gå till inlägget

Ja, det var VSphere jag tänkte köra. Har tankat deras "appliance" men inte testat ännu. Har ont om tid generellt sätt så detta projekt får ta den tid det tar, om det ens blir av.

Målet är iaf som sagt att kunna göra maintenance och köra allt i PROD ändå, seamless. Om jag får välja så är väl storage viktigast, men av allt ovan att döma så verkar det rätt kört att få till det med FreeNAS - eller någon annan ZFS lösning?

Att skaffa en till ESXi server och sen installera VSphere på dem verkar vara "piece of cake", men det är ju som sagt önskvärt att kunna stänga ner storage på samma sätt... Hmm...

I vilket fall som helst så kanske jag börjar med att prova en till ESXi server bara för att, och sen se om jag kan få till det med storage längre fram.

Kom gärna med fler ideér.

Skrivet av AxF:

BTW,

Är det Owncloud Enoch ?

Gå till inlägget

Stämmer bra.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

@enoch85: Jag säger kör på och känn på med en ESXi-nod till! Gissar på att du har backup på datat i alla fall från FreeNAS:en så går den ned innan du har en säkrare lösning så pratar vi inte total katastrof - endast en väldigt dålig dag...

Efter du satt upp en nod till för ESXi och är nöjd så kan du börja titta på Ceph och GlusterFS som @moron nämnt tidigare ( långt billigare än de förslag jag gav ).

Till sist sätta upp en ny storage-lösning med lite redundans vid sidan av och när du känner dig mogen köra lite katastroftester med att rycka bort en nod (t ex när du har en test-VM som har sin lagring på den nya lösningen) och se vad som händer och hur du eventuellt behöver göra saker för att få igång det igen.

Cheers!

Visa signatur

🟢 Main: R9 9900X3D | Strix B850-I | 64GB | RX9070 | Samsung C49RG9
🔵 unRaid: Ryzen5 2700X | B450M DS3H | 32GB
🟠 Tfn: Google Pixel 7 Lime Green

-:| @ eller citera för svar |:-

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av GreyWilk:

@enoch85: Jag säger kör på och känn på med en ESXi-nod till! Gissar på att du har backup på datat i alla fall från FreeNAS:en så går den ned innan du har en säkrare lösning så pratar vi inte total katastrof - endast en väldigt dålig dag...

Gå till inlägget

Precis, en väldigt dålig dag och en lååång natt.

Tack för input!

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Redigera
Citera flera Citera
1
Skriv svar