Proxmox nätverk och cluster

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

Proxmox nätverk och cluster

Hej! Jag har 2 st servrar jag vill lägga i ett proxmox kluster en R710 med 4 NIC och en R210 II med 2 NIC.
Jag använder pfsense som min brandvägg/router som jag vill lägga på min R210 II.

-Jag behöver ha 1 NIC för att köra klusterinformationen mellan servrarna.

Alltså måste jag ansluta min WAN samt mitt lokla nätverk till min r710.

Till mitt problem hur får jag min 3 nätverk att gå över en NIC (wan, lokalt lan samt interntnät för vm)?

Hoppas att ni förstår mitt problem eller åtminstone mitt mål!

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002

Borde gå att lösa med VLAN och göra en trunk med de tre nätverken på samma nätverkskort.

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

@ronnylov: Ungefär vad jag har vart inne på men vet inte hur jag gör det. Vet du om det finns någon guide eller exempel att titta på?

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Höör
Registrerad
Jun 2002

Bara för att kolla: Du har inte möjlighet annars att köpa ett till NIC till R210 från Ebay? (R210 II ser ut att ha en expansionsplats om man kör med en riser, borde vara billigt det med från Ebay)

Citera mig för svar.
Arch Linux

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

@Dimman: Absolut har jag det! vilket jag kommer göra om det inte går att få till. Men har alltid velat prova på vlan

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002

Jag använder inte proxmox själv men tänkte mer på principen.
Hittade denna guide för proxmox:
http://blog.sjas.de/posts/proxmox-and-VLANs.html

Om man kopplar båda servrarna och alla nätverken till en smart switch så kan man sätta upp VLAN och trunkade portar i switchen.

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

@ronnylov: Har funderat på en switch men då borde det vara enklar med ett till dubbel nic kort. Men för framtiden kanske!

Edit: som jag förstod guiden så skapar den interna eth fast med vlan taggar som jag borde kunna köra "bond" till en fysiskt nic?
Förstod jag det rätt?

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Borås
Registrerad
Okt 2002
Skrivet av Joulester:

@ronnylov: Har funderat på en switch men då borde det vara enklar med ett till dubbel nic kort. Men för framtiden kanske!

Edit: som jag förstod guiden så skapar den interna eth fast med vlan taggar som jag borde kunna köra "bond" till en fysiskt nic?
Förstod jag det rätt?

Ja så fattade jag också.

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Feb 2013

Kör VLAN och Ngnix Reverse Proxy om tanken är att du ska köra SSL på flera IP.

Själv har jag ett "ESXi NIC" som jag har 15 st VLAN på. Det NICet sköter all trafik från server till FW.

§9

Citera för svar

- Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
- Min blogg: Tech & Me https://www.techandme.se

Trädvy Permalänk
Medlem
Plats
Västra Frölunda
Registrerad
Aug 2006

Tänk på att Proxmox använder quorum baserad HA och därför egentligen kräver 3 noder för att fungera. Det går att köra 2, men om den ena går ner kan du inte göra några operationer alls på den kvarvarande.

Enligt https://pve.proxmox.com/wiki/Two-Node_High_Availability_Clust... gick det tidigare att fulhacka 2 noders kluster, men det funkar inte sen 4.0

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

@ddelin: Kan man lägga upp ett kluster utan HA? hittade ett klipp på youtube på någon som lägger upp ett kluster med 2 noder.

Förstår att det inte är samma som HA men vad är skillnaden?

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Västra Frölunda
Registrerad
Aug 2006
Skrivet av Joulester:

@ddelin: Kan man lägga upp ett kluster utan HA? hittade ett klipp på youtube på någon som lägger upp ett kluster med 2 noder.

Förstår att det inte är samma som HA men vad är skillnaden?

Klustret i sig tror jag alltid är HA, den synkroniserar ju information mellan noderna. Däremot får man inte automatiskt HA på sina VM:ar, det måste man skapa grupper för och sedan koppla vm:arna till HA grupperna.
För att upprätthålla quorum måste man ha minst hälften av noderna + 1 för att det skall funka. Om jag stänger ner 2 av mina 3 noder tappar jag quorum och kan inte ens starta och stoppa VM:ar på den kvarvarande noden.

Min lösning då jag egentligen klarar mig gott med 2 noder var att köpa den billigaste och strömsnålaster NUC:en jag kunde hitta och lägga in den i klustret, men utan att köra några VM:ar på den, den är endast till för att upprätthålla quorum om jag tar ner nån av dom andra för underhåll.

På roadmappen https://pve.proxmox.com/wiki/Roadmap nämns det förbättringar för 2-noders kluster, men jag har inte satt mig in i vad det är.

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

Jag har fortfarande svårt att få det att fungerar.

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet manual

// Denna del bör sätta upp en intern nic?
auto eth0.2
iface eth0.2 inet manual
vlan-raw-device eth0

// Denna del sätter upp en vanlig bridge?
auto vmbr0
iface vmbr0 inet manual
bridge_ports eth0
bridge_stp off
bridge_fd 0

// Denna del antar jag är den del jag försöker få kontakt med mitt lan?

auto vmbr0v2
iface vmbr0v2inet static
address 192.168.3.200
netmask 255.255.255.0
gateway 192.168.3.1
bridge_ports eth0.2
bridge_stp off
bridge_fd 0

Om jag bara kör denna konfig så får jag ingen kontakt med servern. Behöver jag öven ställa in VLAN på min router?

Om jag nu ska binda inkommande nic 1 och nic 2 samt ett internt nät utan nic ut på nic 3 hur går jag tillväga?
Det var inte det enklaste det här

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

Sitter och funderar på att använda open vSwitch för proxmox istället då man kan köra flera Vlan på samma switch. Någon som har erfarenhet av detta?

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Västra Frölunda
Registrerad
Aug 2006
Skrivet av Joulester:

Sitter och funderar på att använda open vSwitch för proxmox istället då man kan köra flera Vlan på samma switch. Någon som har erfarenhet av detta?

Varför skall du köra Openvswitch av den anledningen ? Kanske missuppfattar dig, men jag kör ett 10-tal vlan på en linux bridge, d.v.s. Proxmox standard konfig.

Trädvy Permalänk
Medlem
Plats
Stockholm
Registrerad
Dec 2009

Den snygga lösningen är nog att skaffa en smart switch och sätta WAN i switchen, sen köra WAN, LAN och sync trunkade på olika VLAN. Då kan du ju även flytta pfSense till R710 om du behöver starta om R210 t.ex.
Jag har en liknande setup fast med tre noder och köpte en ZyXEL Dimension GS1900-24E, funkar perfekt.

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016
Skrivet av ddelin:

Varför skall du köra Openvswitch av den anledningen ? Kanske missuppfattar dig, men jag kör ett 10-tal vlan på en linux bridge, d.v.s. Proxmox standard konfig.

Tror jag redan hade openvswitch på min server, konstigt! Kanske är jag som över tänker det. Hur har du då satt upp det? Har du kunntit någon nic till ett visst vlan?

Skrivet av tomle:

Den snygga lösningen är nog att skaffa en smart switch och sätta WAN i switchen, sen köra WAN, LAN och sync trunkade på olika VLAN. Då kan du ju även flytta pfSense till R710 om du behöver starta om R210 t.ex.
Jag har en liknande setup fast med tre noder och köpte en ZyXEL Dimension GS1900-24E, funkar perfekt.

Kommer nog bli denna lösning någon gång men får bygga ut lite i taget

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Västra Frölunda
Registrerad
Aug 2006
Skrivet av Joulester:

Tror jag redan hade openvswitch på min server, konstigt! Kanske är jag som över tänker det. Hur har du då satt upp det? Har du kunntit någon nic till ett visst vlan?

Har kryssat i "Vlan aware" på bryggan, och sedan sätter jag vlan tag när man skapar VM:en som här: https://www.packtpub.com/graphics/9781783980826/graphics/0826...

Jag har en 10 Gigs nic som jag kör alla vlan över inkl. klustertafik då jag inte orkade dra separat sladd för det. Har ett admin vlan som är otaggat i switchen där Proxmox hosten har sin IP adress (inga VM:ar på det vlanet), alla andra vlan är taggade.

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016
Skrivet av ddelin:

Har kryssat i "Vlan aware" på bryggan, och sedan sätter jag vlan tag när man skapar VM:en som här: https://www.packtpub.com/graphics/9781783980826/graphics/0826...

Jag har en 10 Gigs nic som jag kör alla vlan över inkl. klustertafik då jag inte orkade dra separat sladd för det. Har ett admin vlan som är otaggat i switchen där Proxmox hosten har sin IP adress (inga VM:ar på det vlanet), alla andra vlan är taggade.

precis men hur knyter man ett vlan för 3 inkommande nic till en utgående? Det är där jag har mitt problem.

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

@ddelin: Jag har bestämt mig kommer köpa mig fri ur detta problem. Blir en switch så jag kan göra rätt på en gång

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Västra Frölunda
Registrerad
Aug 2006
Skrivet av Joulester:

@ddelin: Jag har bestämt mig kommer köpa mig fri ur detta problem. Blir en switch så jag kan göra rätt på en gång

Köpa mer prylar för att lösa ett problem är alltid rätt. Kollade nog lite dåligt på första inlägget så jag trodde att det redan fanns en switch. Behöver man bara layer 2 stöd kostar det ju inte så mycket heller.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008
Skrivet av Joulester:

precis men hur knyter man ett vlan för 3 inkommande nic till en utgående? Det är där jag har mitt problem.

Du behöver inte ha vlan aware i proxmox, det ska trunkas(och gör det default), sen har du subinterface i pfsense.

Provat det? Kan vara att jag förenklar det...

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016
Skrivet av moron:

Du behöver inte ha vlan aware i proxmox, det ska trunkas(och gör det default), sen har du subinterface i pfsense.

Provat det? Kan vara att jag förenklar det...

Det är mycket prat om "trunkas" och jag vet inte riktigt vad det är. Försökte hitta något om det men utan resultat. Någon som har en Wiki?

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008
Skrivet av Joulester:

Det är mycket prat om "trunkas" och jag vet inte riktigt vad det är. Försökte hitta något om det men utan resultat. Någon som har en Wiki?

VLAN trunk innebär att interfacet släpper igenom alla VLAN (eller vissa) utan att röra dom. Sen kan ett eller flera interface efter det lyssna på olika VLAN taggar.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Stenungsund
Registrerad
Maj 2005

Ska försöka skriva en lite längre post med exempelkonfiguration för vlan idag, postar för att hitta tillbaka när jag får tid.

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Trädvy Permalänk
Medlem
Plats
Stenungsund
Registrerad
Maj 2005

Vi kan börja snabbt med VLAN, vad som oftast används är IEEE 802.1 Q

Några snabba bitar, jag rekommenderar att du läser på om hur det fungerar.
https://en.wikipedia.org/wiki/IEEE_802.1Q
http://www.microhowto.info/tutorials/802.1q.html

Bara att söka information från flera källor!

Kort sammanfattning av vanliga begrepp.

Untagged - All traffik utan VLAN tagg kommer automatiskt få denna VLAN tagg applicerad på paketen. Du kan bara ha ett untagged VLAN på en port
Tagged - Traffik måste ha en VLAN tagg redan innan dem kommer in. Detta betyder att enheten är sk "VLAN Aware"

Access port - Har oftast bara ett Untagged VLAN
Trunk port - Har flera Tagged VLAN
Hybrid port - Blandning mellan Access och Trunk

Exempel konfiguration från Proxmox. 4 nätverksportar, 2 är bryggade med 802.3 AD och håller LAN/VLAN samt 2st passtrhough till pFsense. vmbr0 är inte ett vlan i Proxmox men får en VLAN tagg av switchen.
Kommentaren är under bryggan PGA hur proxmox webbinterface läser kommentarer.

auto lo iface lo inet loopback iface eth0 inet manual iface eth1 inet manual iface eth2 inet manual iface eth3 inet manual auto bond0 iface bond0 inet manual slaves eth0 eth1 bond_miimon 100 bond_mode 802.3ad auto bond0.20 iface bond0.20 inet manual vlan-raw-device bond0 auto bond0.30 iface bond0.30 inet manual vlan-raw-device bond0 auto bond0.40 iface bond0.40 inet manual vlan-raw-device bond0 auto bond0.11 iface bond0.11 inet manual vlan-raw-device bond0 auto vmbr0 iface vmbr0 inet static address xxx.xxx.10.xxx netmask 255.255.255.0 gateway xxx.xxx.10.1 bridge_ports bond0 bridge_stp off bridge_fd 0 #LAN IN auto vmbr1 iface vmbr1 inet manual bridge_ports eth2 bridge_stp off bridge_fd 0 #WAN auto vmbr2 iface vmbr2 inet manual bridge_ports eth3 bridge_stp off bridge_fd 0 #LAN OUT auto vmbr1 iface vmbr1 inet manual bridge_ports eth2 bridge_stp off bridge_fd 0 #WAN auto vmbr2 iface vmbr2 inet manual bridge_ports eth3 bridge_stp off bridge_fd 0 #LAN OUT auto vmbr3 iface vmbr3 inet static address xxx.xxx.20.xxx netmask 255.255.255.0 gateway xxx.xxx.20.1 bridge_ports bond0.20 bridge_stp off bridge_fd 0 #VL20LAN auto vmbr4 iface vmbr4 inet static address xxx.xxx.30.xxx netmask 255.255.255.0 gateway xxx.xxx.30.1 bridge_ports bond0.30 bridge_stp off bridge_fd 0 #VL30Guest auto vmbr5 iface vmbr5 inet static address xxx.xxx.40.xxx netmask 255.255.255.0 gateway xxx.xxx.40.1 bridge_ports bond0.40 bridge_stp off bridge_fd 0 #VL40OVPN auto vmbr6 iface vmbr6 inet static address xxx.xxx.11.xxx netmask 255.255.255.0 gateway xxx.xxx.11.1 bridge_ports bond0.11 bridge_stp off bridge_fd 0 #VL11DMZ

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

Hej!

Har nu fått min switch och satt upp 3 vlan med utgående trunkade portar. Behöver jag göra något i Proxmox för att den skall kunna se mina vlan? De ligger nu alla på samma switch.

Edit: behövde bara ändra PVID på min inkommande wan port:)

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W

Trädvy Permalänk
Medlem
Plats
Nyköping
Registrerad
Mar 2016

Har nu lyckats med min setup och skapat ett kluster med dessa 2 servrar. Har dock ett problem med den lokal storage mappningen på den server jag la till i mitt kluster.

-Hur lägger jag till så alla noder kommer åt sina lokal diskar ex: /var/lib/vz på varje node.?

just nu har bara en node sin mappning den andra står bara och tuggar.

Edit: får bara "communication failuse (0)"

Edit: behövde köra "pvecm updatecerts" för att allt skulle hoppa igång

Fractal Design Define R5 Svart, Intel Core i7 7700K 4.2 GHz 8MB, Noctua NH-D15, Corsair 32GB (2x16GB) DDR4 2666Mhz CL15, MSI GeForce GTX 1080 Ti 11GB Gaming X, MSI Z270 GAMING M5, Samsung 960 EVO 500GB, EVGA Supernova G2 850W