Proxmox, PfSense, Nginx - Ny server

Permalänk
Medlem

Proxmox, PfSense, Nginx - Ny server

Hallå Swec!

Har precis beställt en ny server och tänkte bygga om mitt nätverk så att mitt lokala nätverk är skyddat enligt denna skiss:

Som ni ser på bilden så kommer jag att köra Proxmox för hela slanten, och virtualisera allting, t.o.m. Pfsensen. Jag har ägnat några dagar nu åt att läsa på lite på forum osv, och det verkar kunna gå att göra som jag tänkt. Men jag är fortfarande lite osäker på hur jag sätter upp allt. Jag har sett en del trådar om samtliga saker i rubriken här på Sweclockers så jag tänkte göra en snabbkoll om ni kanske kunde hjälpa mig?

Jag har aldrig satt upp en DMZ förut (vilket jag antar att ProxMox VMen (eller den fysiska servern blir)), men vilka nät är bäst att använda? Kan jag köra 192.168.X.X på allt, eller ska jag dela upp det på 10.10.X.X och 192.168.X.X, och kan jag ens köra publikt med 10.10.X.X addresser isf?

Helst av allt så skulle jag vilja sätta Proxmox som en subdomän till techandme.se på HTTPS och sen köra in Fail2ban, på så sätt kommer jag alltid åt servern, men är det kanske bättre att begränsa den så att jag bara kommer åt den lokalt?

Sen har jag läst lite om Proxmox HA, vad är det? Jag kommer att köra hosting i liten skala så att dela upp Proxmox "Datacenter" i 2 delar kanske inte vore så dumt? En del för mina grejer, och en annan för hostingen.

Hur hade ni gjort? Tack för svar!

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Om du ska ha HA och annat göttigt skulle jag försöka bygga ett separat nätverk iaf.

Du kan köra vilka IP-ranges du vill, ingen skillnad på 10.x.x.x emot 192.168.x.x förutom att du kan ha fler addresser Det kan vara bra för enkelhetens skull att dela upp i olika ranges dock. Eller bara typ 10.100.x.x och 10.200.x.x

Visa signatur

En server här, några servrar där.

Permalänk
Medlem

Proxmox vill helst ha 3 noder för HA, vad det egentligen betyder är att om en node går ner så tar de andra 2 över lasten.

Säg att du har två VM på node 1 två på node2 och två på node3. Dör då node1 så skickar den automatiskt över de 2VM maskinerna på node 2 och 3 så de kör tre VM's var, detta utan någon downtime.

Detta betyder dock att det krävs plats över så att en node kan dö. Vilket betyder att du behöver köra nodes på 66% av sin kapacitet.

Detta "kräver" en SAN, vilket är allt annat än billigt.

Tänk också på att det blir svårt med en pfSense VM med passhtorugh.

Du har en publik IP dina interna nät får routern/brandväggen sköta så det routas rätt.

Jag hade gjort 10.0.0.0/8 nät. Finns företag som kör 192.168.1 nät och då blir det givetvis problem att VPNa in på dessa från ett 192.168.1 nät. Kanske inte behövs men kan vara betänkvärt.

Proxmox kan använda sig av virtuella switchar för att distrubera nät. Vet dock inte helt 100 hur det blir med en pfSense VM på servern då du kommer köra passthrough på nätverksinterfacen med VirtIO. Det kan faktiskt hända att du behöver köra en kabel från den nätverksport som du gör till DMZ till en annan nätverksport på samma maskin som du dedikerar för DMZ maskinerna Är inte helt säker dock inte labbat tillräckligt med det kan tänka mig detta dock eftersom det blir en passthrough till pfSense. Jag hade lagt pfSense WAN LAN och DMZ på samma kort på servern. Betänk att konfigurationen kan bli nätverksportintensiv. Ska du ha 2-3 Proxmox maskiner i DMZ så är det givetvis en switch som blir lättast.

Säg att din maskin har 5 portar.

eth1 LAN proxmox (vmbr0)
eth2 WAN pfSense
eth3 LAN pfSense
eth4 DMZ pfSense
eth5 DMZ proxmox (vmbr1)

Hur menar du med Proxmox som subdomän. Du kan ju givetvis ssha på din extern IP, hade satt en annan port än 22 dock och inte använt root inloggning, sedan givetvis Fail2Ban, är det bara du så kan du ju använda SSH nycklar. Detta kommer sålla bort 99% av alla bots som krålar efter SSH inloggningar. Fail2BAn lär ta hand om resten.

För Webgui hade jag bara använt lokal inloggning, jag hade också istället tittat på att lägga upp en VPN i pfSense och VPNa in i ditt nätverk och sedan gå lokalt istället för SSH utifrån. Betänk igen 192.168.1 nätet, då du inte kommer kunna vpna in i ett sådant nätverk från ett nätverk med samma address range.

pfSense WAN går till ISP
pfSense LAN går till LAN switch
pfSense DMZ går till Proxmox DMZ /DMZ switch
Proxmox LAN går till LAN switch

Proxmox kräver licens för deras specifika uppdateringar.

Köp en riktig server med IPMI och riktig redundans. Brukar inte vara värt att trixa ihop något eget.

EDIT

Läste igenom inlägget igen och varje node är en egen server, kände inte att det framgick tydligt nog.
Ska du ha en SAN och 3 servrar så behöver du en ISCSI switch enbart för SAN och Servrar. Detta kräver antingen en nätverksport till eller en fiberport dock brukar man köra med minst 2 portar. 1Gbit för SAN kan vara trögt, 8Gbit Fiber eller 10Gbit rj45 hade varit bättre. Hade övergivit pfSense VM helt om du ska köra HA kluster. Köp isf en riktig brandvägg.

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Permalänk
Inaktiv
Skrivet av enoch85:

Helst av allt så skulle jag vilja sätta Proxmox som en subdomän till techandme.se på HTTPS och sen köra in Fail2ban, på så sätt kommer jag alltid åt servern, men är det kanske bättre att begränsa den så att jag bara kommer åt den lokalt?

Vad du än gör så lägg inte ut Proxmox maskinen direkt mot nätet. Sätt istället upp en liten VM som du kan komma åt via te.x SSH och sedan kan du använda socks5 proxy genom den tunneln för att nå Proxmox webgui eller sätt upp en VPN på pfSense.

Permalänk

Är kanske inget svar, mera en fråga.

Men varför inte köra Windows server med hyper-v?

Visa signatur

Intel i7 8700k @ 5.0GHz | Asus Rog Strix Z370-H | FD R5 | Strix Gtx 1080 ti | 16Gb Corsair Vengeance LPX 3600Mhz | Samsung 850-Series EVO 500GB | WD Caviar Black 500Gb | WD RE4 1TB x2 i Raid 1 | MK-85 <3 Cpu-Z Gamla

Citera, annars kommer jag inte tillbaka!

Permalänk
Medlem
Skrivet av Swedishg33k95:

Är kanske inget svar, mera en fråga.

Men varför inte köra Windows server med hyper-v?

Vad ger hyper-v för fördel i förhållande till proxmox?

Permalänk
Medlem
Skrivet av mini-ryttge:

Proxmox vill helst ha 3 noder för HA, vad det egentligen betyder är att om en node går ner så tar de andra 2 över lasten.
Säg att du har två VM på node 1 två på node2 och två på node3. Dör då node1 så skickar den automatiskt över de 2VM maskinerna på node 2 och 3 så de kör tre VM's var, detta utan någon downtime.

First of all: Tack för ett utförligt svar, mycket nyttigt i det svaret!

Ok så detta betyder alltså att jag behöver en hel del diskar och att de olika HA clusterna bör vara identiska? Känns lite overkill för mig i dagsläget, men går ju alltid att ordna längre fram på vägen.

Skrivet av mini-ryttge:

Tänk också på att det blir svårt med en pfSense VM med passhtorugh.
Du har en publik IP dina interna nät får routern/brandväggen sköta så det routas rätt.

Ja det var lite det som jag tänkte att Pfsensen skulle ta hand om, den är väl ganska kapabel? Jag har inte testat någon VM än, men det mesta säger väl sig själv antar jag? Är det något jag bör tänka på?

Sen gällande passthrough så kommer jag köra det på så mycket som jag kan (även raidkort och diskar t.ex.), men du menar alltså att detta inte går hand i hand med Pfsensen? Vad är porblemet där?

Skrivet av mini-ryttge:

Proxmox kan använda sig av virtuella switchar för att distribuera nät. Vet dock inte helt 100 hur det blir med en pfSense VM på servern då du kommer köra passthrough på nätverksinterfacen med VirtIO.

Nu blev det grekiska, vad menar du? Det är ju sånna här bitar som är extra intressant.

Skrivet av mini-ryttge:

Det kan faktiskt hända att du behöver köra en kabel från den nätverksport som du gör till DMZ till en annan nätverksport på samma maskin som du dedikerar för DMZ maskinerna Är inte helt säker dock inte labbat tillräckligt med det kan tänka mig detta dock eftersom det blir en passthrough till pfSense. Jag hade lagt pfSense WAN LAN och DMZ på samma kort på servern. Betänk att konfigurationen kan bli nätverksportintensiv. Ska du ha 2-3 Proxmox maskiner i DMZ så är det givetvis en switch som blir lättast.

Jag kommer att ha 2 portars NIC på moderkortet och 4 portarts NIC på ett PCI kort som kommer sitta i servern. Från början så tänkte jag köra en separat fysisk maskin för Pfsensen, men kom på att den går ju lika bra att virtualisera. Så totalt blir det alltså 6 portar.

Skrivet av mini-ryttge:

eth1 LAN proxmox (vmbr0)
eth2 WAN pfSense
eth3 LAN pfSense
eth4 DMZ pfSense
eth5 DMZ proxmox (vmbr1)

pfSense WAN går till ISP
pfSense LAN går till LAN switch
pfSense DMZ går till Proxmox DMZ /DMZ switch
Proxmox LAN går till LAN switch

Om du orkar, kan du skissa upp detta i paint eller nått? Eller göra om min bild kanske?

Skrivet av mini-ryttge:

Läste igenom inlägget igen och varje node är en egen server. Hade övergivit pfSense VM helt om du ska köra HA kluster. Köp isf en riktig brandvägg.

En fråga till, hur gör jag om jag vill köra Plex på servern och komma åt alla filmer på det lokala nätverket, är det en vanlig Samba delning som gäller då? Eller är det VPN från 10.10 nätet till 192.168 nätet som gäller? Servern ska vara centralen även för mina privata grejer, så där behöver jag någon smart lösning.

Skrivet av anon37058:

Vad du än gör så lägg inte ut Proxmox maskinen direkt mot nätet. Sätt istället upp en liten VM som du kan komma åt via te.x SSH och sedan kan du använda socks5 proxy genom den tunneln för att nå Proxmox webgui eller sätt upp en VPN på pfSense.

Efter lite eftertanke så blir det enbart SSH när jag ansluter via WAN, och webgui på mitt LAN. Dock har jag sett att det är möjligt att öppna portar för att nå VNC externt. Det är ju rätt coolt, det borde innebära att man kan köra extern åtkomst på VMs och på så sätt sätta upp demo maskiner åt kunder som kan kika på vad dom får innan dom köper. Vad tror du om det?

Skrivet av Swedishg33k95:

Men varför inte köra Windows server med hyper-v?

Anledningen till att jag tänkte köra Proxmox är att jag vill ifrån Windows och allt som är i närheten utav det. Linux ftw!

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av enoch85:

First of all: Tack för ett utförligt svar, mycket nyttigt i det svaret!

Ok så detta betyder alltså att jag behöver en hel del diskar och att de olika HA clusterna bör vara identiska? Känns lite overkill för mig i dagsläget, men går ju alltid att ordna längre fram på vägen.

Ett HA kluster brukar bestå av minst 2 noder och ett SAN https://en.wikipedia.org/wiki/Storage_area_network

Ett SAN går på ett par hundratusen nytt.

Alla diskar sitter då i SANet och noderna brukar ha usbminne/minneskort att köra OS från.

Dom låter som ett jetplan och drar snarlika mängder kraft.

Det är förmodligen inte intressant förän du har ett helt gäng VPSer

Skrivet av enoch85:

Ja det var lite det som jag tänkte att Pfsensen skulle ta hand om, den är väl ganska kapabel? Jag har inte testat någon VM än, men det mesta säger väl sig själv antar jag? Är det något jag bör tänka på?

En DMZ brukar konfigureras för att vara helt låst. Den droppar alla paket som det inte finns regler för. Brandvägg i din hemmarouter eller i ditt virusskydd släpper ut all trafik men släpper inte in någon som du inte specifikt tillåter (typ öppna port 80 för en webbserver på http)

Man brukar ställa in en DMZ på samma sätt fast även internt. Så utan att öppna port 80 från tex plex server till WAN och port 53 (DNS) till WAN så kan inte maskinen surfa ut på internet. Detta för att interna servrar inte ska kunna nå varandra om de blir hackade. Enbart de servrar som behöver nå varandra kan då nå varandra.

Skrivet av enoch85:

Sen gällande passthrough så kommer jag köra det på så mycket som jag kan (även raidkort och diskar t.ex.), men du menar alltså att detta inte går hand i hand med Pfsensen? Vad är porblemet där?

Passthrough rimmar halvdant med HA, pfSense är ingen fara, däremot om du har 3 noder med pfSense med passthrough på node1 och node1 dör så dör även nätet, skulle gå att konfigurera ett HA kluster med 3 virtuella pfSense en på varje node och exkludera dessa från att flyttas.

Skrivet av enoch85:

Nu blev det grekiska, vad menar du? Det är ju sånna här bitar som är extra intressant.

Det går med hjälp av proxmox att dirigera trafik efter regler
https://pve.proxmox.com/wiki/Open_vSwitch

https://pve.proxmox.com/wiki/Network_Model

VirtIO kan användas istället för att emulera ett nätverkskort och ger högre prestanda.

Skrivet av enoch85:

Jag kommer att ha 2 portars NIC på moderkortet och 4 portarts NIC på ett PCI kort som kommer sitta i servern. Från början så tänkte jag köra en separat fysisk maskin för Pfsensen, men kom på att den går ju lika bra att virtualisera. Så totalt blir det alltså 6 portar.

Om du orkar, kan du skissa upp detta i paint eller nått? Eller göra om min bild kanske?

Har inte riktigt tiden idag, kanske till helgen. Annars kommer här ett par /etc/network/interfaces exempel om detta hjälper dig att förstå (de är riktade till din setup)

auto lo iface lo inet loopback iface eth0 inet manual iface eth1 inet manual iface eth2 inet manual iface eth3 inet manual iface eth4 inet manual iface eth5 inet manual #MGMT auto vmbr0 iface vmbr0 inet static address 192.168.1.x netmask 255.255.255.0 gateway 192.168.1.1 bridge_ports eth0 bridge_stp off bridge_fd 0 #WAN pfSense auto vmbr1 iface vmbr1 inet manual bridge_ports eth1 bridge_stp off bridge_fd 0 #LAN pfSense auto vmbr2 iface vmbr2 inet manual bridge_ports eth2 bridge_stp off bridge_fd 0 #DMZ pfSense auto vmbr3 iface vmbr2 inet manual bridge_ports eth3 bridge_stp off bridge_fd 0

Detta borde fungera när jag tänker efter du behöver dock en kabel in i MGMT porten från switchen om du vill ha en sådan. eth1 går med kabel från ISP, eth2 till LAN switchen eth3 bör inte behöva någon kabel.

Sätt alla servrar som ska ha DMZ på vmbr3 och alla som ska ha LAN på vmbr2 och kör in en kabel i eth2 till LAN switch och om du ska ha fler maskiner i DMZ en kabel i eth3 till DMZ switch. Är dock inte helt 100 på om denna konfiguration fungerar.

#LAN Proxmox auto vmbr0 iface vmbr0 inet static address 192.168.1.x netmask 255.255.255.0 gateway 192.168.1.1 bridge_ports eth0 bridge_stp off bridge_fd 0 #DMZ proxmox auto vmbr1 iface vmbr1 inet static address 10.10.10.x netmask 255.0.0.0 gateway 10.10.10.1 bridge_ports eth1 bridge_stp off bridge_fd 0 #WAN pfSense auto vmbr2 iface vmbr2 inet manual bridge_ports eth2 bridge_stp off bridge_fd 0 #LAN pfSense auto vmbr3 iface vmbr3 inet manual bridge_ports eth3 bridge_stp off bridge_fd 0 #DMZ pfSense auto vmbr4 iface vmbr4 inet manual bridge_ports eth4 bridge_stp off bridge_fd 0

Detta borde definitivt fungera men kräver en kabel mellan eth 1 och eth 4 och kommer kräva att eth3 går in i en switch och att en kabel går tillbaka från switchen till servern in i eth0.

Har du en vettig switch kan du också göra en bond (link aggregation på 2 portar) Dessa ska då helst vara på samma nätverkskort och leder till att DMZ Proxmox kommer hamna på ditt pci kort.

auto bond0 iface bond0 inet manual slaves eth0 eth1 bond_miimon 100 bond_mode 802.3ad #LAN Proxmox auto vmbr0 iface vmbr0 inet static address 192.168.1.x netmask 255.255.255.0 gateway 192.168.1.1 bridge_ports bond0 bridge_stp off bridge_fd 0

Skrivet av enoch85:

En fråga till, hur gör jag om jag vill köra Plex på servern och komma åt alla filmer på det lokala nätverket, är det en vanlig Samba delning som gäller då? Eller är det VPN från 10.10 nätet till 192.168 nätet som gäller? Servern ska vara centralen även för mina privata grejer, så där behöver jag någon smart lösning.

I pfSense är det inga problem att göra regler för de interna näten du kan routa (och köra Allow eller NAT) så plex server på 10.0.10.20 kan nå NAS på 192.168.1.30 via tex port 445 tcp och vice versa. (445 är en del av SMB/CIFS)

Skrivet av enoch85:

Efter lite eftertanke så blir det enbart SSH när jag ansluter via WAN, och webgui på mitt LAN. Dock har jag sett att det är möjligt att öppna portar för att nå VNC externt. Det är ju rätt coolt, det borde innebära att man kan köra extern åtkomst på VMs och på så sätt sätta upp demo maskiner åt kunder som kan kika på vad dom får innan dom köper. Vad tror du om det?

Då får du sätta upp en VNC med GUI på varje maskin vilket blir jobbigt, här är iaf en config fil för TigerVNC på Ubuntu

#!/bin/sh -e ### BEGIN INIT INFO # Provides: vncserver # Required-Start: networking # Default-Start: 3 4 5 # Default-Stop: 0 6 ### END INIT INFO PATH="$PATH:/usr/X11R6/bin/" # The Username:Group that will run VNC export USER="user" #${RUNAS} # The display that VNC will use DISPLAY="1" # Color depth (between 8 and 32) DEPTH="16" # The Desktop geometry to use. #GEOMETRY="<WIDTH>x<HEIGHT>" #GEOMETRY="800x600" #GEOMETRY="1024x768" GEOMETRY="1280x1024" # The name that the VNC Desktop will have. NAME="DINSERVER" OPTIONS="-name ${NAME} -depth ${DEPTH} -geometry ${GEOMETRY} :${DISPLAY}" . /lib/lsb/init-functions case "$1" in start) log_action_begin_msg "Starting vncserver for user '${USER}' on localhost:${DISPLAY}" su ${USER} -c "/usr/bin/vncserver ${OPTIONS}" ;; stop) log_action_begin_msg "Stoping vncserver for user '${USER}' on localhost:${DISPLAY}" su ${USER} -c "/usr/bin/vncserver -kill :${DISPLAY}" ;; restart) $0 stop $0 start ;; esac exit 0

Helt sonika stulen från någon

På Ubuntu 14.04 behöver du köra
sudo chmod +x /etc/init.d/vncserver
sudo update-rc.d vncserver defaults

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Permalänk
Inaktiv
Skrivet av enoch85:

Efter lite eftertanke så blir det enbart SSH när jag ansluter via WAN, och webgui på mitt LAN. Dock har jag sett att det är möjligt att öppna portar för att nå VNC externt. Det är ju rätt coolt, det borde innebära att man kan köra extern åtkomst på VMs och på så sätt sätta upp demo maskiner åt kunder som kan kika på vad dom får innan dom köper. Vad tror du om det?

Personligen kör jag en socks5 proxy över ssh för att nå Proxmox webgui (och allt annat som har webgui för den delen, inkl. pfSense). Tycker det fungerar väldigt smidigt att använda sig utav Console-funktionen i webguit för att göra mindre justeringar. Men ibland kan den kännas lite "trög", speciellt om det ska utföras lite större jobb än att lägga till en rad i en config fil. Ingen höjdare att sitta och växla mellan ett antal screen fönster och i de fallen ssh:ar jag bara vidare till den VM jag behöver in på. Om det däremot är kunder som ska ha access på det här viset så kanske det blir alldeles för krånligt (även om man såklart skulle kunna bundla ihop något med putty och portable firefox eller dylikt). Rent spontant känns det enklare att kunna dela ut access via någon form av VPN, har dock ingen större erfarenhet av att sätta upp VPN lösningar så jag kan ha helt fel där.

Permalänk

tänk på att också ha en bra fencing om du ska köra någon slags High availability. Om en server går ned eller tappar nätverkskontakt så kommer HA-klustret att skjuta ut shutdown till hosten för att se till så att den faktiskt är nedstängd.

Visa signatur

..:: Workstation ::.. ..:: Asus P8Z77-v LX ::.. ..:: MSI GTX1060 6GB ::.. ..:: i5 3450 Ivy Bridge /w Antec KÜHLER H2O 620 Sluten Vattenkylning ::.. ..:: Corsair 16GB DDR3 600MHz/CL9/VENG ::.. ..:: NoName 650W ::.. ..:: Dell 24" 2408WFP ::.. ..:: Server ::.. ..:: AMD ..:: FX-8320 ::.. ..:: 16GB ::.. ..:: XFX HD6450 ::.. ..::250GB SSD Samsung 840 EVO::.. ..:: 3x 2TB wd black ::.. ..:: VCP6-DCV ::.. ..:: vmware esxi 6.7 ::..

Permalänk
Medlem

Ser ut som att du tänkt bygga en setup likt den jag har hos mig.
Jag sitter med en Proxmox server där jag kört (bytt till egen HW nu för routern) PfSense som VM i flera år helt utan problem.
Jag har provat flera olika "nätverkssetuper" under den tiden.

@mini-ryttge har redan givit dig masor med bra tips hur man kan sätta upp interface och LAGG om du har en vettig switch.

Jag hade rekommenderat att använda något annat än 192.168.x.x då de ofta krockar när man ska använda VPN för att komma åt sina nätverk utifrån.
10.x.x.x är bättre i så fall.
Typ
LAN: 10.5.1.0/24
DMZ: 10.5.2.0/24

På så sätt kan du skapa dig OpenVPN (eller annan VPN) för att ansluta in till nätverken. Roadwarrior (osäker på vad de egentligen heter) är populärt och går ut på att du tunnlar all trafik via DMZ eller LAN beroende på vilken du ansluter till. Så när du är hos polarens nät 192.168.1.x/24 och ansluter till ditt DMZ och därifrån till servern så kommer de bli såhär (enkelt sagt):
PC->Router(hos polaren)->Internet (via tunnel) -> PfSense -> DMZ -> Server

Detta skulle jag säga är en av de enklare och bättre sätten att nå sitt DMZ nät om man verkligen vill ha de isolerat. Annars kan man lägga en VM på DMZ nätet som man öppnar portar till och ansluter till utifrån och sedan jobbar mot DMZ därifrån, också en

Har du en lite mer avancerad switch (HW switch) så kan man använda sig av VLAN för att splita upp DMZ, LAN, WLAN och WAN. Då kan du tagga en port för WAN och sedan skicka all trafik till Proxmox servern. I Proxmox kan du sedan tilldela flera olika maskiner anslutning till internet (i de fall du har flera publika IP addresser) vilket jag gör idag hos Telia. Jag kör ett fysiskt nät (i Proxmox endast en vmbr switch) och använder mig av VLAN taggar istället för att isolera maskiner och VMs mellan varandra. fungerar mycket bra.
VLAN är ett väldigt bra sätt att isolera nätverkstrafik på samma fysiska nätverk. Då behöver du bara ha en kabel (om du inte kör LAGG) mellan servrar och switch.

Däremot när du ska sätta upp din PfSense maskin så rekommenderar jag att använda E1000 drivern för NIC. ett för varje tänkt interface. De gör de enklare i PfSense. De ska fungera med VLAN där också men sist jag grejade med de så fick jag massor med underliga fel så gick tillbaka till "keep it simple stupid".

Sen när de kommer till PfSense så är de lite meck innan man fattar hur man ska sätta upp reglerna för att trafik ska tillåtas (eller inte tillåtas) gå från DMZ->LAN eller LAN->DMZ. Tänk att du ansluter till servern (säg port 80 http) på DMZ så vill du kanske inte att den trafiken ska gå. LAN -> PfSense -> WAN (internet) -> PfSense -> DMZ. När man experimenterar med detta så är de bra att köra "tracert" kommandot för att se var paketen skickas.

Liten notis: Gick från virtuell PfSense till riktig HW då jag experimenterar en del med servern vilket ibland kan kräva omstarter (tester av UPS osv osv osv). Detta ledde till att hemmanätverket dog varje gång och de är lite irriterande i längden. Men om du tänkt ha din server uppe så är de absolut inget problem att köra PfSense Virtuellt. fungear kanon!

Visa signatur

Gaming: Asus P8P67, Intel i5-2500k, Asus 7970 DCII, 8gb ram, 300gb velociraptor
Server: Asus Rampage II, Intel i7-980x, 6970 ref, 30gb ram, SASUC8I + 8st 2tb diskar + 1st 128gb SSD

Permalänk
Medlem

Det du gör för ditt DMZ är att skapa ett logiskt nätverk som inte finns fysiskt och bara finns i din proxmox. Dit kopplar du alla webbservrar och dmz-benet på pfsense. Sedan blockerar man så att DMZ inte kan initiera trafik mot ditt LAN, men att tvärt om är möjligt så att du kan nå alla sidorna. Man kan även låsa ner det på det hållet med på bara de portar man vill köra, men inte nödvändigt.

Administrationsadressen för proxmox lägger du i ditt vanliga LAN. Sedan hade jag satt upp VPN mot det nätet så att du kan koppla upp dig och administrera remote. Även telefonen kan köra VPN

Permalänk
Medlem

Hej,

Slängde upp en pfSense för att labba lite här under helgen

https://pve.proxmox.com/wiki/PfSense_Guest_Notes

Sista biten
IMPORTANT: Enter the web GUI and go in System > Advanced > Networking and flag Disable hardware checksum offload. If you don't do it layer3 traffic from lan to wan will not work, or will be really slow (but traffic to/from the firewall will work fine: see the pf sense wiki about virtio for details https://doc.pfsense.org/index.php/VirtIO_Driver_Support )

Utan den fixen så går det helt sinnessjukt trögt.

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Permalänk
Medlem
Skrivet av mini-ryttge:

Tack återigen! Dina svar är ovärdeliga i detta läge då jag förbereder mig för att sätta upp det. Det känns som att det är mycket att tänka på..

Efter lite eftertanke är det inte aktuellt med SAN än på ett tag, det känns väldigt overkill för det jag ska göra. Tack för klargörandet.

Så det här med VirtIO, det är alltså snabbare än att brygga nätverket till hosten?

Sen det här med nätverkskonfigen, det är väldigt mycket som är nytt för mig där, och eftersom jag aldrig sett Pfsense interfacet så är det svårt att föreställa mig. Något jag kommit fram till ytterligare iaf, är att köra ett 4G modem som failover ifall nätverket tillfälligt dör. Detta med en DynDNS så att samma IP behålls under tiden som den går över på 4G. Blir detta en risk, eller kan jag sätta 4G stickan inne i DMZ också?

Sen vet jag inte om jag har varit tydlig med att den fysiska servern kommer att ha Proxmox på "bare metal", alltså kommer Proxmox i sig inte att vara en VM utan endast hosta de VMS som jag har idag. Dessa ska dock koverteras till RAW i omgångar tills att allt är uppe och rullar. Pfsensen kommer jag även den att lägga in på SSD partitionen som en VM i Proxmox.

Vi pratade ju om att du eventuellt kunde göra ett kopplingsschema, jag är fortfarande nyfiken på detta. Skulle uppskattas enormt. Gärna så tydligt som möjligt.

Skrivet av tjossanmannen:

tänk på att också ha en bra fencing om du ska köra någon slags High availability. Om en server går ned eller tappar nätverkskontakt så kommer HA-klustret att skjuta ut shutdown till hosten för att se till så att den faktiskt är nedstängd.

Fencing? Utveckla gärna. Läste lite på Wikipedia, men fattade inte riktigt hur det funkar i praktiken, och framförallt hur man sätter upp det.

Skrivet av kufra:

@mini-ryttge har redan givit dig masor med bra tips hur man kan sätta upp interface och LAGG om du har en vettig switch.

Jag hade rekommenderat att använda något annat än 192.168.x.x då de ofta krockar när man ska använda VPN för att komma åt sina nätverk utifrån.
10.x.x.x är bättre i så fall.
Typ
LAN: 10.5.1.0/24
DMZ: 10.5.2.0/24

Jag vet inte om jag är i så stort behov utav att nå nätverket utifrån då servern kommer att stå i en garderob här hemma. Det skulle iofs kanske vara bra att förbereda inför framtiden, men då kan man ju alltid bygga ut nätverket - eller är det bättre att sätta upp allt från början? Det skulle ju vara bra för att hela tidne ha koll, då jag via VPN skulle kunna accessa från mobilen eller liknande. Dock ganska drygt att skriva bash på en 5" skärm.

I vilket fall som helst så kan du säkert hälpa mig en hel del också, speciellt med tanke på att vi kommer att köra en liknande setup. Gällande diskarna i min server så kommer jag att köra servern (Proxmox) på en RAID1 SSD under ZFS, alltså ingen VM. De övriga diskarna - Server med olika VMs (RAID10) - Media (Singel då media inte är så viktigt) kommer att ligga som VMs under Proxmox.

Idag kör jag allt på en ASUS AC66U, och det har fungerat klockrent. Anledningen till att jag ville behålla 192.168.X.X är mest för bekvämligheten att slippa ändra på allt i alla noder som redan är konfigurerade mot den router. Det är denna routern som kommer att ligga utanför DMZ och skyffla trafik till alla privata noder i hemmet. Men, du menar alltså att det är bättre med 10.10.X.X ändå?

Skrivet av jocke92:

Det du gör för ditt DMZ är att skapa ett logiskt nätverk som inte finns fysiskt och bara finns i din proxmox. Dit kopplar du alla webbservrar och dmz-benet på pfsense. Sedan blockerar man så att DMZ inte kan initiera trafik mot ditt LAN, men att tvärt om är möjligt så att du kan nå alla sidorna. Man kan även låsa ner det på det hållet med på bara de portar man vill köra, men inte nödvändigt.

Administrationsadressen för proxmox lägger du i ditt vanliga LAN. Sedan hade jag satt upp VPN mot det nätet så att du kan koppla upp dig och administrera remote. Även telefonen kan köra VPN

Jag har inte haft möjligthet att prova ännu då jag inte ens byggt servern ännu, men det låter vettigt.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Förtydligande

Här kommer en uppdaterad bild. Jag gjorde ingen ram kring DMZ för jag är lite osäker på vart backupen ska vara - i DMZ eller utanför? Kan tilläggas att NASen går på LAN i nuläget men hämtar även backuper från externa servrar på WAN.

Som ni även kan se så är det NGINXen som skyfflar trafiken till alla VMs för att jag bara har ett publikt IP.

Nånstans här ska Plex in också, vet inte vart dock.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

@enoch85: Vad händer med ditt nätverk om någon komponent i servern skulle gå sönder?
Köper du på dig hårdvara som ligger på en hylla som du snabbt kan byta?

Att köra en brandvägg virtuellt är som sagt lite kul att pyssla med och det är inte alls säkert att något kommer gå fel med varken mjukvaran eller hårdvaran men ha det i åtanke åtminstone.

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem

Finns ingen som helst mening med att koppla allt på olika fysiska switchar för DMZ,LAN osv
Jag blir förvånad av att ingen har nämt VLAN i en den här tråden. Vilket är det man använde sig av när man håller på med en sådan här lösning.

Aldrig jobbat med proxmox men av det jag skummat igenom så bör det vara väldigt enkelt att sätta upp. Kör något som påminner lite om ditt tänk fast helt i vmware miljö samt HA-kluster osv.

Något som även hade underlättat är om du nämer vad för utrustning du tänker köra på då det är där begränsningarna kommer spela in. Om du har allt "godis" så kan man göra på många olika sätt.

Men någon form av hosting utan att köra "riktiga" prylar tycker inte jag låter som en bra lösning, Men allt handlar om hur långt man vill dra det.

Permalänk
Medlem
Skrivet av backspace:

@enoch85: Vad händer med ditt nätverk om någon komponent i servern skulle gå sönder?
Köper du på dig hårdvara som ligger på en hylla som du snabbt kan byta?

Att köra en brandvägg virtuellt är som sagt lite kul att pyssla med och det är inte alls säkert att något kommer gå fel med varken mjukvaran eller hårdvaran men ha det i åtanke åtminstone.

Det är en självklarhet. Dubbel uppsättning utav hårdvara som snabbt kan bytas, och när det börjar rulla in ännu mer cash så kan man ju sätta upp en identisk kopia utav servern, just nu ingår backup om något skulle gå fel - vilket det inte gjort under de 3 år jag haft servern uppe. Jag har iofs möjlighet att sätta upp Proxmox på en off site server som jag administrerar, men först ska detta upp.

Skrivet av Danne:

Något som även hade underlättat är om du nämer vad för utrustning du tänker köra på då det är där begränsningarna kommer spela in. Om du har allt "godis" så kan man göra på många olika sätt.

Men någon form av hosting utan att köra "riktiga" prylar tycker inte jag låter som en bra lösning, Men allt handlar om hur långt man vill dra det.

Jag äger inget Google datacenter, om det är det du menar med "riktiga prylar"? Här kommer en spec på nya servern:

CPU:
Intel Xeon E5-2670 DUAL
RAM:
64 GB ECC (till att börja med)
MB:
ASUS Z9PE-D16/2L
HDD:
1 st RAID1 SSD 120 GB (Proxmox "OS")
1 st RAID10 8 TB i hotswap (samtliga Server VMs)
1 st 4TB singel för media (Plex)
RAID kort:
Dell PERC H310 (blir H710 inom snar framtid)
NIC:
Intel I350 4 portars
UPS:
APC Smart-UPS 1000
NAS (för backup):
QNAP TS 269-Pro

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av enoch85:

Det är en självklarhet. Dubbel uppsättning utav hårdvara som snabbt kan bytas, och när det börjar rulla in ännu mer cash så kan man ju sätta upp en identisk kopia utav servern, just nu ingår backup om något skulle gå fel - vilket det inte gjort under de 3 år jag haft servern uppe. Jag har iofs möjlighet att sätta upp Proxmox på en off site server som jag administrerar, men först ska detta upp.

Jag äger inget Google datacenter, om det är det du menar med "riktiga prylar"? Här kommer en spec på nya servern:

CPU:
Intel Xeon E5-2670 DUAL
RAM:
64 GB ECC (till att börja med)
MB:
ASUS Z9PE-D16/2L
HDD:
1 st RAID1 SSD 120 GB (Proxmox "OS")
1 st RAID10 8 TB i hotswap (samtliga Server VMs)
1 st 4TB singel för media (Plex)
RAID kort:
Dell PERC H310 (blir H710 inom snar framtid)
NIC:
Intel I350 4 portars
UPS:
APC Smart-UPS 1000
NAS (för backup):
QNAP TS 269-Pro

Var lite otydlig men syftade på serverklassad hådvara ifrån ex, HP,Dell,IBM.
Jag är alltid suspekt med att drifta något på hemmabyggen, känns inte som om man kan garantera något då.

Lite nyfiken på varför du kommer köra proxmox os på en egen ssd-disk, Det räcker med att du kör det ifrån ett usb-minne väl?
lite som med vmware.

din RAID10 säger inte så mycket. Vad är det för typ av diskar? Kör du med WriteBack?
Singel disken på 4TB är inget jag hade nyttjat i driften, Kanske för backup eller något mindre viktigt.
RAID-kortet hade jag bytt direkt innan man driftsätter något annars blir det aldrig av att detta årgärdas, samt kan blir jobbigare då du eventuell måste skapa om dina RAID-volymer. Är inte H310 dessutom software based? Så fall hade jag skrotet det direkt.

Någon plan för hur din backup kommer att se ut?

Permalänk
Medlem
Skrivet av Danne:

Var lite otydlig men syftade på serverklassad hådvara ifrån ex, HP,Dell,IBM.
Jag är alltid suspekt med att drifta något på hemmabyggen, känns inte som om man kan garantera något då.

Lite nyfiken på varför du kommer köra proxmox os på en egen ssd-disk, Det räcker med att du kör det ifrån ett usb-minne väl?
lite som med vmware.

din RAID10 säger inte så mycket. Vad är det för typ av diskar? Kör du med WriteBack?
Singel disken på 4TB är inget jag hade nyttjat i driften, Kanske för backup eller något mindre viktigt.
RAID-kortet hade jag bytt direkt innan man driftsätter något annars blir det aldrig av att detta årgärdas, samt kan blir jobbigare då du eventuell måste skapa om dina RAID-volymer. Är inte H310 dessutom software based? Så fall hade jag skrotet det direkt.

Någon plan för hur din backup kommer att se ut?

Jag vill inte tappa Proxmox för att ett USB minne failar, därför.

Driftar du något själv, eller är du bara allmänt suspekt? Enligt mig måste det inte kosta 100K att bygga något som håller och som fungerar. Har som sagt inte upplevt några problem på 3 år, och det får väl anses vara lång tid i denna branchen?

Ok, ytterligare förtydligande:
RAID10
2 st WD Red 3TB IntelliPower
2 st HGST IDK Deskstar NAS H3IKNAS40003272SE

Det blir alltså en mixad RAID till en början, men det ska inte vara några problem enligt vad jag läst mig till.

Gällande Writeback kommer jag köra Passtrough på diskarna. Vet inte om du kollade något på RAIDkortet, hade du gjort det så hade du sett att det inte är mjukvaruraid. Samt så är det inga problem att uppgradera seamless till det nya kortet. Bara stoppa in diskarna i portartna och köra. Har kollat sånt redan. Det jag förlorar på H310 är cache, men jag har UPS som skyddar mot strömspikar och ifall stömmen går. Sen bor jag mitt i Malmö, så det ärmindre risk gällande strömmen. Har haft ett avbrott för 2 år sen p.g.a. åska, men det tog UPSen galant!

Jag har en backuplösning redan, tänker använda samma som tidigare. Alltså, inkremell backup med rsync via SSH från server till NAS.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Den enda gången man virtualiserar en hypervisor är när man labbar.

Jag hade kört backupen i DMZ för att slippa routa vid backup och eventuell återläsning. Kommer gå fortare samt ge mindre last på servern.

Permalänk
Medlem

[quote postid="16128799" userid="65766" name="mini-ryttge"]
Ett HA kluster brukar bestå av minst 2 noder och ett SAN https://en.wikipedia.org/wiki/Storage_area_network

Ett SAN går på ett par hundratusen nytt.

Alla diskar sitter då i SANet och noderna brukar ha usbminne/minneskort att köra OS från.

Dom låter som ett jetplan och drar snarlika mängder kraft.

Det är förmodligen inte intressant förän du har ett helt gäng VPSer

En DMZ brukar konfigureras för att vara helt låst. Den droppar alla paket som det inte finns regler för. Brandvägg i din hemmarouter eller i ditt virusskydd släpper ut all trafik men släpper inte in någon som du inte specifikt tillåter (typ öppna port 80 för en webbserver på http)

Man brukar ställa in en DMZ på samma sätt fast även internt. Så utan att öppna port 80 från tex plex server till WAN och port 53 (DNS) till WAN så kan inte maskinen surfa ut på internet. Detta för att interna servrar inte ska kunna nå varandra om de blir hackade. Enbart de servrar som behöver nå varandra kan då nå varandra.

Passthrough rimmar halvdant med HA, pfSense är ingen fara, däremot om du har 3 noder med pfSense med passthrough på node1 och node1 dör så dör även nätet, skulle gå att konfigurera ett HA kluster med 3 virtuella pfSense en på varje node och exkludera dessa från att flyttas.

Det går med hjälp av proxmox att dirigera trafik efter regler
https://pve.proxmox.com/wiki/Open_vSwitch

https://pve.proxmox.com/wiki/Network_Model

VirtIO kan användas istället för att emulera ett nätverkskort och ger högre prestanda.

Har inte riktigt tiden idag, kanske till helgen. Annars kommer här ett par /etc/network/interfaces exempel om detta hjälper dig att förstå (de är riktade till din setup)

auto lo iface lo inet loopback iface eth0 inet manual iface eth1 inet manual iface eth2 inet manual iface eth3 inet manual iface eth4 inet manual iface eth5 inet manual #MGMT auto vmbr0 iface vmbr0 inet static address 192.168.1.x netmask 255.255.255.0 gateway 192.168.1.1 bridge_ports eth0 bridge_stp off bridge_fd 0 #WAN pfSense auto vmbr1 iface vmbr1 inet manual bridge_ports eth1 bridge_stp off bridge_fd 0 #LAN pfSense auto vmbr2 iface vmbr2 inet manual bridge_ports eth2 bridge_stp off bridge_fd 0 #DMZ pfSense auto vmbr3 iface vmbr2 inet manual bridge_ports eth3 bridge_stp off bridge_fd 0

Detta borde fungera när jag tänker efter du behöver dock en kabel in i MGMT porten från switchen om du vill ha en sådan. eth1 går med kabel från ISP, eth2 till LAN switchen eth3 bör inte behöva någon kabel.

Sätt alla servrar som ska ha DMZ på vmbr3 och alla som ska ha LAN på vmbr2 och kör in en kabel i eth2 till LAN switch och om du ska ha fler maskiner i DMZ en kabel i eth3 till DMZ switch. Är dock inte helt 100 på om denna konfiguration fungerar.

#LAN Proxmox auto vmbr0 iface vmbr0 inet static address 192.168.1.x netmask 255.255.255.0 gateway 192.168.1.1 bridge_ports eth0 bridge_stp off bridge_fd 0 #DMZ proxmox auto vmbr1 iface vmbr1 inet static address 10.10.10.x netmask 255.0.0.0 gateway 10.10.10.1 bridge_ports eth1 bridge_stp off bridge_fd 0 #WAN pfSense auto vmbr2 iface vmbr2 inet manual bridge_ports eth2 bridge_stp off bridge_fd 0 #LAN pfSense auto vmbr3 iface vmbr3 inet manual bridge_ports eth3 bridge_stp off bridge_fd 0 #DMZ pfSense auto vmbr4 iface vmbr4 inet manual bridge_ports eth4 bridge_stp off bridge_fd 0

Detta borde definitivt fungera men kräver en kabel mellan eth 1 och eth 4 och kommer kräva att eth3 går in i en switch och att en kabel går tillbaka från switchen till servern in i eth0.

Har du en vettig switch kan du också göra en bond (link aggregation på 2 portar) Dessa ska då helst vara på samma nätverkskort och leder till att DMZ Proxmox kommer hamna på ditt pci kort.

auto bond0 iface bond0 inet manual slaves eth0 eth1 bond_miimon 100 bond_mode 802.3ad #LAN Proxmox auto vmbr0 iface vmbr0 inet static address 192.168.1.x netmask 255.255.255.0 gateway 192.168.1.1 bridge_ports bond0 bridge_stp off bridge_fd 0

I pfSense är det inga problem att göra regler för de interna näten du kan routa (och köra Allow eller NAT) så plex server på 10.0.10.20 kan nå NAS på 192.168.1.30 via tex port 445 tcp och vice versa. (445 är en del av SMB/CIFS)

Då får du sätta upp en VNC med GUI på varje maskin vilket blir jobbigt, här är iaf en config fil för TigerVNC på Ubuntu

#!/bin/sh -e ### BEGIN INIT INFO # Provides: vncserver # Required-Start: networking # Default-Start: 3 4 5 # Default-Stop: 0 6 ### END INIT INFO PATH="$PATH:/usr/X11R6/bin/" # The Username:Group that will run VNC export USER="user" #${RUNAS} # The display that VNC will use DISPLAY="1" # Color depth (between 8 and 32) DEPTH="16" # The Desktop geometry to use. #GEOMETRY="<WIDTH>x<HEIGHT>" #GEOMETRY="800x600" #GEOMETRY="1024x768" GEOMETRY="1280x1024" # The name that the VNC Desktop will have. NAME="DINSERVER" OPTIONS="-name ${NAME} -depth ${DEPTH} -geometry ${GEOMETRY} :${DISPLAY}" . /lib/lsb/init-functions case "$1" in start) log_action_begin_msg "Starting vncserver for user '${USER}' on localhost:${DISPLAY}" su ${USER} -c "/usr/bin/vncserver ${OPTIONS}" ;; stop) log_action_begin_msg "Stoping vncserver for user '${USER}' on localhost:${DISPLAY}" su ${USER} -c "/usr/bin/vncserver -kill :${DISPLAY}" ;; restart) $0 stop $0 start ;; esac exit 0

Helt sonika stulen från någon

På Ubuntu 14.04 behöver du köra
sudo chmod +x /etc/init.d/vncserver

Om jag bara får flika in ang HA och behovet av SAN. Ja, ska en hypervisor tar över körande VMar från en annan utan nertid krävs det ju någon form av gemensam lagring. Det behöver ju dock inte nödvändigtvis vara ett Hitachi SAN för 2 mille I princip alla nyare NAS burkar klarar ju av att dela ut iSCSI disk via ethernet till 2 burkar.

Bir ju då såklart NASen som blir single point of failure, men... Duger ju kanske för en hemmalösning?

Visa signatur

__________________
Stationär: | NZXT H510 Flow | Corsair RM850x | GIGABYTE Z790 AORUS Elite AX | Intel Core i7 13700K | 32GB 6400Mhz CL32 DDR5 | MSI RTX 380 | 1TB Seagate FireCuda 530 + 1TB Kingston KC3000 | LG OLED 42C2 120Hz 4K | Bärbar: MacBook Pro 14"

NAS: Synology DS1815+ 8X 4TB WD RED
Server: Esxi 6.5 | i5 4690K | 32GB DDR3 | 1TB SSD + iSCSI SATA [/B]

Permalänk
Avstängd
Skrivet av enoch85:

Hallå Swec!
Har precis beställt en ny server och tänkte bygga om mitt nätverk så att mitt lokala nätverk är skyddat enligt denna skiss: http://i.imgur.com/cbXoHbU.png
Som ni ser på bilden så kommer jag att köra Proxmox för hela slanten, och virtualisera allting, t.o.m. Pfsensen. Jag har ägnat några dagar nu åt att läsa på lite på forum osv, och det verkar kunna gå att göra som jag tänkt. Men jag är fortfarande lite osäker på hur jag sätter upp allt. Jag har sett en del trådar om samtliga saker i rubriken här på Sweclockers så jag tänkte göra en snabbkoll om ni kanske kunde hjälpa mig?
Jag har aldrig satt upp en DMZ förut (vilket jag antar att ProxMox VMen (eller den fysiska servern blir)), men vilka nät är bäst att använda? Kan jag köra 192.168.X.X på allt, eller ska jag dela upp det på 10.10.X.X och 192.168.X.X, och kan jag ens köra publikt med 10.10.X.X addresser isf?
Helst av allt så skulle jag vilja sätta Proxmox som en subdomän till techandme.se på HTTPS och sen köra in Fail2ban, på så sätt kommer jag alltid åt servern, men är det kanske bättre att begränsa den så att jag bara kommer åt den lokalt?
Sen har jag läst lite om Proxmox HA, vad är det? Jag kommer att köra hosting i liten skala så att dela upp Proxmox "Datacenter" i 2 delar kanske inte vore så dumt? En del för mina grejer, och en annan för hostingen.
Hur hade ni gjort? Tack för svar!

Skippa Proxmox och kör VMWare vSphere istället, betydligt enklare att sätta upp för din del, och på det sättet du tänk ha det uppsatt.

Skrivet av mini-ryttge:

Ett HA kluster brukar bestå av minst 2 noder och ett SAN https://en.wikipedia.org/wiki/Storage_area_network
Ett SAN går på ett par hundratusen nytt.
Alla diskar sitter då i SANet och noderna brukar ha usbminne/minneskort att köra OS från.
Dom låter som ett jetplan och drar snarlika mängder kraft.
Det är förmodligen inte intressant förän du har ett helt gäng VPSer

Där har du ju dock fel, det går att köpa nya SAN för inte så många 10 000 lappar om man så vill, lika så kan man bygga egna av "vanliga" rackservrar/blade/tower servrar om man så vill.
Och "låter som jetplan och drar snarlika mängder kraft." är en kvarleva sedan de lät mycket och drog el, i dagens läge så har både rackservrar, och SAN enheter blivit betydligt tystare, ex HP Proliant GEN 8 modellerna (Rackservrarna) är knappt hörbara i ett vanligt kontorsrum, utan kan om man så skulle vilja låta dem ligga på skrivbordet och de låter inte mer än en vanlig dator (men vem kör en rackserver på skrivbordet för den skull?).

Skrivet av enoch85:

Tack återigen! Dina svar är ovärdeliga i detta läge då jag förbereder mig för att sätta upp det. Det känns som att det är mycket att tänka på..

Efter lite eftertanke är det inte aktuellt med SAN än på ett tag, det känns väldigt overkill för det jag ska göra. Tack för klargörandet.

Det är ju inget fel att bygga upp systemet rätt direkt, än att i efterhand installera annan lagring, med eventuell nertid på din server.

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Permalänk
Medlem
Skrivet av PowerNet:

Skippa Proxmox och kör VMWare vSphere istället, betydligt enklare att sätta upp för din del, och på det sättet du tänk ha det uppsatt.
Där har du ju dock fel, det går att köpa nya SAN för inte så många 10 000 lappar om man så vill, lika så kan man bygga egna av "vanliga" rackservrar/blade/tower servrar om man så vill.
Och "låter som jetplan och drar snarlika mängder kraft." är en kvarleva sedan de lät mycket och drog el, i dagens läge så har både rackservrar, och SAN enheter blivit betydligt tystare, ex HP Proliant GEN 8 modellerna (Rackservrarna) är knappt hörbara i ett vanligt kontorsrum, utan kan om man så skulle vilja låta dem ligga på skrivbordet och de låter inte mer än en vanlig dator (men vem kör en rackserver på skrivbordet för den skull?).
Det är ju inget fel att bygga upp systemet rätt direkt, än att i efterhand installera annan lagring, med eventuell nertid på din server.

vSphere free har fortfarande RO API vilket gör att dem inte kan backas upp på något smidigt sätt, har även kasst hårdvarustöd om du kör hemmabyggen.

vSphere free är skit.

Ett san för under 100 är bara ett glorifierat NAS, ska du ha riktiga saker så kostar det pengar. Att sedan en låda med 16 3.5 diskar intryckta med mm mellanrum skulle vara varken tyst eller snåldrivet är bara att glömma.

Att några storage versioner av Proliant dl 380 är tysta är inte samma sak som ett tyst riktigt SAN. HP kör också med 2.5 diskar i de flesta av sina SAN, 30st 15k rpm diskar i ett 2U chassi är inte "tyst".

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Permalänk
Medlem

Mycket prat om SAN här, varför skulle det behövas ett SAN i den här uppsättningen? Vill man fläska på ordentligt så kan man köpa en NAS ur Synologys proffssortiment för 10 000 kr, då får man dubbla 10 GbE och 8 diskplatser. Det borde räcka och bli över. Vill man vara säker så köper man två och kopplar ihop i HA, det är fortfarande ganska långt från en halv miljon.

Vi pratar ju inte direkt om att snurra 10 000 VMar på den här lösningen.

Permalänk
Avstängd
Skrivet av mini-ryttge:

vSphere free har fortfarande RO API vilket gör att dem inte kan backas upp på något smidigt sätt, har även kasst hårdvarustöd om du kör hemmabyggen.

vSphere free är skit.

Ett san för under 100 är bara ett glorifierat NAS, ska du ha riktiga saker så kostar det pengar. Att sedan en låda med 16 3.5 diskar intryckta med mm mellanrum skulle vara varken tyst eller snåldrivet är bara att glömma.

Att några storage versioner av Proliant dl 380 är tysta är inte samma sak som ett tyst riktigt SAN. HP kör också med 2.5 diskar i de flesta av sina SAN, 30st 15k rpm diskar i ett 2U chassi är inte "tyst".

Där har du helt fel.
Det finns bra backuplösningar till vSphere med, oavsett version.

Och nej, ett SAN för under 100k är inte ett glorifierad NAS.
Och jo, nu för tiden så har både rackservrar och SAN enheter blivit tysta mot tidigare, så det är inte att "bara att glömma".

Visa signatur

System: Corsair Obsidian 550D Midi Tower Svart || Corsair AX 850W PSU || Intel® Core i7-3770K Processor || ASUS P8P67-M || 2 x Intel® SSD 520 Series 180GB || Gigabyte GeForce GTX 670 2GB PhysX CUDA ||

Permalänk
Medlem

Värt att tänka på är att om man köper fler servrar och ett san är att sanet blir spof istället.

Visst ett SAN som är byggt för att vara ett san och ingen server känns driftsäkrare och man kan göra service på servrarna och sådant genom att snabbt flytta maskinerna till en annan host.

Vilket lager ska du köra backupen på? Ska du ta bare metal på maskinerna, eller på filnivå i respektive maskin? Det avgör var backup-nasen ska placeras, utanför respektive i DMZ

Permalänk
Medlem
Skrivet av jocke92:

Värt att tänka på är att om man köper fler servrar och ett san är att sanet blir spof istället.

Visst ett SAN som är byggt för att vara ett san och ingen server känns driftsäkrare och man kan göra service på servrarna och sådant genom att snabbt flytta maskinerna till en annan host.

Ett SAN är i princip bara en typ av nätverk, så man får bygga det redundant precis som man gör med andra nätverk. Dubbla SAN-switchar, dubbla HBA (eller NIC om man kör iSCSI) etc.

Permalänk
Medlem
Skrivet av miklon:

Vi pratar ju inte direkt om att snurra 10 000 VMar på den här lösningen.

Nej precis, det rör sig om kanske 20 st på sin höjd.

Håller med om det snackas en hel del om SAN här, men det är inget datacenter jag ska bygga. Visst är det så att ett SAN kräver mer hårdvara, identiska fysiska servrar osv, eller kan man sätta upp ett SAN i Proxmox byggt utav VMs - hur isf?

Skrivet av jocke92:

Värt att tänka på är att om man köper fler servrar och ett san är att sanet blir spof istället.

Visst ett SAN som är byggt för att vara ett san och ingen server känns driftsäkrare och man kan göra service på servrarna och sådant genom att snabbt flytta maskinerna till en annan host.

Vilket lager ska du köra backupen på? Ska du ta bare metal på maskinerna, eller på filnivå i respektive maskin? Det avgör var backup-nasen ska placeras, utanför respektive i DMZ

Jag kommer att ta backup på filinvå och använder mig utav ett script liknande detta för att åstadkomma det. Men möjligheterna i Proxmox med snapshots kanske är en bättre lösning?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av enoch85:

Jag kommer att ta backup på filinvå och använder mig utav ett script liknande detta för att åstadkomma det. Men möjligheterna i Proxmox med snapshots kanske är en bättre lösning?

Fördelen med ditt script och liknande lösning är att du kan plocka ut enskilda filer lätt. Du har din databasdump och dina filer och kan sätta upp din owncloud igen om de skiter sig.

Kör man snapshots kan man återställa hela maskinerna till en ny proxmox. Du kan backa en hel maskin till igår i ett klick. Men om du vill ha tillbaka en enskild fil får du återställa en kopia av din VM som du startar isolerat (utan nätverk) och plockar ut den av misstag raderade filen. Vilket blir krångligare.

Om det är komplexa system går alt #2 mycket fortare men alt #1 ger lättare åtkomst till filerna.

De riktiga backupsystemen för vmware tar backup med snapshots och indexerar sedan filerna i snapshotsen så att man både kan återställa en hel VM, en fil eller ett mail i exchange.