Proxmox, PfSense, Nginx - Ny server

Tycker det är dags att flika in att proxmox innehåller ceph som kan ge redundant storage på ett bra sätt i ett ha-kluster om än med 2x+ diskkonsumtion.

Det går fortfarande att ha en NAS som shared storage, eller två st NAS i HA-konfiguration om man är rädd för haveri.

Jag vet hur man gör, men vet du? Nej, tydligen vet du inte det för då skulle du inte svarat och framställt dig själv som okunnig/icke vetande och tro att "veem" är ända sättet att ta backuper på.

Jag tror inte, då jag vet att de är tysta(re)(än tidigare) och inte kostar så mycket som du tror.

Klart att du kan få det att dra iväg om du väljer de dyraste diskarna, och sämsta leverantören som det går (HP kör specialdiskar, så inget annat fungerar).

Bättre att köpa ex Dell, där det fungerar att köpa diskar från vilken leverantör som helst (så länge de är testade om man vill ha driftgaranti) mot HP där det är special rakt av.

Och så väljer man 7200 rpm diskar istället för 15k diskar, så får man betydligt mer utrymme till mycket lägre kostnad, och inte sämre för det.

Så nej, ett SAN kostar inte "över 100k" i standard konfig. Och som sagt, man kan bygga ett SAN av en standard 2U rackserver (så man får fler diskplatser mot 1U) och lite diskar så kommer man undan med bra pris/prestanda för hemmabruk.

Och att dra upp att SAN kostar "över 100k" är helt ointressant för en privatperson, som knappast köper sprillans nytt utan köper ett begagnat till en början om en verksamhet ska byggas upp.

Huawei är riktigt trevligt faktiskt. Går att få fina priser på den minsta lådan där.

Subneta länknätet till en /30 så är de bara två adresser mellan de två pfsense-devices.

Du frågade om fencing. Vad jag menar med fencing är att om en fysisk host går sönder så ska den stängas ned och maskinerna failas över automatiskt och inte hamna mittemellan eller att båda servrarna blir "master" i ha-klustret.

Det kan ställa till det nått så otroligt mycket.

Det räcker helt klart med två maskiner i kluster, men den minsta minimala för produktion är enligt min åsikt tre fysiska likadana maskiner för att alltid ha en maskin att flytta vms till då undviker man också problem vad gäller fencing.

Nu vet inte jag vilken skala du ska hosta grejer på men om de börjar bli väldigt mycket trafik och annat så är det helt klart bättre att hyra några U i en colocationhall.

Vad gäller kommersiell verksamhet på ett privatabbonemang så är inte det heller helt bra eftersom att det är inte tillåtet Och dns och mail port oftast är blockerad.

Nu blev det lite offtopic men detta kanske du vet redan.
//Tobias

Eller så kör man en backuplösning som fungerar utan att köpa licens.
Och nej, Dell är betydligt bättre än HP på den fronten, med betydligt lägre priser. Och du jämför SAS SSD mot SATA/SAS hårddiskar?..... Snacka om att jämföra äplen och päron...
Och 7200 rpm diskar räcker gott för lagring, stor cache hjälper till, om man nu inte har väl uppbyggt bolag med god lönsamhet och köper sprillans ny lagring och går all in på SSD.
Sluta säg "glorifierad nas" för ett SAN är ett SAN, oavsett hur det är uppbyggt egentligen.
"SANs are primarily used to enhance storage devices, such as disk arrays, tape libraries, and optical jukeboxes, accessible to servers so that the devices appear to the operating system as locally attached devices."

Ex ISCSI ansluten lagring, sedan kan själva enheten vara uppbyggd på olika sätt, ex köpt SAN från ex Dell, HP, NetApp eller byggd på rackserver och egen konfig.

"Sure kör du ett begagnat SAN som är end of life och end of warranty i en produktionsmiljö. Låter som härliga tider."

Snacka om att inte hänga med.... För TS del (eller för vilket nystartat bolag/verksamhet som hellst inom hosting) så köper man inte sprillans nytt i början, dels för att man måste bygga upp verksamheten och få intäkter och då inte satsa för mycket "i sjön" innan man vet att det bär sig/blir inkomster.
Finns inget fel att köra äldre hårdvara, och mycket hårdvara som är äldre är inte EOL heller, utan stöds av tillverkare än om man så vill.

Och jo, jämför man en rackserver ur ex HP Proliant 320 GEN 3 säg mot GEN8 så är de betydligt tystare, och är som sagt så tysta att de om man vill kan ligga på ett skrivbord i ett kontor och inte störa mer än en vanlig desktop/laptop.
ta sedan ex Dell PowerEdge 1950II (GEN2) och ställ mot 1950III (GEN3) så är det bara mellan de revisionerna stor skillnad.

Lika så med SAN enheter, så är de betydligt tystare nu än tidigare.

Så kom tillbaka den dagen du har koll på vad du svarr i för tråd, och koll på hårdvaran.
Och inte tror att en ny verksamhet/under uppbyggnad köper sprillans ny hårdvara i onödan.

Precis!
Finns fler leverantörer med bra priser, och för TS del så är det inte nytt som gäller, utan äldre hårdvara som är 3-5 år vilket kommit ner i bra pris.

Ett tips är att sätta upp ESXi själv, så att du lär dig något på vägen och inte bara låta andra göra jobbet åt dig, så förstår du ingen när det blir problem/behöver felsökas. ESXi är lätt, installera, anslut med klienten, lägg in en iso fil av OS du vill ha, skapa en vm, installera, done. Sedan kan du ex lägga upp fler vlan/vswitches om du vill det, men det hela är mycket enkelt.

För att du ska separera dina servrar från ditt LAN, antingne kör du brandvägg lokalt på varje server, eller så kör du en central brandvägg. Ska du köra flera webbservrar så behöver du ha flera publika IP adresser, om du inte ska köra dina webbservrar via en proxy server ut mot internet (dvs en webbserver som vidarebefordrar trafiken till rätt interna server).

Vill du ha det så så lägger du VPS:er åt andra på eget VLAN, och publika IP adresser, sedan kan du ex lägga dina VPS:er på eget VLAN, med brandvägg framför, vilken även sköter ditt LAN, men även blockerar viss trafik till/från de olika näten, så ex från ditt interna egna servernät så tillåts ex bara port 22 till/från LAN, och ex port 80/443.

Det låter som att du inte har så stor koll på det hela med nätverk/server, och då ska du inte ge dig på att hosta VPS:er åt andra, då du (som det verkar) inte ens kan sätta upp ESXi eller bygga upp ett enkelt nätverk, utan måste fråga om allt, och då passar det inte att börja hosta VPS:er åt "kunder", de kommer ju ställa krav på upptid, prestanda, redundans/felavhjälpning, trafik, IP adresser mm. Har du tillgång till ett företags bredband? Skaffat eget IP-nät (och kanske eget AS?), har du tänkt på backuper, UPS, reservkraft (diesel/elverk?), fysisk säkerhet mm?

Klart att de kan nå nästa server om den har internetuppkoppling.
Du har egentligen två val.
Antingen så kör du alla servrar bakom en brandvägg, och kör webbtrafik mm via en central proxy, eller så kör du dem öppet, fast genom en brandvägg som stoppar onödiga portar (och som du kan filtrera skadlig trafik i, ex blocka IP adresser vid DDoS mm).

Rätt onödigt att ha ett DMZ för varje server, bättre att ha de öppet direkt, och låta en brandvägg filtrera/blocka oönskad trafik, men ändå ha de på publika IP adresser.

Så det du har tänkt är att din brandvägg ska NAT:a dina interna servrar?

Låter som att det skulle vara bättre om du satsade på colocation för servern, så du får tillgång till fler IP adresser (Och statiska dessutom, och IPv6) än att både blanda din egna webbtrafik med dina kunders genom samma proxy, och lokal brandvägg för din privata trafik.

Jag kan garantera att T3 har invänder mot att du har egen server för dina kunder, då det tydligt framgår av villkoren du gått med på att det är förbjudet/inte tillåtet.
"Anslutning av egen server
Kund får ansluta egen server till Bredbandstjänsten under förutsättning att den enbart används för Kunds eget bruk. Kund får däremot inte ansluta en server till Bredbandstjänsten i syfte att fritt eller mot betalning erbjuda eller tillhandahålla varor, tjänster eller information till annan."

Ställ din maskin direkt i colocation, så bryter du inte mot villkoren och riskerar arga/besvikna kunder, och åka på något från T3.

Beror på, ska du ha allt på en server (och agera som "webbhotell") och köra dina och kunders webbsidor på samma maskin så kör på, men ska du bygga upp egna VPS:er till "kunder" så bör du ha det separat, så att inte en enskild VPS (proxy) kan dra ner alla 10-20 sidor i ett svep, för att du råkar göra en konfigurations miss, eller att proxyn överbelastas.

Och som sagt, ställ maskinen i colocation eller ring T3 och gör om ditt abonnemang till företagsabonnemang, och kolla att de tillåter server för uthyrning/drift åt andra där, då det inte är tillåtet på ett privat abonnemang.

Och fördelen med colocation är ju att du får stabilare lina, och stabilare drift över lag, många bredband för konsumenter är inte ens UPS säkrade,vilket bredband till colocation hallar är, både av olika elsystem (A+B kraft) och vanligen reservkraft i form av diesel generatorer, och en högre fysisk säkerhet till en oftast rätt låg kostnad, och på det tillgång till statiska IP adresser, och IPv6.

Bara på 2 kunder så är du snart i hamn, beroende på pris/kostnad.
Att ha de på olika VLAN för varje VPS känns onödigt omständigt för din drift, samla de på samma VLAN, ha ingen SSH in till de aktivt, ha en central brandvägg som blockar alla portar/trafik du inte vill ha (ex bara tillåter 53/80/443).

Det blir mer flexibelt att ha publika IP adresser direkt till maskinen, varje kund får separat IP adress, blir inte beroende av en gemensam proxy, eller dess säkerhet/SSL/certifikat mm.

Och man kan ha en gemensam brandvägg som all trafik går igenom, som blockar oönskad trafik helt, och bara släpper igenom den önskade trafiken, trots att de sitter på publika IP adresser.

Men en lokal brandvägg på varje maskin är ju bra att ha med.

Och tillåter man inloggning via SSH till Linux maskiner så kör med krav att det är certifikat som gäller, inte inloggning med lösenord. Ska man drifta Windows vm:ar så sätt som krav att RDP endast är öppet från internt VPN nätverk, så det inte ligger öppet publikt.

Fast, ska de kunnas nås utifrån så måste det finnas en reverse proxy för webbtrafiken, vilket blir en felkälla/svag punkt.

Fördelen med att ha statiska IP adresser är just att varje maskin kan ha en egen, och slippa peka om DNS mm när ens IP ändras, och möjlighet till reverse dns.

Hej!

Du verkar ha missat att TS bara nu har tillgång till 1 st WAN adress?
"Jag har tillgång till 1 WAN adress från T3 (ISP), därav proxyn för att lösa det"
Därav förslaget att ställa i colocation (dels för att få tillgång till fler adresser, och statiska, och dels inte bryta mot villkoren för abonnemanget).

Fast byter man server så lägger man ju upp den nya på en ny server, och ställer om DNS dit så går trafiken över till den nya, eller så när den nya servern är klar så går man in på den gamla och stänger ner nätverkskortet och aktiverar nätverkskortet på nya servern med samma IP, det tar inte så lång tid och kan med fördel göras under natten för att inte påverka sina kunders system så mycket.

Annars kan man ju som du föreslår ha en brandvägg framför varje server, men det känns rätt omständigt att ha en brandvägg framför varje server, och sedan en lokalt på varje server med, sköta om dubbla antalet system/brandväggar för samma grund.