Hjälp mig planera/färdigställa min 24u Rack. (hjälp/förslag efterfrågas)

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017

Hjälp mig planera/färdigställa min 24u Rack. (hjälp/förslag efterfrågas)

Håller på att planera/färdigställa min hemma/labb rack.
Det är en 24u stålrack.

Jag har tillgång till följande hårdvara men vet inte exakt vad jag ska "köra" med:

Brandväggar:
2x Checkpoint UTM-1 2070 (kan även slänga i en Core2duo e6600 2,4ghz istället för originalet Celeron 440 2,0ghz)
1x Checkpoint UTM-1 570 (Celeron 1,5ghz)

Servrar:
1x HP DL360p 2x E5-2620 2,0ghz 6-core, 384gb ram, 3x 300gb SAS 10krpm.
1x HP DL360p utan cpu:er, minne, hdd.
2x IBM x3650 M2 2x E5530 2,4ghz 4-core, 64gb ram. Inga hårddiskar
2x HP DL120 G7 1x E3-1220 3,1ghz 4-core, 32bg ram. Inga hårddiskar
1x Netapp FAS2220 12-bay (diskplatser), 2x controllers. Inga hårddiskar

Switchar:
2x Cisco Catalyst 3750G-24T 10/100/1000, stöd för layer3 vlan etc. dock inga SFP portar.
3x HP ProCurve 2626 10/100 switch med 2st 1gbit SFP
1x Brocade FastIron WS 624 20st 10/100 portar 4st Gigabit SFP.

Annat kul:
1x Juniper STRM500
1x BIG-IP 1600 series (Lastbalanserare)
1x CAT5e patchpanel
1x IBM Proventia GX5008 (IPS)

Mina tanke har varit att använda följande:

#Brandvägg WAN: Checkpoint UTM-1 2070 med e6600 cpun för att köra PFsense på.
-Eller är det smartare/bättre att köra en av DL120G7:orna till detta ändanmål?

#Virtualisering: HP DL360p för ESXi
-Den kommer köra några "prod" servrar så som hemsida, mail, nextcloud, cs:go server + lite annat. Samt LAB miljö för diverse saker.

#Lagring: HP DL360p för freenas/lagring (antingen köpa nya cpu:er till den som kör ESXi eller att jag köper en singel cpu till denna)
-Är det värt att köpa riktiga HP SAS diskar eller fungerar det lika bra att köra 8st WD Red i Raid tex.
-Tror ni jag kommer ha så bra "kräm" mellan DL360p maskinera så jag kan lagra VM:arna på denna också eller bör jag göra det på ESXi hosten? eller bör man satsa på snabbare disk och SFP kort isåfall?

#Switch: Cisco 3750G för att "tratta" detta.

#Annat kul
-Kommer att användas för labb och annars säljas.

Givetivis så spelar ju el-räkningen in lite grann även om det är svårt att ta hänsyn till
Vad tycker ni? har ni andra förslag?

Då fiber dras in i detta nu så är jag lite osäker på vad jag ska satsa på för uppkoppling på WAN sidan.
Är lite sugen på att ta 250/250 men kanske bara är onödigt? några tankar kring detta? man kankse klarar sig gott och väl på 100/100 fortfarande. (sitter på 8mbit idag så allt än det är ju ljusår bättre )

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

Kul med så mycket hårdvara! Lite tankar.

Du behöver inte SAS-diskar för hemmabruk, bättre att satsa på högre paritet/cache etc (beroende på vad du väljer att satsa på för lagring)
Om det är lite för labbande skulle jag köra någon sorts distribuerat filsystem och HA mellan hosten. Det kan såklart vara lite att mecka med, men lärorikt. T.ex. Proxmox i basen som hypervisor och sen Ceph spritt över 3-4 maskiner med 3-4 diskar var. Om du kör 3 hosts kan du få ett fully mesh 10G nät med dual port 10G - som du eventuellt kommer vilja ha.

Kör en av G7'orna som brandvägg. 3750'n borde kunna hantera det mest inom LANet.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Behåll Checkpoints egen programvara istället för att köra in pfsense.

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av moron:

Kul med så mycket hårdvara! Lite tankar.

Du behöver inte SAS-diskar för hemmabruk, bättre att satsa på högre paritet/cache etc (beroende på vad du väljer att satsa på för lagring)
Om det är lite för labbande skulle jag köra någon sorts distribuerat filsystem och HA mellan hosten. Det kan såklart vara lite att mecka med, men lärorikt. T.ex. Proxmox i basen som hypervisor och sen Ceph spritt över 3-4 maskiner med 3-4 diskar var. Om du kör 3 hosts kan du få ett fully mesh 10G nät med dual port 10G - som du eventuellt kommer vilja ha.

Kör en av G7'orna som brandvägg. 3750'n borde kunna hantera det mest inom LANet.

Ok! låter bra, funderar på WD Red som diskar, dock så vill jag gärna behålla esxi som grund.

Skrivet av Danne:

Behåll Checkpoints egen programvara istället för att köra in pfsense.

Tanken har slagit mig men fick bara för mig att det är licens krav? vill inte betala massor för en licens som ska användas till hemmabruk

Trädvy Permalänk
Medlem
Plats
Skåne
Registrerad
Jun 2002

Du får kolla upp det, Det är inte alla som kräver en aktiv licens.
Men om det bara är att tuta och köra som det är nu så tycker jag att du ska behålla det.

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av Danne:

Du får kolla upp det, Det är inte alla som kräver en aktiv licens.
Men om det bara är att tuta och köra som det är nu så tycker jag att du ska behålla det.

Allright!
Tackar för tipset!

Några tankar gällande att köra ESXi på G8:an samt den andra G8:an som lagring (freenas) enhet? overkill?
Eller ska man kika lite på att dra igång Netappen kanske?

Trädvy Permalänk
Medlem
Plats
Jönköping
Registrerad
Jan 2007
Skrivet av ServmeWell:

Allright!
Tackar för tipset!

Några tankar gällande att köra ESXi på G8:an samt den andra G8:an som lagring (freenas) enhet? overkill?

Det beror på hur mycket last det blir på diskarna, sedan beror det väl på om du vill ha en backup maskin också?

Med freenas, SSD cache och 10 gigabit LAN så kan du få upp ganska bra prestanda, men jag har mest kört det tillsammans med XEN.

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008

@ServmeWell: Overkill är så tråkigt ord...

Om du måste köra ESXi kanske du helt enkelt ska köra NetApp-lådan som DAS?

Ska du köra ESXi Free?

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Turku, Finland
Registrerad
Feb 2013

Inden du bare køber diske og smider dem i en af HP serverne ville jeg anbefale lige og læse denne side.

http://dascomputerconsultants.com/HPCompaqServerDrives.htm

Jeg sad selv med en af de ikke supported 1TB seagate diske og tænkte at det gik jo fin, fans blev på sine 30-40% på min DL380 G7.

Købte 3 af dem mere som jeg satte i, og der begyndte mine fans og spinne op med 5% af gangen, så stoppede den da de kørte 70% for det var ikke til og holde ud og høre på semv om serveren er i gangen.

Så min morale er selv om 1 disk måske virker kan problemet komme når man sætter flere diske i bagefter, så jeg ville anbefale enten SSD for der ser ikke ud til og være det store problem med min G7 eller køre med HP branded diske.

Min Dator
Skærm: Philips 49PUS6401/12 Android UHD TV
Arbejder på Dansk Dell Pro Support.

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av Bjrk:

Det beror på hur mycket last det blir på diskarna, sedan beror det väl på om du vill ha en backup maskin också?

Med freenas, SSD cache och 10 gigabit LAN så kan du få upp ganska bra prestanda, men jag har mest kört det tillsammans med XEN.

Sant!
Det du beskriver låter ju som en rätt "smutt" lösning.
Antar att isåfall kör man fibrechannel/sfp kabel mellan burkarna direkt.

Ang. backup maskin så var nog tanken att freenas skulle agera "backup".
I dagsläget så kör jag Unitrends backup i en virtuell maskin som kör till min nätverksnas som verkar funka fint än så länge.

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av moron:

@ServmeWell: Overkill är så tråkigt ord...

Om du måste köra ESXi kanske du helt enkelt ska köra NetApp-lådan som DAS?

Ska du köra ESXi Free?

Haha sant Tanken är att köra ESXi Free, anledningen är att jag använder det idag men man kanske rent av ska börja kika på alternativ?

Skrivet av Mushishi:

Inden du bare køber diske og smider dem i en af HP serverne ville jeg anbefale lige og læse denne side.

http://dascomputerconsultants.com/HPCompaqServerDrives.htm

Jeg sad selv med en af de ikke supported 1TB seagate diske og tænkte at det gik jo fin, fans blev på sine 30-40% på min DL380 G7.

Købte 3 af dem mere som jeg satte i, og der begyndte mine fans og spinne op med 5% af gangen, så stoppede den da de kørte 70% for det var ikke til og holde ud og høre på semv om serveren er i gangen.

Så min morale er selv om 1 disk måske virker kan problemet komme når man sætter flere diske i bagefter, så jeg ville anbefale enten SSD for der ser ikke ud til og være det store problem med min G7 eller køre med HP branded diske.

Tack för tipset! ska kolla in sidan!

Trädvy Permalänk
Medlem
Plats
Sthlm
Registrerad
Maj 2008
Skrivet av ServmeWell:

Haha sant Tanken är att köra ESXi Free, anledningen är att jag använder det idag men man kanske rent av ska börja kika på alternativ?

Det beror väl lite på om det är för att lära sig eller inte Om du vill köra flera hosts (med typ HA/Cluster) så "måste" du kolla på alternativ.

Men det beror lite på vad syftet är - finns många alternativ för att virtualisera och man kan migrera mellan de flesta. Jag gillar Proxmox pga ZFS, men nu kan du få liknande funktioner med containers på Freenas.

En server här, några servrar där.

Trädvy Permalänk
Medlem
Plats
Jönköping
Registrerad
Jan 2007
Skrivet av ServmeWell:

Sant!
Det du beskriver låter ju som en rätt "smutt" lösning.
Antar att isåfall kör man fibrechannel/sfp kabel mellan burkarna direkt.

En "bra" switch, cat6 kablar och NFS eller iSCSI funkar bra.
Förutom på en NAS med enbart SSD diskar och dubbla 20 gigabit under optimala förhållanden har jag aldrig maxat ut nätverket på någon disklåda.
Under riktiga driftförhållanden har problemen nästan alltid varit IOPS, långt innan du riskerar maxa något nätverk.

Däremot kan en gigabit vara i minsta laget, men det beror också på hur du sätter upp och använder sakerna.

Splittra nätverket för driften av serverna och backup tex, så klarar du ding väldigt mycket längre.

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av moron:

Det beror väl lite på om det är för att lära sig eller inte Om du vill köra flera hosts (med typ HA/Cluster) så "måste" du kolla på alternativ.

Men det beror lite på vad syftet är - finns många alternativ för att virtualisera och man kan migrera mellan de flesta. Jag gillar Proxmox pga ZFS, men nu kan du få liknande funktioner med containers på Freenas.

Jo, att lära sig är ju givetvis en stor fördel Sant, ah får ta mig en funderare på det eller om jag börjar med ESXi och går över till något annat senare alternativt om man kan få tag på en licens via jobbet.

Skrivet av Bjrk:

En "bra" switch, cat6 kablar och NFS eller iSCSI funkar bra.
Förutom på en NAS med enbart SSD diskar och dubbla 20 gigabit under optimala förhållanden har jag aldrig maxat ut nätverket på någon disklåda.
Under riktiga driftförhållanden har problemen nästan alltid varit IOPS, långt innan du riskerar maxa något nätverk.

Däremot kan en gigabit vara i minsta laget, men det beror också på hur du sätter upp och använder sakerna.

Splittra nätverket för driften av serverna och backup tex, så klarar du ding väldigt mycket längre.

Ok! låter ju bra, men när du säger cat6 och en bra switch så lär man ju inte få ut mer än 1gbit iaf? (iom NIC på server klarar bara 1gbit) alternativet skulle vara att köra 4st cat6 (finns 4st 1gbit portar i servern) och på så sätt få ut 4gbit?

//

Trädvy Permalänk
Medlem
Plats
Jönköping
Registrerad
Jan 2007

@ServmeWell: Jag menade att jag nästan alltid har extra nätverkskort med 10 gigbit som jag använder för backup och serveranas diskar.
Men genom att sätta upp det så backuper går via ett nät, maskiner via ett annat osv kan du avhjälpa spikarna som blir i nätverket vid te.x backup.

Edit; poängen med det tidigare inlägget va också att nätverk är bara en del av det hela om du vill köra VMs diskar på en NAS, saker som IOPS och latency spelar en väldigt stor roll.
Nätverkskort/switch går alltid köpa och sätta in snabbare, men har du en raid med dåliga diskar så kommer du har betydligt större problem att fixa det.

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av Bjrk:

@ServmeWell: Jag menade att jag nästan alltid har extra nätverkskort med 10 gigbit som jag använder för backup och serveranas diskar.
Men genom att sätta upp det så backuper går via ett nät, maskiner via ett annat osv kan du avhjälpa spikarna som blir i nätverket vid te.x backup.

Edit; poängen med det tidigare inlägget va också att nätverk är bara en del av det hela om du vill köra VMs diskar på en NAS, saker som IOPS och latency spelar en väldigt stor roll.
Nätverkskort/switch går alltid köpa och sätta in snabbare, men har du en raid med dåliga diskar så kommer du har betydligt större problem att fixa det.

Då är jag med på banan!
Men att börja med 1gbit nätverk mellan ESXi hosten och Freenas burken för att lagra VM:arna på är det en dum idé? tänker om du får en bättre hastighet med diskarna "internt" i servern istället?

Sitter faktiskt med checkpointen nu, ska försöka upp den till nya R77.30 så får vi se hur det går

Trädvy Permalänk
Medlem
Plats
Jönköping
Registrerad
Jan 2007
Skrivet av ServmeWell:

Då är jag med på banan!
Men att börja med 1gbit nätverk mellan ESXi hosten och Freenas burken för att lagra VM:arna på är det en dum idé? tänker om du får en bättre hastighet med diskarna "internt" i servern istället?

Sitter faktiskt med checkpointen nu, ska försöka upp den till nya R77.30 så får vi se hur det går

Du får antagligen bättre prestanda, största anledningen och fördelen att köra det på te.x freenas är att du sitter med mjukvaru-raid.
Går ditt raidkort sönder i host maskinen är all data rökt på den, beroende på hur du sätter upp det kan du också få ett gäng backup alternativ direkt genom disklådan.

Jag hade antagligen kört det mesta på NASen och sedan IOPS/Latency tunga saker direkt på maskinen, typ databas server.

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av Bjrk:

Du får antagligen bättre prestanda, största anledningen och fördelen att köra det på te.x freenas är att du sitter med mjukvaru-raid.
Går ditt raidkort sönder i host maskinen är all data rökt på den, beroende på hur du sätter upp det kan du också få ett gäng backup alternativ direkt genom disklådan.

Jag hade antagligen kört det mesta på NASen och sedan IOPS/Latency tunga saker direkt på maskinen, typ databas server.

Där ser man, trodde att freenas använde befintliga raidkortet om det finns ett (har inte använt det innan samt inte läst på om det).
Det finns inga alternativ till freenas som jag bör överväga/titta på enligt dig?

Trädvy Permalänk
Medlem
Plats
Jönköping
Registrerad
Jan 2007

Kör du freenas (ZFS) vill du ge direkt tillgång till diskarna för OSet, JBOD är vad du vill kolla på.
https://sv.wikipedia.org/wiki/JBOD

Det finns väl massor av olika alternativ på NAS mjukvaror, kolla runt lite här på forumet vad folk rekommenderar om du vill ha alternativ.

Annars hade väl Netapp varit ett alternativ, men jag har för mig att den inte går att köra utan licens(?)

Jag är förhållande vis lat när det kommer till denna typen av saker, FreeNAS funkar utmärkt för mig så jag har inte kollat på några direkta alternativ.

Trädvy Permalänk
Medlem
Registrerad
Feb 2005
Skrivet av ServmeWell:

Ok! låter bra, funderar på WD Red som diskar, dock så vill jag gärna behålla esxi som grund.

Tanken har slagit mig men fick bara för mig att det är licens krav? vill inte betala massor för en licens som ska användas till hemmabruk

Checkpoint appliance kommer redan med licens som gäller appliancen. Den går aldrig ut, iaf när det gäller grundbladen / funktioner så som FW, VPN, IA mfl
Prenumerations funktioner så som AV, AB, IPS etc kostar så klart per år, men nöjer du dig med FW/VPN så kan du strunta i de.
Någon support behöver du inte heller, så länge du inte ska lägga support ärende. Supporten på de är ändå över sedan 1 april, så det kvittar.

Med lite tur så ligger licenserna kvar på boxen, försök logga på och kör en "cplic print", så ser du vad som finns onbox. Senaste versionen du kan köra på de är R77.x, så senaste R80 med nya bells n whistles kommer du inte kunna köra ändå, delvis för att det saknas drivare och delvis för att hårdvaran helt enkelt är för klen. Men som sagt, håller du dig till R77.x, med grundfunktioner/blad så duger det alldeles utmärkt för "hemma trafik/fiber"

Trädvy Permalänk
Avstängd
Registrerad
Mar 2017
Skrivet av zsh:

Checkpoint appliance kommer redan med licens som gäller appliancen. Den går aldrig ut, iaf när det gäller grundbladen / funktioner så som FW, VPN, IA mfl
Prenumerations funktioner så som AV, AB, IPS etc kostar så klart per år, men nöjer du dig med FW/VPN så kan du strunta i de.
Någon support behöver du inte heller, så länge du inte ska lägga support ärende. Supporten på de är ändå över sedan 1 april, så det kvittar.

Med lite tur så ligger licenserna kvar på boxen, försök logga på och kör en "cplic print", så ser du vad som finns onbox. Senaste versionen du kan köra på de är R77.x, så senaste R80 med nya bells n whistles kommer du inte kunna köra ändå, delvis för att det saknas drivare och delvis för att hårdvaran helt enkelt är för klen. Men som sagt, håller du dig till R77.x, med grundfunktioner/blad så duger det alldeles utmärkt för "hemma trafik/fiber"

Tackar för klargörande!
Jag hade faktiskt kopierat licensen innan jag drog in R77.30 på den och mitt under allt så startar datorn om för att den får vajsing med usb-com adaptern och där låg licensen i en notepad ruta som inte var sparad... suck...
Men jag har löst det på ett annat sätt tills vidare.

Hade velat dra igång GAIA med 64bit stöd iom jag använder E6600 cpun, dock om jag förstått det rätt så måste man ha 4gb för att det ska kunna göras? hade inga ddr2 hemma så jag kunde testa så funderar på att försöka få tag på ett par beggade.

//Patrik

Trädvy Permalänk
Medlem
Registrerad
Feb 2005
Skrivet av ServmeWell:

Tackar för klargörande!
Jag hade faktiskt kopierat licensen innan jag drog in R77.30 på den och mitt under allt så startar datorn om för att den får vajsing med usb-com adaptern och där låg licensen i en notepad ruta som inte var sparad... suck...
Men jag har löst det på ett annat sätt tills vidare.

Hade velat dra igång GAIA med 64bit stöd iom jag använder E6600 cpun, dock om jag förstått det rätt så måste man ha 4gb för att det ska kunna göras? hade inga ddr2 hemma så jag kunde testa så funderar på att försöka få tag på ett par beggade.

//Patrik

Ajdå, lite otur där

6 gb är det som gäller för att kunna switcha till 64-bit mode.
Testa helt enkelt med "set edition 64-bit".
Om du prompt vill aktivera 64-bit mode, men uppfyller inte kriteriet på RAM, så får du editera /etc/appliance_config.xml (heter ngt sånt) i "vi" och tweak på "minimum memory" värdena i den filen, sen kör du "set edition.." igen.