2 x HP DL380 G7 - konfigurering, fråga på storage controllers m.m.

Permalänk
Medlem

2 x HP DL380 G7 - konfigurering, fråga på storage controllers m.m.

Jag har fått 2 st HP DL380 G7 med plats för 16 diskar i vardera.
Har inte jättebra koll på dessa lite äldre servrarna från HP eftersom jag kör mest Dell på jobbet. Detta är dock till min labbmiljö hemma.

Övrigt i de 2 servrarna:
CPU: 2 x Intel Xeon L5640
Minne: HP 8GB LV-moduler, 144 GB (alla 18 minnesslottar upptagna) eller 96 GB (12 slottar upptagna, och då måste man klura ut "hur" man stoppar i dom på rätt sätt) (inte köpt ännu)
Disk: Server SSD's och traditionella SAS-diskar (inte köpt ännu och beror på vilka svar jag får)
Det som inte heller följde med var raidkontrollers. Detta har jag försökt läsa mig till, men måste nu ställa en fråga och se ifall någon vill hjälpa mig.
Ska jag köra (i båda servrarna):
A. 2 st HP Smart Array P410i/512MB FBWC Controller
B. 1 st HP 24 Bay SAS Expander Card (HP produktid: 468406-B21)
C. 1 st HP Smart Array P410i/512MB FBWC Controller och 1 st HP 24 Bay SAS Expander Card (HP produktid: 468406-B21)

Jag vet inte riktigt vad jag ska använda servrarna till, men jag kommer labba en hel del till att börja med.
Självklart virtualisera (troligtvis VMware, men kanske Proxmox). Ni vet, "hyper converged"...
Mest troligt kommer jag köra olika tiers på lagringen. Alltså några server SSD's och sen SAS-diskar på resten.
En tanke jag har är att antingen köra båda servrarna samtidigt (eller för att spara ström så står den ena avstängd) med "fail-over".
En annan är att köra den ena servern som "main" och den andra som backup-server.
Men, som sagt, behöver hjälp med att förstå hur HP tänker och "vill" att man ska köra med deras storage controllers.

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

Tja,

Hur du ska installera minnena korrekt ska du kunna hitta i manualen för servern, borde endast vara att googla på produkt numret så hittar du den ganska så omgående.

Jag vet inte exakt vilken kontroller som sitter i just DL380 G7, men det är smart storage administrator du ska använda för diskarna (eller kanske den äldre versionen jag inte minns namnet på, men interfacet är tillräckligt likt mellan versionerna).
Tror man använder Smart Start CD på G7 och neråt ifall det inte finns att boota till SSA direkt, finns att ladda ner på deras hemsida - det är bara att ta senaste versionen.

Där kan du sätta upp din RAID väldigt enkelt.

EDIT:
Kör Service Pack for Proliant på servrarna så du får med all HP-mjukvara du vill ha (samt senaste firmwaren, kan va bra att ha).
https://h20566.www2.hpe.com/hpsc/swd/public/detail?swItemId=M...
SPP kan du boota till, men då får du endast senaste firmware.
Kör SPP från Windows så får du firmware, drivers samt HP utilities (lägg in på ett USB Minne / extrahera SPP ISO:n och kör hpsum.bat som ligger på skivan eller kolla SPP-manualen om du kör något annat än Windows server, minns inte utantill hur man körde SPP från Linux).

Du måste registrera ett konto på deras sida för att kunna ladda ner SPP.
Detta vill jag dock minnas alltid kräver aktiv garanti eller kontrakt.
Gissar på att dessa inte har ett kontrakt (G7:or dessutom, så förmodligen ingen garanti såvida inte du köpt till en extended warranty vilket är dyrt )
Hittade lite nedladdningslänkar för SPP här via Reddit:
https://pastee.org/b5ac6

Här hittar du lite om minnes-config:
http://h20566.www2.hpe.com/hpsc/doc/public/display?sp4ts.oid=...

Smart Start CD:
http://h20566.www2.hpe.com/hpsc/swd/public/detail?sp4ts.oid=3...
Bränn en skiva eller gör det enkelt och använd HP USB Key Utility:
http://h20564.www2.hpe.com/hpsc/swd/public/detail?swItemId=MT...

Boota till Smart Start CD och gå in i array config utility och sätt upp din RAID, sen installera ditt OS.

Tror mycket av drivarna och programmen för servern som man kan ladda ner via deras sida kräver ett konto (som i sin tur kräver att du registrerar en server med aktiv garanti/kontrakt mot kontot), men det är ju bara välja OS:et i drop-down menyn och kika på vad du behöver och se om det finns en download-knapp eller ej.
http://h20564.www2.hpe.com/hpsc/swd/public/readIndex?sp4ts.oi...

Annars laddar du ner senaste SPP och installerar så får du senaste drivers och utilities.

Permalänk

På insidan av locket (när du öppnar servern) brukar det stå hur du stoppar i dina RAM-minnen, och vilken ordning.

Visa signatur

Workstation: Intel Core i5-10400 | Gigabyte B460M DS3H | 16GB DDR4 | Geforce GTX1660 SUPER 6GB |
Server: Dell R730xd | Intel Xeon E5-2640 | 64GB DDR3 ECC RAM | Dell VMware vSphere ESXi 6.5
NAS: Synology 212J 2x4TB, Synology 218play 2x4TB | MSMCP CCNA1

Permalänk

Min dl380 g7 har en inbyggd raid controller på moderkortet. Jag fick köpa till FBWC för att få till lite mer raid nivåer. Det inbyggda är en p410i, men det kanske bara klarar av 8 diskar?

Skickades från m.sweclockers.com

Permalänk
Medlem

@Majora: Grymt inlägg! Tack för länken till "HP ProLiant DL380 G7 Server User Guide", har printat den som PDF nu

Tack också för all övrig info ang. diverse HP-mjukvara m.m.

Edit: Hittar fortfarande inte informationen jag söker... Alltså typ vilka kontrollers jag ska köra på. Står såhär i manualen: "Install optional SAS controller. For installation instructions, see the documentation that ships with the SAS controller option."

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

@Delarium.: Mjo, stod ju en del, men rätt ofta också "For more information, see the user guide."
Sitter och läser den nu!

Har också hittat denna länken:
http://h22195.www2.hp.com/DDR4memoryconfig/Home/Legal

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

@davidodbro: Ok! Jo, man behöver en (av några olika att välja på) till raidkontroller för att kunna utnyttja 8 till diskar.
Det stämmer också att man måste köpa en FBWC (eller en BBWC) om man vill ha lite fler raid-nivåer.

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

Tack för svar och inlägg! Hjälper i min jakt efter vilka komponenter jag ska köpa.

Hittade denna sidan ang. HP Smart SAS Expander Card:
https://h10057.www1.hp.com/ecomcat/hpcatalog/specs/provisione...
Står såhär:

Summary
The HP Smart SAS Expander Card enhances the Smart Array controller family by allowing support for more then 8 internal hard disk drives on select ProLiant servers when connected to a Smart Array P410 Controller (SA-P410) or Smart Array P410i Controller (SA-P410i). The full height, Serial Attached SCSI (SAS) expander card supports up to 24 internal drive bays plus an external connection for tape. The HP SAS Expander Card is ideal for ProLiant server customers that want to RAID more than 8 internal hard disk drives or for ProLiant server customers who purchase an additional internal drive cage and want to be able to RAID across all internal drives. NOTE: The use of the HP SAS Expander Card requires a minimum of 256MB cache on the SA-P410 or SA-P410i Controller.

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

Det går att köpa vaggor på ebay och köra in vanliga 2.5 Sata diskar i dem, detta är det enda alternativet som inte spränger banken.

SAS är mycket dyrare än Sata SSD och SAS SSD är galet dyrt. Även företag kör Sata SSD i dem. 32 SAS diskar i vettig storlek kommer kosta dig närmare 100k.

För en HP SAS SSD pratar vi närmare 9k för en 200GB.

Ett bättre val skulle vara att lägga pengarna på ett billigare begagnat SAN som tar 3.5 diskar och köra in vanliga 3.5 Sata diskar i det. Då kan du få mer lagring och möjligheten till ett HA kluster för samma pris. Kör Proxmox/vmware från usb/sd-kort. för ett proxmox HA kluster bör du ha 3 noder annars blir qourum skit.

http://www.ebay.com/itm/Dell-EqualLogic-PS6210E-48-TB-Enterpr...

ett SAN med i 24x2TB SAS diskar för 50k, går att hitta tomma SAN som stöder 3.5 diskar för under 5k där du sedan kan expandera lagring efter behov. Kolla upp vilka versioner av den hypervisor du väljer så du inte fastnar med ett gammalt SAN som inte stödjer annat än ESX 3.5

Sedan vidare till det smärre problemet att licenser för VMware och Proxmox är DYRT med 2x6core per server.

Ha så kul, det verkar vara ett trevligt projekt.

Visa signatur

Every mammal on this planet instinctively develops a natural equilibrium with the surrounding environment; but you humans do not. Instead you multiply, and multiply, until every resource is consumed.
There is another organism on this planet that follows the same pattern... a virus.
CITERA CITERA CITERA

Permalänk
Medlem

Har du tänkt köra med SAS eller SATA?

Här har du lite info om vilka kontrollerkort du kan köra, hur många diskar de stödjer etc.

http://h20564.www2.hpe.com/hpsc/doc/public/display?docId=emr_...

Tänk på att du måste ha cache på kontrollern om du vill köra RAID5.
Du kan ju också köra på både den integrerade samt en dedikerad kontroller på samma gång för att kunna utnyttja så många diskar som det får plats med.
Det går inte att blanda SAS och SATA (iallafall inte på samma kontroller, ingen aning om det går att blanda ifall du kör med 2st kontrollers på samma gång, men det borde ju funka känns det som).

Permalänk
Medlem

@mini-ryttge: Tack för grym info!
Dock har jag tänkt att köra 2 st (eller 1 st) SATA SSD och 14 (eller 15) st 300GB 10K 6G 2.5 SAS i de båda servrarna. 14x300GB = ca 4,2 - 4,5 TB RAW storage, sen en raid 5 eller 6 på det. Får jag inte till det så struntar jag helt i SSD-chache och har bara mekaniska SAS-diskar.

300 GB 10K 6G 2.5" SAS kostar ca 300 kr styck vilket blir ca 10 000 om jag ska köpa så att servrarna blir "lika dana".

Men, vi får se, det är ju "bara" labbmiljö och för att lära mig

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

@Majora: Tack igen för grym länk som jag inte har hittat själv tidigare!
Där står det ju vika kontrollers man kan köra! Fett!
Nu ska jag bara hitta rätt info om hur man konfigurerar (kopplar kablarna fysiskt) till kontrollers inne i servern.

Mest troligt blir det SAS-diskar, som jag skrev i inlägget här ovan

Edit: Jag fick detta svar på ett annat forum från en go lirare:

Du kopplar portarna från din P410i till SAS Expandern och sen från SAS Expandern till bakplanet på dina disk-cage.

portarna är numrerade,
Port 1C är den externa porten på Expandern
Port 2C till Port 7C är portarna som skall kopplas till diskbakplanen (i ditt fall 2C till 5C eftersom du har fyra cages)
Port 8C kopplas till port 1 på P410i
Port 9C kopplas till port 2 på P410i

se till att du har lika långa kablar på portarna 2C till 7C (de som kopplas mot disk), om du har olika långa kablar kan det uppstå konstiga små fel

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

@steele:

Lycka till med bygget...
Själv sitter jag på 2st DL385 G7 och 2st P4500 G2 - VmWare setup.

Visa signatur

Game: Intel Core i9-10940X / 128GB DDR4-3200 RAM | 2 x Nvidia Titan RTX | 2 x 2TB Samsung 970 Evo M.2 SSD
Laptop: Zbook 15 G5
Media:Intel NUC Frost Canyon Tall I7-10710U | EVOLV Shift I5 6600K 16GB RAM GTX 2070 2X500GB 2.M SSd
Consol: Playstation 5, Xbox series X, Nintendo Switch

Permalänk
Medlem

@Zyces: Tack!

Ohhh, nice setup du har då! Sjukt dyrt bara...
Du skulle inte kunna tänka dig att dela med dig vad du har för spec. på dina DL385 G7 servrar? Speciellt på storage controller m.m.
Hur många VM's kör du på dem och lagrar du dem på dina 300 GB (Raid1 antar jag) diskar eller på ditt SAN?
Eller har du installerat WMware på dina lokala diskar? Varför inte istället köra på USB/SD-kort?

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...

Permalänk
Medlem

@steele:

Visst kan jag det, gör det när jag kommit hem.
Mina 385 så kör jag ESX hostarna med replikering för aktiv failover, och i Raid.

Totalt har jag lite mer än 20 VMs.

Tar fram lite specs senare i kväll om jag inte är hemma allt för sent.
Alltid kul att hjälpa till

Visa signatur

Game: Intel Core i9-10940X / 128GB DDR4-3200 RAM | 2 x Nvidia Titan RTX | 2 x 2TB Samsung 970 Evo M.2 SSD
Laptop: Zbook 15 G5
Media:Intel NUC Frost Canyon Tall I7-10710U | EVOLV Shift I5 6600K 16GB RAM GTX 2070 2X500GB 2.M SSd
Consol: Playstation 5, Xbox series X, Nintendo Switch

Permalänk
Medlem

@Zyces: Sweet!

Har du kommit hem ännu?

Visa signatur

Stationär: Intel Core i7 3770k @ 4,3GHz [Phanteks PH-TC14PE] | Asus P8Z77-V LX | 16GB DDR3 | GeForce GTX760 2GB | Samsung 840 EVO 500GB SSD | Corsair HX650 | Scythe Kaze Master II Skärmar: Asus MG278Q | AG Neovo L-W27
Bärbar: Lenovo X240 | Intel Core i7 | 256GB SSD | 8GB | 12.5" FHD touch | 4G
Server: 2x HP DL380 G7 | Intel Xeon L5640 | håller på att handla...