Forum Datorer och system Server Tråd Inlägg

Bygga ny ESXi hemserver, RAID hårdvara?

1
Skriv svar
Permalänk
Hedersmedlem
●

Bygga ny ESXi hemserver, RAID hårdvara?

Hej,

Jag går i planera att bygga en ny hemserver.

Server kommer som idag vara en ESXi maskin med diverse virtuella burkar för olika ändamål (Webb/databas/Minecraft/Mumble/Filserver/backup)

Hade tänkt satsa på en raid 5 setup med hotswap denna gången, skulle behöva lite råd angående detta.

Detta är maskinvaran jag har plockat ihop så långt, har en del saker liggandes hemma:

AMD Phenom II x955 3ghz quad
Detta moderkort
CORSAIR 32GB DDR3 1600MHZ CL10
CHIEFTEC BAKPLAN SAS 3X3,5"/SATA för hotswap
WD RED 3.5" 1TB SOHO NAS SATA/600 64MB x3
HIGHPOINT ROCKETRAID 2310 4-CH
550W corsair PSU

Behöver jag raid-kortet? kan jag inte använda moderkortets / software raid, eller blir det mycket sämre? Någon som vet ifall det raidkortet ovan funkar med ESXi?

Mvh Oscar

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av SWE|OggE:

Hej,

Jag går i planera att bygga en ny hemserver.

Server kommer som idag vara en ESXi maskin med diverse virtuella burkar för olika ändamål (Webb/databas/Minecraft/Mumble/Filserver/backup)

Hade tänkt satsa på en raid 5 setup med hotswap denna gången, skulle behöva lite råd angående detta.

Detta är maskinvaran jag har plockat ihop så långt, har en del saker liggandes hemma:

AMD Phenom II x955 3ghz quad
Detta moderkort
CORSAIR 32GB DDR3 1600MHZ CL10
CHIEFTEC BAKPLAN SAS 3X3,5"/SATA för hotswap
WD RED 3.5" 1TB SOHO NAS SATA/600 64MB x3
HIGHPOINT ROCKETRAID 2310 4-CH
550W corsair PSU

Behöver jag raid-kortet? kan jag inte använda moderkortets / software raid, eller blir det mycket sämre? Någon som vet ifall det raidkortet ovan funkar med ESXi?

Mvh Oscar

Gå till inlägget

http://www.sweclockers.com/forum/122-server/1134186-guide-ege...

superguiden, minns inte om det stod något om raid.

Visa signatur

"En dator"

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Man kan ju alltid köra en virtuell freenas med zfs med hårdvarupassthrough med ett omflashat beg. lsi-raidkort (länkas i div. esx-trådar på forumet). Sedan monteras en del av den med nfs som datastore och resten delar du ut för filserver. Då får du fördelarna med zfs och slipper hårdvaruraiden.

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●
Skrivet av ohoy:

http://www.sweclockers.com/forum/122-server/1134186-guide-ege...

superguiden, minns inte om det stod något om raid.

Gå till inlägget

Inte mycket om just raiding där tyvärr.

Skrivet av jocke92:

Man kan ju alltid köra en virtuell freenas med zfs med hårdvarupassthrough med ett omflashat beg. lsi-raidkort (länkas i div. esx-trådar på forumet). Sedan monteras en del av den med nfs som datastore och resten delar du ut för filserver. Då får du fördelarna med zfs och slipper hårdvaruraiden.

Gå till inlägget

Det låter ju som en bra lösning. Får kolla på det.. hur funkar hotswap med en sån uppsättning, om en disk går sönder är det bara dra ut den och stoppa i en ny?

Mvh

EDIT:

Detta verkar ju vara vad dem flesta rekommenderar: http://www.dustinhome.se/product/5010627898/ibm-serveraid-m10...

Flasha det med lsi firmware så får man stöd för passthrough då?

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av SWE|OggE:

Inte mycket om just raiding där tyvärr.

Det låter ju som en bra lösning. Får kolla på det.. hur funkar hotswap med en sån uppsättning, om en disk går sönder är det bara dra ut den och stoppa i en ny?

Mvh

EDIT:

Detta verkar ju vara vad dem flesta rekommenderar: http://www.dustinhome.se/product/5010627898/ibm-serveraid-m10...

Flasha det med lsi firmware så får man stöd för passthrough då?

Gå till inlägget

Flashar du blir det inte ett raidkort längre utan det ger freenas riktig access mot diskarna vilket gör att du utnyttjar fördelarna med zfs till max. Passthrough går att göra men då hanteras diskarna genom raidmjukvaran i kortet.

Inte helt hundra på sådan detaljer med zfs. Dvs. om han hugger första bästa nya disken när en disk dött. Men annars får du logga in i gränssnittet och säga att det här är din ersättare. Det ska finnas stöd för hotspare, men ser man till att freenas mejlar duger det i en hemmamiljö.

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●
Skrivet av jocke92:

Flashar du blir det inte ett raidkort längre utan det ger freenas riktig access mot diskarna vilket gör att du utnyttjar fördelarna med zfs till max. Passthrough går att göra men då hanteras diskarna genom raidmjukvaran i kortet.

Inte helt hundra på sådan detaljer med zfs. Dvs. om han hugger första bästa nya disken när en disk dött. Men annars får du logga in i gränssnittet och säga att det här är din ersättare. Det ska finnas stöd för hotspare, men ser man till att freenas mejlar duger det i en hemmamiljö.

Gå till inlägget

Hm okej.. men jag måste väll köra passthough på diskarna i ESXi för att FreeNas ska få dem tillgängliga?

EDIT:
Har googlat runt lite och hotswap med ZFS verkar inte vara någon walk in the park precis, vilket får mig att bli tveksam..

Vill ha möjligheten att byta en trasig disk under drift hyfsat smärtfritt.

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av SWE|OggE:

Hm okej.. men jag måste väll köra passthough på diskarna i ESXi för att FreeNas ska få dem tillgängliga?

Gå till inlägget

Inte diskarna, utan hela det flashade raidkortet så att freenas får direkt access mot diskarna. Utan att esxi eller någon raid blandar sig i.

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●
Skrivet av jocke92:

Inte diskarna, utan hela det flashade raidkortet så att freenas får direkt access mot diskarna. Utan att esxi eller någon raid blandar sig i.

Gå till inlägget

Okok, då kvarstår bara frågetecknet kring hotswap.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av SWE|OggE:

Okok, då kvarstår bara frågetecknet kring hotswap.

Gå till inlägget

http://doc.freenas.org/index.php/Volumes#Replacing_a_Failed_D...

http://forums.freenas.org/showthread.php?5594-Can-t-hot-swap-...

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●

Hm so "äkta" hotswap är inte helt supportat än då, man får sätta en disk som offline och sedan byta, fair enough.

Om jag förstår det rätt måste kontrollerkortet stödja AHCI för att kunna byta disk under drift, men det antar jag att M1015 har.

EDIT:
Gjort lite mer efterforskningar i M1015 kortet nu.

Det sitter tydligen 2st "Mini-SAS internal connectors", men det stöder "Eight internal 6 Gbps SAS/SATA ports", hur går detta ihop, kan man koppla flera S-ATA diskar till en SAS-anslutning då? Får man med adaptrar? Hade ju tänkt köra 3st S-ATA diskar i en raidz.

EDIT2:
http://www.dustinhome.se/product/5010141171/3ware-multilane-b...

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av SWE|OggE:

Det sitter tydligen 2st "Mini-SAS internal connectors", men det stöder "Eight internal 6 Gbps SAS/SATA ports", hur går detta ihop, kan man koppla flera S-ATA diskar till en SAS-anslutning då? Får man med adaptrar? Hade ju tänkt köra 3st S-ATA diskar i en raidz.

EDIT2:
http://www.dustinhome.se/product/5010141171/3ware-multilane-b...

Gå till inlägget

Helt korrekt, du kör med en sådan breakout. I servrar har man en sas till ett bakplan på hotswapburen om jag förstått rätt. Här har du s-ata på buren och då är det en sådan kabel istället.

Disken där du kör freenas och esxi kopplar du på moderkortet eller kör du ett usb-minne. Väljer du det sista alternativet så kan du kanske helt skippa kortet och köra passthrough på moderkortets kontroller.

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●
Skrivet av jocke92:

Helt korrekt, du kör med en sådan breakout. I servrar har man en sas till ett bakplan på hotswapburen om jag förstått rätt. Här har du s-ata på buren och då är det en sådan kabel istället.

Disken där du kör freenas och esxi kopplar du på moderkortet eller kör du ett usb-minne. Väljer du det sista alternativet så kan du kanske helt skippa kortet och köra passthrough på moderkortets kontroller.

Gå till inlägget

Hm skippa kortet helt asså, lirar det med ESXi? Just passthough verkar hårdvaru-känsligt.

Tanken var väll att kanske slänga in en SSD att köra ESXi, Pfsense, freenas och minecraft-serven på.

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av SWE|OggE:

Hm skippa kortet helt asså, lirar det med ESXi? Just passthough verkar hårdvaru-känsligt.

Tanken var väll att kanske slänga in en SSD att köra ESXi, Pfsense, freenas och minecraft-serven på.

Gå till inlägget

Du slänger i ett USB-minne som du kör ESXi på och sen ger du ESXi tillgång till moderkortets kontrollerkort och därmed SSDn du kopplat till det. Det gör att du kan installera VM's etc på SSDn.

Det externa kontrollerkortet kör du via passthrough till valfri (förslagsvis FreeNAS) VM som då får bestämma helt och hållet självt över kortet.

Visa signatur

Pad: Apple iPad 12,9" (2018).
Desktop: Ghost S1 Ash - i7-4770 - MSI 1070 GTX - Noctua NH-L12.
Server: HP Z420 Xenon E5-2690 - 64GB - ESXi 6.7
NAS: HP Microserver G8 (16TB) - ReadyNAS U2 (20TB) - ReadyNAS U4 (16TB)

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●
Skrivet av malek:

Du slänger i ett USB-minne som du kör ESXi på och sen ger du ESXi tillgång till moderkortets kontrollerkort och därmed SSDn du kopplat till det. Det gör att du kan installera VM's etc på SSDn.

Det externa kontrollerkortet kör du via passthrough till valfri (förslagsvis FreeNAS) VM som då får bestämma helt och hållet självt över kortet.

Gå till inlägget

Jo, det var ju tanken, sen mounta ZFS partitionen som en datastore och lägga resterande VM's på.

Känns lite omständigt att köra ESXi från ett USB, funkar väll lika bra att ha det direkt på SSD'n tillsammans med freenas.

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av SWE|OggE:

Hm skippa kortet helt asså, lirar det med ESXi? Just passthough verkar hårdvaru-känsligt.

Tanken var väll att kanske slänga in en SSD att köra ESXi, Pfsense, freenas och minecraft-serven på.

Gå till inlägget

Kör då på kontrollerkortet. Skippa usb-t och kör de "viktiga" maskinerna och esxi på ssd'n ansluten till moderkortet.

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●
Skrivet av jocke92:

Kör då på kontrollerkortet. Skippa usb-t och kör de "viktiga" maskinerna och esxi på ssd'n ansluten till moderkortet.

Gå till inlägget

Jepp kör så, ser ingen direkt fördel att köra det på en USB-sticka.

Får tacka för all hjälp!

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av SWE|OggE:

Jepp kör så, ser ingen direkt fördel att köra det på en USB-sticka.

Får tacka för all hjälp!

Gå till inlägget

Som jag förstår det så tar ESXi-installationen upp den enhet du installerar det på, det va iaf anledningen till att jag la det på ett USB istället för på SSDn. Faktum är ESXi laddas i minnet vid start så vilket medium du lägger det på kvittar, prestandamässigt.

Visa signatur

Pad: Apple iPad 12,9" (2018).
Desktop: Ghost S1 Ash - i7-4770 - MSI 1070 GTX - Noctua NH-L12.
Server: HP Z420 Xenon E5-2690 - 64GB - ESXi 6.7
NAS: HP Microserver G8 (16TB) - ReadyNAS U2 (20TB) - ReadyNAS U4 (16TB)

Redigera
Citera flera Citera
Permalänk
Medlem ★
●
Skrivet av malek:

Som jag förstår det så tar ESXi-installationen upp den enhet du installerar det på, det va iaf anledningen till att jag la det på ett USB istället för på SSDn. Faktum är ESXi laddas i minnet vid start så vilket medium du lägger det på kvittar, prestandamässigt.

Gå till inlägget

Jag har iaf kört esxi från samma disk som jag har datastore. Utrymmesmässigt tar den inte upp mer än typ 1gb så det känns dumt att röra in ett usb-minne i leken

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●

Har funderat lite till och mina lagringskrav är ju inte speciellt höga på utrymmesfronten..

Skulle det vara en idé att köpa tre SSD'diskar och använda istället? Samma pris..
http://www.dustinhome.se/product/5010660007/kingston-ssdnow-v...

Hur lirar det med ZFS?

Redigera
Citera flera Citera
Permalänk
Medlem ★
●

Tänk på att moderkort måste ha stöd för att du ska kunna skicka in ett eventuellt raid/lagringskort direkt in i en VM.
http://en.wikipedia.org/wiki/X86_virtualization#I.2FO_MMU_vir...

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●
Skrivet av BasseBaba:

Tänk på att moderkort måste ha stöd för att du ska kunna skicka in ett eventuellt raid/lagringskort direkt in i en VM.
http://en.wikipedia.org/wiki/X86_virtualization#I.2FO_MMU_vir...

Gå till inlägget

Okej, nyttig info. Har riktat in mig på detta moderkortet, http://www.dustinhome.se/product/5010597653/asus-m5a97-970-r2... eftersom det jag hade liggande inte hade stöd för 32gb ram.

Vad jag kunde läsa mig till har 9xx chipset serien stöd för AMD-Vi, men det måste tydligen även stödjas i BIOS, vilket jag inte kunnat bekräfta ännu.

Dessa nya moderkort har ju UEFI Bios men det är inget problem för ESXi 5.0 då?

EDIT:

Kollat runt rätt mycket och ASUS moderkorten verkar inte vara bästa valet för AMD-Vi, kör på detta som ska ha bra stöd:
http://www.dustinhome.se/product/5010598638/gigabyte-ga-990xa...

Senast redigerat
Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av SWE|OggE:

Okej, nyttig info. Har riktat in mig på detta moderkortet, http://www.dustinhome.se/product/5010597653/asus-m5a97-970-r2... eftersom det jag hade liggande inte hade stöd för 32gb ram.

Vad jag kunde läsa mig till har 9xx chipset serien stöd för AMD-Vi, men det måste tydligen även stödjas i BIOS, vilket jag inte kunnat bekräfta ännu.

Dessa nya moderkort har ju UEFI Bios men det är inget problem för ESXi 5.0 då?

EDIT:

Kollat runt rätt mycket och ASUS moderkorten verkar inte vara bästa valet för AMD-Vi, kör på detta som ska ha bra stöd:
http://www.dustinhome.se/product/5010598638/gigabyte-ga-990xa...

Gå till inlägget

Hej.

Om du kollar min tråd om mitt esxi bygge så ser du hur det gick för mig med Asus moderkort och amd-vi

Skriver från mobilen så jag har svårt att länka.

Mvh

Kristoffer

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●

110a;13173040]Hej.

Om du kollar min tråd om mitt esxi bygge så ser du hur det gick för mig med Asus moderkort och amd-vi

Skriver från mobilen så jag har svårt att länka.

Mvh

Kristoffer

Skickades från m.sweclockers.com[/QUOTE]

Där var ju endel nyttig info, tack!

Redigera
Citera flera Citera
Permalänk
Medlem
●
Skrivet av SWE|OggE:

Där var ju endel nyttig info, tack!

Gå till inlägget

Kul att du tyckte det.

Skall uppdatera med mer info ikväll.

Mvh

Kristoffer

Skickades från m.sweclockers.com

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●

La min beställning nu:

WD RED 3.5" 1TB SOHO NAS SATA/600 64MB 3 st
NZXT MIDITOWER SOURCE 210 ATX BLACK
NTEL 330 SERIES 2.5" 60GB SSD SATA/600 MLC 25NM RESELLER
IBM SERVERAID M1015 6GB SAS/SATA KONTROLLERKORT
GIGABYTE GA-990XA-UD3 AM3+ ATX
CORSAIR 32GB DDR3 VENGEANCE QUAD 1600MHZ CL10 (4X8GB)
CHIEFTEC BAKPLAN S-ATA/300 3X3,5" PLATSER 2X5,25" HÖG
ARCTIC COOLING FREEZER 13 PRO S-1155/1156/1366/AM3+/AM3/FM1
3WARE MULTILANE BREAKOUT CABLE SFF8087 TILL SATA

Återkommer med resultatet.

Redigera
Citera flera Citera
Permalänk
Medlem
●

Nice! Är i farten att bygga liknande jag med. Får man fråga vad det blev för processor till?

Sedan kommer troligen en dum fråga. Ser nedanstående minnen hos Dustin för nån hundralapp mindre. Vad jag kan se är det bara högre frekvens som skiljer dem åt. Nån speciell anledning att de på 1600MHZ är dyrare?

CORSAIR 32GB DDR3 VENGEANCE QUAD 1866MHZ CL10 (4X8GB)

Redigera
Citera flera Citera
Permalänk
Hedersmedlem
●

Lite uppdatering här nu då:

Jag har fått delarna och skruvat ihop maskinen

Ramminnerna var för höga så CPU kylaren jag köpte passade ej, fick improvisera och fästa en 120mm fläkt på standardkylflänsen.
Fläkten i hårddisk-hotswap buren låter brutlat mycket, som tur är finns ett "LOW" mode som gör den något tystare. Tyvärr är det även en "specialare", ~1cm tjock så möjligheterna att sätta dit en annan fläkt är begränsade.

Flashade M1015 kortet till IT firmware med framgång igår, och installerade ESXi på SSD'n.

IOMMU option finns i moderkortets bios, bara slå på så fungerade det direkt.

Har satt M1015 till passthough mot en FreeNas VM, så nu är det dags att sätta upp ZFS.

Citat:

A RAIDZ configuration maximizes disk space and generally performs well when data is written and read in large chunks (128K or more).

A RAIDZ-2 configuration offers better data availability, and performs similarly to RAIDZ. RAIDZ-2 has significantly better mean time to data loss (MTTDL) than either RAIDZ or 2-way mirrors.

A RAIDZ-3 configuration maximizes disk space and offers excellent availability because it can withstand 3 disk failures.

A mirrored configuration consumes more disk space but generally performs better with small random reads.

If your I/Os are large, sequential, or write-mostly, then ZFS's I/O scheduler aggregates them in such a way that you'll get very efficient use of the disks regardless of the data replication model.

For better performance, a mirrored configuration is strongly favored over a RAIDZ configuration particularly for large, uncacheable, random read loads.

Vilken Raid-z är bäst i mitt fall? Har även läst om read/write SSD cache till ZFS som tydligen ska boosta prestandan...

Mvh,

EDIT:

Hittade en riktigt bra artikel om ZFS: http://pthree.org/2012/12/05/zfs-administration-part-ii-raidz...

Verkar som det är RAIDZ-1 som gäller för mig i vilken fall då jag kör 3 diskar.

Då återstår bara frågan om cache.

Senast redigerat
Redigera
Citera flera Citera
1
Skriv svar
Senaste nyheterna
Hårdvara
Mjukvara
Övrigt
Nytt i forumet
Datorkomponenter
System
Ljud, bild och kommunikation
Spel och mjukvara