Bygga ny ESXi hemserver, RAID hårdvara?

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007

Bygga ny ESXi hemserver, RAID hårdvara?

Hej,

Jag går i planera att bygga en ny hemserver.

Server kommer som idag vara en ESXi maskin med diverse virtuella burkar för olika ändamål (Webb/databas/Minecraft/Mumble/Filserver/backup)

Hade tänkt satsa på en raid 5 setup med hotswap denna gången, skulle behöva lite råd angående detta.

Detta är maskinvaran jag har plockat ihop så långt, har en del saker liggandes hemma:

AMD Phenom II x955 3ghz quad
Detta moderkort
CORSAIR 32GB DDR3 1600MHZ CL10
CHIEFTEC BAKPLAN SAS 3X3,5"/SATA för hotswap
WD RED 3.5" 1TB SOHO NAS SATA/600 64MB x3
HIGHPOINT ROCKETRAID 2310 4-CH
550W corsair PSU

Behöver jag raid-kortet? kan jag inte använda moderkortets / software raid, eller blir det mycket sämre? Någon som vet ifall det raidkortet ovan funkar med ESXi?

Mvh Oscar

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Plats
Köttvärlden
Registrerad
Apr 2011
Skrivet av SWE|OggE:

Hej,

Jag går i planera att bygga en ny hemserver.

Server kommer som idag vara en ESXi maskin med diverse virtuella burkar för olika ändamål (Webb/databas/Minecraft/Mumble/Filserver/backup)

Hade tänkt satsa på en raid 5 setup med hotswap denna gången, skulle behöva lite råd angående detta.

Detta är maskinvaran jag har plockat ihop så långt, har en del saker liggandes hemma:

AMD Phenom II x955 3ghz quad
Detta moderkort
CORSAIR 32GB DDR3 1600MHZ CL10
CHIEFTEC BAKPLAN SAS 3X3,5"/SATA för hotswap
WD RED 3.5" 1TB SOHO NAS SATA/600 64MB x3
HIGHPOINT ROCKETRAID 2310 4-CH
550W corsair PSU

Behöver jag raid-kortet? kan jag inte använda moderkortets / software raid, eller blir det mycket sämre? Någon som vet ifall det raidkortet ovan funkar med ESXi?

Mvh Oscar

http://www.sweclockers.com/forum/122-server/1134186-guide-ege...

superguiden, minns inte om det stod något om raid.

"En dator"

Trädvy Permalänk
Medlem
Registrerad
Dec 2008

Man kan ju alltid köra en virtuell freenas med zfs med hårdvarupassthrough med ett omflashat beg. lsi-raidkort (länkas i div. esx-trådar på forumet). Sedan monteras en del av den med nfs som datastore och resten delar du ut för filserver. Då får du fördelarna med zfs och slipper hårdvaruraiden.

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av ohoy:

Inte mycket om just raiding där tyvärr.

Skrivet av jocke92:

Man kan ju alltid köra en virtuell freenas med zfs med hårdvarupassthrough med ett omflashat beg. lsi-raidkort (länkas i div. esx-trådar på forumet). Sedan monteras en del av den med nfs som datastore och resten delar du ut för filserver. Då får du fördelarna med zfs och slipper hårdvaruraiden.

Det låter ju som en bra lösning. Får kolla på det.. hur funkar hotswap med en sån uppsättning, om en disk går sönder är det bara dra ut den och stoppa i en ny?

Mvh

EDIT:

Detta verkar ju vara vad dem flesta rekommenderar: http://www.dustinhome.se/product/5010627898/ibm-serveraid-m10...

Flasha det med lsi firmware så får man stöd för passthrough då?

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av SWE|OggE:

Inte mycket om just raiding där tyvärr.

Det låter ju som en bra lösning. Får kolla på det.. hur funkar hotswap med en sån uppsättning, om en disk går sönder är det bara dra ut den och stoppa i en ny?

Mvh

EDIT:

Detta verkar ju vara vad dem flesta rekommenderar: http://www.dustinhome.se/product/5010627898/ibm-serveraid-m10...

Flasha det med lsi firmware så får man stöd för passthrough då?

Flashar du blir det inte ett raidkort längre utan det ger freenas riktig access mot diskarna vilket gör att du utnyttjar fördelarna med zfs till max. Passthrough går att göra men då hanteras diskarna genom raidmjukvaran i kortet.

Inte helt hundra på sådan detaljer med zfs. Dvs. om han hugger första bästa nya disken när en disk dött. Men annars får du logga in i gränssnittet och säga att det här är din ersättare. Det ska finnas stöd för hotspare, men ser man till att freenas mejlar duger det i en hemmamiljö.

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av jocke92:

Flashar du blir det inte ett raidkort längre utan det ger freenas riktig access mot diskarna vilket gör att du utnyttjar fördelarna med zfs till max. Passthrough går att göra men då hanteras diskarna genom raidmjukvaran i kortet.

Inte helt hundra på sådan detaljer med zfs. Dvs. om han hugger första bästa nya disken när en disk dött. Men annars får du logga in i gränssnittet och säga att det här är din ersättare. Det ska finnas stöd för hotspare, men ser man till att freenas mejlar duger det i en hemmamiljö.

Hm okej.. men jag måste väll köra passthough på diskarna i ESXi för att FreeNas ska få dem tillgängliga?

EDIT:
Har googlat runt lite och hotswap med ZFS verkar inte vara någon walk in the park precis, vilket får mig att bli tveksam..

Vill ha möjligheten att byta en trasig disk under drift hyfsat smärtfritt.

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av SWE|OggE:

Hm okej.. men jag måste väll köra passthough på diskarna i ESXi för att FreeNas ska få dem tillgängliga?

Inte diskarna, utan hela det flashade raidkortet så att freenas får direkt access mot diskarna. Utan att esxi eller någon raid blandar sig i.

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av jocke92:

Inte diskarna, utan hela det flashade raidkortet så att freenas får direkt access mot diskarna. Utan att esxi eller någon raid blandar sig i.

Okok, då kvarstår bara frågetecknet kring hotswap.

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av SWE|OggE:

Okok, då kvarstår bara frågetecknet kring hotswap.

http://doc.freenas.org/index.php/Volumes#Replacing_a_Failed_D...

http://forums.freenas.org/showthread.php?5594-Can-t-hot-swap-...

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007

Hm so "äkta" hotswap är inte helt supportat än då, man får sätta en disk som offline och sedan byta, fair enough.

Om jag förstår det rätt måste kontrollerkortet stödja AHCI för att kunna byta disk under drift, men det antar jag att M1015 har.

EDIT:
Gjort lite mer efterforskningar i M1015 kortet nu.

Det sitter tydligen 2st "Mini-SAS internal connectors", men det stöder "Eight internal 6 Gbps SAS/SATA ports", hur går detta ihop, kan man koppla flera S-ATA diskar till en SAS-anslutning då? Får man med adaptrar? Hade ju tänkt köra 3st S-ATA diskar i en raidz.

EDIT2:
http://www.dustinhome.se/product/5010141171/3ware-multilane-b...

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av SWE|OggE:

Det sitter tydligen 2st "Mini-SAS internal connectors", men det stöder "Eight internal 6 Gbps SAS/SATA ports", hur går detta ihop, kan man koppla flera S-ATA diskar till en SAS-anslutning då? Får man med adaptrar? Hade ju tänkt köra 3st S-ATA diskar i en raidz.

EDIT2:
http://www.dustinhome.se/product/5010141171/3ware-multilane-b...

Helt korrekt, du kör med en sådan breakout. I servrar har man en sas till ett bakplan på hotswapburen om jag förstått rätt. Här har du s-ata på buren och då är det en sådan kabel istället.

Disken där du kör freenas och esxi kopplar du på moderkortet eller kör du ett usb-minne. Väljer du det sista alternativet så kan du kanske helt skippa kortet och köra passthrough på moderkortets kontroller.

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av jocke92:

Helt korrekt, du kör med en sådan breakout. I servrar har man en sas till ett bakplan på hotswapburen om jag förstått rätt. Här har du s-ata på buren och då är det en sådan kabel istället.

Disken där du kör freenas och esxi kopplar du på moderkortet eller kör du ett usb-minne. Väljer du det sista alternativet så kan du kanske helt skippa kortet och köra passthrough på moderkortets kontroller.

Hm skippa kortet helt asså, lirar det med ESXi? Just passthough verkar hårdvaru-känsligt.

Tanken var väll att kanske slänga in en SSD att köra ESXi, Pfsense, freenas och minecraft-serven på.

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Okt 2001
Skrivet av SWE|OggE:

Hm skippa kortet helt asså, lirar det med ESXi? Just passthough verkar hårdvaru-känsligt.

Tanken var väll att kanske slänga in en SSD att köra ESXi, Pfsense, freenas och minecraft-serven på.

Du slänger i ett USB-minne som du kör ESXi på och sen ger du ESXi tillgång till moderkortets kontrollerkort och därmed SSDn du kopplat till det. Det gör att du kan installera VM's etc på SSDn.

Det externa kontrollerkortet kör du via passthrough till valfri (förslagsvis FreeNAS) VM som då får bestämma helt och hållet självt över kortet.

Laptop: Macbook Pro Retina 15".
Desktop: iMac 27" i5 late 2011.
Server: i5-2400 32gb 16TB - ESXi Win7/Debwww/PFSense/FreeNAS

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av malek:

Du slänger i ett USB-minne som du kör ESXi på och sen ger du ESXi tillgång till moderkortets kontrollerkort och därmed SSDn du kopplat till det. Det gör att du kan installera VM's etc på SSDn.

Det externa kontrollerkortet kör du via passthrough till valfri (förslagsvis FreeNAS) VM som då får bestämma helt och hållet självt över kortet.

Jo, det var ju tanken, sen mounta ZFS partitionen som en datastore och lägga resterande VM's på.

Känns lite omständigt att köra ESXi från ett USB, funkar väll lika bra att ha det direkt på SSD'n tillsammans med freenas.

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av SWE|OggE:

Hm skippa kortet helt asså, lirar det med ESXi? Just passthough verkar hårdvaru-känsligt.

Tanken var väll att kanske slänga in en SSD att köra ESXi, Pfsense, freenas och minecraft-serven på.

Kör då på kontrollerkortet. Skippa usb-t och kör de "viktiga" maskinerna och esxi på ssd'n ansluten till moderkortet.

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av jocke92:

Kör då på kontrollerkortet. Skippa usb-t och kör de "viktiga" maskinerna och esxi på ssd'n ansluten till moderkortet.

Jepp kör så, ser ingen direkt fördel att köra det på en USB-sticka.

Får tacka för all hjälp!

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Okt 2001
Skrivet av SWE|OggE:

Jepp kör så, ser ingen direkt fördel att köra det på en USB-sticka.

Får tacka för all hjälp!

Som jag förstår det så tar ESXi-installationen upp den enhet du installerar det på, det va iaf anledningen till att jag la det på ett USB istället för på SSDn. Faktum är ESXi laddas i minnet vid start så vilket medium du lägger det på kvittar, prestandamässigt.

Laptop: Macbook Pro Retina 15".
Desktop: iMac 27" i5 late 2011.
Server: i5-2400 32gb 16TB - ESXi Win7/Debwww/PFSense/FreeNAS

Trädvy Permalänk
Medlem
Registrerad
Dec 2008
Skrivet av malek:

Som jag förstår det så tar ESXi-installationen upp den enhet du installerar det på, det va iaf anledningen till att jag la det på ett USB istället för på SSDn. Faktum är ESXi laddas i minnet vid start så vilket medium du lägger det på kvittar, prestandamässigt.

Jag har iaf kört esxi från samma disk som jag har datastore. Utrymmesmässigt tar den inte upp mer än typ 1gb så det känns dumt att röra in ett usb-minne i leken

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007

Har funderat lite till och mina lagringskrav är ju inte speciellt höga på utrymmesfronten..

Skulle det vara en idé att köpa tre SSD'diskar och använda istället? Samma pris..
http://www.dustinhome.se/product/5010660007/kingston-ssdnow-v...

Hur lirar det med ZFS?

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Registrerad
Aug 2002

Tänk på att moderkort måste ha stöd för att du ska kunna skicka in ett eventuellt raid/lagringskort direkt in i en VM.
http://en.wikipedia.org/wiki/X86_virtualization#I.2FO_MMU_vir...

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av BasseBaba:

Tänk på att moderkort måste ha stöd för att du ska kunna skicka in ett eventuellt raid/lagringskort direkt in i en VM.
http://en.wikipedia.org/wiki/X86_virtualization#I.2FO_MMU_vir...

Okej, nyttig info. Har riktat in mig på detta moderkortet, http://www.dustinhome.se/product/5010597653/asus-m5a97-970-r2... eftersom det jag hade liggande inte hade stöd för 32gb ram.

Vad jag kunde läsa mig till har 9xx chipset serien stöd för AMD-Vi, men det måste tydligen även stödjas i BIOS, vilket jag inte kunnat bekräfta ännu.

Dessa nya moderkort har ju UEFI Bios men det är inget problem för ESXi 5.0 då?

EDIT:

Kollat runt rätt mycket och ASUS moderkorten verkar inte vara bästa valet för AMD-Vi, kör på detta som ska ha bra stöd:
http://www.dustinhome.se/product/5010598638/gigabyte-ga-990xa...

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Plats
Uddevalla
Registrerad
Okt 2004
Skrivet av SWE|OggE:

Okej, nyttig info. Har riktat in mig på detta moderkortet, http://www.dustinhome.se/product/5010597653/asus-m5a97-970-r2... eftersom det jag hade liggande inte hade stöd för 32gb ram.

Vad jag kunde läsa mig till har 9xx chipset serien stöd för AMD-Vi, men det måste tydligen även stödjas i BIOS, vilket jag inte kunnat bekräfta ännu.

Dessa nya moderkort har ju UEFI Bios men det är inget problem för ESXi 5.0 då?

EDIT:

Kollat runt rätt mycket och ASUS moderkorten verkar inte vara bästa valet för AMD-Vi, kör på detta som ska ha bra stöd:
http://www.dustinhome.se/product/5010598638/gigabyte-ga-990xa...

Hej.

Om du kollar min tråd om mitt esxi bygge så ser du hur det gick för mig med Asus moderkort och amd-vi

Skriver från mobilen så jag har svårt att länka.

Mvh

Kristoffer

Skickades från m.sweclockers.com

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007
Skrivet av 9110:

Hej.

Om du kollar min tråd om mitt esxi bygge så ser du hur det gick för mig med Asus moderkort och amd-vi

Skriver från mobilen så jag har svårt att länka.

Mvh

Kristoffer

Skickades från m.sweclockers.com

Där var ju endel nyttig info, tack!

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Plats
Uddevalla
Registrerad
Okt 2004
Skrivet av SWE|OggE:

Där var ju endel nyttig info, tack!

Kul att du tyckte det.

Skall uppdatera med mer info ikväll.

Mvh

Kristoffer

Skickades från m.sweclockers.com

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007

La min beställning nu:

WD RED 3.5" 1TB SOHO NAS SATA/600 64MB 3 st
NZXT MIDITOWER SOURCE 210 ATX BLACK
NTEL 330 SERIES 2.5" 60GB SSD SATA/600 MLC 25NM RESELLER
IBM SERVERAID M1015 6GB SAS/SATA KONTROLLERKORT
GIGABYTE GA-990XA-UD3 AM3+ ATX
CORSAIR 32GB DDR3 VENGEANCE QUAD 1600MHZ CL10 (4X8GB)
CHIEFTEC BAKPLAN S-ATA/300 3X3,5" PLATSER 2X5,25" HÖG
ARCTIC COOLING FREEZER 13 PRO S-1155/1156/1366/AM3+/AM3/FM1
3WARE MULTILANE BREAKOUT CABLE SFF8087 TILL SATA

Återkommer med resultatet.

Arbetar med nätverk, säkerhet, Linux & webbdrift.

Trädvy Permalänk
Medlem
Registrerad
Feb 2013

Nice! Är i farten att bygga liknande jag med. Får man fråga vad det blev för processor till?

Sedan kommer troligen en dum fråga. Ser nedanstående minnen hos Dustin för nån hundralapp mindre. Vad jag kan se är det bara högre frekvens som skiljer dem åt. Nån speciell anledning att de på 1600MHZ är dyrare?

CORSAIR 32GB DDR3 VENGEANCE QUAD 1866MHZ CL10 (4X8GB)

Trädvy Permalänk
Hedersmedlem
Plats
Växjö
Registrerad
Mar 2007

Lite uppdatering här nu då:

Jag har fått delarna och skruvat ihop maskinen

Ramminnerna var för höga så CPU kylaren jag köpte passade ej, fick improvisera och fästa en 120mm fläkt på standardkylflänsen.
Fläkten i hårddisk-hotswap buren låter brutlat mycket, som tur är finns ett "LOW" mode som gör den något tystare. Tyvärr är det även en "specialare", ~1cm tjock så möjligheterna att sätta dit en annan fläkt är begränsade.

Flashade M1015 kortet till IT firmware med framgång igår, och installerade ESXi på SSD'n.

IOMMU option finns i moderkortets bios, bara slå på så fungerade det direkt.

Har satt M1015 till passthough mot en FreeNas VM, så nu är det dags att sätta upp ZFS.

Citat:

A RAIDZ configuration maximizes disk space and generally performs well when data is written and read in large chunks (128K or more).

A RAIDZ-2 configuration offers better data availability, and performs similarly to RAIDZ. RAIDZ-2 has significantly better mean time to data loss (MTTDL) than either RAIDZ or 2-way mirrors.

A RAIDZ-3 configuration maximizes disk space and offers excellent availability because it can withstand 3 disk failures.

A mirrored configuration consumes more disk space but generally performs better with small random reads.

If your I/Os are large, sequential, or write-mostly, then ZFS's I/O scheduler aggregates them in such a way that you'll get very efficient use of the disks regardless of the data replication model.

For better performance, a mirrored configuration is strongly favored over a RAIDZ configuration particularly for large, uncacheable, random read loads.

Vilken Raid-z är bäst i mitt fall? Har även läst om read/write SSD cache till ZFS som tydligen ska boosta prestandan...

Mvh,

EDIT:

Hittade en riktigt bra artikel om ZFS: http://pthree.org/2012/12/05/zfs-administration-part-ii-raidz...

Verkar som det är RAIDZ-1 som gäller för mig i vilken fall då jag kör 3 diskar.

Då återstår bara frågan om cache.

Arbetar med nätverk, säkerhet, Linux & webbdrift.