Funderingar kring att bygga ESXI server med ZFS

Permalänk
Medlem

Funderingar kring att bygga ESXI server med ZFS

Hej
Jag har planer för att bygga en server till hemmet innan jul. Jag skall också dra nätverk till undervåningen (där servern skall stå) innan dess, så jag postar mina funderingar redan nu så att jag kan få feedback innan jag eventuellt hinner göra något fel.
Min plan är att bygga i X-Case RM 424 chassi
http://www.xcase.co.uk/24-bay-Hotswap-rackmount-chassis-norco...
Moderkortet som jag funderar på är Supermicro X10SL7-F
http://www.mullet.se/product.html?product_id=335777
mest för att man kan ansluta 8 st hårddiskar via SAS (står dock inget om det på Mullets hemsida men uppgiften finns på Supermicros hemsida) utöver de 6 vanliga SATA kontakterna.
Prosessor står jag och väger mellan Xeon E3-1265Lv3 2.5GHz QuadCore HT, 8MB , 45W för låg strömförbrukning och en Xeon E3-1245v3 3.4GHz QuadCore HT, 8MB, 84W för bättre prestanda.
Minne hade jag tänkt 32 GB ECC men har ingen aning om märke men tar gärna tips.
Nätaggregat vet jag inte hur stort som skulle krävas hade tänkt något med ”80 plus” guld eller platina rating tar gärna tips och tankar kring val av nätaggregat till en server.

Jag hade tänkt köra ESXi från usbminne sedan är tanken att ha en hårddisk som datastore för alla gäster. Det första gäst operativsystemet har jag tänkt köra någon form av linux (eller windows om det visar sig behövas) och ha bland annat en torrent klient på och den skall ha en dedikerad hårddisk att skriva till. Sedan har jag tänkt köra Solaris 11.1 som ett gästoperativsystem med 10 st WD Red 3TB som raidz-2 krypterat och 2 2tb diskar som Mirrored Vdev okrypterat (för att ha foton och liknande).
Torrentz på ett operativsystem och sedan datalagring med Solaris 11.1 är alltså vad jag tänkt som start. Jag tror att Solaris 11.1 är det bästa ZFS alternativet då det har GUI (är inte jättebekväm med terminal) och att det stödjer att man krypterar hela volymen. Vad jag kan komma att lägga till på servern i framtiden är stöd för kamerövervakning och inspelning, minecraftserver och kanske ett till gästoperativsystem för torrentz eller annan nedladdning (till andra familjemedlemmar). Jag vill köra torrentz via open vpn.

Jag planerar att dra två kablar till nedervåningen en till servern och en till min stationära dator som också står i källaren.
Så mina funderingar nu är kommer det här att funka?, Vad har jag missat?, Jag har läst att ESXi inte inte stödjer större hårddiskar än 2tb kan jag komma runt problemet på något sätt eller måste jag köpa ett kontrollerkort till 3tb diskarna?, Kommer allt att klara att gå på ett NIC eller måste jag dra fler kablar till källaren?
Hoppas att jag inte skrivit allt jag tänkt på allt för obegripligt jag är tacksam för alla tips och all kritik på det som jag tänkt fel på.

Permalänk
Inaktiv
Skrivet av Balk71:

Hej
Jag har läst att ESXi inte inte stödjer större hårddiskar än 2tb kan jag komma runt problemet på något sätt eller måste jag köpa ett kontrollerkort till 3tb diskarna?

Har själv flera 4TB hårddiskar i min ESXi-server, dock kunde man tidigare endast skapa datatstores, alltså volymer på max 2TB tidigare. I ESXi 5 och senare är väl den här gränsen runt 60TB om jag minns rätt.

Permalänk
Medlem

Det behövs ingen inbyggd grafik i CPU'n. Moderkortet har inbyggt grafikkort om du nu skulle vilja använda det.
När du har IPMI behöver du aldrig koppla in en skärm, tangentbord eller mus.
Kör du passthrough till sas-kontrollern på moderkortet så kan du som legenda nämner köra hur stora diskar du vill.

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem

Hej. Tycker du är inne på ett riktigt bra spår. Några tankar som dök upp.

1. Nästa version av Vmware (som snart släpps) stöder väldigt stora datastores, just nu är begränsningen 2TB, dvs om du delar ut en virtuell hårddisk, du kan givetvis dela ut från ZFS-OSet direkt till ditt vm och ha hur stor som helst, för och nackdelar.

2. Om du gillar GUI bör du åtminstonde kolla upp napp-it som är ett GUI specifikt för ZFS på diverse Solarisbaserat OS, typ OmniOS, OpenIndiana mfl och även kolla upp Nexentas gratisversion som kanske är den mest "professionella" där ute. Maxgräns på 18TB där just nu förresten...

3. Precis som ozric skriver, skippa grafiken i cpun och spara några kronor, IPMI på supermicro moderkort är suveränt och du kommer aldrig behöva en skärm/tangentbord direkt kopplad till servern.

En liten notis också bara, RED diskar kommer i 4TB varianter nu också om du vill spara lite ström.

Och ett litet tips till (sorry). ZFS har en suverän funktion som gör att man kan använda SSD diskar som cache diskar för både skrivoperationer och läs. Zil respektive l2arc kallas det. Själv kör jag med en intel ssd som skrivcache (behöver bara vara max 20GB stor) och intel 240GB som läscache, ger oerhört bra prestanda.

Permalänk
Medlem
Skrivet av ozric:

Det behövs ingen inbyggd grafik i CPU'n. Moderkortet har inbyggt grafikkort om du nu skulle vilja använda det.
När du har IPMI behöver du aldrig koppla in en skärm, tangentbord eller mus.
Kör du passthrough till sas-kontrollern på moderkortet så kan du som legenda nämner köra hur stora diskar du vill.

Tackar för svaret då skulle jag kunna köra passthrough på SAS-kontrollern och sedan köpa ett SATA-kort för att köra passthrough på det för att komma upp i 10 diskar. När jag började kolla om ett billigt SATA-kort som hade stöd för Solaris så visade det sig inte vara så enkelt och vad värre var så upptäckte jag att Solaris inte var upptaget på moderkortets kompabilitetslista, men det verkar på nätet som andra använder det med Solaris.

Skrivet av Andyreas:

Hej. Tycker du är inne på ett riktigt bra spår. Några tankar som dök upp.

1. Nästa version av Vmware (som snart släpps) stöder väldigt stora datastores, just nu är begränsningen 2TB, dvs om du delar ut en virtuell hårddisk, du kan givetvis dela ut från ZFS-OSet direkt till ditt vm och ha hur stor som helst, för och nackdelar.

2. Om du gillar GUI bör du åtminstonde kolla upp napp-it som är ett GUI specifikt för ZFS på diverse Solarisbaserat OS, typ OmniOS, OpenIndiana mfl och även kolla upp Nexentas gratisversion som kanske är den mest "professionella" där ute. Maxgräns på 18TB där just nu förresten...

3. Precis som ozric skriver, skippa grafiken i cpun och spara några kronor, IPMI på supermicro moderkort är suveränt och du kommer aldrig behöva en skärm/tangentbord direkt kopplad till servern.

En liten notis också bara, RED diskar kommer i 4TB varianter nu också om du vill spara lite ström.

Och ett litet tips till (sorry). ZFS har en suverän funktion som gör att man kan använda SSD diskar som cache diskar för både skrivoperationer och läs. Zil respektive l2arc kallas det. Själv kör jag med en intel ssd som skrivcache (behöver bara vara max 20GB stor) och intel 240GB som läscache, ger oerhört bra prestanda.

Tackar för alla tipsen kollade upp napp-it, problemet som jag ser det är att alla de andra Solarisbaserade alternativen inte har krypterad ZFS (om jag inte missat något) vilket jag vill ha så om jag inte lyckas med Solaris 11.1 så är nog FreeNAS som jag kommer att välja. Jag hade helt missat att det fanns två versioner av den snabbare processorn (och ju mer jag funderar desto säkrare är jag att jag vill ha den snabbare)och givetvis vill jag ju inte betala för grafikkort på CPU som jag inte kommer att använda.
Jag hade missat att man kunde ha SSD som cache till ZFS det skall jag ta till mig när det blir dags att köpa diskar, kommer nog att beställa från Tyskland för att undvika att skicka över 1000kr till Copysweden.

Permalänk
Medlem
Skrivet av Balk71:

Tackar för svaret då skulle jag kunna köra passthrough på SAS-kontrollern och sedan köpa ett SATA-kort för att köra passthrough på det för att komma upp i 10 diskar. När jag började kolla om ett billigt SATA-kort som hade stöd för Solaris så visade det sig inte vara så enkelt och vad värre var så upptäckte jag att Solaris inte var upptaget på moderkortets kompabilitetslista, men det verkar på nätet som andra använder det med Solaris.

Tackar för alla tipsen kollade upp napp-it, problemet som jag ser det är att alla de andra Solarisbaserade alternativen inte har krypterad ZFS (om jag inte missat något) vilket jag vill ha så om jag inte lyckas med Solaris 11.1 så är nog FreeNAS som jag kommer att välja. Jag hade helt missat att det fanns två versioner av den snabbare processorn (och ju mer jag funderar desto säkrare är jag att jag vill ha den snabbare)och givetvis vill jag ju inte betala för grafikkort på CPU som jag inte kommer att använda.
Jag hade missat att man kunde ha SSD som cache till ZFS det skall jag ta till mig när det blir dags att köpa diskar, kommer nog att beställa från Tyskland för att undvika att skicka över 1000kr till Copysweden.

Om du misslyckas med solaris, ta en titt på ZfsGuru (root on zfs e nice bla)

Visa signatur

Gaming: Playstation 5 | Server: FreeBSD | Core i5-3570k | Fractal Design Define C | Corsair 16GB RAM | HTPC: RPi5 | LibreElec | Chromecast | Laptop: MacBook Air M1 2020 | Phone: iPhone 13 Mini | AP: Ubiquity Unifi | Router: Vanilla FreeBSD + Packet Filter FW

Permalänk
Medlem
Skrivet av Quim:

Om du misslyckas med solaris, ta en titt på ZfsGuru (root on zfs e nice bla)

Kollade det och det såg väldigt trevligt ut men jag saknar krypteringen.

Permalänk
Medlem

Hej igen Balk71. 1 fråga och ett tips.

Tips: När det gäller SSD, försöka ta en som har inbyggd kondensator (detta gäller bara skrivcachen), då strömmen går vill du inte tappa datan som inte hunnits dumpas ner på diskarna, har ssdn då en kondensator löser den detta.

Fråga: Varför vill du ha kryptering så pass mycket? Jag är bara nyfiken alltså, ingen kritik menat. Skulle du inte bara kunna kryptera från dina OS istället för att kryptera själva lagringslösningen.

Permalänk
Medlem

Det är säkert sämre prestanda, men för linux varianter finns LUKS-kryptering och *BSD har GELI., om det är krypteringen i sig du är orolig för.
Då skapar du zpool'en utifrån de krypterade disk-aliasen.

Visa signatur

WS: Asus P8Z77-I Deluxe mITX | Intel 3770K@4.6 | NH-U12P | Asus 780 GTX | Corsair 2x8GB 1600Mhz CL9 | Samsung 840 512GB | Ubuntu 16.04.3 x86_64 | Corsair AX750 | 2x Dell U2412M | Puppe.se | NAS: i7 860, 16GB DDR3, GA-P55M-UD4, FD Define R3, 8x2TB Samsung F4EG, Serveraid M1015, EVGA 750W G2 PSU, FreeBSD x64

Permalänk
Medlem
Skrivet av Andyreas:

Hej igen Balk71. 1 fråga och ett tips.

Tips: När det gäller SSD, försöka ta en som har inbyggd kondensator (detta gäller bara skrivcachen), då strömmen går vill du inte tappa datan som inte hunnits dumpas ner på diskarna, har ssdn då en kondensator löser den detta.

Fråga: Varför vill du ha kryptering så pass mycket? Jag är bara nyfiken alltså, ingen kritik menat. Skulle du inte bara kunna kryptera från dina OS istället för att kryptera själva lagringslösningen.

Tack för tipset om kondensator, skall man ha en SSD för write och en för read eller kan man lägga allt på en?

Jo orsaken till att jag vill ha kryptering är att jag hade tänkt lägga in all min film, musik och program på servern och sedan kunna komma åt den från ett antal datorer och andra enheter runt om i huset, skrev ett längre svar men det verkar inte kommit in i tråden och efter att ha läst reglerna för forumet en gång till så tror jag att jag förstår varför och utvecklar inte ämnet mer.

Permalänk
Medlem
Skrivet av Schrimp:

Det är säkert sämre prestanda, men för linux varianter finns LUKS-kryptering och *BSD har GELI., om det är krypteringen i sig du är orolig för.
Då skapar du zpool'en utifrån de krypterade disk-aliasen.

Tack för tipsen då har jag fler alternativ att prova om jag inte får försthandsalternativet att funka.

Permalänk
Skrivet av anon181280:

Har själv flera 4TB hårddiskar i min ESXi-server, dock kunde man tidigare endast skapa datatstores, alltså volymer på max 2TB tidigare. I ESXi 5 och senare är väl den här gränsen runt 60TB om jag minns rätt.

Hej.

I version 5.5 så kommer stöd för 62TB vmdk filer som du kan använda. Annars är det raw mapping som gäller tills 5.5 är släppt. Ska dock tilläggas att version 5.5 borde släppas denna månad.

Visa signatur

Chassi Obsidian 650D , Corsair RM1000I, Processorer AMD Ryzen 7 2700X, ROG STRIX B450-F GAMING, Ram G.Skill 8GB*4 3200, Radeon RX Vega 64, Hårddisk 1 Samsung 850 EVO 256gb Hårddisk 2 Samsung 860 EVO 1TB, Tangentbord Corsair k68, Mus Corsair Sabre RGB, Bildskärm AOC2790 & S24E650

Permalänk
Medlem
Skrivet av Balk71:

Tack för tipsen då har jag fler alternativ att prova om jag inte får försthandsalternativet att funka.

https://www.dan.me.uk/blog/2012/05/06/full-disk-encryption-wi...

Något liknande detta. Du förstår säkert principen

Visa signatur

WS: Asus P8Z77-I Deluxe mITX | Intel 3770K@4.6 | NH-U12P | Asus 780 GTX | Corsair 2x8GB 1600Mhz CL9 | Samsung 840 512GB | Ubuntu 16.04.3 x86_64 | Corsair AX750 | 2x Dell U2412M | Puppe.se | NAS: i7 860, 16GB DDR3, GA-P55M-UD4, FD Define R3, 8x2TB Samsung F4EG, Serveraid M1015, EVGA 750W G2 PSU, FreeBSD x64

Permalänk
Medlem

Varför inte Linux med mdadm+lvm+dm-crypt/luks+xfs? Virtualisering får du med kvm som fungerar ypperligt.

Visa signatur

CCNP

Permalänk
Medlem
Skrivet av maniak:

Varför inte Linux med mdadm+lvm+dm-crypt/luks+xfs? Virtualisering får du med kvm som fungerar ypperligt.

För att den lösningen saknar bitrotskyddet som är ett av skälen till zfs. Finns säkert fler skäl oxå beroende på vilken nivå snapshots hamnar på. multipla feldomäner

Permalänk
Medlem
Skrivet av Andyreas:

En liten notis också bara, RED diskar kommer i 4TB varianter nu också om du vill spara lite ström.
.

Minska på redundansen för energibesparing är ju en jättebra ide för att inte tala om problemet med rätt mängd diskar för det blir ju 8 diskar och rekommendationen för zfs är x+n där x skall vara jämnt delbart med 2 och n är raidz-nivån.

Permalänk
Medlem
Skrivet av Balk71:

Kollade det och det såg väldigt trevligt ut men jag saknar krypteringen.

med FreeBSD som ZFSGuru bygger på så kan du enkelt köra GELI kryptering på ZFS poolen.

Visa signatur

Gaming: Playstation 5 | Server: FreeBSD | Core i5-3570k | Fractal Design Define C | Corsair 16GB RAM | HTPC: RPi5 | LibreElec | Chromecast | Laptop: MacBook Air M1 2020 | Phone: iPhone 13 Mini | AP: Ubiquity Unifi | Router: Vanilla FreeBSD + Packet Filter FW

Permalänk
Medlem
Skrivet av aluser:

Minska på redundansen för energibesparing är ju en jättebra ide för att inte tala om problemet med rätt mängd diskar för det blir ju 8 diskar och rekommendationen för zfs är x+n där x skall vara jämnt delbart med 2 och n är raidz-nivån.

Skillnaden i prestanda kan vara stor, men om det mesta dels ska användas över nätverket så kommmer endå nätverket vara flaskhalsen inte ZFS prestandan även vid val av "fel" antal diskar. Kör han med SSD skriv cache så löser han problemet helt och hållet.

Visa signatur

Gaming: Playstation 5 | Server: FreeBSD | Core i5-3570k | Fractal Design Define C | Corsair 16GB RAM | HTPC: RPi5 | LibreElec | Chromecast | Laptop: MacBook Air M1 2020 | Phone: iPhone 13 Mini | AP: Ubiquity Unifi | Router: Vanilla FreeBSD + Packet Filter FW

Permalänk
Medlem
Skrivet av aluser:

För att den lösningen saknar bitrotskyddet som är ett av skälen till zfs. Finns säkert fler skäl oxå beroende på vilken nivå snapshots hamnar på. multipla feldomäner

XFS har checksums i 3.10 kerneln, men rekommenderas inte än.

Snapshots fungerar lite annorlunda i lvm afaik. Man skapar en ny logisk volym som är en fryst kopia av originalet, används främst för att ta backup genom att montera snapshoten nånstans och ta backup av den.

IMO ser inte framtiden lika ljus ut för zfs, hade nog varit annorlunda om Sun inte blivit uppköpta.

Visa signatur

CCNP

Permalänk
Medlem
Skrivet av aluser:

Minska på redundansen för energibesparing är ju en jättebra ide för att inte tala om problemet med rätt mängd diskar för det blir ju 8 diskar och rekommendationen för zfs är x+n där x skall vara jämnt delbart med 2 och n är raidz-nivån.

Nu blev det nog lite fel när du skrev, på vilket vis minskar du på redundansen om du har större diskar? Raidz2 som Raidz2....resilver tiden blir längre det är enda skillnaden.

Skrivet av Quim:

Skillnaden i prestanda kan vara stor, men om det mesta dels ska användas över nätverket så kommmer endå nätverket vara flaskhalsen inte ZFS prestandan även vid val av "fel" antal diskar. Kör han med SSD skriv cache så löser han problemet helt och hållet.

Exakt, kör du en intern passthru-lösning kan det spela roll men 100MBps nätverk är garanterat flaskhalsen.

Permalänk
Medlem
Skrivet av maniak:

XFS har checksums i 3.10 kerneln, men rekommenderas inte än.

Snapshots fungerar lite annorlunda i lvm afaik. Man skapar en ny logisk volym som är en fryst kopia av originalet, används främst för att ta backup genom att montera snapshoten nånstans och ta backup av den.

IMO ser inte framtiden lika ljus ut för zfs, hade nog varit annorlunda om Sun inte blivit uppköpta.

Fullständigt medveten om att det funkar annorlunda och jag vet att den använder cow och jag ser ett potentiellt problem med det och kryptering men det är ett större topic för en egen tråd.

Med tanke på att det finns stora installationer på icke oracle så tror jag inte zfs försvinner på rätt många år. Möjligtvis finns det patentproblem.

Permalänk
Avstängd
Skrivet av maniak:

IMO ser inte framtiden lika ljus ut för zfs, hade nog varit annorlunda om Sun inte blivit uppköpta.

ZFS är ju open source, så framtiden ser mycket ljus ut. Om ORACLE eller SUN stängt ned ZFS så hade det sett mörkt ut. Men nu är det ju öppet. Faktum är att flera ZFS utvecklare har slutat på ORACLE och hoppat över till att jobba på open source ZFS. Så open source ZFS har flera nya funktioner som inte ORACLEs stängda ZFS version har. T.ex. båda skaparna av ZFS har hoppat av ORACLE, ena jobbar på JOYENT som uttvecklar vidare ZFS.

När det gäller ZFS, så är det mesta spridda lagringslösningen idag. Det är mer spritt än de stora tunga lagringsspelarna, såsom NetApp eller EMC. Deras lagringsSAN kostar miljontals kr.
http://blog.nexenta.com/blog/bid/257212/Evan-s-predictions-fo...

Till TS: ZFS stängdes igen på version 28. Det betyder att ZFS version 28 är öppet. Så du kan byta till vilket OS du vill, så länge du håller dig till v28. T.ex. kan du byta från Mac OS X till Linux till OpenSolaris, etc. Men om du kör Solaris 11 som är stängt, så kommer du få ZFS v35, och det finns inget annat OS som kan läsa v35. Om du vill köra krypterat så måste du gå till... v30(?). Så då kan inget OS förutom Solaris läsa dina krypterade ZFS diskar.

Om du vill kunna byta OS när du vill, så måste du stanna på ZFS v28. Läs på wikipedia.

Här finns en megafet tråd om ESXi + ZFS:
http://hardforum.com/showthread.php?t=1573272

Permalänk
Medlem
Skrivet av Andyreas:

Nu blev det nog lite fel när du skrev, på vilket vis minskar du på redundansen om du har större diskar? Raidz2 som Raidz2....resilver tiden blir längre det är enda skillnaden.

Ja så kan det gå när man skriver det precis innan lunch. Hade redundans som tankemärke men postade istället för att skriva ut ett längre stycke. Den längre reslivern var en del av det jag var ut då rebuild/resliver är den perioden då din array har störst risk att gå sönder då risken för diskfel har jag för mig ökar exponentiellt. Du har ju dessutom 2 färre komponenter att dela belastningen på.

Skrivet av Andyreas:

Exakt, kör du en intern passthru-lösning kan det spela roll men 100MBps nätverk är garanterat flaskhalsen.

Förivsso. Har iofs för mig att jag läste en gång i tiden att prestanda kan bli katastrofalt dåliga beroende på hur slivers skall skrivas men jag hittar inte länken så det kanske är fixat och kanske gällde mest ojämnt antal diskar inte när det är jämnt delbart med 2 fast inte tvåpotens.

Antar att jag måste komma ihåg att vi rekommenderar system enligt principen bakom moderna kylskåps garantitider alltså efter sämsta komponenten i dagens design inte en balanserad nivå över alla komponenternas livsläng.

Permalänk
Medlem

Tackar för alla svaren om operativsystem jag skall prova mig fram vilka alternativ som passar bäst när jag köpt hårdvaran. Finns det någon som har rekommendationer när det gäller vilket minne jag skall köpa, hur kraftig PSU jag behöver (jag vill ha lite extra säkerhet om jag i framtiden skall köra 8 diskar till och extra kontrollerkort), och hur det funkar med all nättrafik på ett NIC (eller om jag skall köra på två eller fler)?

Permalänk
Medlem
Skrivet av Balk71:

Tackar för alla svaren om operativsystem jag skall prova mig fram vilka alternativ som passar bäst när jag köpt hårdvaran. Finns det någon som har rekommendationer när det gäller vilket minne jag skall köpa, hur kraftig PSU jag behöver (jag vill ha lite extra säkerhet om jag i framtiden skall köra 8 diskar till och extra kontrollerkort), och hur det funkar med all nättrafik på ett NIC (eller om jag skall köra på två eller fler)?

Intel® PRO/1000 PT Dual/Quad Port Server Adapter @ ebay är det som gäller.

Visa signatur

Jag ser ner på folk som särskriver!