Permalänk
Medlem

ESXi ZFS serverbygge

Hej gott folk! Nu darrar fingret på beställningsknappen. Har jag tänkt på allt? Har ni någon input?

Jag hade tänkt köra ESXi med grejer som Pfsense, FreeNAS och Plex. Tänker senare labba med passthrough av ett grafikkort. Filsystemet blir ZFS RAIDZ, så klart med ECC-minnen, och jag har tänkt köra ZIL på SSD:n.

Visst har jag inte blivit galen, utan att processorn och moderkortet fixar både ECC och VT-d?

EDIT: i3:an kunde tydligen inte hantera VT-d, därför bytt till Xeonprocessor.

EDIT II: Efter era kommentarer och annat är mycket nytt, lämna jättegärna input innan jag beställer :).

1 INTEL XEON E3-1240 V3 QUAD CORE 3.4GHZ 8MB S-1150 2373,75 Lite dyr, men varken Dustin eller Webhallen hade någon "sämre" variant med HT. 1 SUPERMICRO MBD-X10SL7 2355 Ändrad eftersom inbyggda LSI-kontrollern går att passthrougha i ESXi. 1 KINGSTON 32GB 1600MHZ DDR3 ECC CL11 DIMM (4X8GB) W/TS 3248,75 Bytt till micro-ATX, mer minne. 1 BITFENIX PHENOM MICRO-ATX 790 Mina maximala mått är 335x335x390 (bhd), detta var det vettigaste. 1 BE QUIET! STRAIGHT POWER E9 480W MODULAR 889 Ström för 8 SATA-kontakter, ska vara tyst och bra. 4 WD RED 3.5" 2TB SOHO NAS SATA/600 64MB 3745 Rubbet passthroughad till FreeNAS i RAIDZ. 1 INTEL S3500 80GB SATA SSD MLC 940 ZIL SSD. 2 INTEL 520 180GB SATA SSD MLC BULK 1997,5 Lagring av ESXi och VM:s i RAID1 på inbyggda Intelkontrollern. 1 COOLER MASTER HYPER 212 EVO S-1150/2011/AM3+/FM1 373,75 Bra betyg i Sweclockers senaste test :). 16713 Usch vad dyrt det blev :P.

Stort tack på förhand

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem

Tjena.

Beställde själv ZIL diskar igår... när jag läste om det så verkar det som att det är bäst att satsa på SLC istället för MLC eftersom de ska hålla längre... när jag läste runt så verkar det även som att man behöver runt en 10GB för ZIL, knappast mer eftersom det bara används för små skrivningar som jag förstått det

MVH
Zydox

Visa signatur

ESXi Server: i7 2600K | 32GB DDR3 | SSD 60 GB + Q-NAP TS-459 Pro+ RAID-6 4x1.5TB SATA
ESXi Server: E3-1275LV3 | 32GB ECC | SSD 120 GB
Storage FreeNAS: E3-1265LV2 | 32GB ECC | RAID-Z2 6x4TB SATA + RAID-Z2 6x3TB SATA
Archive QNAP: QNAP TS-859 | RAID-6 8x6TB SATA
Archive FreeNAS: E3-1220 | 8GB ECC | Pool with 3xRAID-Z2 5x3TB SATA & 2xRAID-Z2 5x2TB SATA

Permalänk
Medlem
Skrivet av Zydox:

Tjena.

Beställde själv ZIL diskar igår... när jag läste om det så verkar det som att det är bäst att satsa på SLC istället för MLC eftersom de ska hålla längre... när jag läste runt så verkar det även som att man behöver runt en 10GB för ZIL, knappast mer eftersom det bara används för små skrivningar som jag förstått det

MVH
Zydox

Ok! Jag valde en "server SSD" av den anledningen, men den är ju uppenbarligen inte SLC-baserad...

Men det gör väl egentligen inget om ZIL-disken rasar? Jag har därför bytt till billigaste möjliga, se post #1

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem

Jag fortsätter på en annan fråga,

Nu har det börjat dyka upp 16GB stora moduler, t.ex http://www.dustinhome.se/product/5010783762/kingston-16gb-1333mhz-ddr3l-ecc-reg-cl9-dimm-1-35v-hynix-a/. Manualen till moderkortet specar max 16 GB (2x8), men jag kan inte se att Intel specar att C226 inte ska klara 2x16 (http://ark.intel.com/products/75522/Intel-DH82C226-PCH)? De specar för övrigt processorn till att klara max 32 GB.

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem
Skrivet av superapan:

Jag fortsätter på en annan fråga,

Nu har det börjat dyka upp 16GB stora moduler, t.ex http://www.dustinhome.se/product/5010783762/kingston-16gb-1333mhz-ddr3l-ecc-reg-cl9-dimm-1-35v-hynix-a/. Manualen till moderkortet specar max 16 GB (2x8), men jag kan inte se att Intel specar att C226 inte ska klara 2x16 (http://ark.intel.com/products/75522/Intel-DH82C226-PCH)? De specar för övrigt processorn till att klara max 32 GB.

När det väl kommer udimm ecc i 16G så kommer du kunna använda dom du kan dock inte använda dom du länkade då dom är ecc reg vilket inte fungerar med xeon e3

Permalänk
Medlem
Skrivet av superapan:

Ok! Jag valde en "server SSD" av den anledningen, men den är ju uppenbarligen inte SLC-baserad...

Men det gör väl egentligen inget om ZIL-disken rasar? Jag har därför bytt till billigaste möjliga, se post #1

Hmm, om jag inte missförstått det så är det dåligt om den rasar... då försvinner skrivningar till disken... en L2ARC disk antar jag att det inte gör så mycket om den rasar...

Dock har jag ingen vidare koll på hur det hela fungerar, jag har som sagt just beställt min egna ZIL diskar och tänkte köra en mirroring på dem

Visa signatur

ESXi Server: i7 2600K | 32GB DDR3 | SSD 60 GB + Q-NAP TS-459 Pro+ RAID-6 4x1.5TB SATA
ESXi Server: E3-1275LV3 | 32GB ECC | SSD 120 GB
Storage FreeNAS: E3-1265LV2 | 32GB ECC | RAID-Z2 6x4TB SATA + RAID-Z2 6x3TB SATA
Archive QNAP: QNAP TS-859 | RAID-6 8x6TB SATA
Archive FreeNAS: E3-1220 | 8GB ECC | Pool with 3xRAID-Z2 5x3TB SATA & 2xRAID-Z2 5x2TB SATA

Permalänk
Medlem
Skrivet av superapan:

Hej gott folk! Nu darrar fingret på beställningsknappen. Har jag tänkt på allt? Har ni någon input?

Jag hade tänkt köra ESXi med grejer som Pfsense, FreeNAS och Plex. Tänker senare labba med passthrough av ett grafikkort. Filsystemet blir ZFS RAIDZ, så klart med ECC-minnen, och jag har tänkt köra ZIL på SSD:n.

Visst har jag inte blivit galen, utan att processorn och moderkortet fixar både ECC och VT-d?

EDIT: i3:an kunde tydligen inte hantera VT-d, därför bytt till Xeonprocessor.

1 INTEL XEON E3-1220 V3 QUAD CORE 3.1GHZ 8MB S-1150 1 740,00 1 ASROCK E3C226D2I C226 S-1150 MINI-ITX SERVERBOARD 1863,26 2 KINGSTON 8GB 1600MHZ DDR3 ECC CL11 DIMM W/TS 1 466,22 1 FRACTAL DESIGN NODE 304 M-ITX WHITE 781,96 1 FSP PSU 400W ATX12V 290,00 1 COOLER MASTER HYPER 212 EVO S-1150/2011/AM3+/FM1 279,00 1 KINGSTON SSDNOW V300 60GB SATA SSD MLC 976,98 4 WD RED 3.5" 2TB SOHO NAS SATA/600 64MB 3 776,04 11 616,44

Stort tack på förhand

Ta en Xeon E3-1230 istället p.g.a. Hyper-Threading.
Tänk på att du begränsas av Mini-ITX om du vill ha många diskar eller fler NIC's i framtiden.

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem

Har du skrivit fel på priset på SSD'n?

Visa signatur

Jag ser ner på folk som särskriver!

Permalänk
Medlem

Köp inte KINGSTON SSDNOW V300. http://www.anandtech.com/Show/Index/7763?cPage=2&all=False&so...
Även om du klarar dig med en segare disk borde man inte stödja sånt fulspel.

Håller också på med ZFS bygge, blir det här (men har inte köpt in allt än):
http://www.supermicro.nl/products/motherboard/Xeon/C220/X10SL...
http://www.proshop.se/RAM/Samsung-M391B1G73BH0-CK0-2380759.ht...
https://www.komplett.se/intel-xeon-e3-1240-v3/789948

Visa signatur

i9 11900k ||32GB 4000MHz CL15||ASUS ROG STRIX Z590-E||Noctua NH-D15s
Intel Arc a750 ||Samsung 980 pro|| EVGA Supernova G3 850W
Asus xonar essence STX|| Lian-Li O11 Dynamic XL
Asus VG27AQ 165Hz IPS, Sennheiser HD650, Logitech g502 Hero, fUnc f30r, Vortex TAB90M, Audio-Technicha ATR2500x-USB
Server: x10SL7-F, Xeon E3 1230v3, 32GB Samsung ECC ram, 6x3TB WD RED, FD Node 804.

Permalänk
Medlem

Vart ska du boota esxi ifrån?

FreeNAS med ZFS vill helst ha direktåtkomst till diskarna.

Själv startar jag esxi från en Raid 1 där jag även lagrar andra VM's.

Sedan har jag ett IBM 1015(flashat till LSI 9211-IT) som jag kopplat in mina lagringsdiskar i och sedan kör jag kortet med device passthrough till FreeNAS. På det sättet får FreeNAS direktåtkomst till diskarna och kan läsa smart status etc.

Visa signatur

https://hackernet.se - Wiki med inriktning open source och nätverk.

Permalänk
Medlem
Skrivet av superapan:

Ok! Jag valde en "server SSD" av den anledningen, men den är ju uppenbarligen inte SLC-baserad...

Men det gör väl egentligen inget om ZIL-disken rasar? Jag har därför bytt till billigaste möjliga, se post #1

Rekommenderar följande läsning http://nex7.blogspot.se/2013/04/zfs-intent-log.html

Permalänk
Medlem
Skrivet av Sparc0:

Vart ska du boota esxi ifrån?

FreeNAS med ZFS vill helst ha direktåtkomst till diskarna.

Själv startar jag esxi från en Raid 1 där jag även lagrar andra VM's.

Sedan har jag ett IBM 1015(flashat till LSI 9211-IT) som jag kopplat in mina lagringsdiskar i och sedan kör jag kortet med device passthrough till FreeNAS. På det sättet får FreeNAS direktåtkomst till diskarna och kan läsa smart status etc.

Jag hade tänkt boota ESXi från USB-minne. Sen trodde jag att SATA-kontrollern på Lynx Point var supportad för pass-through, men en snabb googling verkar så inte fallet...https://communities.vmware.com/thread/458324. I framtiden hade jag tänkt använda PCIe-porten för ett grafikkort, men det kanske grusas nu...

Mina VM's hade jag tänkt köra på den udda disken - men det kanske är dumt att ha den ospeglad?

Skrivet av ozric:

Ta en Xeon E3-1230 istället p.g.a. Hyper-Threading.
Tänk på att du begränsas av Mini-ITX om du vill ha många diskar eller fler NIC's i framtiden.

Tack, det hade jag missat - trodde alla hade HT.

Jag har velat fram och tillbaka mellan micro-ATX och mini-ITX, i nuläget med detta moderkort saknar jag endast 2 DIMM-slottar, men sparar lite plats.

Tack för all hjälp, är väldigt glad att jag inte hann beställa innan jag fick input av er alla.

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem

Jag har länge varit sugen på ett Silverstone DS380.
http://www.dustin.se/product/5010778797/silverstone-ds380-nas...

Skulle ju sitta som handen i handsken i det här bygget
Sedan skulle jag haft införskaffat ett M1015 och mappat in det mot den virtuella filservern.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem
Skrivet av superapan:

Jag har velat fram och tillbaka mellan micro-ATX och mini-ITX, i nuläget med detta moderkort saknar jag endast 2 DIMM-slottar, men sparar lite plats.

Tack för all hjälp, är väldigt glad att jag inte hann beställa innan jag fick input av er alla.

Ska du köra VM's och ZFS så hade jag sett till att kunna ha så mycket RAM som möjligt i burken, ZFS älskar RAM och RAM är ofta det man får slut på först när man håller på med VM's.

Permalänk
Medlem
Skrivet av Calle:

Jag har länge varit sugen på ett Silverstone DS380.
http://www.dustin.se/product/5010778797/silverstone-ds380-nas...

Skulle ju sitta som handen i handsken i det här bygget
Sedan skulle jag haft införskaffat ett M1015 och mappat in det mot den virtuella filservern.

Den har jag också tittat på. Dessvärre verkar chassit lida av resonans när man stoppar in fler diskar, se http://www.silentpcreview.com/article1388-page6.html, och det är något jag inte tycker om alls :).

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem
Skrivet av BergEr:

Köp inte KINGSTON SSDNOW V300. http://www.anandtech.com/Show/Index/7763?cPage=2&all=False&so...
Även om du klarar dig med en segare disk borde man inte stödja sånt fulspel.

Håller också på med ZFS bygge, blir det här (men har inte köpt in allt än):
http://www.supermicro.nl/products/motherboard/Xeon/C220/X10SL...
http://www.proshop.se/RAM/Samsung-M391B1G73BH0-CK0-2380759.ht...
https://www.komplett.se/intel-xeon-e3-1240-v3/789948

Vet du om man kan passthrougha den inbyggda LSI-kontrollern i ESXi? Inte fått jättetydliga träffar på Google...

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem
Skrivet av superapan:

Vet du om man kan passthrougha den inbyggda LSI-kontrollern i ESXi? Inte fått jättetydliga träffar på Google...

Ja det ska gå bra.
Går också att flasha om den till IT mode så den passar bra till ZFS.

Här är en ganska bra tråd: http://forums.freenas.org/index.php?threads/supermicro-x10sl7...

Visa signatur

i9 11900k ||32GB 4000MHz CL15||ASUS ROG STRIX Z590-E||Noctua NH-D15s
Intel Arc a750 ||Samsung 980 pro|| EVGA Supernova G3 850W
Asus xonar essence STX|| Lian-Li O11 Dynamic XL
Asus VG27AQ 165Hz IPS, Sennheiser HD650, Logitech g502 Hero, fUnc f30r, Vortex TAB90M, Audio-Technicha ATR2500x-USB
Server: x10SL7-F, Xeon E3 1230v3, 32GB Samsung ECC ram, 6x3TB WD RED, FD Node 804.

Permalänk
Medlem

Nu har jag reviderat första posten för inköpet efter eran input (hoppas jag). Det vore verkligen superuppskattat om ni skulle ha tid att öga igenom mina val, annars beställer jag i morgon. Stort tack på förhand

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Inaktiv
Skrivet av aluser:

När det väl kommer udimm ecc i 16G så kommer du kunna använda dom du kan dock inte använda dom du länkade då dom är ecc reg vilket inte fungerar med xeon e3

Kan du vidareutveckla?

Permalänk
Medlem
Skrivet av superapan:

Nu har jag reviderat första posten för inköpet efter eran input (hoppas jag). Det vore verkligen superuppskattat om ni skulle ha tid att öga igenom mina val, annars beställer jag i morgon. Stort tack på förhand

Du kan behöva kolla på nya ramminnen.
Har läst att kingston minnen i 4x8GB inte rullar fint på det moderkortet.

Gör inga förhastade köp

Visa signatur

i9 11900k ||32GB 4000MHz CL15||ASUS ROG STRIX Z590-E||Noctua NH-D15s
Intel Arc a750 ||Samsung 980 pro|| EVGA Supernova G3 850W
Asus xonar essence STX|| Lian-Li O11 Dynamic XL
Asus VG27AQ 165Hz IPS, Sennheiser HD650, Logitech g502 Hero, fUnc f30r, Vortex TAB90M, Audio-Technicha ATR2500x-USB
Server: x10SL7-F, Xeon E3 1230v3, 32GB Samsung ECC ram, 6x3TB WD RED, FD Node 804.

Permalänk
Medlem
Skrivet av BergEr:

Du kan behöva kolla på nya ramminnen.
Har läst att kingston minnen i 4x8GB inte rullar fint på det moderkortet.

Gör inga förhastade köp

Åh, tack för informationen! Detta hade jag totalt missat, men ack så irriterande! Besvärligt att dom flesta återförsäljarna sitter med mest Kingstonminnen för ECC...

Visa signatur

Intel i9-12900K | Asus STRIX Z690-I | 32 GB DDR5-6400 CL30 | AMD Radeon RX 7900 XTX | WD Black SN850 1 TB
Asus ROG Loki SFX-L 750W | SSUPD Meshlicious | Arctic Cooling Freezer II 280 | Alienware AW3423DWF

Permalänk
Medlem
Skrivet av superapan:

Åh, tack för informationen! Detta hade jag totalt missat, men ack så irriterande! Besvärligt att dom flesta återförsäljarna sitter med mest Kingstonminnen för ECC...

Jag köpte detta, har dock inte testat för äger ingen 1150 cpu än =D

http://www.proshop.se/RAM/Samsung-M391B1G73BH0-CK0-2380759.ht...
Är med på supermicrons lista för fungerande minnen. http://www.supermicro.nl/support/resources/memory/display.cfm...

Visa signatur

i9 11900k ||32GB 4000MHz CL15||ASUS ROG STRIX Z590-E||Noctua NH-D15s
Intel Arc a750 ||Samsung 980 pro|| EVGA Supernova G3 850W
Asus xonar essence STX|| Lian-Li O11 Dynamic XL
Asus VG27AQ 165Hz IPS, Sennheiser HD650, Logitech g502 Hero, fUnc f30r, Vortex TAB90M, Audio-Technicha ATR2500x-USB
Server: x10SL7-F, Xeon E3 1230v3, 32GB Samsung ECC ram, 6x3TB WD RED, FD Node 804.

Permalänk
Medlem

Jag kör kingstonminnen (4*8gb ECC) till mitt supermicro x9scm-f utan problem sedan snart ett år tillbaka. Men lär ju kunna vara annars med andra SM kort.
Rätt fin allround server det där. Kör ett par win servrar (AD mm), Linux (rtorrent+rutorrent, plex). Funkar klockrent.

Skickades från m.sweclockers.com

Permalänk
Medlem

Hör med Mullet och skaffa samma typ av minnen som de rekommenderar. Jag kör KVR16E11/8 till min X10SLL-F-B med E3-1240v3. Rullar på klockrent.