Trädvy Permalänk
Medlem
Plats
Hedemora
Registrerad
Maj 2006

Zfs filserver

Hej!

Har väldigt länge gått och funderat på att bygga ihop en riktig filserver.
Var nära att beställa saker innan översvämningarna i Thailand som fick hdd priserna att dra iväg så det hela hamnade på is men nu är jag sugen igen.

Jag har tänkt köra nexenta/zfsguru eller kanske rentav clean solaris och köra en raidz2 med 6 diskar på 1 eller 2 tb, inte riktigt bestämt mig än.

Hårdvaran är väl lite vad jag funderar över, vet att raid med zfs är rätt så cpu instensivt men vet inte riktigt "hur" mycket som krävs.

Vill ha ECC så xeon är väl vägen jag lär gå, skulle en 1220L räcka till mina behov? Vill åtminstone maxa min gbit lina så runt 100Mb/s är väl ett mål.
Ser ju gärna att servern blir lite strömsnål därför jag kollat på 1220L, den har ju tdp på 20w och 2 kärnor.

2x8gb minne tänkte jag börja med så har ja chans att uppgradera i framtiden om jag ser att det inte räcker till, är det dumt att inte köra på 32gb på en gång?

Sen ett random intel/supermicro mobo med c202 chipset och minst 2st x8 pci-e platser för kontrollerkort.

Sen om någon har tips om ett bra chassie rack eller vanligt med många hotswap bays som inte kostar 10k så är det välkommet.
Har kollat lite på http://www.xcase.co.uk/2u-12-bay-hotswap-chassis-p/case-x-cas... då har jag plats till en till array i framtiden.

Va säkert något mer men börjar såhär iaf.

/Daniel

Ws 2600k, Sabertooth, 16gb, 7970, 840evo, 1xEizo S2433, 2xEV2436, Arch Htpc NUC I3 4010, 8gb, Arch Server Supermicro x11, xeon 1240v5, 32gb ecc, proxmox with 4vm Mobile OP2 Cm13

Trädvy Permalänk
Medlem
Plats
Malmö
Registrerad
Aug 2010

Tror inte du ska köpa ett random mobo, då vet du aldrig vad du får

http://www.servethehome.com/ är ett bra ställe att söka information på, när det gäller server-moderkort och kontrollerkort. Jag är själv inne på något liknande, men kommer att ha ett extern kabinett för 12 eller 15 diskar, beroende på vilka hotswap-bays jag sätter in. Kom över CI 9000 (http://www.prisjakt.nu/produkt.php?p=111582) för 450kr, med 2x300w hotswap PSU. Låter visserligen som ett mindre flygplan som standard, men bytat alla fläktar till tystare Arctic F8.

Kommer att använda ett IBM Serveraid M1015 eller M5015 SAS-kort och sen SAS-expander i det externa kabinettet.

Trädvy Permalänk
Medlem
Plats
Lilla Edet
Registrerad
Aug 2004

För en hemmaserver så skulle jag säga att 16GB är helt okej. Du kommer klara dig ypperligt på det. ZFS äter gärna 32GB också, men köp det när du märker att du behöver det i så fall. Jag har 8GB på min FreeBSD burk, och det funkar alla tiders.

Du lär inte ha några som helst problem att maxa en gigabit-lina (det klarar du med en Atom el liknande). Jag skulle nästan fundera på 2-4 portars NIC om du vill ha ordentlig fräs i linan.. men det kostar, så det får finnas lite baktanke om det ska vara värt det - kasta inte pengar i sjön.

Med 6st diskar i raidz2 får du som du alldeles säkert vet 4 diskar lagring (2 redundans). Och tänk till så du är säker på att detta är okej, för du kan inte peta in 2 extra senare, för att bygga ut den till 8 diskars raidz2 - i så fall måste du rasera hela arrayen och skapa om.
Jag klurade ett tag på detta innan jag bestämde mig för mina 8 diskar.
Senare kan du byta ut dom till större diskar, och när alla diskar i arrayen är utbytta kommer arrayen anpassa sig till det nya lediga utrymmet och justera sig till att ta upp hela utrymmet av dom nya, större diskarna.
Så antalet skulle jag säga är viktigare än storleken, i planeringen. Såvida man inte har problem med att bygga om arrayen när/om det behövs, som sagts.

Och glöm inte att även FreeBSD fungerar väldigt trevligt med ZFS.

WS: Asus P8Z77-I Deluxe mITX | Intel 3770K@4.6 | NH-U12P | Asus 780 GTX | Corsair 2x8GB 1600Mhz CL9 | Samsung 840 512GB | Ubuntu 14.04 x86_64 | Corsair AX750 | 2x Dell U2412M | Puppe.se | NAS: i7 860, 16GB DDR3, GA-P55M-UD4, FD Define R3, 8x2TB Samsung F4EG, Serveraid M1015, EVGA 750W G2 PSU, FreeBSD x64

Trädvy Permalänk
Medlem
Plats
Hedemora
Registrerad
Maj 2006

Som modekort tänkte jag mig något som detta http://www.mullet.se/product.html?product_id=333240 , borde göra jobbet bra. Har bara haft bra efarenhet av supermicro innan men aldrig byggt något till mig själv med det.

Sen som kontrollerkort tänkte jag använda Intel SASUC8I http://www.prisjakt.nu/produkt.php?p=369020 som ska fungera bra på mjukvaruraid som jag förstått det.

Ja det kanske är lika bra att bygga med 8 diskar på en gång, jag är medveten om att man inte kan utöka en array, va lite därför jag vela ha ett chassie/rack med många platser så man kan göra en till längre fram om man känner att utrymmet börjar sina.

Har sett lite problem med 4k sektor diskar så är lite osäker på om man ska köra riktiga western re4 diskar, dyra men ska ju vara bra?

/Daniel

Ws 2600k, Sabertooth, 16gb, 7970, 840evo, 1xEizo S2433, 2xEV2436, Arch Htpc NUC I3 4010, 8gb, Arch Server Supermicro x11, xeon 1240v5, 32gb ecc, proxmox with 4vm Mobile OP2 Cm13

Trädvy Permalänk
Medlem
Plats
Lilla Edet
Registrerad
Aug 2004
Skrivet av Daniel86:

Som modekort tänkte jag mig något som detta http://www.mullet.se/product.html?product_id=333240 , borde göra jobbet bra. Har bara haft bra efarenhet av supermicro innan men aldrig byggt något till mig själv med det.

Sen som kontrollerkort tänkte jag använda Intel SASUC8I http://www.prisjakt.nu/produkt.php?p=369020 som ska fungera bra på mjukvaruraid som jag förstått det.

Ja det kanske är lika bra att bygga med 8 diskar på en gång, jag är medveten om att man inte kan utöka en array, va lite därför jag vela ha ett chassie/rack med många platser så man kan göra en till längre fram om man känner att utrymmet börjar sina.

Har sett lite problem med 4k sektor diskar så är lite osäker på om man ska köra riktiga western re4 diskar, dyra men ska ju vara bra?

/Daniel

Det är väl egentligen bara ett problem i prestandan. Men med ashift-hacket så har jag inte haft några problem med mina.
Men det är helt klart bättre med constellation eller re4 om dom ska gå 24/7 - dom diskarna är gjorda för det. Men med lite strömjusteringar så diskarna går i viloläge, så håller konsumentdiskar tillräckligt länge, iaf för mina behov.

Jag testade lite häromdagen, och läsning i min array låg runt 400MB/s, och skrivningen låg på ca 300MB/s.
Förmodligen kommer jag införskaffa lite mer exotiska nätverksanslutningar, men det får bli när studierna är över och man har nån form av inkomst

WS: Asus P8Z77-I Deluxe mITX | Intel 3770K@4.6 | NH-U12P | Asus 780 GTX | Corsair 2x8GB 1600Mhz CL9 | Samsung 840 512GB | Ubuntu 14.04 x86_64 | Corsair AX750 | 2x Dell U2412M | Puppe.se | NAS: i7 860, 16GB DDR3, GA-P55M-UD4, FD Define R3, 8x2TB Samsung F4EG, Serveraid M1015, EVGA 750W G2 PSU, FreeBSD x64

Trädvy Permalänk
Medlem
Plats
Hedemora
Registrerad
Maj 2006

Ja det är ju rätt så stor prisskillnad på re diskarna mot vanliga, ser du använder samsungdiskar, fungerat bra?
Sant det du säger om strömspararläge, är ju onödigt att diskarna går hela tiden även om det sägs att det är upp och nervarvning som ska ta död på dem.

Det va rätt så höga överföringssiffror du hade, och "bara" med en i3 530 som i sign alltså?
Då xeon 1220L bara är på 2.2Ghz så kan man vänta sig lite lägre hastigheter antar jag, men ändå säkert runt 200Mb/s är ju mer än tillräckligt.

Ja nog skulle jag vilja ha bättre än gigabitnät hemma har kollat många gånger på 10Gbe men allt är ju så jäkla dyrt.. inget tips på detta?
Finns ju annat som infiniband men det känns också väldigt dyrt.

2 portars nic kostar ju inte så fasligt mycket, men då lär du väl även ha en switch som stödjer detta? Då får man alltså 1Gbit åt båda hållen?
http://www.prisjakt.nu/produkt.php?p=79419

Edit; Såg nu att 1220L hade turbo upp till 3.4Ghz då borde den ju vara lika snabb som din i5a om inte lite till, eller gäller det bara en kärna och så länge som tdp kan hålla sig under 20w?

Ws 2600k, Sabertooth, 16gb, 7970, 840evo, 1xEizo S2433, 2xEV2436, Arch Htpc NUC I3 4010, 8gb, Arch Server Supermicro x11, xeon 1240v5, 32gb ecc, proxmox with 4vm Mobile OP2 Cm13

Trädvy Permalänk
Medlem
Plats
Kalmar
Registrerad
Jan 2011
Skrivet av Daniel86:

Ja det är ju rätt så stor prisskillnad på re diskarna mot vanliga, ser du använder samsungdiskar, fungerat bra?
Sant det du säger om strömspararläge, är ju onödigt att diskarna går hela tiden även om det sägs att det är upp och nervarvning som ska ta död på dem.

Det va rätt så höga överföringssiffror du hade, och "bara" med en i3 530 som i sign alltså?
Då xeon 1220L bara är på 2.2Ghz så kan man vänta sig lite lägre hastigheter antar jag, men ändå säkert runt 200Mb/s är ju mer än tillräckligt.

Ja nog skulle jag vilja ha bättre än gigabitnät hemma har kollat många gånger på 10Gbe men allt är ju så jäkla dyrt.. inget tips på detta?
Finns ju annat som infiniband men det känns också väldigt dyrt.

2 portars nic kostar ju inte så fasligt mycket, men då lär du väl även ha en switch som stödjer detta? Då får man alltså 1Gbit åt båda hållen?
http://www.prisjakt.nu/produkt.php?p=79419

Edit; Såg nu att 1220L hade turbo upp till 3.4Ghz då borde den ju vara lika snabb som din i5a om inte lite till, eller gäller det bara en kärna och så länge som tdp kan hålla sig under 20w?

överföringshastigheten är inte speciellt CPU-beroende, jag har en c2quad och den klarar 300 MB/s utan problem. läsning är ju det absolut minst CPU-intensiva.

när behöver du mer än 100 MB/s till en annan maskin? behöver du mer från servern är det ju bättre att teama ett par gigabitnätverkskort. 1Gbit åt båda hållen får du ju med ett kort eftersom det kör full duplex, har du två kort får ju 2 Gbit full duplex. 10 GbE och Infiniband är så dyrt så det är aldrig värt det. saken är även den att det som egentligen spelar roll i slutänden är IOPS, inte maximal överföringshastighet vid sekventiell läsning. så fort du blandar in läsning/skrivning och kombinationer av dessa från flera ställen på disken så kommer du har svårt att fylla en gigabit-lina.

enda gången du behöver riktigt mycket CPU-kräm är om du kör med disk-kryptering.

Arbetsstation: Macbook Pro Retina 15", Core i7 2,6 GHz, 16 GB RAM, 512 GB SSD
NAS: Synology 1812+ har numera ersatt min filserver
Blog: http://www.nickebo.net/
Twitter: @linuxprofessor
Övrigt: Linux/UNIX/OpenVMS, ZFS, lagring och systemövervakning

Trädvy Permalänk
Medlem
Plats
Karlstad
Registrerad
Mar 2002

1220L är om inte annat en väldigt trevlig processor. Har en sådan i min filserver och den drar som det är nu med FreeNAS 0.7.5.9898 25W i idle, då med 5st mekaniska diskar på 5400 RPM och en 60GB Intel 520 som SSD-cache.

Marantz NR1605, Rotel RB1090, Ino Audio piPs
Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060

Trädvy Permalänk
Medlem
Plats
Närmaste router
Registrerad
Jul 2001

Jag kör på en i3-2100T, levererar ca 290/320MB/s på 7st 2TB diskar i Raidz2.

Kör med Linux i botten med ZFSonLinux. http://zfsonlinux.org/ vilket gav bättre prestanda än ZFS-FUSE som jag testade förut.
Struntade helt i 4K problematiken för det fanns inget enkelt sätt att lösa det i Linux (i alla fall inte då när jag byggde den). Men jag testade prestandan utan att göra något och jag har inget att klaga på måste jag säga.

Valet av Linux föll på att jag även vill virtualisera på kärran. Måste säga att det fungerat ypperligt, så glöm inte att det även gör att köra ZFS på Linux.

"Datorn har ju fan mer dragningskraft än jorden. Skulle jag ramla skulle jag hamna i datorstolen & inte på golvet."