Ny ESX Datastore - bygga egen NAS

Kör en ESXi server idag där jag har lagringen lokalt på serven, men jag får inte hotswap, och är begränsad i övrigt så nu tänkte jag bygga en NAS som ska ta hand om all lagring för servern samt backuper, media osv.

ESXi servern har följande specs:
- 64 GB ECC RAM
- Dual CPU Xeon E5-2670
- ASUS Z9PE-D16/2L Moderkort

Serven hostar 10 domäner med bl.a. ownCloud, Wordpress, och Plex + ruTorrent på. I dagsläget är vi 3 st som vill kunna streama 4K samtidigt och allt ska fungera som idag d.v.s. utan problem eller lagg. Min största oro är datakorruption och att det går för segt att skriva data. Tyvärr har jag bara 1Gbit NICs, men 100MB/s borde ju funka utan att det ska lagga(?) Det kommer att bli hyfsat diskintensivt och jag har kikat på lite olika alternativ och kommit fram till detta:

Den tänkta NASen hade jag tänkt något sånt här:
- CPU
- RAM
- Moderkort
- Chassi
- Diskar
- CPU kylning
- PSU

Tror ni att det blir lite overkill med processorn då servern kommer sköta all beräkning, samt skulle ni satt diskarna på moderkortet (8 st SATA) eller ska jag använda befintligt RAID-kort i servern (Dell Perc H310)? Sen vad ska jag köra för OS? Xpenology (btrfs), eller FreeNAS (zfs)?

Kom gärna med tips och råd angående hur ni hade gjort, även gällande mjukvara.

Det kommer sluta på cirka 10K

Jo, det hade vart perfekt att köpa en sån om det inte vore för processorn, jag tvivlar på att en Atom processor passar för det som ska utföras. Samt så vill jag gärna ha stöd för ECC.

Nej alltså hela NASen landar på cirka 10K. CPUn står för 2900 kr av det. Jo, hosten ska sköta alla beräkningar, men tester jag gjort med en QNAP jag har ger mig 300 Mbit/s vilket är för lite - den har en Intel® Atom D2700.

Sen är steget från den processorn till Intel Atom C2538 (Synology DiskStation DS1815+) cirka 1500 i passmark, men tror ni verkligen man kan få ut 1 Gbit/s med den processorn?

Jag vill även ha med felberäkningar som Xeon och ECC ger mig, och 2000 kr extra för att få exakt vad jag vill kan väl vara värt?

Tanken är att jag ska ta diskarna i min ESX server + HTPC och flytta till en NAS som kommer att sköta all lagring via NFS, dock kommer servern att sköta alla beräkningar. Därav ESX Datastore --> NAS.

Tack för bra svar. Tyvärr blir det enbart 1Gbit. Men hur sätter man upp aggregerade länkar som du sa?

Idag ser det ut såhär: OPNSense 4 portars NIC | ESX Server 2 portars NiC 1 MGMT + 1 för alla VMs i olika VLAN| Blivande NAS 2 portars NIC
Samtliga är 1 GbE.

EDIT: Såg nu att det var ganska enkelt att sätta upp i ESX, behöver ett nytt 4 portar NIC bara. Det skulle bli 2 NIC för alla VMs | 1 NIC för MGMT.

Kör redan allt på Ubuntu Server
Anledningen till ruTorrent är att jag vill kunna adda torrents remote då vi är flera som delar, funkar jättebra. Kikade på Atomic Toolkitten, men det blev ruTorrent + Plex enbart.

Som jag skrev i ovan inlägg (EDIT) så blir det nog akutellt att skaffa ett nytt NIC och köra NIC Theming i ESX. Vad jag förstår så är det samma sak som link aggregate @calle?

Är det inte bara att köra NIC Theming och sen dra 2 kablar direkt från ESX till NASen?

Ska googla.

Beställt ett nytt Intel-350 4 portas NIC nu som kommer sitta i servern, så totalt 6 GbE portar på ESX servern.

Helt rätt, länkade fel minnen, tack för detta!

Jo, du har rätt, det finns bara i DSM 6 och Xpenology har inte släppt det ännu afaik.

Någon ms slöare gör mig inte så mycket för de fördelar jag får. Om en disk krashar idag, eller om jag måste byta den så måste jag stänga ner hela servern, bort med plåt osv, byta disken, och rebuilda den. Det tar tid, och jag har SLA som jag måste hålla. Därför är jag nu inne på en NAS där jag enkelt kan byta med hotswap på ett system som körs. vad jag förstår så ska FreeNAS stödja detta?

Sen till nästa stora fråga. NFS eller iSCSI? Tydligen så rekomenderar inte FreeNAS att man använder mer än 50% utav utrymmet i en pool p.g.a. fragmentation, ska man göra 2 st pooler för att dela upp det? Känns bökigt. NFS å andra sidan verkar vara ett bra val om man har en SLOG i form av en SSD, däemot uppstår latens om den skriver så pass mycket att packet måste vänta i kö - vad jag förstått iaf.

Enligt FreeNAS (som det lutar åt att jag kör) så rekomenderar dom antingen att man stoppar diskarna på MB, eller att jag flashar om nuvarande kort (Dell PERC H310) till LSI2008 vilket är orginalfirmware. Hur högt tror du det får vara, någon erfarenhet?

Nu när mitt nya NIC kommer, skulle det då funka att köra Cat6 mellan 2 portar på NASen och 2 portar på ESX hosten? Läste något om olika subnet i det fallet, eller är jag ute och cyklar?

EDIT: Det kallas "multi-path".

Ok jag sa lite fel, 600 MBit/s, men fortfarande lite. Kan bero på att jag kopplat lite fel så trafiken passerar igenom brandväggen först. Jag ska prova koppla om det till en switch senare och se om det gör skillnad.

Efter att ha googlat hela dan (mer än 12 timmar) så har jag nu kommit fram till att det är MPIO och iSCSI jag ska ha. Detta beror på begränsingar i NFS tillammans med FreeNAS, man måste typ ha SLOG device för att det ska flyta bra och en sån kostar skjortan om man vill ha det som rekomenderas - d.v.s. SSD med SLC, typ denna.

ZFS är en hel vetenskap och jag har försökt sätta mig in i det. Det verka vara väldigt krävande, bara en sån sak som att prestandan sjunker när mer än 50% av disken används, det var ganska kasst. Det har fått mig att tvivla lite på ZFS faktiskt. Kanske skulle man bara köra en plain Xpenology ändå?

Jag tror att mitt kort ska passa, det är low profile. Har inte mätt, men det ska nog gå bra. I värsta fall får jag sätta diskarna på moderkortet direkt bara.

Har du någonsin kört iSCISI med MPIO? Jag är ute efter att sätta upp det med 2 NIC på varje sida, alltså 2 NIC på NASen och 2 NIC på ESX hosten. Hur gör man för att få ut 2 X 1 GbE, dels i FreeNAS och dels i ESX, är det Round Robin som gäller?

Snackade med FreeNAS grabbarna på IRC igår, och ja, det är den lösningen som kommer att bli aktuell. Då kan jag använda 1 GbE nicet på MB/ESX host som failover. Det blir alltså en kabel direkt från NAS till ESX host med 10 GbE är tanken.

Ärligt talat så är det samtliga ovanstående. Det är kul att bygga, och jag vill ha en dedikerad lösning för lagring, och dedikerad server. NAS är ju fattiglappsSAN och jag tänkte jag får börja nånstans. Däremot är det nu aktuellt med 10 GbE kort så då hoppas jag få ut vad diskarna maxar, speciellt då övrig hårdvara ska klara betydligt mycket mer än så. Flaskhalsen som jag ser det är just Ethernet.

Enligt råd från en admin på FreeNAS så blir det NFS med SLOG istället. Det där med att man behövde SLC diskar var för många år sen, och enligt honom så duger det med 2 mirrored Intel 540. Det underlättar en hel del då NFS är mycket enklare att sätta upp, samt ger mig egenskaper som att kopera och flytta filer på ett annat sätt än vad iSCSI gör.

Dock hade iSCISI inte vart några problem att sätta upp. Hittade hur mycket gudier somhelst gällande det, men NFS känns bekvämare, och nu när det blir SLOG så känner jag mig inte orolig för att det kommer gå segt. Har även en hel del RAM tillgodo då jag maxade MB och beställde 32 GB direkt.

Ja, du har en bra poäng. Det blir fler SPOF. Men bortsett från det så sparar jag en massa tid då jag kan byta diskar på ett live system, lagringen blir central, samt ZFS som är felkorrigeranfe. Kan också nämna att jag vill ifrån lösning med interna diskar som jag nämnt tidigare.

Jag har testkört lite med min QNAP som NFS storage, och det funkar OK för hemmabruk, men det laggar för mycket när man besöker sidor och jobbar via SSH, installerar VMer osv för att det ska vara godkänt. Därav detta bygge.

----

Mitt nästa problem blir mellanlagringen när jag ska flytta alla VMs på ESX hosten och rebuilda diskarna. Har en gammal server som jag eventuellt kan migrera det viktigaste till, samt en off-site backup server som kan agera host för mina Wordpress domäner. Dock skulle det vara bra om någon hade 5 TB över i några dagar och bra lina.

SLA blir inte aktuellt förens 1 oktober och då måste allt vara klart, testat och benchmarkat. Här är SLA för den som undrar.

Lite fakta gällande NFS/iSCSI i ESXi: http://www.vmware.com/content/dam/digitalmarketing/vmware/en/...