Ny ESX Datastore - bygga egen NAS

Permalänk
Medlem

Ny ESX Datastore - bygga egen NAS

Kör en ESXi server idag där jag har lagringen lokalt på serven, men jag får inte hotswap, och är begränsad i övrigt så nu tänkte jag bygga en NAS som ska ta hand om all lagring för servern samt backuper, media osv.

ESXi servern har följande specs:
- 64 GB ECC RAM
- Dual CPU Xeon E5-2670
- ASUS Z9PE-D16/2L Moderkort

Serven hostar 10 domäner med bl.a. ownCloud, Wordpress, och Plex + ruTorrent på. I dagsläget är vi 3 st som vill kunna streama 4K samtidigt och allt ska fungera som idag d.v.s. utan problem eller lagg. Min största oro är datakorruption och att det går för segt att skriva data. Tyvärr har jag bara 1Gbit NICs, men 100MB/s borde ju funka utan att det ska lagga(?) Det kommer att bli hyfsat diskintensivt och jag har kikat på lite olika alternativ och kommit fram till detta:

Den tänkta NASen hade jag tänkt något sånt här:
- CPU
- RAM
- Moderkort
- Chassi
- Diskar
- CPU kylning
- PSU

Tror ni att det blir lite overkill med processorn då servern kommer sköta all beräkning, samt skulle ni satt diskarna på moderkortet (8 st SATA) eller ska jag använda befintligt RAID-kort i servern (Dell Perc H310)? Sen vad ska jag köra för OS? Xpenology (btrfs), eller FreeNAS (zfs)?

Kom gärna med tips och råd angående hur ni hade gjort, även gällande mjukvara.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Har inte räknat på vad din spec skulle kosta men här finns ju en färdig, smidig och supportad lösning: Synology DiskStation DS1815+

Den är väl även certifierad för ESXi men jag har inte testat det själv så jag vet inte hur bra eller dåligt det lirar i praktiken.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Micke O:

Har inte räknat på vad din spec skulle kosta men här finns ju en färdig, smidig och supportad lösning: Synology DiskStation DS1815+

Den är väl även certifierad för ESXi men jag har inte testat det själv så jag vet inte hur bra eller dåligt det lirar i praktiken.

Det kommer sluta på cirka 10K

Jo, det hade vart perfekt att köpa en sån om det inte vore för processorn, jag tvivlar på att en Atom processor passar för det som ska utföras. Samt så vill jag gärna ha stöd för ECC.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av enoch85:

Det kommer sluta på cirka 10K

Jo, det hade vart perfekt att köpa en sån om det inte vore för processorn, jag tvivlar på att en Atom processor passar för det som ska utföras. Samt så vill jag gärna ha stöd för ECC.

CPUn? Skulle du inte ha den för lagring och låta VMar på host:en sköta tjänsterna?

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av enoch85:

Det kommer sluta på cirka 10K

Jo, det hade vart perfekt att köpa en sån om det inte vore för processorn, jag tvivlar på att en Atom processor passar för det som ska utföras. Samt så vill jag gärna ha stöd för ECC.

Det är en server atom (fd rangeley) så den har ecc stöd däremot vet jag inte om synology nyttjar ecc i den modellen.

Permalänk
Medlem
Skrivet av Micke O:

CPUn? Skulle du inte ha den för lagring och låta VMar på host:en sköta tjänsterna?

Nej alltså hela NASen landar på cirka 10K. CPUn står för 2900 kr av det. Jo, hosten ska sköta alla beräkningar, men tester jag gjort med en QNAP jag har ger mig 300 Mbit/s vilket är för lite - den har en Intel® Atom D2700.

Sen är steget från den processorn till Intel Atom C2538 (Synology DiskStation DS1815+) cirka 1500 i passmark, men tror ni verkligen man kan få ut 1 Gbit/s med den processorn?

Jag vill även ha med felberäkningar som Xeon och ECC ger mig, och 2000 kr extra för att få exakt vad jag vill kan väl vara värt?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Jag är inte riktigt med på vad du vill göra, ska du ersätta din befintliga server med en ny "All-in-one" där du kör Compute och Storage på samma eller ska du behålla befintlig server och flytta ut lagring och compute på en till?

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem
Skrivet av Calle:

Jag är inte riktigt med på vad du vill göra, ska du ersätta din befintliga server med en ny "All-in-one" där du kör Compute och Storage på samma eller ska du behålla befintlig server och flytta ut lagring och compute på en till?

Tanken är att jag ska ta diskarna i min ESX server + HTPC och flytta till en NAS som kommer att sköta all lagring via NFS, dock kommer servern att sköta alla beräkningar. Därav ESX Datastore --> NAS.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Då kommer en lite värre Synology kunna funka alldeles utmärkt. Min gamla N36L orkade fylla ett gigabitsnöre.

Jag tror dock att du kommer att bli lite besviken på att ha 1Gbit mellan beräkning och lagring så se till att du iaf kan köra flera aggregerade länkar om du inte går upp på 10Gbit.

EDIT: Men det går såklart att bygga något själv också. Men jag skulle dock se till att få in typ 4st 1GbE alternativt en 1st 1GbE för management och en 10Gb länk till ESXi Servern.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem
Skrivet av Calle:

Då kommer en lite värre Synology kunna funka alldeles utmärkt. Min gamla N36L orkade fylla ett gigabitsnöre.

Jag tror dock att du kommer att bli lite besviken på att ha 1Gbit mellan beräkning och lagring så se till att du iaf kan köra flera aggregerade länkar om du inte går upp på 10Gbit.

EDIT: Men det går såklart att bygga något själv också. Men jag skulle dock se till att få in typ 4st 1GbE alternativt en 1st 1GbE för management och en 10Gb länk till ESXi Servern.

Tack för bra svar. Tyvärr blir det enbart 1Gbit. Men hur sätter man upp aggregerade länkar som du sa?

Idag ser det ut såhär: OPNSense 4 portars NIC | ESX Server 2 portars NiC 1 MGMT + 1 för alla VMs i olika VLAN| Blivande NAS 2 portars NIC
Samtliga är 1 GbE.

EDIT: Såg nu att det var ganska enkelt att sätta upp i ESX, behöver ett nytt 4 portar NIC bara. Det skulle bli 2 NIC för alla VMs | 1 NIC för MGMT.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

En 1080p på Plex är cirkus 9.8~ mb/s för att streama har jag märkt, men för 4k skulle jag nog tippa på mellan 30-40 mb/s (ja.. Jag orkar inte bry mig om skriver fel förkortningar nu)

Så du blir nog begränsad av endast 1GBe :/ Ifall du vill ha 3 st streams igång samtidigt!

Sen ett tips om du kör torrent och plex.. Antar att du kör sickrage samt couchpotato?

Kör in allt på Ubuntu Server och installera Atomic Toolkit så installerar den alla paket som du vill utan att besvära för mycket

Märkte enorm skillnad både på prestanda och indexering för plex

Permalänk
Medlem

Kortfattat behöver du ha ett antal 1GbE interface på både ESXi och NAS samt en switch som stödjer Link Aggregation (802.3ad). HP 1810 (G) serien är ett exmepel på en sådan.

Sedan skapar du grupper av flera interface för att öka den totala mängden bandbredd du kan överföra. Dock kan en enskild session inte nyttja mer än ett interface.

Om du googlar lite på det utifrån det OS du hade tänkt på NASen och även i ESXi kommer du att hitta en massa bra info samt guider.

Visa signatur

AMD Ryzen 7950x3D | Asus ROG Strix B650E-E | 32GB G.Skill DDR5 6000Hz CL30 | ASUS TUF RX 7900 XTX OC | Cooler Master Tempest GP27U, Dell U2515H

Permalänk
Medlem
Skrivet av Philippk:

En 1080p på Plex är cirkus 9.8~ mb/s för att streama har jag märkt, men för 4k skulle jag nog tippa på mellan 30-40 mb/s (ja.. Jag orkar inte bry mig om skriver fel förkortningar nu)

Så du blir nog begränsad av endast 1GBe :/ Ifall du vill ha 3 st streams igång samtidigt!

Sen ett tips om du kör torrent och plex.. Antar att du kör sickrage samt couchpotato?

Kör in allt på Ubuntu Server och installera Atomic Toolkit så installerar den alla paket som du vill utan att besvära för mycket

Märkte enorm skillnad både på prestanda och indexering för plex

Kör redan allt på Ubuntu Server
Anledningen till ruTorrent är att jag vill kunna adda torrents remote då vi är flera som delar, funkar jättebra. Kikade på Atomic Toolkitten, men det blev ruTorrent + Plex enbart.

Som jag skrev i ovan inlägg (EDIT) så blir det nog akutellt att skaffa ett nytt NIC och köra NIC Theming i ESX. Vad jag förstår så är det samma sak som link aggregate @calle?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av Calle:

Kortfattat behöver du ha ett antal 1GbE interface på både ESXi och NAS samt en switch som stödjer Link Aggregation (802.3ad). HP 1810 (G) serien är ett exmepel på en sådan.

Sedan skapar du grupper av flera interface för att öka den totala mängden bandbredd du kan överföra. Dock kan en enskild session inte nyttja mer än ett interface.

Om du googlar lite på det utifrån det OS du hade tänkt på NASen och även i ESXi kommer du att hitta en massa bra info samt guider.

Är det inte bara att köra NIC Theming och sen dra 2 kablar direkt från ESX till NASen?

Ska googla.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Beställt ett nytt Intel-350 4 portas NIC nu som kommer sitta i servern, så totalt 6 GbE portar på ESX servern.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

RAM minnet du länkar till är DDR4 SO-DIMM medans moderkortet tar "vanliga" DDR4, ville bara påpeka

Om jag kommer ihåg rätt så stöds bara btrfs-filsystemet med DSM 6.
Det är endast någon enstaka person som fått igång XPenology med DSM 6, vad jag har läst i alla fall.

Tänk på att i DS380 så är det stor risk att en hårddiskplats ryker om man inte använder ett väldigt lågt RAID-kort, om du nu får för dig att göra detta.

Mina erfarenheter av att ha lagring lokalt eller externt till ESXi, har bara testat hemma med olika lösningar och inga företagslösningar, är att det är en fördel att ha lagringen internt i ESXi-servern om man har väldigt diskintensiva applikationer.
Har provat att ha en 6-diskars RAID 10 på ett Adaptec 71605 både internt i servern och i en extern låda (komplett dator med Windows 2012 R2) med 4 NIC i LACP och systemet känns "rappare" med lagringen internt.

Men jag har inga erfarenheter av de applikationer du ska köra och hur krävande de är, det kanske är fullt tillräckligt med en 2 NIC LACP.

Permalänk
Medlem
Skrivet av axxel:

RAM minnet du länkar till är DDR4 SO-DIMM medans moderkortet tar "vanliga" DDR4, ville bara påpeka

Om jag kommer ihåg rätt så stöds bara btrfs-filsystemet med DSM 6.
Det är endast någon enstaka person som fått igång XPenology med DSM 6, vad jag har läst i alla fall.

Tänk på att i DS380 så är det stor risk att en hårddiskplats ryker om man inte använder ett väldigt lågt RAID-kort, om du nu får för dig att göra detta.

Mina erfarenheter av att ha lagring lokalt eller externt till ESXi, har bara testat hemma med olika lösningar och inga företagslösningar, är att det är en fördel att ha lagringen internt i ESXi-servern om man har väldigt diskintensiva applikationer.
Har provat att ha en 6-diskars RAID 10 på ett Adaptec 71605 både internt i servern och i en extern låda (komplett dator med Windows 2012 R2) med 4 NIC i LACP och systemet känns "rappare" med lagringen internt.

Men jag har inga erfarenheter av de applikationer du ska köra och hur krävande de är, det kanske är fullt tillräckligt med en 2 NIC LACP.

Känns rappare beror sannolikt på att din data inte landat på disk trots att din server visar det utan bara i raidcachen så det gäller att ha batteribackup på raidkortet eller ups. Känslan går eventuellt att replikera genom att konfigurera den externa burken till att vara mer write and forget.

Permalänk
Medlem
Skrivet av aluser:

Känns rappare beror sannolikt på att din data inte landat på disk trots att din server visar det utan bara i raidcachen så det gäller att ha batteribackup på raidkortet eller ups. Känslan går eventuellt att replikera genom att konfigurera den externa burken till att vara mer write and forget.

Mycket möjligt att det kan var på det viset, har som sagt bara testat, inte gjort några pedagogiska/strukturerade tester.
Har dock använt samma hårdvara vad gäller RAID i båda fallen, d.v.s. Adaptec 71605 inkl. BBU, 6st 1TB diskar och 2st SSD som MaxCache.

Permalänk
Medlem
Skrivet av axxel:

RAM minnet du länkar till är DDR4 SO-DIMM medans moderkortet tar "vanliga" DDR4, ville bara påpeka

Om jag kommer ihåg rätt så stöds bara btrfs-filsystemet med DSM 6.
Det är endast någon enstaka person som fått igång XPenology med DSM 6, vad jag har läst i alla fall.

Tänk på att i DS380 så är det stor risk att en hårddiskplats ryker om man inte använder ett väldigt lågt RAID-kort, om du nu får för dig att göra detta.

Mina erfarenheter av att ha lagring lokalt eller externt till ESXi, har bara testat hemma med olika lösningar och inga företagslösningar, är att det är en fördel att ha lagringen internt i ESXi-servern om man har väldigt diskintensiva applikationer.
Har provat att ha en 6-diskars RAID 10 på ett Adaptec 71605 både internt i servern och i en extern låda (komplett dator med Windows 2012 R2) med 4 NIC i LACP och systemet känns "rappare" med lagringen internt.

Men jag har inga erfarenheter av de applikationer du ska köra och hur krävande de är, det kanske är fullt tillräckligt med en 2 NIC LACP.

Helt rätt, länkade fel minnen, tack för detta!

Jo, du har rätt, det finns bara i DSM 6 och Xpenology har inte släppt det ännu afaik.

Någon ms slöare gör mig inte så mycket för de fördelar jag får. Om en disk krashar idag, eller om jag måste byta den så måste jag stänga ner hela servern, bort med plåt osv, byta disken, och rebuilda den. Det tar tid, och jag har SLA som jag måste hålla. Därför är jag nu inne på en NAS där jag enkelt kan byta med hotswap på ett system som körs. vad jag förstår så ska FreeNAS stödja detta?

Sen till nästa stora fråga. NFS eller iSCSI? Tydligen så rekomenderar inte FreeNAS att man använder mer än 50% utav utrymmet i en pool p.g.a. fragmentation, ska man göra 2 st pooler för att dela upp det? Känns bökigt. NFS å andra sidan verkar vara ett bra val om man har en SLOG i form av en SSD, däemot uppstår latens om den skriver så pass mycket att packet måste vänta i kö - vad jag förstått iaf.

Enligt FreeNAS (som det lutar åt att jag kör) så rekomenderar dom antingen att man stoppar diskarna på MB, eller att jag flashar om nuvarande kort (Dell PERC H310) till LSI2008 vilket är orginalfirmware. Hur högt tror du det får vara, någon erfarenhet?

Nu när mitt nya NIC kommer, skulle det då funka att köra Cat6 mellan 2 portar på NASen och 2 portar på ESX hosten? Läste något om olika subnet i det fallet, eller är jag ute och cyklar?

EDIT: Det kallas "multi-path".

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Skrivet av enoch85:

Nej alltså hela NASen landar på cirka 10K. CPUn står för 2900 kr av det. Jo, hosten ska sköta alla beräkningar, men tester jag gjort med en QNAP jag har ger mig 300 Mbit/s vilket är för lite - den har en Intel® Atom D2700.

Sen är steget från den processorn till Intel Atom C2538 (Synology DiskStation DS1815+) cirka 1500 i passmark, men tror ni verkligen man kan få ut 1 Gbit/s med den processorn?

Jag vill även ha med felberäkningar som Xeon och ECC ger mig, och 2000 kr extra för att få exakt vad jag vill kan väl vara värt?

Bara 300Mbit? Min gamla 1512+ med fyra WD Red och avsevärt mycket tröttare propp fyller utan att svettas en Gbit-lina SMB/CIFS (eller pratar vi transcoding?). Däremot vet jag inte hur prestanda blir om man kör NFS eller iSCSI, det kanske du kan hitta svar på här http://www.storagereview.com/synology_diskstation_ds1815_review

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av enoch85:

Helt rätt, länkade fel minnen, tack för detta!

Jo, du har rätt, det finns bara i DSM 6 och Xpenology har inte släppt det ännu afaik.

Någon ms slöare gör mig inte så mycket för de fördelar jag får. Om en disk krashar idag, eller om jag måste byta den så måste jag stänga ner hela servern, bort med plåt osv, byta disken, och rebuilda den. Det tar tid, och jag har SLA som jag måste hålla. Därför är jag nu inne på en NAS där jag enkelt kan byta med hotswap på ett system som körs. vad jag förstår så ska FreeNAS stödja detta?

Sen till nästa stora fråga. NFS eller iSCSI? Tydligen så rekomenderar inte FreeNAS att man använder mer än 50% utav utrymmet i en pool p.g.a. fragmentation, ska man göra 2 st pooler för att dela upp det? Känns bökigt. NFS å andra sidan verkar vara ett bra val om man har en SLOG i form av en SSD, däemot uppstår latens om den skriver så pass mycket att packet måste vänta i kö - vad jag förstått iaf.

Enligt FreeNAS (som det lutar åt att jag kör) så rekomenderar dom antingen att man stoppar diskarna på MB, eller att jag flashar om nuvarande kort (Dell PERC H310) till LSI2008 vilket är orginalfirmware. Hur högt tror du det får vara, någon erfarenhet?

Nu när mitt nya NIC kommer, skulle det då funka att köra Cat6 mellan 2 portar på NASen och 2 portar på ESX hosten? Läste något om olika subnet i det fallet, eller är jag ute och cyklar?

EDIT: Det kallas "multi-path".

Vad jag vet så ska FreeNAS stödja hotswap, hänger väl mer på hårdvara tror jag och det sitter ju ett bakplan i DS380 så det ska nog inte vara några problem.

Ja NFS eller iSCSI, av någon anledning så gillar jag NFS bättre i och med att man inte behöver skapa LUN's, men det är helt personligt.
I ESXi 6.0 så lade Vmware till stöd för NFS 4.1, vilket ska snabba upp NFS jämfört med version 3 och nya möjligheter med MPIO, men den enda mjukvara som jag hittat som stödjer NFS 4.1 (i form av lagrings OS/NAS) så är det Windows 2012, och tyvärr är där en bugg som gör att om man mappar en NFS share från ESXi så blir den bara read-only vilket inte är till mycket nytta. En liten parentes

Det kort jag testade med i DS380 är ett LSI 9223-8i och det är ca 70mm högt från undersidan på pci-e till översidan på kortet och det räcker för att en bay inte ska gå att använda, tror det står i manualen till DS380 faktiskt.

Har inte provat att direktkoppla NIC'en mellan ESXi hosten och NAS'en men det borde fungera. Tror det rekommenderas att man använder ett annat subnät för lagringen än vad management ligger på för att separera trafiken eller något, eller menade du olika subnät för MPIO? Det har jag faktiskt inte riktigt koll på.
Har bara skummat igenom vissa KB på Vmwares hemsida.

Permalänk
Medlem
Skrivet av Micke O:

Bara 300Mbit? Min gamla 1512+ med fyra WD Red och avsevärt mycket tröttare propp fyller utan att svettas en Gbit-lina SMB/CIFS (eller pratar vi transcoding?). Däremot vet jag inte hur prestanda blir om man kör NFS eller iSCSI, det kanske du kan hitta svar på här http://www.storagereview.com/synology_diskstation_ds1815_review

Ok jag sa lite fel, 600 MBit/s, men fortfarande lite. Kan bero på att jag kopplat lite fel så trafiken passerar igenom brandväggen först. Jag ska prova koppla om det till en switch senare och se om det gör skillnad.

Skrivet av axxel:

Vad jag vet så ska FreeNAS stödja hotswap, hänger väl mer på hårdvara tror jag och det sitter ju ett bakplan i DS380 så det ska nog inte vara några problem.

Ja NFS eller iSCSI, av någon anledning så gillar jag NFS bättre i och med att man inte behöver skapa LUN's, men det är helt personligt.
I ESXi 6.0 så lade Vmware till stöd för NFS 4.1, vilket ska snabba upp NFS jämfört med version 3 och nya möjligheter med MPIO, men den enda mjukvara som jag hittat som stödjer NFS 4.1 (i form av lagrings OS/NAS) så är det Windows 2012, och tyvärr är där en bugg som gör att om man mappar en NFS share från ESXi så blir den bara read-only vilket inte är till mycket nytta. En liten parentes

Det kort jag testade med i DS380 är ett LSI 9223-8i och det är ca 70mm högt från undersidan på pci-e till översidan på kortet och det räcker för att en bay inte ska gå att använda, tror det står i manualen till DS380 faktiskt.

Har inte provat att direktkoppla NIC'en mellan ESXi hosten och NAS'en men det borde fungera. Tror det rekommenderas att man använder ett annat subnät för lagringen än vad management ligger på för att separera trafiken eller något, eller menade du olika subnät för MPIO? Det har jag faktiskt inte riktigt koll på.
Har bara skummat igenom vissa KB på Vmwares hemsida.

Efter att ha googlat hela dan (mer än 12 timmar) så har jag nu kommit fram till att det är MPIO och iSCSI jag ska ha. Detta beror på begränsingar i NFS tillammans med FreeNAS, man måste typ ha SLOG device för att det ska flyta bra och en sån kostar skjortan om man vill ha det som rekomenderas - d.v.s. SSD med SLC, typ denna.

ZFS är en hel vetenskap och jag har försökt sätta mig in i det. Det verka vara väldigt krävande, bara en sån sak som att prestandan sjunker när mer än 50% av disken används, det var ganska kasst. Det har fått mig att tvivla lite på ZFS faktiskt. Kanske skulle man bara köra en plain Xpenology ändå?

Jag tror att mitt kort ska passa, det är low profile. Har inte mätt, men det ska nog gå bra. I värsta fall får jag sätta diskarna på moderkortet direkt bara.

Har du någonsin kört iSCISI med MPIO? Jag är ute efter att sätta upp det med 2 NIC på varje sida, alltså 2 NIC på NASen och 2 NIC på ESX hosten. Hur gör man för att få ut 2 X 1 GbE, dels i FreeNAS och dels i ESX, är det Round Robin som gäller?

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem

Det kanske är dags att investera i 10GbE?

Visa signatur

Marantz NR1605, Rotel RB1090, Ino Audio piPs
SMSL SP200 THX Achromatic Audio Amplifier 888, SMSL M400, Audio-Gd NFB-11 (2015), Objective2+ODAC RevB, Audeze LCD-2 Rosewood, Monoprice M1060, ATH-M40x, Sennheiser HD660S, DROP X KOSS ESP/95X, Koss KPH30i, DROP X HiFiMan HE4XX

Permalänk
Medlem

Är huvudanledningen att du vill köra ett NAS hotswap, brist på HDDslots i ditt nuvarande server chassi eller att det är kul att bygga?

Det blir ju en ganska stor förminskning att gå från 3-6Gbit per disk idag till 1-2Gbit för hela volymen.

Skickades från m.sweclockers.com

Permalänk
Medlem
Skrivet av enoch85:

Ok jag sa lite fel, 600 MBit/s, men fortfarande lite. Kan bero på att jag kopplat lite fel så trafiken passerar igenom brandväggen först. Jag ska prova koppla om det till en switch senare och se om det gör skillnad.

Efter att ha googlat hela dan (mer än 12 timmar) så har jag nu kommit fram till att det är MPIO och iSCSI jag ska ha. Detta beror på begränsingar i NFS tillammans med FreeNAS, man måste typ ha SLOG device för att det ska flyta bra och en sån kostar skjortan om man vill ha det som rekomenderas - d.v.s. SSD med SLC, typ denna.

ZFS är en hel vetenskap och jag har försökt sätta mig in i det. Det verka vara väldigt krävande, bara en sån sak som att prestandan sjunker när mer än 50% av disken används, det var ganska kasst. Det har fått mig att tvivla lite på ZFS faktiskt. Kanske skulle man bara köra en plain Xpenology ändå?

Jag tror att mitt kort ska passa, det är low profile. Har inte mätt, men det ska nog gå bra. I värsta fall får jag sätta diskarna på moderkortet direkt bara.

Har du någonsin kört iSCISI med MPIO? Jag är ute efter att sätta upp det med 2 NIC på varje sida, alltså 2 NIC på NASen och 2 NIC på ESX hosten. Hur gör man för att få ut 2 X 1 GbE, dels i FreeNAS och dels i ESX, är det Round Robin som gäller?

Det ska inte vara några problem att köra iSCSI med MPIO som du vill göra, det är en hel del inställningar som ska göras i ESXi så det är lättast att googla. Det finns en hel del guider med bilder som gör det överskådligt.
Har för mig att jag körde Round Robin när jag testade.

Permalänk
Medlem
Skrivet av enoch85:

Ok jag sa lite fel, 600 MBit/s, men fortfarande lite. Kan bero på att jag kopplat lite fel så trafiken passerar igenom brandväggen först. Jag ska prova koppla om det till en switch senare och se om det gör skillnad.

Efter att ha googlat hela dan (mer än 12 timmar) så har jag nu kommit fram till att det är MPIO och iSCSI jag ska ha. Detta beror på begränsingar i NFS tillammans med FreeNAS, man måste typ ha SLOG device för att det ska flyta bra och en sån kostar skjortan om man vill ha det som rekomenderas - d.v.s. SSD med SLC, typ denna.

ZFS är en hel vetenskap och jag har försökt sätta mig in i det. Det verka vara väldigt krävande, bara en sån sak som att prestandan sjunker när mer än 50% av disken används, det var ganska kasst. Det har fått mig att tvivla lite på ZFS faktiskt. Kanske skulle man bara köra en plain Xpenology ändå?

Jag tror att mitt kort ska passa, det är low profile. Har inte mätt, men det ska nog gå bra. I värsta fall får jag sätta diskarna på moderkortet direkt bara.

Har du någonsin kört iSCISI med MPIO? Jag är ute efter att sätta upp det med 2 NIC på varje sida, alltså 2 NIC på NASen och 2 NIC på ESX hosten. Hur gör man för att få ut 2 X 1 GbE, dels i FreeNAS och dels i ESX, är det Round Robin som gäller?

Har man SLAer att ta hänsyn till som du nämnde känns det för mig helt galet att ge sig på en osupportad lösning som är omvittnat besvärlig att managera om man inte känner att man har örnkoll. Jag hade inte gjort det iaf. Hade valt någon form av DAS istället om det nu är uteslutet att byta till en host med intern disk.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av Micke O:

Har man SLAer att ta hänsyn till som du nämnde känns det för mig helt galet att ge sig på en osupportad lösning som är omvittnat besvärlig att managera om man inte känner att man har örnkoll. Jag hade inte gjort det iaf. Hade valt någon form av DAS istället om det nu är uteslutet att byta till en host med intern disk.

Fast har man sla är en host ingen vidare ide

Permalänk
Medlem
Skrivet av aluser:

Fast har man sla är en host ingen vidare ide

Visst är det så, men det beror ju också på hur SLA ser ut.

Visa signatur

i7-8700k | ASUS ROG Strix Z370-F Gaming | 2x8+2x16GB Corsair Vengeance LPX 3200 | ASUS TUF RTX 3080 OC | Samsung 860 EVO 1TB | WD Black SN850 1TB | Intel 660p 2TB | Crucial MX500 4TB | Noctua NH-U14S | Fractal Design North | Seasonic Focus Plus Gold 650FX | ASUS Xonar Essence STX

Permalänk
Medlem
Skrivet av backspace:

Det kanske är dags att investera i 10GbE?

Snackade med FreeNAS grabbarna på IRC igår, och ja, det är den lösningen som kommer att bli aktuell. Då kan jag använda 1 GbE nicet på MB/ESX host som failover. Det blir alltså en kabel direkt från NAS till ESX host med 10 GbE är tanken.

Skrivet av henkiii:

Är huvudanledningen att du vill köra ett NAS hotswap, brist på HDDslots i ditt nuvarande server chassi eller att det är kul att bygga?

Det blir ju en ganska stor förminskning att gå från 3-6Gbit per disk idag till 1-2Gbit för hela volymen.
Skickades från m.sweclockers.com

Ärligt talat så är det samtliga ovanstående. Det är kul att bygga, och jag vill ha en dedikerad lösning för lagring, och dedikerad server. NAS är ju fattiglappsSAN och jag tänkte jag får börja nånstans. Däremot är det nu aktuellt med 10 GbE kort så då hoppas jag få ut vad diskarna maxar, speciellt då övrig hårdvara ska klara betydligt mycket mer än så. Flaskhalsen som jag ser det är just Ethernet.

Skrivet av axxel:

Det ska inte vara några problem att köra iSCSI med MPIO som du vill göra, det är en hel del inställningar som ska göras i ESXi så det är lättast att googla. Det finns en hel del guider med bilder som gör det överskådligt.
Har för mig att jag körde Round Robin när jag testade.

Enligt råd från en admin på FreeNAS så blir det NFS med SLOG istället. Det där med att man behövde SLC diskar var för många år sen, och enligt honom så duger det med 2 mirrored Intel 540. Det underlättar en hel del då NFS är mycket enklare att sätta upp, samt ger mig egenskaper som att kopera och flytta filer på ett annat sätt än vad iSCSI gör.

Dock hade iSCISI inte vart några problem att sätta upp. Hittade hur mycket gudier somhelst gällande det, men NFS känns bekvämare, och nu när det blir SLOG så känner jag mig inte orolig för att det kommer gå segt. Har även en hel del RAM tillgodo då jag maxade MB och beställde 32 GB direkt.

Skrivet av Micke O:

Har man SLAer att ta hänsyn till som du nämnde känns det för mig helt galet att ge sig på en osupportad lösning som är omvittnat besvärlig att managera om man inte känner att man har örnkoll. Jag hade inte gjort det iaf. Hade valt någon form av DAS istället om det nu är uteslutet att byta till en host med intern disk.

Ja, du har en bra poäng. Det blir fler SPOF. Men bortsett från det så sparar jag en massa tid då jag kan byta diskar på ett live system, lagringen blir central, samt ZFS som är felkorrigeranfe. Kan också nämna att jag vill ifrån lösning med interna diskar som jag nämnt tidigare.

Jag har testkört lite med min QNAP som NFS storage, och det funkar OK för hemmabruk, men det laggar för mycket när man besöker sidor och jobbar via SSH, installerar VMer osv för att det ska vara godkänt. Därav detta bygge.

----

Mitt nästa problem blir mellanlagringen när jag ska flytta alla VMs på ESX hosten och rebuilda diskarna. Har en gammal server som jag eventuellt kan migrera det viktigaste till, samt en off-site backup server som kan agera host för mina Wordpress domäner. Dock skulle det vara bra om någon hade 5 TB över i några dagar och bra lina.

SLA blir inte aktuellt förens 1 oktober och då måste allt vara klart, testat och benchmarkat. Här är SLA för den som undrar.

Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se

Permalänk
Medlem
Visa signatur

Citera för svar

Stora Owncloud/Nextcloud-tråden: http://www.sweclockers.com/forum/122-server/1212245-officiell...
Jobb: Datacenter Manager
Grundare: https://www.hanssonit.se